1995 年,谢尔盖·布林(Sergey Brin)被斯坦福大学计算机科学系派去接待一批新生参观校园,其中一个新生是拉里·佩奇(Larry Page)。两人争论不休——朋友们后来说,他们第一次见面几乎没有任何事情看法相同。
三年后,他们联合创立了 Google。
这段合伙关系改变了人类获取知识的方式,也重塑了整个互联网经济。
破除误解:Google 不是第一个搜索引擎
1998 年 Google 创立时,搜索市场已有 Alta Vista、Yahoo、Excite、Lycos 等成熟玩家。Alta Vista 在当时被认为是最好的搜索引擎,拥有数亿页面的索引。
Google 的突破不在于"更大的索引",而在于一个根本不同的相关性判断方式。
现场:斯坦福地下室里的 PageRank
佩奇的博士课题最初是研究网页之间的超链接结构——类似学术引用网络。他的直觉是:一个被很多重要页面链接的页面,本身也应该重要——就像一篇被大量高质量论文引用的论文,本身就更权威。
这个想法被形式化为 PageRank 算法(名字来自佩奇的姓,不是"网页排名")。数学上,PageRank 等价于在网络上随机游走的稳态概率分布:一个随机的网络冲浪者,不断随机点击链接,最终停留在某个页面的概率,就是它的 PageRank 值。
PageRank 的数学直觉
PageRank 的递推式很短:一个页面的排名,等于所有链接到它的页面的排名各自除以自己的出链数之后加总,再乘一个阻尼系数:
其中 $d$ 是阻尼系数(经典取值约 0.85), 是页面 的出链数量。两项各有分工:
- 第二项实现"投票加权":重要页面的投票权重高,且一个页面出链越多,每票的权重被摊得越薄——这直接压制了"建一万个页面互链刷票"的朴素作弊。
- 第一项(随机跳转)保证数学上解的存在唯一:如果冲浪者只会沿链接走,没有出链的页面和封闭的链接小圈子会把概率质量整个吸走,排名退化为零或循环。以 $1-d$ 的概率随机跳到任意页面,等于给转移矩阵加了一个人工的全连接底噪,使其不可约、非周期,稳态分布必然存在且唯一。
计算上,PageRank 用的不是解线性方程组,而是幂迭代:从均匀分布出发,反复用转移矩阵乘当前向量,直到收敛。为什么这个"笨"方法可行?因为幂迭代的收敛速度取决于矩阵的次大特征值,而随机跳转恰好把次大特征值压到了 $d$ 量级——几十次迭代就足够。对于数十亿页面的图,直接求特征向量在工程上不可行,幂迭代却只需要几十遍全图遍历,而这正是 Google 集群最擅长的批量运算。算法的数学性质与基础设施的形状,在这里是互相选择的。
廉价硬件上的可靠性工程
BackRub 诞生于经费拮据的实验室:佩奇和布林在系里的装卸区"蹲守"新到的电脑借用,第一套存储系统用乐高积木搭了外壳,塞着 10 块 4GB 硬盘(1996 年)。佩奇——从小喜欢用乐高做机械装置,曾用积木拼出一台能工作的打印机——把这套"穷办法"发展成了 Google 的基础设施哲学:用大量廉价、随时会坏的普通 PC,代替少量昂贵的高可靠服务器。
这个选择的关键不在省钱,而在把故障当成常态写进系统假设。廉价集群里硬盘每天坏、主板每月坏,任何依赖单机可靠性的设计都会失效。Google 的应对是把可靠性整体上移到软件层:数据分块多副本存放(GFS)、计算任务失败自动重调度(MapReduce)、任何一台机器死掉都不影响服务。这正是后来那三篇论文的共同思想内核。
布林加入后,两人把 PageRank 与传统的文本相关性结合,构建了 BackRub(后来改名 Google)。早期原型用斯坦福服务器运行,索引了 2400 万个页面,每月处理约 1 万次查询——这在 1997 年已是惊人规模。
1998 年,佩奇和布林发表论文《大规模超文本网络搜索引擎的剖析》(The Anatomy of a Large-Scale Hypertextual Web Search Engine,刊于 Computer Networks and ISDN Systems 第 30 卷第 107–117 页),向学术界披露了 Google 的系统设计。这篇论文至今仍是引用最多的计算机科学论文之一。
同年,他们在斯坦福学长、Sun 联合创始人安迪·贝托尔斯海姆(Andy Bechtolsheim)的支持下,以一张 10 万美元支票为启动资金,在门洛帕克的朋友车库里注册了 Google Inc.。
一个常被忽略的法律细节:PageRank 的专利(1997 年 1 月申请,名称是《链接数据库中的节点排序方法》)归斯坦福大学所有,而不是归佩奇和布林个人——它是在学校经费支持下完成的研究成果。1998 年,斯坦福将专利独家授权给 Google(至 2011 年),换取了 180 万股 Google 股票;这批股票在 2005 年卖出时为斯坦福带来约 3.36 亿美元,成为大学技术转移史上最成功的案例之一。佩奇后来在多个场合谈到这段安排对他的影响:核心知识产权必须有清晰的归属和保护,否则发明者会失去对自己发明的控制。
结构:Google 的技术与商业双引擎
锚文本:让别人来描述你的页面。 PageRank 之外,1998 年论文里还有一个常被忽视的设计:Google 大量利用锚文本(链接上的可点击文字)为被指向的页面建索引。机制上的理由是对称的:页面自己写的关键词可以任意堆砌(当时的 AltaVista 正被这种"关键词填充"作弊困扰),而别人愿意用什么文字链向你,是第三方给出的描述,操纵成本高得多。"清华大学官网"这几个字出现在成千上万个其他网站的链接里,比目标页面上写一百遍"最好的大学"更能说明问题。相关性判断由此从"页面自称是什么"转向"网络共识它是什么"——这与 PageRank 的投票逻辑是同一条思想的两个侧面。
技术基础设施的自建:Google 早期就选择用廉价的普通 PC 构建大规模集群,而不依赖昂贵的专用服务器。这一决策催生了三篇影响整个行业的论文:
- GFS(Google File System,2003):分布式文件系统,容忍节点故障
- MapReduce(2004):大规模数据并行处理框架,被 Hadoop 等项目复制
- Bigtable(2006):分布式 NoSQL 数据库,影响了 HBase、Cassandra 等
这三篇论文奠定了现代大数据基础设施的设计思路,影响力远超公司本身。
AdWords 的商业转折:Google 最初的广告模式(1999 年推出)是按展示次数收费的横幅广告——与当时的互联网广告主流一致。2000 年,AdWords 引入了一个根本变化:按点击收费,且广告排名同时考虑出价和点击率(广告质量分)。这让相关的广告比高出价的广告排名更靠前,广告质量与用户体验的利益得以对齐。这个机制是 Google 后来数千亿美元广告收入的基础。
两人的分工与性格
两人的合作并非对等的分工,而是一种持续的智识张力:
佩奇以工程直觉和对速度的偏执著称——他在工程师会议上常常问"为什么我们不能把这个做快 10 倍",而非"这件事有没有意义"。他推动了 Google 将索引延迟从天压缩到秒,推动了 Chrome 浏览器、Android 的立项。
布林对数据挖掘和数学背景更深——他参与了早期 PageRank 算法的理论部分,后来主导了 Google X(自动驾驶 Waymo 的前身,以及 Google Glass 等实验性项目)。
之后:Alphabet 与撤退
2015 年,佩奇和布林将 Google 重组为 Alphabet 控股公司,Google 成为其子公司。佩奇任 Alphabet CEO,布林任总裁。2019 年,两人同时辞去执行职位,由桑达尔·皮查伊(Sundar Pichai)接任 Alphabet CEO,但两人仍是最大股东和董事会成员。
此后两人基本淡出公众视野。布林在 2023 年 AI 浪潮兴起后一度重新活跃,据报道回到 Google 参与 Gemini 的早期开发。
代价与争议
隐私与数据垄断:Google 的商业模式是用免费服务换取用户数据,用数据精准投放广告。欧盟 2019 年对 Google 开出 14.9 亿欧元反垄断罚款,美国司法部 2020 年和 2023 年分别就搜索和广告市场对 Google 提起反垄断诉讼,2024 年联邦法院初步裁定 Google 在搜索市场存在垄断行为。
"不作恶"的自我否定:Google 早年的企业信条是"Don't be evil"(不作恶),被认为是对传统媒体和广告巨头的道德承诺。2018 年,这句话从 Google 的行为准则中被删除,象征着公司价值观在商业压力和地缘政治面前的变迁。
信息生态的影响:PageRank 让权威网站在搜索结果中胜出,这一机制加剧了信息资源向少数主流渠道集中,同时催生了 SEO 产业——大量资源用于"取悦算法"而非真正改善内容质量。
跨域连接
- 随机过程:把重要性定义成随机冲浪者的稳态分布,排名就变成了一个特征向量问题。以一定概率随机跳转不是调参,而是保证这条链不可约、稳态唯一存在的必要条件——没有它,没有出链的页面与互相封闭的小团会把概率质量整个吸走。数学性质在这里直接决定了工程可行性。
- 拍卖理论:按点击计费、并让排序同时看出价与预估点击率,等价于按"每次展示的期望收益"排序。这一步把广告主的最优策略从抬价改成了提高相关性,平台收入与用户体验因此部分对齐。判据也随之明确:任何只按出价排序的位置,都会系统性地把最不相关的广告顶到最上面。
- 社会网络分析:链接分析借的是引文分析的核心假设——被高声望者引用,比被大量普通者引用更能说明重要性。但网页与论文有一处关键不同:链接可以被批量制造,引用要过同行评议。于是排名必须持续对抗操纵;反过来,当引文数据也变得易于刷取时,学术指标开始出现同类病症。
- 自我实现的预言:排名决定曝光,曝光决定点击与外链,点击与外链又反过来抬高排名。这个闭环使"权威"部分地由排名本身制造,而不只是被排名发现。可检验的推论很硬:随机扰动排名会改变后续的真实流行度——这类实验在推荐系统里已被反复观察到。
- MapReduce:用大量廉价机器替代少数昂贵机器,前提是把故障当常态并写进编程模型:计算被表达成两个无共享状态的纯函数,任一节点失败时只需重算那一份。边界也由此确定——一旦计算需要迭代与全局状态,这套模型就退化,图算法与模型训练后来正是从这里分道。
人物小记:离开与影响
Page 和 Brin 在 2019 年辞去日常运营职责后,相对退出公众视野。Page 据报道大量时间在新西兰,资助气候科技项目;Brin 则公开谈到在 2022 年底 ChatGPT 发布后重新介入 Google AI 工作,认为这是对 Google 搜索的根本性挑战。
他们联合建立的管理结构(双重股权,创始人持有超级投票权)在上市公司中是一个影响深远的先例:保证了两人在公司上市后仍能不受华尔街短期压力影响地做长期决策——这一结构后来被 Facebook、Snap 等科技公司效仿,也引发了关于上市公司治理和股东权利的持续争议。
参考文献
- Brin, S. & Page, L. The Anatomy of a Large-Scale Hypertextual Web Search Engine. WWW, 1998.(Google 创始论文)
- Page, L. et al. The PageRank Citation Ranking: Bringing Order to the Web. Technical Report, Stanford, 1998.
- Dean, J. & Ghemawat, S. MapReduce: Simplified Data Processing on Large Clusters. OSDI, 2004.
- Ghemawat, S., Gobioff, H., Leung, S.-T. The Google File System. SOSP, 2003.
- Barroso, L. A., Hölzle, U., Ranganathan, P. The Datacenter as a Computer. Morgan & Claypool, 2009.(Google 基础设施哲学的系统总结)
延伸阅读
- Vise, D. & Malseed, M. The Google Story. Delacorte Press, 2005.(叙事性传记,记录 Google 早期历史)