解密谷歌网络帝国背后的故事

2015-06-18 06:46:59 来源: 网易科技报道 网易号 举报
0
分享到:
T + -

网易科技讯 6月18日消息, 三年半之前,一个包裹被快递到了爱荷华州一个农业小镇的某办公楼里,一段关于谷歌的神奇故事就此拉开了帷幕。

包裹里面是几个奇怪的计算设备,它们非常的宽大扁平,就像装披萨的盒子。盒子的一边是密集的开口,显然是用来接入大量网线用的,另一边贴着一个“海王星交换机”(Pluto Switch)的标签。它们的外形与常规的网络设备大相径庭,而且盒子的背面还印着许多芬兰语的字符。这个公司的工作人员显然并不知道这些盒子的具体用途,于是有人把这些盒子转寄到了他们威斯康辛的总部,希望那里的IT专家们可以解答这些盒子的秘密。总部的IT工作人员一开始同样一头雾水,但是不久之后他们在一个非常小众的网络论坛上得到了一些答复:这些盒子是网络交换机,它们工作在因特网纷繁复杂丰富多彩的表面之下,负责在数据中心之间大量的传输和转移数据,并且,它们的主人是谷歌。

谷歌的确在爱荷华州的那个小镇附近设有数据中心,所以显然是邮递员粗心把这个设备寄到了错误的地址。这个公司的工作人员把这些盒子两两装好之后寄给了谷歌,并且迅速的从那个论坛上销声匿迹,但是他们在论坛上曾经发过的照片和技术讨论还是为人们打开了一扇窥探谷歌帝国内部的神秘网络世界的窗户。它指向了一个也许会改变整个互联网世界的神秘项目,而谷歌却从未在公开的场合谈论过它。

图为谷歌代号为”海王星“(Pluto)的高性能架顶式交换机
图为谷歌代号为”海王星“(Pluto)的高性能架顶式交换机

多年以来,谷歌在搭建自己的服务器网络时并没有使用传统网络设备商的设备,他们并没有大规模的购买思科惠普或者爱立信的交换机和路由器。为了适应谷歌急速扩张的服务器网络,他们专门设计了自己的网络设备并且为他们编写了自己的软件用于配置和管理自己的网络。而直到这次阴差阳错的邮递员事件,外界才第一次看到这些设备的真容。由于这个项目对于谷歌的重大意义,在对外界保密的同时谷歌一直在持续增加对这个项目的投入。直到今天早上,在硅谷的一个技术会议中,来自谷歌的Amin Vahdat才第一次作为这个项目的负责人展示了支撑谷歌网络帝国长达10年的前5代的硬件软件解决方案,并且对这个领域的一些基础技术进行了介绍和探讨。这些探讨对于整个互联网世界都具有一定的前瞻性,毕竟未来会有更多的互联网公司将要走上谷歌已经走过的路。

图为Amin Vahdat, 谷歌“消防水管”(Firehose)项目的负责人
图为Amin Vahdat, 谷歌“消防水管”(Firehose)项目的负责人

Amin Vahdat最早是UCSD的教授,他的研究领域就是网络的拓展,当意识到在学术圈的世界里已经无法构建规模足够大的网络之后,他来到了谷歌。据Vahdat介绍,谷歌这个秘密项目名字叫做“消防水管”(Firehose),始于2004年。到2005,2006年的时候,这个项目的产品已经部署在谷歌若干个数据中心日夜运行。除了快递员投错的那些类似于“高性能架顶式”(Top-of-Rack)交换机的产品,他们还开发了另外一种用于连接大规模网络之间相互连接的“集群交换机”(Cluster swtiches)。不仅如此,谷歌甚至还设计开发了自己专属的路由协议和网络管理软件。对此Vahdat的解释是:“那时的设备完全不能应付我们的网络所需要处理的带宽和数据吞吐量,那样的设备在这个星球上根本就不存在。”

谈到消防水管这个项目最初的动机,Vahdat表示主要有两个方面,一方面在于谷歌的服务器网络扩张太快,传统网络设备商的产品已经无法满足他们在各个不停扩张的数据中心之间快速交换数据的需求;另一方面谷歌也需要为这个长期持续的挑战找到一个低成本的解决方案,运用传统的手段搭建谷歌所需要的规模的数据中心和网络,成本将是真正意义的天文数字。而这个低成本的解决方案就是大量购买价格低廉的民用级的芯片,并且让他们协同工作完成交换处理海量数据的任务,听起来很像当下被炒得火热的云计算的概念雏形。

十几年之前当谷歌刚刚开始搭建自己的服务器网络时,他们的选择跟其他所有公司如出一辙。他们尝试从思科购买最大最强的集群交换机(Cluster swtiches),在每个数据中心的内部,这些集群交换机构成了网络的骨架。每一部这样的集群交换机都要花费谷歌几十万到几百万美元,而每一部这样的交换机上只有固定数量的网络接口可以连接到其他的交换机,这意味着搭建一个可以满足谷歌需要的数据网络将会耗费无尽的美元。“那时候我们的采购只会跟他们说,嘿哥们,把你们现有最牛的交换机给我们,只要最牛的。”

于是从2004年开始谷歌内部成立了一个小组开始研究自己的网络设备解决方案。这个方案简而言之就是用普通的民用级芯片搭建通用的硬件,然后在上面跑任何需要运行的软件。思科为不同级别的需求提供不同的硬件,并每套硬件上面都运行特定的相匹配的软件。而谷歌的解决方案则简单粗暴的多,所有的硬件都是相同的,面对不同的需求时解决方案的差别仅在于一起协作的硬件的数量,一个“高性能架顶式”交换机就相当于一个“集群交换机”上的一块板,性能的提升几乎等同于数量的叠加,而这些相同的硬件都可以运行任何需要运行的软件。根据Vahdat的介绍,现在谷歌“朱庇特”(Jupiter)系列集群交换机的处理能力已经达到了每秒40Tb,等同于4000万个家庭用户接入的带宽和吞吐量。

解密谷歌网络帝国背后的故事

图为谷歌的”朱庇特“(Jupiter)系列集群交换机,每秒可以处理40Tb的数据,相当于4000万家庭用户接入的吞吐量。

相较于硬件,Vahdat对于他们解决方案的软件部分言之甚少。但是他透露他们的网络设备运行在Linux的系统之上,他们还开发了自己的路由协议“火线”(Firepath),用于判断数据交换时的最佳路径。在网络世界里工业标准的路由协议是BGP和OSPF,开发自己的路由协议是非常罕见的现象。Vahdat解释说在他们开始搭建网络的时候这些标准协议还不像今天这般简单和高效,而他们将要搭建这个世界上最大最复杂的网络,所以他们需要一个更加简单快速可扩展的方案。“火线”协议的细节无比复杂,如果要介绍它的优势,一言以蔽之,“火线”的用户可以通过一个中央控制软件来统一配置整个网络的行为,而在传统的网络世界里如果想要达到同样的效果,网络管理专家们必须对网络中的每个交换机一个一个的单独配置。

谷歌的服务器网络很可能是世界上最大的一个。一个惊人的事实是,如今谷歌网络内部数据中心之间交换的数据量已经超过了谷歌和整个互联网之间交换的数据量。如今像微软,亚马逊和Facebook也都面临着和谷歌类似的挑战,而他们也各自进行着类似的项目。Facebook从一开始就公开了他们的SDN(software-defined networking)计划,而美国最大的网络服务提供商AT&T也已经在紧锣密鼓的进行着向这种新的网络技术的迁移。

SDN技术发展到现在,凭借其低成本,高灵活性和几乎无限的扩展性的巨大优势,已经给传统的网络设备商带来了前所未有的挑战,而这种挑战很可能是颠覆性的,它意味着传统网络设备商们的蛋糕整个变小了,而且将越变越小。当谷歌微软这样的巨头纷纷抛弃思科们的时候,那些中小规模的公司一样会因为SDN的种种优势而希望转投SDN的怀抱,他们之所以还不能这样做是因为他们不像那些巨头公司一样有足够的资源来设计开发自己的硬件软件和解决方案。于是一批新的创业公司应运而生,他们专门为其他公司提供新一代的网络解决方案,“当你只需要花很少的钱买一堆廉价芯片并且用一个中央控制软件就可以配置整个网络的时候,昂贵而又复杂的传统网络解决方案看起来如此笨拙不堪一击。”如今Nicira (已经被VMware收购), Big Switch Networks, 和 JR Rivers’ Cumulus Networks等公司的蓬勃发展已经证明了SDN大势的不可阻挡,网络世界注定将要迎来一场革命。(雷右使)

郭浩 本文来源:网易科技报道 责任编辑:王晓易_NE0011
分享到:
跟贴0
参与0
发贴
为您推荐
  • 推荐
  • 热点
  • 娱乐
  • 体育
  • 财经
  • 科技
  • 军事
  • 汽车

最后一辩,美国大选出现重大变化!中国人要关注

新闻 拜登 唐纳德·特朗普
|
环球时报
7小时前
7007 跟贴7007

捷克卫生部长称几乎可以确定新冠病毒源于中国实验室泄露,中使馆

新闻 新冠病毒 捷克
|
界面新闻
16小时前
9339 跟贴9339

为了拍特朗普马屁,美国海军接到了一个不可能完成的任务

新闻 唐纳德·特朗普 驱逐舰
|
环球时报
7小时前
101 跟贴101

武汉一菜场要求女摊贩不超过45岁 官方回应:已约谈企业并责令改

新闻 武汉 摊贩
|
红星新闻
14小时前
12173 跟贴12173

白云山板蓝根对新冠病毒有效?钟南山指有人断章取义

新闻 钟南山 板蓝根
|
第一财经
13小时前
115911 跟贴115911

曝苹果严打线下 iPhone 12/Pro 货源流向电商转卖,违者罚款达 40

新闻 iphone 12 苹果
|
IT之家
8小时前
406 跟贴406

台防务部门称美方批准的三项对台军售计划“其中两项飞弹与火箭都

新闻 军售计划 国台办
|
环球网
13小时前
327 跟贴327

纪录片《英雄儿女》第一集中,央视首次公开毛岸英一段珍贵影像

新闻 毛岸英 英雄儿女
|
观察者网
23小时前
183 跟贴183

78套别墅无人认领,富人们已经不敢承认房子是自己的了?

新闻 别墅 物业
|
起点财经
7小时前
1093 跟贴1093

普京称俄中理论上存在建立军事同盟可能性,赵立坚:中方愿同俄方

新闻 普京 赵立坚
|
环球时报-环球网
16小时前
766 跟贴766

极不寻常!美军侦察机被曝从台湾北部上空飞过

新闻 侦察机 美军
|
环球网
22小时前
14 跟贴14

美国军事史上最大的失败,抗美援朝的转折点——血战长津湖

新闻 志愿军 美军
|
北京日报
23小时前
30756 跟贴30756

纪念中国人民志愿军抗美援朝出国作战70周年大会在京隆重举行 习

新闻 习近平 抗美援朝
|
央视网
10小时前
5322 跟贴5322

法国第一夫人新冠病毒检测呈阴性 即日起解除隔离

新闻 新冠病毒 第一夫人
|
央视新闻客户端
8小时前
1 跟贴1

纪念抗美援朝,6个数字读懂习近平重要讲话

新闻 习近平 抗美援朝
|
人民日报
10小时前
862 跟贴862

四川达州退休教师修建双人活人墓 相关部门:当事人已同意拆除

新闻 达州 达州市
|
红星新闻
19小时前
890 跟贴890

曲阜师大“数学系排名力压清北”背后的“刷分”疑团

新闻 数学系 曲阜师范大学
| 新京报
9小时前
440 跟贴440

港媒:芬兰之后爱尔兰也跳出来了,宣布停止与香港引渡协议

新闻 香港 爱尔兰
|
环球时报
11小时前
1320 跟贴1320

中国人的故事 | 致英雄孙占元:忘不了那句“跟我上”!您从未远

新闻 孙占元 志愿军
|
中国青年网
17小时前
0 跟贴0

【追寻先烈足迹】抗美援朝中的退役老战士——田新位

新闻 抗美援朝 解放战争
|
环球网
17小时前
0 跟贴0

胡锡进:台当局两次否认美军机飞越台湾的消息,因为他们真怕了

新闻 台湾 飞越
|
胡锡进微博
6小时前
211 跟贴211

中石油前员工杀害4人后自杀 曾陪他一同举报的父亲称:以为他已

新闻 社会 中石油
|
上游新闻
21小时前
76389 跟贴76389

2020年10月22日外交部发言人赵立坚主持例行记者会

新闻 赵立坚 普京
|
中华人民共和国外交部
13小时前
5471 跟贴5471

赵立坚宣布:中方将考虑不承认英国国民海外护照作为有效旅行证件

新闻 赵立坚 护照
|
环球时报-环球网
16小时前
17270 跟贴17270

台媒:中共再增一个开战理由 随时可攻台!

新闻 台湾 大陆
|
环球网
22小时前
651 跟贴651

信息量极大!习近平这篇重要讲话有这些要点

新闻 习近平 信息量
|
新华网
10小时前
2315 跟贴2315

答应我,千万别嫁山东男人

新闻 文化 城市
| 城市漫游计划
11小时前
28 跟贴28

一线豪车降价甩卖,消费者在意的是钱吗?是身份感

新闻 奥迪 豪华车
|
财经杂志
7小时前
439 跟贴439

美国制裁伊朗五个组织 指责其“干预美国大选”

新闻 伊朗 美国
|
环球网
17小时前
0 跟贴0

巴西总统禁购4600万剂中国疫苗 议员向法院提起上诉

新闻 巴西 疫苗
|
环球网
22小时前
1410 跟贴1410

遭800年最大厄运!让梁思成叫绝的稀世珍宝病入膏肓

新闻 梁思成 应县木塔
|
瞭望智库
1天前
17469 跟贴17469

2020美国大选终场辩论:特朗普拜登针锋相对,疫情是关键词

新闻 唐纳德·特朗普 拜登
|
澎湃新闻
11小时前
39 跟贴39

王毅怒斥美政要:这种行为最令人不齿!

新闻 王毅 美国
|
中华人民共和国外交部
1天前
166 跟贴166

短短两个月双方死伤6千士兵:亚阿冲突30年溯源

新闻 雷杰普·塔伊普·埃尔多安 阿利耶夫
|
澎湃新闻
17小时前
10 跟贴10

安全专家称猜中密码:用"Maga2020!"登特朗普推特

新闻 美国 特朗普
| 海外网
22小时前
1854 跟贴1854

避雷针从30层大厦顶部坠落 辽宁过路女子被砸身亡

新闻 跳楼 侵权责任法
|
梨视频
18小时前
2052 跟贴2052

美军证实美侦察机从台湾上空飞过 美媒:这极不寻常

新闻 美军 台湾
|
观察者网
18小时前
592 跟贴592

美媒曝10迹象透露特朗普将惊喜胜利:拜登要胜出毫无逻辑

新闻 拜登 唐纳德·特朗普
|
ETtoday新闻云
6小时前
0 跟贴0

日本政府放弃本月内敲定福岛处理水处置方针

新闻 日本政府 福岛
|
界面新闻
10小时前
20 跟贴20

普京称纳卡冲突已致近5000人死亡,远超双方公布数字

新闻 普京 纳卡
|
观察者网
11小时前
12 跟贴12

“女同事发来了两张照片,问我哪个好看,这是什么意思啊?”哈哈!

高嘻嘻娱乐团
2020-10-18 08:04:44

食堂有菜却只给学生打咸菜,食堂阿姨:菜打完了

社会报料
2020-10-23 19:36:03

《经济学家》炮制“中国从事反人类罪行”,我使馆驳斥

观察者网
2020-10-24 07:30:53

姑娘你就不能挡一下那里么?那东西让人看了很难为情,好尴尬

猫猫狗狗总会有的
2020-10-21 11:44:32

河南一医生疑因给自己注射麻醉剂过量,在医院内身亡

文化长河论
2020-10-23 19:39:42

打破金属打印性能世界纪录,这家中国公司开发纳米改性超级金属

DeepTech深科技
2020-10-23 21:37:39

陕西一村庄发现百斤金饼,村民争相哄抢,考古队:地下还有更多

世界你好
2020-10-23 17:01:42

娱乐圈中的4张明星合照,真“尴尬”,这辈子都不想再看到!

御姐风尚志
2020-10-22 22:17:55

iPhone12今日发售,蓝色最受追捧!有黄牛加价2千元

南方都市报
2020-10-23 14:32:02

疯狂4-1,又1双线狂飙队诞生,大巴黎被绝杀后,他们给法甲撑腰

巨懂球
2020-10-23 22:17:12

美国开始担忧!重要合作伙伴宣布:与华为达成技术研发协议

金十数据
2020-10-22 22:35:23

专制为何总在翻译上造假?因为它惧怕人们了解世界的真相

叶克飞
2020-10-23 09:43:49

苹果公司“封堵”iPhone相关百亿补贴活动,触碰到了谁的蛋糕?

我们都是科技宅
2020-10-23 14:17:21

丰田又成功了!全新15代皇冠曝光,比5系漂亮,30万开出60万面子

热血汽车资讯
2020-10-23 20:06:48

全是“重点”!萧亚轩精力旺盛,小鲜肉男友自曝苦楚:觉都不让睡

文娱铺
2020-10-22 10:40:02

判断女人是不是“老司机”,只需看这三点,八九不离十

温柔土豆
2020-10-21 07:02:09

示威者向警方道歉,他们与香港有何不同?

高岡由佳
2020-10-24 00:48:27

最新研究:这个血型人群最不易感染新冠,且感染者不易发展成重症

中新社华舆
2020-10-23 15:47:09

罪恶铁证终于曝光,澳大利亚暴行激起国际共愤,人性良知彻底沦丧

情感的小船
2020-10-24 03:09:35

今天在公交车上看到一对情侣,行为很奇怪,现在的人都这么开放了吗哈哈哈

王二嫂爱生活
2020-10-22 13:10:35
2020-10-24 08:48:59
+ 加载更多新闻
×

【TED】阅读全世界

热点新闻

态度原创

网易号

查看全部
阅读下一篇

返回网易首页 返回科技首页