网易首页 > 网易科技 > 网易科技 > 正文

微软Adam挑战Google Brain:我的机器学习比你快

0
分享至


人工智能(AI)是近年来很火的一个领域,Google、Facebook、苹果、微软等巨头都在发力。而可以帮助进行语音识别、语言翻译及提供计算机视觉的深度学习则是最近的新宠。

尽管苹果有Siri,Facebook成立了人工智能实验室,但业界普遍的看法是Google是人工智能领域竞赛的领跑者。因为最近有深度学习的领军人物Geoff Hinton的加盟,因为它展示过自己会自主学习的深度学习系统,也因为它与NASA联合成立的人工智能实验室等吸引人眼球的东西。在计算机视觉和语音识别方面,Google还保持着几个记录。

但现在微软的研究团队要向Google叫板,我的深度学习系统Adam要比你的Google Brain快。微软称,在ImageNet 22K标杆测试上,Adam在识别图像方面的熟练程度是之前系统的两倍,使用的机器则要少得多,仅为其1/30。ImageNet 22K是用来测试深度学习系统计算机视觉(自动识别图像能力)能力的数据库,共有150万张图片,图片类型多达22000种,此前只有少数系统能处理这么多类型,其中就包括Google Brain,Google的Android语音识别和Google Maps等的AI计算都要靠Google Brain。

那么Adam是怎么做到的呢?

Adam并不是在算法上进行突破,而是优化了机器数据处理方式,同时调整了机器的通信方式。Adam是微软研究员Trishul Chilimbi(Bing的基础设施是他弄的)想出来的产物,其训练方式不太算是人工智能的科学,而是大规模计算机系统的艺术。

与深度学习系统类似,Adam也运行于一组标准服务器(由微软Azure提供)之上。深度学习更加接近于创造了神经网络的大脑的运作方式,而这些神经网络往往需要大规模的服务器去模拟。Adam的独特之处在于使用了异步(asynchrony)技术。

我们知道,随着计算机系统越来越复杂,系统的各个组件之间的信息交换变得越来越困难,而异步可以缓解这一问题。所谓的异步,指的是将系统拆分为基本能独立运行的各个部分,然后再把计算结果合并起来。合并结果在智能手机和笔记本上是比较容易实现的,因为计算可以分布到许多计算机芯片上,但是跨许多不同计算机实现这一点就没有神经网络那么成功。此前许多研究机构和公司(包括Google在内)都是靠大型异步系统来实现这一点的,而现在微软利用了威斯康星大学研发的一种名为“HOGWILD!”的技术来实现异步系统。

HOGWILD!当初的设计主旨是像让机器内的每一个处理器工作更加独立。甚至可以允许不同的芯片同时向同一个内存地址写入,即操作相互覆盖也没问题。对于大多数系统来说,这种做法是很糟糕的,因为会引发数据冲突,但是在一些情况下这么做是没问题的。威斯康星大学已经证明,在小型计算系统里,数据冲突的几率是很低的。这样的话,单台机器的速度可以显著提升。Adam则更进一步,把HOGWILD!的异步应用到整个计算机网络上。

神经网络非常稠密,所有的机器都要向主服务器发送更新,数据冲突风险很高。但是由于这种更新往往都是递增性的更新,所以发生冲突的结果往往是一致的。举个例子,机器1可能要给某个现值为5的变量加1,机器2则要给这个变量加3,这种情况下,系统不会控制两台机器的更新次序,因为最后结果是一样的,都是9。

这样一来,微软的神经网络在理解图像之类的东西是就可以快了许多且更精确。百度的深度学习专家Andrew Ng对此的评价是:

很有侵略性的做法,不过我知道为什么这种做法能省很多计算,好想法,很有趣。


令Ng感到惊讶的是,Adam运行于传统的计算机处理器而非GPU(图形处理器)上,后者往往是偏数学型计算的首选。许多深度学习系统都转向GPU以避免通信瓶颈,但是Adam却走了不同的路线。

神经网络需要大规模的数据,这种量已经超出了单台机器CPU的能力范围,所以才需要跨机器。用GPU可以更快地处理数据。问题是如果单个GPU或有多GPU的单台服务器无法容纳下整个AI模型的话,系统就会停转。因为数据中心的通信系统速率赶不上GPU处理信息的速度会导致数据拥塞。因此有些专家称GPU不适合扩展到大型神经网络上。Chilimbi也持同样的看法。

不过,由于微软并没有公布优化网络的细节,业界的专家对于Adam如何实现微软所声称的性能提升并不知晓。

目前该项目仍处于萌芽阶段。微软内部用户可以通过手机抓拍一个对象之后提交给Adam让它来识别。微软研究院负责人Peter Lee 称,他已经用Adam识别出了一种狗和一种害虫,目前该app尚未有面向公众推出的计划,但显然这种技术在电子商务、机器人和情感分析等方面都有广泛用途。微软内部也在讨论用FPGA(现场可编程逻辑门阵列)提高Adam性能的可能性。

[消息来源:wired.com]

相关推荐
热点推荐
清凉峰爬山后续:女子被插伤,嘴巴也裂了,深情老公再发声!

清凉峰爬山后续:女子被插伤,嘴巴也裂了,深情老公再发声!

古希腊掌管松饼的神
2024-04-26 15:36:18
美国FCC要求中国三大电信运营商60天后停止宽带服务

美国FCC要求中国三大电信运营商60天后停止宽带服务

北美商业电讯
2024-04-26 15:59:23
纪云浩当兵照被扒出,帽子引热议,果然不简单,父亲身份曝光

纪云浩当兵照被扒出,帽子引热议,果然不简单,父亲身份曝光

180°视角
2024-04-24 22:24:34
一周近550人被捕!美国高校毕业季受“巴以冲突”影响,爆发大规模抗议示威

一周近550人被捕!美国高校毕业季受“巴以冲突”影响,爆发大规模抗议示威

红星新闻
2024-04-26 20:43:47
高考重大改革!“985”、“211”时代终结,“101计划”时代全面到来!

高考重大改革!“985”、“211”时代终结,“101计划”时代全面到来!

创作者_1494406553502
2024-04-26 15:20:11
痛心!43岁抗癌网红“东东”去世,死因是胃癌,曾是一名帅气医生

痛心!43岁抗癌网红“东东”去世,死因是胃癌,曾是一名帅气医生

180°视角
2024-04-26 18:10:21
曝拼多多公然违反苹果规定,利用灵动岛向用户推送广告,且不留痕迹

曝拼多多公然违反苹果规定,利用灵动岛向用户推送广告,且不留痕迹

西游日记
2024-04-26 11:11:48
突出保卫重点!陈一新赴南方大省,选择的地点有深意

突出保卫重点!陈一新赴南方大省,选择的地点有深意

政知新媒体
2024-04-25 20:21:28
不会演别尬演!范伟一段“劳改犯出狱戏”,让观众看清演技有多假

不会演别尬演!范伟一段“劳改犯出狱戏”,让观众看清演技有多假

喵喵娱乐团
2024-04-26 16:09:28
70岁赵雅芝去世,世间再无白素贞?赵雅芝工作室回应了

70岁赵雅芝去世,世间再无白素贞?赵雅芝工作室回应了

拾娱先生
2024-04-25 15:30:08
闪电丢球,成都蓉城0-1山东泰山,5连胜终结,无缘登顶

闪电丢球,成都蓉城0-1山东泰山,5连胜终结,无缘登顶

凌空倒钩
2024-04-26 22:01:41
俄邀请73国参加金砖运动会,奥委会威胁:哪个国家敢去,就制裁谁

俄邀请73国参加金砖运动会,奥委会威胁:哪个国家敢去,就制裁谁

朝晖前哨
2024-04-26 10:00:34
网友劝字节跳动将TikTok出售给美国,毕竟那是实打实的几百亿美金

网友劝字节跳动将TikTok出售给美国,毕竟那是实打实的几百亿美金

映射生活的身影
2024-04-26 15:50:40
新华社快讯:以色列公共广播公司25日报道,以总理内塔尼亚胡批准在拉法开展地面行动的计划。

新华社快讯:以色列公共广播公司25日报道,以总理内塔尼亚胡批准在拉法开展地面行动的计划。

新华社
2024-04-26 01:52:09
广厦球迷:下赛季干回来!孙铭徽回复:下赛季在哪我都不知道

广厦球迷:下赛季干回来!孙铭徽回复:下赛季在哪我都不知道

懂球帝
2024-04-26 19:36:11
油价“跌翻天”!4月27日:调价后92号汽油价格,猪价如何?

油价“跌翻天”!4月27日:调价后92号汽油价格,猪价如何?

猪友巴巴
2024-04-26 14:23:15
惊!敖德萨火车站被俄瓦格纳部队攻陷!速看后续报道

惊!敖德萨火车站被俄瓦格纳部队攻陷!速看后续报道

世界探索者发现
2024-04-25 23:00:37
美国驻华大使馆发布中美外长会谈内容,却有多达七处被标注为“听不清”

美国驻华大使馆发布中美外长会谈内容,却有多达七处被标注为“听不清”

不掉线电波
2024-04-26 20:21:07
震惊!美国一男子强奸14岁少女被判阉割,网友:建议全球推广…

震惊!美国一男子强奸14岁少女被判阉割,网友:建议全球推广…

火山诗话
2024-04-26 13:37:54
突发!以色列本土城市遭袭

突发!以色列本土城市遭袭

北青网-北京青年报
2024-04-26 18:09:04
2024-04-26 22:28:49

科技要闻

车展观察|德系日系绝不能放弃中国市场

头条要闻

德国驻华大使称被中国外交部召见 外交部回应

头条要闻

德国驻华大使称被中国外交部召见 外交部回应

体育要闻

库里当选最佳关键球员 10项数据联盟第一

娱乐要闻

金靖回应不官宣恋情结婚的原因

财经要闻

贾跃亭,真他娘是个人才

汽车要闻

2024北京车展 比亚迪的自驱力让对手紧追猛赶

态度原创

教育
数码
健康
公开课
军事航空

教育要闻

小心题目中的陷阱,稍微不细心犯错

数码要闻

249元!小米推出米家无线智能宠物饮水机:接入澎湃 充电一次用4个月

这2种水果可降低高血压死亡风险

公开课

睡前进食会让你发胖吗?

军事要闻

以军称已完成对拉法地面军事行动准备工作

无障碍浏览 进入关怀版
×