网易首页 > 网易科技 > 网易智能 > 正文

AI教科书《深度学习》首发 网易智能开启赠书活动

0
分享至
网易智能即日开启《深度学习》中文版赠书活动,在微信(微信号smartman163)、微博(网易智能) 有关《深度学习》书籍的内容下面留言,点赞数最高的留言者将免费获赠本书。

内容概要

由全球知名专家Ian Goodfellow、Yoshua Bengio和Aaron Courville三人合著而成的、深度学习领域奠基性的经典教材《深度学习》于近日首发。全书内容包括三部分:一,介绍基本的数学工具和机器学习的概念,它们是深度学习的预备知识;二,系统深入地讲解现今已成熟的深度学习方法和技术;三,讨论某些具有前瞻性的方向和想法,它们被公认为是深度学习未来的研究重点。

作者简介

【美】Ian Goodfellow(伊恩·古德费洛),谷歌公司(Google) 的研究科学家,2014年蒙特利尔大学机器学习博士。他的研究兴趣涵盖大多数深度学习主题,特别是生成模型以及机器学习的安全和隐私。Ian Goodfellow在研究对抗样本方面是一位有影响力的早期研究者,他发明了生成式对抗网络,在深度学习领域贡献卓越。

【加】Yoshua Bengio(约书亚·本吉奥),蒙特利尔大学计算机科学与运筹学系(DIRO) 教授,蒙特利尔学习算法研究所(MILA) 负责人,CIFAR项目共同负责人,加拿大统计学习算法研究主席。其主要研究目标是为进一步了解产生智力的学习原则。

【加】Aaron Courville(亚伦·库维尔),蒙特利尔大学计算机科学与运筹学系的助理教授,LISA实验室成员,研究兴趣主要集中在发展深度学习模型和方法,特别是开发概率模型和新颖推断方法上。另外,还主要专注于计算机视觉应用,在其他领域,如自然语言处理、音频信号处理、语音理解和其他AI相关任务方面也有所研究。

图书信息

书名:深度学习(Deep Learning)

书号:978-7-115-46147-6

作者:[美]Ian Goodfellow(伊恩·古德费洛)、[加]Yoshua Bengio(约书亚·本吉奥)、[加]Aaron Courville(亚伦·库维尔)

译者:赵申剑、黎彧君、符天凡、李凯

审校者:张志华

出版日期:2017年8月

定价:168元

更多信息,请访问人民邮电出版社异步社区:www.epubit.com.cn

适读人群

《深度学习》适合各类读者阅读,包括相关专业的大学生或研究生,以及不具有机器学习或统计背景、但是想要快速补充深度学习知识,以便在实际产品或平台中应用的软件工程师。

推荐理由

AI圣经!深度学习领域奠基性的经典畅销书!

长期位居美国亚马逊AI和机器学习类图书榜首!

所有数据科学家和机器学习从业者的必读图书!

特斯拉CEO埃隆·马斯克等国内外众多专家推荐!

专家推荐

1.《深度学习》由该领域的三位专家撰写,是目前该领域唯一的综合性图书。它为正在进入该领域的软件工程师和学生提供了广泛的视角和基础的数学知识,同时也可以为研究者提供参考。

 —OpenAI联合主席,特斯拉和SpaceX共同创始人兼首席执行官Elon Musk

2.这是深度学习的权威教科书,由该领域的主要贡献者撰写。此书内容非常清晰、全面并且权威。阅读这本书,你可以知道深度学习的由来、它的好处以及它的未来。

—多伦多大学荣誉退休教授,Google杰出研究科学家Geoffrey Hinton

3.最近十年以来,深度学习成为了风靡全球的技术。学生、从业人员和教师都需要这样一本包含基本概念、实践方法和高级研究课题的教科书。这是深度学习领域第一本综合性的教科书,由几位最具创意和多产的研究人员撰写。这本书将成为经典。

—Facebook人工智能研究院院长,纽约大学计算机科学、数据科学与神经科学教授Yann LeCun

4.深度学习近年来在学术界和产业界都取得了极大的成功,但诚如本书作者所说,深度学习是创建人工智能系统的一个重要的方法,但不是全部的方法。期望在人工智能领域有所作为的研究人员,可以通过本书充分思考深度学习和传统机器学习、人工智能算法的联系和区别,共同推进本领域的发展。

—微软研究院首席研究员华刚博士

5.这是一本还在写作阶段就被开发、研究和工程人员极大关注的深度学习教科书。它的出版表明我们进入了一个系统化理解和组织深度学习框架的新时代。这本书从浅入深介绍了基础数学、机器学习经验,以及现阶段深度学习的理论和发展。它能帮助AI技术爱好者和从业人员在三位专家学者的思维带领下全方位了解深度学习。

—腾讯优图杰出科学家、香港中文大学教授贾佳亚

6.深度学习代表了我们这个时代的人工智能技术。这部由该领域最权威的几位学者Good-fellow、Bengio、Courville撰写的题为《深度学习》的著作,涵盖了深度学习的基础与应用、理论与实践等各个方面的主要技术,观点鲜明,论述深刻,讲解详尽,内容充实。相信这是每一位关注深度学习人士的必读书目和必备宝典。感谢张志华教授等的辛勤审校,使这部大作能够这么快与中文读者见面。

 —华为诺亚方舟实验室主任,北京大学、南京大学客座教授,IEEE Fellow李航

7.从基础前馈神经网络到深度生成模型,从数学模型到最佳实践,这本书覆盖了深度学习的各个方面。《深度学习》是当下最适合的入门书籍,强烈推荐给此领域的研究者和从业人员。

—亚马逊主任科学家、Apache MXNet发起人之一李沐

8.出自三位深度学习最前沿权威学者的教科书一定要在案前放一本。本书的第二部分是精华,对深度学习的基本技术进行了深入浅出的精彩阐述。

—ResNet作者之一、Face++ 首席科学家孙剑

9.过去十年里,深度学习的广泛应用开创了人工智能的新时代。这本教材是深度学习领域有重要影响的几位学者共同撰写。它涵盖了深度学习的主要方向,为想进入该领域的研究人员、工程师以及初学者提供了一个很好的系统性教材。

—香港中文大学信息工程系主任汤晓鸥教授

10.这是一本教科书,又不只是一本教科书。任何对深度学习感兴趣的读者,本书在很长一段时间里,都将是你能获得的最全面系统的资料,以及思考并真正推进深度学习产业应用、构建智能化社会框架的绝佳理论起点。

—新智元创始人兼CEO杨静

译者序

青山遮不住,毕竟东流去

深度学习这个术语自2006年被正式提出后,在最近10年得到了巨大发展。它使人工智能 (AI) 产生了革命性的突破,让我们切实地领略到人工智能给人类生活带来改变的潜力。2016年12月,MIT出版社出版了Ian Goodfellow、Yoshua Bengio 和Aaron Courville 三位学者撰写的《Deep Learning》一书。三位作者一直耕耘于机器学习领域的前沿,引领了深度学习的发展潮流,是深度学习众多方法的主要贡献者。该书正应其时,一经出版就风靡全球。

这是一本涵盖深度学习技术细节的教科书,它告诉我们深度学习集技术、科学与艺术于一体,牵涉统计、优化、矩阵、算法、编程、分布式计算等多个领域。书中同时也蕴含了作者对深度学习的理解和思考,处处闪烁着深刻的思想,耐人回味。第1章关于深度学习的思想、历史发展等论述尤为透彻而精辟。

作者在书中写到:“人工智能的真正挑战在于解决那些对人来说很容易执行、但很难形式化描述的任务,比如识别人们所说的话或图像中的脸。对于这些问题,我们人类往往可以凭直觉轻易地解决”。为了应对这些挑战,他们提出让计算机从经验中学习,并根据层次化的概念体系来理解世界,而每个概念通过与某些相对简单的概念之间的关系来定义。由此,作者给出了深度学习的定义:“层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出表示这些概念如何建立在彼此之上的一幅图,我们将得到一张 `深'(层次很多) 的图。由此,我们称这种方法为AI 深度学习 (deep learning)”。

作者指出:“一般认为,到目前为止深度学习已经经历了三次发展浪潮:20世纪40 年代到60 年代深度学习的雏形出现在控制论 (cybernetics) 中,20 世纪 80 年代到 90 年代深度学习以联结主义 (connectionism) 为代表,而从 2006 年开始,以深度学习之名复兴”。

谈到深度学习与脑科学或者神经科学的关系,作者强调:“如今神经科学在深度学习研究中的作用被削弱,主要原因是我们根本没有足够的关于大脑的信息作为指导去使用它。要获得对被大脑实际使用算法的深刻理解,我们需要有能力同时监测 (至少是) 数千相连神经元的活动。我们不能够做到这一点,所以我们甚至连大脑最简单、最深入研究的部分都还远远没有理解”。值得注意的是,我国有些专家热衷倡导人工智能与脑科学或认知学科的交叉研究,推动国家在所谓的“类脑智能”等领域投入大量资源。且不论我国是否真有同时精通人工智能和脑科学或认知心理学的学者,至少对交叉领域,我们都应该怀着务实、理性的求是态度。唯有如此,我们才有可能在这一波人工智能发展浪潮中有所作为,而不是又成为一群观潮人。

作者进一步指出:“媒体报道经常强调深度学习与大脑的相似性。的确,深度学习研究者比其他机器学习领域 (如核方法或贝叶斯统计) 的研究者更可能地引用大脑作为参考,但大家不应该认为深度学习在尝试模拟大脑。现代深度学习从许多领域获取灵感,特别是应用数学的基本内容如线性代数、概率论、信息论和数值优化。尽管一些深度学习的研究人员引用神经科学作为重要的灵感来源,然而其他学者完全不关心神经科学”。的确,对于广大青年学者和一线的工程师来说,我们是可以完全不用因为不懂神经 (或脑) 科学而对深度学习、人工智能踯躅不前。数学模型、计算方法和应用驱动才是我们研究人工智能的可行之道。深度学习和人工智能不是飘悬在我们头顶的框架,而是立足于我们脚下的技术。我们诚然可以从哲学层面或角度来欣赏科学与技术,但过度地从哲学层面来研究科学问题只会导致一些空洞的名词。

关于人工神经网络在 20 世纪 90 年代中期的衰落,作者分析到:“基于神经网络和其他AI 技术的创业公司开始寻求投资,其做法野心勃勃但不切实际。当 AI 研究不能实现这些不合理的期望时,投资者感到失望。同时,机器学习的其他领域取得了进步。比如,核方法和图模型都在很多重要任务上实现了很好的效果。这两个因素导致了神经网络热潮的第二次衰退,并一直持续到 2007 年”。“其兴也悖焉,其亡也忽焉”。这个教训也同样值得当今基于深度学习的创业界、工业界和学术界等警醒。

我非常荣幸获得人民邮电出版社王峰松先生的邀请来负责该书的中文翻译。我是 2016 年 7 月收到王先生的邀请,但那时我正忙于找工作,无暇顾及。然而,当我和我的学生讨论翻译事宜时,他们一致认为这是一件非常有意义的事情,表达愿意来承担。译稿是由我的四位学生赵申剑、黎彧君、符天凡和李凯独立完成的。申剑和天凡是二年级的硕士生,而李凯和彧君则分别是二年级和三年级的直博生。虽然他们在机器学习领域都还是新人,其知识结构还不全面,但是他们热情高涨、勤于学习、工作专注、执行力极强。他们通过重现书中的算法代码和阅读相关文献来加强理解,在不到三个月的时间就拿出了译著的初稿,之后又经过自校对、交叉校对等环节力图使译著保持正确性和一致性。他们自我协调、主动揽责、相互谦让,他们的责任心和独立工作能力让我倍感欣慰,因而得以从容。

由于我们无论是中文还是英文能力都深感有限,译文恐怕还是有些生硬,我们特别担心未能完整地传达出原作者的真实思想和观点。因此,我们强烈地建议有条件的读者去阅读英文原著,也非常期待大家继续指正译著,以便今后进一步修订完善。我恳请大家多给予 4 位译者以鼓励。请把你们对译著的批评留给我,这是我作为他们的导师必须要承担的,也是我对王峰松先生的信任做出的承诺。

当初译稿基本完成时,我们决定把它公开在 GitHub 上,希望通过广大读者的参与来完善译稿。令人惊喜的是,有上百位热心读者给予了大量富有建设性的修改意见,其中有 20 多位热心读者直接帮助润色校对 (详见中文版致谢名单)。可以说,这本译著是大家共同努力的结晶。这些读者来自一线的工程师和在校的学生,从中我领略到了他们对深度学习和机器学习领域的挚爱。更重要的是,我感受到了他们开放、合作和奉献的精神,而这也是推动人工智能发展不可或缺的。因此,我更加坚定地认为中国人工智能发展的希望在于年青学者,唯有他们才能让我国人工智能学科在世界有竞争力和影响力。

江山代有人才出,各领风骚数十年!

张志华代笔

2017年5月12日于北大静园六院

精彩片段抢先看

远在古希腊时期,发明家就梦想着创造能自主思考的机器。神话人物皮格马利翁(Pygmalion)、代达罗斯(Daedalus)和赫淮斯托斯(Hephaestus)可以被看作传说中的发明家,而加拉蒂亚(Galatea)、塔洛斯(Talos)和潘多拉(Pandora)则可以被视为人造生命 (Ovid and Martin, 2004; Sparkes,1996; Tandy,1997)。

当人类第一次构思可编程计算机时,就已经在思考计算机能否变得智能 (尽管这距造出第一台计算机还有一百多年)(Lovelace, 1842)。如今,人工智能(artificial intelligence, AI) 已经成为一个具有众多实际应用和活跃研究课题的领域,并且正在蓬勃发展。我们期望通过智能软件自动地处理常规劳动、理解语音或图像、帮助医学诊断和支持基础科学研究。

在人工智能的早期,那些对人类智力来说非常困难、但对计算机来说相对简单的问题得到迅速解决,比如,那些可以通过一系列形式化的数学规则来描述的问题。人工智能的真正挑战在于解决那些对人来说很容易执行、但很难形式化描述的任务,如识别人们所说的话或图像中的脸。对于这些问题,我们人类往往可以凭借直觉轻易地解决。

针对这些比较直观的问题,大牛们找到一种解决方案。该方案可以让计算机从经验中学习,并根据层次化的概念体系来理解世界,而每个概念则通过与某些相对简单的概念之间的关系来定义。让计算机从经验获取知识,可以避免由人类来给计算机形式化地指定它需要的所有知识。层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出表示这些概念如何建立在彼此之上的图,我们将得到一张“深”(层次很多) 的图。基于这个原因,我们称这种方法为AI深度学习(deep learning)。

AI许多早期的成功发生在相对朴素且形式化的环境中,而且不要求计算机具备很多关于世界的知识。例如,IBM的深蓝 (Deep Blue) 国际象棋系统在 1997 年击败了世界冠军Garry Kasparov(Hsu, 2002)。显然国际象棋是一个非常简单的领域,因为它仅含有 64 个位置并只能以严格限制的方式移动 32 个棋子。设计一种成功的国际象棋策略是巨大的成就,但向计算机描述棋子及其允许的走法并不是这一挑战的困难所在。国际象棋完全可以由一个非常简短的、完全形式化的规则列表来描述,并可以容易地由程序员事先准备好。

具有讽刺意义的是,抽象和形式化的任务对人类而言是最困难的脑力任务之一,但对计算机而言却属于最容易的。计算机早就能够打败人类最好的国际象棋选手,但直到最近计算机才在识别对象或语音任务中达到人类平均水平。一个人的日常生活需要关于世界的巨量知识。很多这方面的知识是主观的、直观的,因此很难通过形式化的方式表达清楚。计算机需要获取同样的知识才能表现出智能。人工智能的一个关键挑战就是如何将这些非形式化的知识传达给计算机。

一些人工智能项目力求将关于世界的知识用形式化的语言进行硬编码 (hard-code)。计算机可以使用逻辑推理规则来自动地理解这些形式化语言中的声明。这就是众所周知的人工智能的知识库(knowledge base) 方法。然而,这些项目最终都没有取得重大的成功。其中最著名的项目是 Cyc (Lenat and Guha, 1989)。Cyc 包括一个推断引擎和一个使用 CycL 语言描述的声明数据库。这些声明是由人类监督者输入的。这是一个笨拙的过程。人们设法设计出足够复杂的形式化规则来精确地描述世界。例如,Cyc 不能理解一个关于名为 Fred 的人在早上剃须的故事 (Linde, 1992)。它的推理引擎检测到故事中的不一致性:它知道人体的构成不包含电气零件,但由于 Fred 正拿着一个电动剃须刀,它认为实体 ——“正在剃须的 Fred”(“FredWhileShaving”) 含有电气部件。因此,它产生了这样的疑问 ——Fred在刮胡子的时候是否仍然是一个人。

依靠硬编码的知识体系面临的困难表明,AI系统需要具备自己获取知识的能力,即从原始数据中提取模式的能力。这种能力称为机器学习(machine learning)。引入机器学习使计算机能够解决涉及现实世界知识的问题,并能做出看似主观的决策。比如,一个称为逻辑回归(logistic regression)的简单机器学习算法可以决定是否建议剖腹产(Mor-Yosef et al.,1990)。而同样是简单机器学习算法的朴素贝叶斯(naive Bayes)则可以区分垃圾电子邮件和合法电子邮件。

这些简单的机器学习算法的性能在很大程度上依赖于给定数据的表示(representation)。例如,当逻辑回归用于判断产妇是否适合剖腹产时,AI系统不会直接检查患者。相反,医生需要告诉系统几条相关的信息,诸如是否存在子宫疤痕。表示患者的每条信息称为一个特征。逻辑回归学习病人的这些特征如何与各种结果相关联。然而,它丝毫不能影响该特征定义的方式。如果将病人的MRI(核磁共振) 扫描而不是医生正式的报告作为逻辑回归的输入,它将无法做出有用的预测。MRI扫描的单一像素与分娩过程中并发症之间的相关性微乎其微。

在整个计算机科学乃至日常生活中,对表示的依赖都是一个普遍现象。在计算机科学中,如果数据集合被精巧地结构化并被智能地索引,那么诸如搜索之类的操作的处理速度就可以成指数级地加快。人们可以很容易地在阿拉伯数字的表示下进行算术运算,但在罗马数字的表示下,运算会比较耗时。因此,毫不奇怪,表示的选择会对机器学习算法的性能产生巨大的影响。图 1 展示了一个简单的可视化例子。


图 1 不同表示的例子:假设我们想在散点图中画一条线来分隔两类数据。在左图中,我们使用笛卡儿坐标表示数据,这个任务是不可能的。在右图中,我们用极坐标表示数据,可以用垂直线简单地解决这个任务(与David Warde-Farley 合作绘制此图)许多人工智能任务都可以通过以下方式解决:先提取一个合适的特征集,然后将这些特征提供给简单的机器学习算法。例如,对于通过声音鉴别说话者的任务来说,一个有用的特征是对其声道大小的估计。这个特征为判断说话者是男性、女性还是儿童提供了有力线索。

然而,对于许多任务来说,我们很难知道应该提取哪些特征。例如,假设我们想编写一个程序来检测照片中的车。我们知道,汽车有轮子,所以我们可能会想用车轮的存在与否作为特征。遗憾的是,我们难以准确地根据像素值来描述车轮看上去像什么。虽然车轮具有简单的几何形状,但它的图像可能会因场景而异,如落在车轮上的阴影、太阳照亮的车轮的金属零件、汽车的挡泥板或者遮挡的车轮一部分的前景物体等。

解决这个问题的途径之一是使用机器学习来发掘表示本身,而不仅仅把表示映射到输出。

这种方法我们称之为表示学习(representation learning)。学习到的表示往往比手动设计的表示表现得更好。并且它们只需最少的人工干预,就能让AI系统迅速适应新的任务。表示学习算法只需几分钟就可以为简单的任务发现一个很好的特征集,对于复杂任务则需要几小时到几个月。手动为一个复杂的任务设计特征需要耗费大量的人工、时间和精力,甚至需要花费整个社群研究人员几十年的时间。

表示学习算法的典型例子是自编码器(autoencoder)。自编码器由一个编码器(encoder)函数和一个解码器(decoder)函数组合而成。编码器函数将输入数据转换为一种不同的表示,而解码器函数则将这个新的表示转换回原来的形式。我们期望当输入数据经过编码器和解码器之后尽可能多地保留信息,同时希望新的表示有各种好的特性,这也是自编码器的训练目标。为了实现不同的特性,我们可以设计不同形式的自编码器。

当设计特征或设计用于学习特征的算法时,我们的目标通常是分离出能解释观察数据的变差因素(factors of variation)。在此背景下,“因素”这个词仅指代影响的不同来源;因素通常不是乘性组合。这些因素通常是不能被直接观察到的量。相反,它们可能是现实世界中观察不到的物体或者不可观测的力,但会影响可观测的量。为了对观察到的数据提供有用的简化解释或推断其原因,它们还可能以概念的形式存在于人类的思维中。它们可以被看作数据的概念或者抽象,帮助我们了解这些数据的丰富多样性。当分析语音记录时,变差因素包括说话者的年龄、性别、他们的口音和他们正在说的词语。当分析汽车的图像时,变差因素包括汽车的位置、它的颜色、太阳的角度和亮度。

在许多现实的人工智能应用中,困难主要源于多个变差因素同时影响着我们能够观察到的每一个数据。比如,在一张包含红色汽车的图片中,其单个像素在夜间可能会非常接近黑色。汽车轮廓的形状取决于视角。大多数应用需要我们理清变差因素并忽略我们不关心的因素。

显然,从原始数据中提取如此高层次、抽象的特征是非常困难的。许多诸如说话口音这样的变差因素,只能通过对数据进行复杂的、接近人类水平的理解来辨识。这几乎与获得原问题的表示一样困难,因此,乍一看,表示学习似乎并不能帮助我们。

深度学习(deep learning) 通过其他较简单的表示来表达复杂表示,解决了表示学习中的核心问题。

深度学习让计算机通过较简单的概念构建复杂的概念。图 2 展示了深度学习系统如何通过组合较简单的概念 (例如角和轮廓,它们反过来由边线定义) 来表示图像中人的概念。深度学习模型的典型例子是前馈深度网络或或多层感知机(multilayer perceptron, MLP)。多层感知机仅仅是一个将一组输入值映射到输出值的数学函数。该函数由许多较简单的函数复合而成。我们可以认为不同数学函数的每一次应用都为输入提供了新的表示。学习数据的正确表示的想法是解释深度学习的一个视角。另一个视角是深度促使计算机学习一个多步骤的计算机程序。每一层表示都可以被认为是并行执行另一组指令之后计算机的存储器状态。更深的网络可以按顺序执行更多的指令。顺序指令提供了极大的能力,因为后面的指令可以参考早期指令的结果。从这个角度上看,在某层激活函数里,并非所有信息都蕴涵着解释输入的变差因素。表示还存储着状态信息,用于帮助程序理解输入。这里的状态信息类似于传统计算机程序中的计数器或指针。它与具体的输入内容无关,但有助于模型组织其处理过程。


图 2 深度学习模型的示意图。计算机难以理解原始感观输入数据的含义,如表示为像素值集合的图像。将一组像素映射到对象标识的函数非常复杂。如果直接处理,学习或评估此映射似乎是不可能的。深度学习将所需的复杂映射分解为一系列嵌套的简单映射(每个由模型的不同层描述)来解决这一难题。输入展示在可见层(visible layer),这样命名的原因是因为它包含我们能观察到的变量。然后是一系列从图像中提取越来越多抽象特征的隐藏层(hidden layer)。因为它们的值不在数据中给出,所以将这些层称为“隐藏层”;模型必须确定哪些概念有利于解释观察数据中的关系。这里的图像是每个隐藏单元表示的特征的可视化。给定像素,第 1 层可以轻易地通过比较相邻像素的亮度来识别边缘。有了第 1 隐藏层描述的边缘,第 2 隐藏层可以容易地搜索可识别为角和扩展轮廓的边集合。给定第 2 隐藏层中关于角和轮廓的图像描述,第 3 隐藏层可以找到轮廓和角的特定集合来检测特定对象的整个部分。最后,根据图像描述中包含的对象部分,可以识别图像中存在的对象(经Zeiler and Fergus(2014)许可引用此图)目前主要有两种度量模型深度的方式。一种方式是基于评估架构所需执行的顺序指令的数目。假设我们将模型表示为给定输入后,计算对应输出的流程图,则可以将这张流程图中的最长路径视为模型的深度。正如两个使用不同语言编写的等价程序将具有不同的长度,相同的函数可以被绘制为具有不同深度的流程图,其深度取决于我们可以用来作为一个步骤的函数。图 3 说明了语言的选择如何给相同的架构两个不同的衡量。


图 3 将输入映射到输出的计算图表的示意图,其中每个节点执行一个操作。深度是从输入到输出的最长路径的长度,但这取决于可能的计算步骤的定义。这些图中所示的计算是逻辑回归模型的输出,σ(wTx),其中σ是logistic sigmoid函数。如果使用加法、乘法和logistic sigmoid作为计算机语言的元素,那么这个模型深度为 3 ;如果将逻辑回归视为元素本身,那么这个模型深度为 1 。

另一种是在深度概率模型中使用的方法,它不是将计算图的深度视为模型深度,而是将描述概念彼此如何关联的图的深度视为模型深度。在这种情况下,计算每个概念表示的计算流程图的深度可能比概念本身的图更深。这是因为系统对较简单概念的理解在给出更复杂概念的信息后可以进一步精细化。例如,一个AI系统观察其中一只眼睛在阴影中的脸部图像时,它最初可能只看到一只眼睛。但当检测到脸部的存在后,系统可以推断第二只眼睛也可能是存在的。在这种情况下,概念的图仅包括两层(关于眼睛的层和关于脸的层),但如果我们细化每个概念的估计将需要额外的n次计算,那么计算的图将包含2n层。

由于并不总是清楚计算图的深度和概率模型图的深度哪一个是最有意义的,并且由于不同的人选择不同的最小元素集来构建相应的图,所以就像计算机程序的长度不存在单一的正确值一样,架构的深度也不存在单一的正确值。另外,也不存在模型多么深才能被修饰为“深”的共识。但相比传统机器学习,深度学习研究的模型涉及更多学到功能或学到概念的组合,这点毋庸置疑。

总之,深度学习是通向人工智能的途径之一。具体来说,它是机器学习的一种,一种能够使计算机系统从经验和数据中得到提高的技术。我们坚信机器学习可以构建出在复杂实际环境下运行的AI系统,并且是唯一切实可行的方法。深度学习是一种特定类型的机器学习,具有强大的能力和灵活性,它将大千世界表示为嵌套的层次概念体系(由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示)。图 4 说明了这些不同的AI学科之间的关系。图 5 展示了每个学科如何工作的高层次原理。


图 4 维恩图展示了深度学习既是一种表示学习,也是一种机器学习,可以用于许多(但不是全部)AI方法。维恩图的每个部分包括一个AI技术的实例。


图 5 流程图展示了AI系统的不同部分如何在不同的AI学科中彼此相关。阴影框表示能从数据中学习的组件。

(本文节选自《深度学习》

网易智能即日开启《深度学习》中文版赠书活动,在微信(微信号smartman163)、微博(网易智能) 有关《深度学习》书籍的内容下面留言,点赞数最高的留言者将免费获赠本书。


相关推荐
热点推荐
尘埃落定!马莱莱是否能出战申花与鲁能的比赛,终于有权威结论

尘埃落定!马莱莱是否能出战申花与鲁能的比赛,终于有权威结论

评球论事
2024-03-29 13:27:00
真相将揭晓?当年华夏幸福冲超关键战,对方外援达纳拉赫拒绝出战

真相将揭晓?当年华夏幸福冲超关键战,对方外援达纳拉赫拒绝出战

直播吧
2024-03-28 22:17:20
女子穿高跟鞋爬山脚痛,相亲男生无奈只能背她上山:感觉上当了

女子穿高跟鞋爬山脚痛,相亲男生无奈只能背她上山:感觉上当了

唐小糖说情感
2024-03-29 12:32:25
WOJ:火箭欲用申京和两个首轮向上交易,并用状元签选择萨尔

WOJ:火箭欲用申京和两个首轮向上交易,并用状元签选择萨尔

小诸葛拜仁主席霍内斯
2024-03-29 02:18:38
莫斯科恐袭阴云笼罩欧洲,法国、意大利调高反恐警戒级别

莫斯科恐袭阴云笼罩欧洲,法国、意大利调高反恐警戒级别

第一财经资讯
2024-03-28 14:31:15
隆多:如果勇士连附加赛都打不了 那这个王朝也该散伙了

隆多:如果勇士连附加赛都打不了 那这个王朝也该散伙了

直播吧
2024-03-28 23:21:17
A股:方向十分明确,下周(周一)还会有更大变盘。

A股:方向十分明确,下周(周一)还会有更大变盘。

月落春晓
2024-03-29 16:06:14
福建三地最新人事!思明区任命2位副区长,他从贵州来挂职

福建三地最新人事!思明区任命2位副区长,他从贵州来挂职

鲁中晨报
2024-03-29 07:05:04
新加坡队长:如果亚洲球员有本事,像武磊去西班牙能得到更好待遇

新加坡队长:如果亚洲球员有本事,像武磊去西班牙能得到更好待遇

直播吧
2024-03-28 19:17:22
注意,不要等房价暴涨,上海没有出台更多新政,暂时没有接到通知

注意,不要等房价暴涨,上海没有出台更多新政,暂时没有接到通知

重庆地产视野
2024-03-29 12:05:08
内地女误带30元蝴蝶兰入境香港损失惨重!一家大小被海关扣至凌晨

内地女误带30元蝴蝶兰入境香港损失惨重!一家大小被海关扣至凌晨

冬天来旅游
2024-03-28 18:35:02
李立群:我还以为就我一个人老了,结果全老了!

李立群:我还以为就我一个人老了,结果全老了!

映射生活的身影
2024-03-28 17:29:42
俄罗斯军队在乌克兰遇到的问题比损失坦克更大:基层军官损失惨重

俄罗斯军队在乌克兰遇到的问题比损失坦克更大:基层军官损失惨重

零度Military
2024-03-17 20:51:12
Makiyo揭小S夫妇真面目,网友惊呆:原来他们是这样的人!

Makiyo揭小S夫妇真面目,网友惊呆:原来他们是这样的人!

娱乐圈酸柠檬
2024-03-27 08:57:24
400架被俄罗斯扣留飞机保险索赔无望,运营方被指责自愿羊入虎口

400架被俄罗斯扣留飞机保险索赔无望,运营方被指责自愿羊入虎口

探索星空
2024-03-29 10:45:58
妹子天生两套生殖系统,所以交两个男友... 她理直气壮:他们各用各的,我就不算出轨….

妹子天生两套生殖系统,所以交两个男友... 她理直气壮:他们各用各的,我就不算出轨….

英国那些事儿
2024-03-19 23:57:32
东方甄选福建行第一天,直播间4.7 万人,重返带货总榜第一名

东方甄选福建行第一天,直播间4.7 万人,重返带货总榜第一名

娱圈小愚
2024-03-29 13:50:11
涉案1亿!李铁正面照曝光,面红润脸发福状态佳,网友:睡得香

涉案1亿!李铁正面照曝光,面红润脸发福状态佳,网友:睡得香

小眉小眼
2024-03-29 08:51:51
浪漫的先知:年仅28岁的徐志摩是如何看穿苏俄“一切都是演戏”的

浪漫的先知:年仅28岁的徐志摩是如何看穿苏俄“一切都是演戏”的

多元思想
2024-03-25 22:53:55
许老板一生经历三位顶级风水师,最终因生前立碑大修祖坟万劫不复

许老板一生经历三位顶级风水师,最终因生前立碑大修祖坟万劫不复

真实故事汇
2024-03-25 16:21:18
2024-03-29 16:52:49

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

头条要闻

威马汽车负债超过203亿元 多位高层被抓

头条要闻

威马汽车负债超过203亿元 多位高层被抓

体育要闻

拒绝为国出战,他是足坛"天选打工人"

娱乐要闻

胡夏被曝有孩子!工作室火速辟谣

财经要闻

张维迎:如何正确理解企业家精神?

汽车要闻

找回久违的开怀大笑 试驾小米SU7 Max

态度原创

房产
艺术
教育
旅游
军事航空

房产要闻

卖方“厮杀”,广州楼市掀起特价潮

艺术要闻

艺术开卷|从闺阁、庭院到郊野,古画中的女性生活空间

教育要闻

男孩当街暴打妈妈引发众怒,真实原因曝光,网友:不值得同情!

旅游要闻

赏花不止于“春” 农文旅融合助力乡村

军事要闻

乌方声称击落两枚俄"锆石"高超音速导弹 俄方未予回应

无障碍浏览 进入关怀版
×