新AI时代序幕已拉开 不信请看这十四大例

2020-01-21 16:48:39 来源: 网易智能 网易号 举报
0
分享到:
T + -

新AI时代序幕已拉开 不信请看这十四大例

网易科技讯 1月21日消息,时间过得比我们预想的要快,并且摩尔定律依然在发挥着作用。但是,仍然有很多事情要做。在接下来的文章中,我希望能够列出2019年(部分发生在2018年)机器学习(ML)和深度学习(DL)领域的重大事件。这些大部分都是基于神经网络的模型,给我留下了深刻的印象。

新AI时代序幕已拉开 不信请看这十四大例

图1:BigGAN生成的时钟图像

伊恩·古德费罗(Ian Goodfellow)曾发布推文,完美地展示了深度学习领域取得的成就:在短短4年半时间里,生成性对抗网络(GAN)技术在面部生成领域取得的重大进展。即使这与特定的主题有关,GAN取得的进步也很好地表明了已经发生的事情,以及即将发生的事情。一幅画胜过千言万语。我有一种感觉,2019年的进步比几年前迅猛得多。 

1 BigGan

BigGan扩展了生成性对抗性网络(GAN),允许用户在巨大的可视数据库上进行训练,并生成新的可视图像。该系统的核心是两个神经网络,即生成器和鉴别器。生成器创建新的视觉效果,并试图说服鉴别器它是真实的图像。而鉴别器将生成的图像与其“经验”对照,并将其作为“未通过”发送回生成器。这种反复的相互作用会始终持续下去,直到双方达成某种“共识”。尝试使用这款BigGAN功能,用户可以使用分类条件采样并创建例如山谷之类的图像:

新AI时代序幕已拉开 不信请看这十四大例

图2:BigGAN生成的山谷图像

如你所见,BigGan仍然属于弱人工智能(Weak AI)。该网络不知道时钟是什么,它们只是知道,这个东西会是什么样子:“圆形”,“有字符和箭头”。我认为AI解释世界的尝试与柏拉图的形式与思维理论有明显的相似之处:在柏拉图看来,思维或形式是物质事物的元物理本质。物质的东西不是原作,而只是思维或形式的仿制品。

2 BigGAN蜕变

我们可以更进一步,BigGAN不仅仅能生成带标签的图像,我们还可以使用它和插值函数来合并和变形东西。在BigGAN的情况下,生成的图像A转换为生成图像B是可能的,尽管它们在语义上是不同的。使用这些设置,你可以把约克夏犬变成航天飞机,这种方法开启了前所未有的可能性,甚至超越了人类的想象。你甚至可以制作出渐变性更强的画面,并将它们组合成动画素材。

新AI时代序幕已拉开 不信请看这十四大例

图3:狗狗变成了航天飞机

3风格转换

StyleGAN允许另一种类型的图像修改——风格转换,即图像A的风格被转移到图像B中。目前有各种各样基于深度学习的免费和付费应用程序,可以把你的图像转换成世界艺术大师的艺术作品。我用各种艺术家的风格转换了我的用户图片,得到了令人信服的结果。

新AI时代序幕已拉开 不信请看这十四大例

有人可能很熟悉风格转换功能,因为Towards Data Science提供了许多关于这个主题的很棒的文章。艺术家基尼·科根(Gene Cogan)将风格转移运用到迪斯尼的《爱丽丝梦游仙境》(茶会场景)中,并将17个著名的艺术作品的风格转移到动画中。最近,StyleGAN2进入人们的视线,其图像质量得到了提高。此外,新的图像修改方式也成为可能。例如,StyleGAN投影,与任何可能的图像中的目标图像对齐。

4风格转换的创意运用:绘画的深度协调性

新AI时代序幕已拉开 不信请看这十四大例

有些艺术家和开发者使用风格转换功能来进行创造性的图像处理。这个想法非常简单:1)以目标图像B为例;2)将其风格转换为要构建到B中元素;3)结合与享受。该方法允许的艺术用途,例如用于数字图像拼贴中的风格转移。基尼·科根(Gene Cogan)在自拍照中使用风格转换功能,将自己植入到世界艺术史中。

5Comixify,将视频转换为故事板

新AI时代序幕已拉开 不信请看这十四大例

华沙科技大学的研究人员都对人工智能和漫画艺术着迷,为此他们把自己的热情结合到一个惊人的项目中。1)该模型利用智能视频摘要对视频进行分析;2)视频片段中的场景由深度学习定义的、最具美学影响的帧分隔;3)对图像的特定风格化进行了风格转换;4)选定的帧被放入故事板或漫画布局中。

我是塔尔科夫斯基(Tarkovsky)电影的超级粉丝,所以我很想看看这部超级版《潜行者》会发生什么。结果令人震惊,特别是如果你知道并且喜欢这部电影,你会发现画面的选择是多么令人惊讶。它实际上描绘了《潜行者》的核心思想,却没有破坏电影。

6 CycleGAN,无输入输出对的图像到图像转换

新AI时代序幕已拉开 不信请看这十四大例

当BigGAN在预先训练的基础上生成新图像,StyleGAN在两个图像之间传输样式时,CycleGAN使用单个图像将其样式或特征转换成不同的东西。实际上,这是一个不配对的图像到图像转换,使用的是周期一致的对抗网络。1) 图像由GAN进行分析(包括模式和目标检测);2)应用预先训练好的特征修改;3)与“1”中的图像相同,“2”实现了新的视觉效果。

CycleGAN在不引用其他图像的情况下更改图像的样式和视觉特征。它不仅可以把一个预先训练好的艺术家风格转化成一张照片,也可以将一幅画修改成逼真的照片,使用预先训练的分割特征知识。你甚至可以在“马与斑马”之间进行转换。对我来说最重要的是,深度学习使图像的可修改性达到了一个新的高度,适合艺术用途。但危险同样存在,比如滥用情况。

7StyleGAN训练绘画

新AI时代序幕已拉开 不信请看这十四大例

_C0D32_在reddit上训练StyleGAN使用kaggle提供的24k艺术数据集。通过他修改的代码,产生了各种风格的新艺术作品。也就是说,StyleGAN用预先训练过的艺术风格尝试创作原创艺术品。有趣的是:即使你用这个模型得到了无数独特的艺术品,但只要有一些艺术史的知识,你就可以猜到,哪些风格、艺术运动甚至艺术家在新的图像中闪耀着光芒。

8 pic2pix:图像到图像转换

新AI时代序幕已拉开 不信请看这十四大例

Pix2pix是由菲利普·伊索拉(Phillip Isola)等人开发的,并在2017年迅速走红。由条件对抗网络完成的图像转换,允许将人造涂鸦呈现为照片级的图像。

这肯定不只是有趣的草图转换:通过预定义的设置,用户可以将航拍照片转换为地图,将日光照片转换为夜景照片等。条件对抗网络检测模式并将其转换为所需的主题(你必须定义目标图像任务)。网络针对特定的标记图像数据集进行训练。

英伟达通过GauGan将这种方法提高到了另一个水平,这是他们在AI Playground进行的实验之一。你可以使用分段驱动草图:每种颜色都应用于特定的对象或材质。转换后生成新图像具有类似CycleGAN的功能,可在各种视觉功能之间切换。

9 pix2pix、face2face、DeepFake以及Ctrl+Shift+Face

深度学习的世界充满了实验。人们跳出思维束缚,这是深度学习最鼓舞人心的地方,也是通用人工智能最鼓舞人心的地方。吉恩·科根(Gene Cogan)用动态的Pix2pix进行了实验:在这种情况下,来源不是草图,而是网络摄像头(他的脸),目标是根据特朗普的照片进行训练。

这些实验启发了研究人员,开发face2face程序。face2face是个模仿德国总理面部表情的Pix2Pix演示程序。1)face2face模型了解面部特征/地标;2)扫描面部特征的摄像头输入;3)它最终把这些输入变成了另一张脸。

后真相时代的另一个前沿已经到来,现在我们不仅可以修改图像,还可以修改移动的图像。就像流行即时通讯应用上的AR应用程序一样,人工智能以完美的方式解释视频片段并对其进行修改。像Ctrl+Shift+Face这样的艺术家将这种方法完善到了令人难以置信的水平:他在face2face帮助下转换了邪教电影中演员的顽皮面孔。

这种实现在以下方面具有多种可能性:电影制作人可以在试镜前与演员进行实验。他们还可以本地化电影,以便更好地同步各种语言,就像Synthesia对大卫·贝克汉姆(David Beckham)所做的那样。

现在想象一下使用AI驱动的语言翻译和语音合成进行国际视频会议的这些可能性。艺术家们可以创作出颠覆性和超现实主义的“Being John Malkovich”之类的杰作。

逝去的人也可以复活。最好的例子是歌手Hibari Misora,他在一年一度的日本新年电视活动NHK Kōhaku Uta Gassen上表演了新歌,即使她30年前就去世了。在AI的帮助下重建视觉,用Voaloid模拟语音。

但深度换脸(DeepFake)的新途径是开放的。还记得ZAO吗,这是一款深度换脸搞笑应用程序:可以将普通人的脸换到名人身上,比如莱昂纳多·迪卡普里奥(Leonardo DiCaprio)。 

10三维肯·伯恩斯效应

这款由西蒙·尼古拉斯(Simon Nikolaus)开发的模型可以将单幅图像转换为跟踪镜头。该模型识别背景,模拟深度,用内容敏感的修复来填充缺失的区域,添加新的角度。简而言之,只需一张图像,你就可以生成空间3D视频片段。

11ArtBreeder:不限量生成艺术品

乔尔·西蒙(Joel Simon)将BigGAN和其他模型应用到用户友好的Web应用程序ArtBreeder中。你有许多不同的可能性来创建和修改面孔、风景、通用图像等。Artbreder同时在一个生动的社区中成长和发展,在这个社区中,用户和开发者正在进行持续的对话。

新AI时代序幕已拉开 不信请看这十四大例

12DeOldify,黑白照片的脱旧彩色化

DeOldify是由詹森·安蒂科(Jason Antic)创建并发布的。这个项目的任务是对旧图像和胶片进行彩色化和修复。DeOldify使用通过两个神经网络生成器和鉴别器之间的迭代交互作用(就像ArtBreeder中的那样),生成性对抗性网络。

但与上个模型不同的是,DeOldify中的图像不会以其形式修改或生成。GAN的力量带来了颜色,生成器将颜料应用到它训练过的识别对象上,而鉴别器则试图批评颜色的选择。当然,这些颜色不会重复原来的调色板。但它使历史照片充满活力,使它们与我们的时代格格不入。

13由AI提供动力的VR

AI驱动的VR是可能的。实际上,这是英伟达一年前发布的新闻,而且非常有前景。在这里,城市和视觉都是在谷歌街景上训练的,所以VR城市体验是通过深度学习模型重建的。

为了进行培训,研究团队在装有cuDNN加速PyTorch深度学习框架的DGX-1上使用了NVIDIA Tesla V100 GPU,以及来自Cityscapes和Apolloscapes数据集的数千个视频。你可以想象这种方法的所有潜力:“从头开始”逼真的城市模拟,帮助城市发展,交通管理和物流,重塑视频游戏前景。

14Runway ML

Runway是个终极应用程序,它使用各种ML/DL模型来满足不同的需求。它可以翻译Image2Text,在图像之后生成文本(使用GPT-2),检测照片和视频片段中的对象,还可以将各种模型组合成连锁反应,而且是免费的。

新AI时代序幕已拉开 不信请看这十四大例

AI的冬天终于过去了(希望如此)。技术在快速进步,我们紧密联系,思想交流前所未有地活跃。而AI复兴最大的好处就是:深度学习与机器学习的普及和民主化。

如今,不仅Python使用者和NVIDIA GPU拥有者可以享受到无限的可能性:每个人都可以做到这一点。作家,艺术家,其他非技术领域的人可以使用Colab/Jupyter笔记本,用户友好的应用程序,如ArtBreadder和RunwayML等。

选自:towardsdatascience 作者:Vlad Alex

编译:网易智能 参与:小小

廖子瑶 本文来源:网易智能 责任编辑:廖子瑶_NBJS10040
分享到:
跟贴0
参与0
发贴
为您推荐
  • 推荐
  • 热点
  • 娱乐
  • 体育
  • 财经
  • 科技
  • 军事
  • 汽车

国家保护动物吃光十几万斤鱼 养殖户却“惹不起”

新闻 鸟类 野生动物
|
新华每日电讯
16小时前
11762 跟贴11762

还玩火!居然让他进白宫 媒体:将使北京对美更不满

新闻 白宫 美国总统
|
环球网
19小时前
16876 跟贴16876

俄罗斯9工人聚会喝完酒不过瘾 直接共饮消毒液 致7人死亡

新闻 消毒液 俄罗斯
|
海客新闻
16小时前
6012 跟贴6012

上海对浦东机场17719名相关人员排查检测,发现1例新冠肺炎确诊病

新闻 浦东机场 新冠肺炎
|
上海市卫健委
6小时前
3176 跟贴3176

停业整顿!吃火锅必须要带女伴冲上热搜 市场监管部门:不能做此

新闻 火锅 用餐
|
红星新闻
7小时前
1162 跟贴1162

"我为什么离开美国?"90后中国留学生发长文吐露心声

新闻 美国 黑人
|
共青团中央
5小时前
449 跟贴449

印官员:印度、巴基斯坦和孟加拉国应合并成一国

新闻 巴基斯坦 孟加拉国
|
环球网
12小时前
2840 跟贴2840

印媒:印军效仿中国抗战经验 在中印边境用上“地道战”

新闻 印军 中印
|
环球网
13小时前
1357 跟贴1357

公司组织员工拓展训练致3死1伤,警方通报→

新闻 纳溪区 泸州市
|
封面新闻
13小时前
4 跟贴4

官方通报!辽宁盘锦自来水可燃系地下天然气混入

新闻 自来水 天然气
|
央视新闻
3小时前
5127 跟贴5127

黄之锋等三人涉非法集结案开庭 庭上承认控罪

新闻 黄之锋 控罪
| 海外网
16小时前
5687 跟贴5687

岛内昨天发生两件事,一件轰轰烈烈,一件秘而不宣……

新闻 民进党 蔡英文
| 参考消息网
3小时前
89 跟贴89

又退群!特朗普还计划"拉黑"89家中企 外交部回应

新闻 唐纳德·特朗普 外交部
|
中国基金报
10小时前
44 跟贴44

被妻子“戴绿帽”,男子杀害情敌并“斩首”!逃亡18年后因闯红灯

新闻 杀人 王长河
|
方圆
13小时前
6425 跟贴6425

男子勒死老婆带尸体去派出所自首,妻子突然醒来为他求情

新闻 杀人罪 盱眙县公安局
|
环球时报
2小时前
78 跟贴78

误指学弟性骚扰,是什么让清华学姐“我是女性我有理”?

新闻 清华 是什么
|
澎湃新闻
13小时前
20701 跟贴20701

特朗普私下已开始为未来做打算?美媒披露其三个“未来计划”

新闻 唐纳德·特朗普 共和党
|
环球时报
20小时前
1374 跟贴1374

又被共和党人敦促接受选举结果 特朗普:抱歉 我不能

新闻 唐纳德·特朗普 共和党
|
环球网
1天前
3849 跟贴3849

三招"组合拳" 特朗普对华"最后的疯狂"掀不起波澜

新闻 唐纳德·特朗普 最后的疯狂
|
参考消息
1天前
689 跟贴689

招聘网站的情色陷阱:家政公司介绍包养接客 招助理实为帮找性伴

新闻 招聘 东哥
| 新京报
16小时前
14690 跟贴14690

澳大利亚贸易部长日前指责中国驻澳使馆,中使馆回应

新闻 澳大利亚 中澳
|
界面新闻
12小时前
0 跟贴0

习近平向世界互联网大会·互联网发展论坛致贺信

新闻 习近平 互联网大会
|
央视新闻
6小时前
1050 跟贴1050

印度一官员语出惊人:印度、巴基斯坦和孟加拉国应“合并成一个国

新闻 巴基斯坦 孟加拉国
|
环球网
13小时前
1 跟贴1

法国前总统萨科齐将于今日出庭受审,或面临10年监禁

新闻 尼古拉萨科齐 前总统
|
澎湃新闻
13小时前
2 跟贴2

这届俊男美女,屁股已经黑了

新闻 屁股
| 网易哒哒
9小时前
11579 跟贴11579

“西藏流亡政府”头目首次窜访白宫

新闻 白宫 流亡
|
观察者网
18小时前
1 跟贴1

法国外长:特朗普对大选结果提出的质疑和挑战“不负责任”

新闻 唐纳德·特朗普 拜登
|
澎湃新闻
1天前
2 跟贴2

占豪:中国外长访日韩 恰到好处的妙棋一招!

新闻 东盟 tpp
|
占豪
1天前
2804 跟贴2804

美国洛杉矶2020年已发生逾300起凶杀案 创十年新高

新闻 凶杀案 暴力事件
|
中国新闻网
10小时前
7 跟贴7

离奇!79岁阿伯花10万与女子闪婚,不久后死在另一女子家中

新闻 养老院 离婚
|
广州日报
1天前
9165 跟贴9165

特朗普私下已开始为未来做打算?美媒披露其三个“未来计划”

新闻 唐纳德·特朗普 共和党
|
环球时报
21小时前
12 跟贴12

美媒透露:华裔杨安泽可能出任拜登政府商务部长

新闻 拜登 杨安泽
|
环球网
1天前
39513 跟贴39513

李在镕出席“亲信干政案”重审 韩媒:或被加刑

新闻 李在镕 朴槿惠
|
中国新闻网
6小时前
0 跟贴0

日本大阪确诊中国公民增加 总领馆提醒公民注意

新闻 日本大阪 大阪
|
中国新闻网
11小时前
0 跟贴0

美加州一教堂发生持刀袭击事件 致2人死多人重伤

新闻 袭击事件 教堂
|
中国新闻网
13小时前
0 跟贴0

美威斯康星州一购物中心枪案致8人伤 15岁嫌犯被捕

新闻 枪击案 枪案
|
中国新闻网
16小时前
0 跟贴0

蹊跷!台军F16失联后,同中队一地勤士官长自杀

新闻 台军 空军
|
观察者网
17小时前
54 跟贴54

G20会议开着开着 特朗普“翘”掉溜去打高尔夫了

新闻 唐纳德·特朗普 白宫
|
观察者网
1天前
7035 跟贴7035

G20峰会期间又去打高尔夫?特朗普发推回应

新闻 唐纳德·特朗普 高尔夫
|
环球网
1天前
30 跟贴30

共和党籍参议员:特朗普在宾夕法尼亚州已用尽法律途径,该承认拜

新闻 拜登 唐纳德·特朗普
|
环球网
1天前
23 跟贴23

事情越闹越大了!“特朗普下台”在美炸锅后,又一重要人物出场了

海峡要闻
2020-11-23 19:57:23

沪宁股份:董事邹雨雅减持过程中因误操作买入900股

每日经济新闻
2020-11-23 20:02:08

歌手老狼质疑微博限流,微博回应:信息含导流外链及导购二维码被判定为营销内容

三言财经
2020-11-23 11:52:00

熟读孙子兵法的杀人犯,极度自律,从不近女色,却身背20条人命

史海残云
2020-11-23 18:59:20

被誉为“小赫本”的俄罗斯女孩,因太漂亮被禁止整容,如今成这样

明星资讯知道
2020-11-13 08:05:20

中国央行前副行长吴晓灵:做好泡沫破灭的准备!

专业聊房君
2020-11-23 13:37:28

宁德时代出局!LG成为Model Y 唯一电池供应商,明年开始国产

极果酷玩
2020-11-23 15:39:32

三级头到底有多强,俄罗斯K6-3钛合金头盔防弹测试

疯狗的轻武
2020-11-23 15:04:09

给你一个亿-但必须娶这六位离过婚的女星中的一位,你会选谁?

每日万笑
2020-11-14 06:09:47

吃了人均2000的饭,只记住了免费的汤

百事漫谈
2020-11-23 22:24:25

国乒抵达澳门,刘诗雯又宣布退赛 马龙婉拒合影女乒名将遭偷拍

足坛宙斯
2020-11-23 20:16:39

如果太阳现在熄灭了,地球上人类会撑多久?

兔斯基聊科学
2020-11-22 19:52:25

世界上不该出现的4大文物,每一件都像穿越而来,制造者至今成谜

健康吾有话
2020-11-22 08:56:17

李沁:国家秘密培养9年的人才,却转身进入娱乐圈,理由令人感慨

飘飘然的娱乐汇
2020-11-23 17:34:34

著名演员杜珺:与张嘉译离婚,我从没后悔过

名人家事情事
2020-11-22 12:47:36

为何遇到空难时,航空公司宁可赔掉几十亿,也不准乘客跳伞逃生?

百科文史说
2020-11-22 06:50:02

卓尔压哨保级后,将迅速敲定新主教练人选,前鲁能名帅成最大热门

球会体育APP
2020-11-23 15:42:30

孙耀威结婚3年低调这么久,媳妇是我们熟悉的她

装饰家居空间
2020-11-21 09:11:28

公司组织员工拓展训练致3死1伤 现场画面曝光令人痛心

博山的故事
2020-11-22 21:44:27

“家长退群事件”闹上央视,家长:作业我改知识我教,要老师干嘛

生活全能资讯
2020-11-21 01:14:06
2020-11-24 04:00:59
+ 加载更多新闻
×

【TED】我快乐人生的哲学

热点新闻

态度原创

网易号

查看全部
阅读下一篇

返回网易首页 返回科技首页