网易首页 > 网易科技 > 网易科技 > 正文

新AI时代序幕已拉开 不信请看这十四大例

0
分享至

网易科技讯 1月21日消息,时间过得比我们预想的要快,并且摩尔定律依然在发挥着作用。但是,仍然有很多事情要做。在接下来的文章中,我希望能够列出2019年(部分发生在2018年)机器学习(ML)和深度学习(DL)领域的重大事件。这些大部分都是基于神经网络的模型,给我留下了深刻的印象。

图1:BigGAN生成的时钟图像

伊恩·古德费罗(Ian Goodfellow)曾发布推文,完美地展示了深度学习领域取得的成就:在短短4年半时间里,生成性对抗网络(GAN)技术在面部生成领域取得的重大进展。即使这与特定的主题有关,GAN取得的进步也很好地表明了已经发生的事情,以及即将发生的事情。一幅画胜过千言万语。我有一种感觉,2019年的进步比几年前迅猛得多。 

1 BigGan

BigGan扩展了生成性对抗性网络(GAN),允许用户在巨大的可视数据库上进行训练,并生成新的可视图像。该系统的核心是两个神经网络,即生成器和鉴别器。生成器创建新的视觉效果,并试图说服鉴别器它是真实的图像。而鉴别器将生成的图像与其“经验”对照,并将其作为“未通过”发送回生成器。这种反复的相互作用会始终持续下去,直到双方达成某种“共识”。尝试使用这款BigGAN功能,用户可以使用分类条件采样并创建例如山谷之类的图像:

图2:BigGAN生成的山谷图像

如你所见,BigGan仍然属于弱人工智能(Weak AI)。该网络不知道时钟是什么,它们只是知道,这个东西会是什么样子:“圆形”,“有字符和箭头”。我认为AI解释世界的尝试与柏拉图的形式与思维理论有明显的相似之处:在柏拉图看来,思维或形式是物质事物的元物理本质。物质的东西不是原作,而只是思维或形式的仿制品。

2 BigGAN蜕变

我们可以更进一步,BigGAN不仅仅能生成带标签的图像,我们还可以使用它和插值函数来合并和变形东西。在BigGAN的情况下,生成的图像A转换为生成图像B是可能的,尽管它们在语义上是不同的。使用这些设置,你可以把约克夏犬变成航天飞机,这种方法开启了前所未有的可能性,甚至超越了人类的想象。你甚至可以制作出渐变性更强的画面,并将它们组合成动画素材。

图3:狗狗变成了航天飞机

3风格转换

StyleGAN允许另一种类型的图像修改——风格转换,即图像A的风格被转移到图像B中。目前有各种各样基于深度学习的免费和付费应用程序,可以把你的图像转换成世界艺术大师的艺术作品。我用各种艺术家的风格转换了我的用户图片,得到了令人信服的结果。

有人可能很熟悉风格转换功能,因为Towards Data Science提供了许多关于这个主题的很棒的文章。艺术家基尼·科根(Gene Cogan)将风格转移运用到迪斯尼的《爱丽丝梦游仙境》(茶会场景)中,并将17个著名的艺术作品的风格转移到动画中。最近,StyleGAN2进入人们的视线,其图像质量得到了提高。此外,新的图像修改方式也成为可能。例如,StyleGAN投影,与任何可能的图像中的目标图像对齐。

4风格转换的创意运用:绘画的深度协调性

有些艺术家和开发者使用风格转换功能来进行创造性的图像处理。这个想法非常简单:1)以目标图像B为例;2)将其风格转换为要构建到B中元素;3)结合与享受。该方法允许的艺术用途,例如用于数字图像拼贴中的风格转移。基尼·科根(Gene Cogan)在自拍照中使用风格转换功能,将自己植入到世界艺术史中。

5Comixify,将视频转换为故事板

华沙科技大学的研究人员都对人工智能和漫画艺术着迷,为此他们把自己的热情结合到一个惊人的项目中。1)该模型利用智能视频摘要对视频进行分析;2)视频片段中的场景由深度学习定义的、最具美学影响的帧分隔;3)对图像的特定风格化进行了风格转换;4)选定的帧被放入故事板或漫画布局中。

我是塔尔科夫斯基(Tarkovsky)电影的超级粉丝,所以我很想看看这部超级版《潜行者》会发生什么。结果令人震惊,特别是如果你知道并且喜欢这部电影,你会发现画面的选择是多么令人惊讶。它实际上描绘了《潜行者》的核心思想,却没有破坏电影。

6 CycleGAN,无输入输出对的图像到图像转换

当BigGAN在预先训练的基础上生成新图像,StyleGAN在两个图像之间传输样式时,CycleGAN使用单个图像将其样式或特征转换成不同的东西。实际上,这是一个不配对的图像到图像转换,使用的是周期一致的对抗网络。1) 图像由GAN进行分析(包括模式和目标检测);2)应用预先训练好的特征修改;3)与“1”中的图像相同,“2”实现了新的视觉效果。

CycleGAN在不引用其他图像的情况下更改图像的样式和视觉特征。它不仅可以把一个预先训练好的艺术家风格转化成一张照片,也可以将一幅画修改成逼真的照片,使用预先训练的分割特征知识。你甚至可以在“马与斑马”之间进行转换。对我来说最重要的是,深度学习使图像的可修改性达到了一个新的高度,适合艺术用途。但危险同样存在,比如滥用情况。

7StyleGAN训练绘画

_C0D32_在reddit上训练StyleGAN使用kaggle提供的24k艺术数据集。通过他修改的代码,产生了各种风格的新艺术作品。也就是说,StyleGAN用预先训练过的艺术风格尝试创作原创艺术品。有趣的是:即使你用这个模型得到了无数独特的艺术品,但只要有一些艺术史的知识,你就可以猜到,哪些风格、艺术运动甚至艺术家在新的图像中闪耀着光芒。

8 pic2pix:图像到图像转换

Pix2pix是由菲利普·伊索拉(Phillip Isola)等人开发的,并在2017年迅速走红。由条件对抗网络完成的图像转换,允许将人造涂鸦呈现为照片级的图像。

这肯定不只是有趣的草图转换:通过预定义的设置,用户可以将航拍照片转换为地图,将日光照片转换为夜景照片等。条件对抗网络检测模式并将其转换为所需的主题(你必须定义目标图像任务)。网络针对特定的标记图像数据集进行训练。

英伟达通过GauGan将这种方法提高到了另一个水平,这是他们在AI Playground进行的实验之一。你可以使用分段驱动草图:每种颜色都应用于特定的对象或材质。转换后生成新图像具有类似CycleGAN的功能,可在各种视觉功能之间切换。

9 pix2pix、face2face、DeepFake以及Ctrl+Shift+Face

深度学习的世界充满了实验。人们跳出思维束缚,这是深度学习最鼓舞人心的地方,也是通用人工智能最鼓舞人心的地方。吉恩·科根(Gene Cogan)用动态的Pix2pix进行了实验:在这种情况下,来源不是草图,而是网络摄像头(他的脸),目标是根据特朗普的照片进行训练。

这些实验启发了研究人员,开发face2face程序。face2face是个模仿德国总理面部表情的Pix2Pix演示程序。1)face2face模型了解面部特征/地标;2)扫描面部特征的摄像头输入;3)它最终把这些输入变成了另一张脸。

后真相时代的另一个前沿已经到来,现在我们不仅可以修改图像,还可以修改移动的图像。就像流行即时通讯应用上的AR应用程序一样,人工智能以完美的方式解释视频片段并对其进行修改。像Ctrl+Shift+Face这样的艺术家将这种方法完善到了令人难以置信的水平:他在face2face帮助下转换了邪教电影中演员的顽皮面孔。

这种实现在以下方面具有多种可能性:电影制作人可以在试镜前与演员进行实验。他们还可以本地化电影,以便更好地同步各种语言,就像Synthesia对大卫·贝克汉姆(David Beckham)所做的那样。

现在想象一下使用AI驱动的语言翻译和语音合成进行国际视频会议的这些可能性。艺术家们可以创作出颠覆性和超现实主义的“Being John Malkovich”之类的杰作。

逝去的人也可以复活。最好的例子是歌手Hibari Misora,他在一年一度的日本新年电视活动NHK Kōhaku Uta Gassen上表演了新歌,即使她30年前就去世了。在AI的帮助下重建视觉,用Voaloid模拟语音。

但深度换脸(DeepFake)的新途径是开放的。还记得ZAO吗,这是一款深度换脸搞笑应用程序:可以将普通人的脸换到名人身上,比如莱昂纳多·迪卡普里奥(Leonardo DiCaprio)。 

10三维肯·伯恩斯效应

这款由西蒙·尼古拉斯(Simon Nikolaus)开发的模型可以将单幅图像转换为跟踪镜头。该模型识别背景,模拟深度,用内容敏感的修复来填充缺失的区域,添加新的角度。简而言之,只需一张图像,你就可以生成空间3D视频片段。

11ArtBreeder:不限量生成艺术品

乔尔·西蒙(Joel Simon)将BigGAN和其他模型应用到用户友好的Web应用程序ArtBreeder中。你有许多不同的可能性来创建和修改面孔、风景、通用图像等。Artbreder同时在一个生动的社区中成长和发展,在这个社区中,用户和开发者正在进行持续的对话。

12DeOldify,黑白照片的脱旧彩色化

DeOldify是由詹森·安蒂科(Jason Antic)创建并发布的。这个项目的任务是对旧图像和胶片进行彩色化和修复。DeOldify使用通过两个神经网络生成器和鉴别器之间的迭代交互作用(就像ArtBreeder中的那样),生成性对抗性网络。

但与上个模型不同的是,DeOldify中的图像不会以其形式修改或生成。GAN的力量带来了颜色,生成器将颜料应用到它训练过的识别对象上,而鉴别器则试图批评颜色的选择。当然,这些颜色不会重复原来的调色板。但它使历史照片充满活力,使它们与我们的时代格格不入。

13由AI提供动力的VR

AI驱动的VR是可能的。实际上,这是英伟达一年前发布的新闻,而且非常有前景。在这里,城市和视觉都是在谷歌街景上训练的,所以VR城市体验是通过深度学习模型重建的。

为了进行培训,研究团队在装有cuDNN加速PyTorch深度学习框架的DGX-1上使用了NVIDIA Tesla V100 GPU,以及来自Cityscapes和Apolloscapes数据集的数千个视频。你可以想象这种方法的所有潜力:“从头开始”逼真的城市模拟,帮助城市发展,交通管理和物流,重塑视频游戏前景。

14Runway ML

Runway是个终极应用程序,它使用各种ML/DL模型来满足不同的需求。它可以翻译Image2Text,在图像之后生成文本(使用GPT-2),检测照片和视频片段中的对象,还可以将各种模型组合成连锁反应,而且是免费的。

AI的冬天终于过去了(希望如此)。技术在快速进步,我们紧密联系,思想交流前所未有地活跃。而AI复兴最大的好处就是:深度学习与机器学习的普及和民主化。

如今,不仅Python使用者和NVIDIA GPU拥有者可以享受到无限的可能性:每个人都可以做到这一点。作家,艺术家,其他非技术领域的人可以使用Colab/Jupyter笔记本,用户友好的应用程序,如ArtBreadder和RunwayML等。

选自:towardsdatascience 作者:Vlad Alex

编译:网易智能 参与:小小

相关推荐
热点推荐
保时捷宣布帕拉梅拉插电版售128.8万起,搭配PDK,零百3.7秒

保时捷宣布帕拉梅拉插电版售128.8万起,搭配PDK,零百3.7秒

莽画车
2024-03-27 18:18:29
广东女子腰上纹身系黑绳,网友友情提醒:结婚记得做婚检

广东女子腰上纹身系黑绳,网友友情提醒:结婚记得做婚检

百晓史
2024-03-29 16:10:23
瑙鲁,没有邻国,没有首都,一个岛就是一国;面积、人口多少?

瑙鲁,没有邻国,没有首都,一个岛就是一国;面积、人口多少?

浩叔聊情感
2024-03-29 01:00:16
古巴再起风云

古巴再起风云

爱吃鱼的哆啦A梦
2024-03-29 12:42:10
许世友问耿飙:你能授啥军衔?耿飚:不清楚,但肯定比你高

许世友问耿飙:你能授啥军衔?耿飚:不清楚,但肯定比你高

历史龙元阁
2024-03-26 22:06:11
预计21万起售,最高续航超1000km,智己L6实车现身

预计21万起售,最高续航超1000km,智己L6实车现身

汽车有文化
2024-03-28 23:02:27
没等来碧桂园的年报却等来了停牌公告,碧桂园会是下一个恒大?

没等来碧桂园的年报却等来了停牌公告,碧桂园会是下一个恒大?

王五说说看
2024-03-29 10:42:20
一个奇特的“怪”现象:美国连伊朗都搞不定,为何唯独不怕我们?

一个奇特的“怪”现象:美国连伊朗都搞不定,为何唯独不怕我们?

真猫爷的渔场
2024-03-29 18:34:09
戚薇生完二胎的状态太好了,像没怀过一样,网友:有钱真好啊

戚薇生完二胎的状态太好了,像没怀过一样,网友:有钱真好啊

木子爱娱乐大号
2024-03-16 12:30:24
比亚迪第二代刀片电池8月发布,看完不得不说,传福哥格局大啊!

比亚迪第二代刀片电池8月发布,看完不得不说,传福哥格局大啊!

Nice好车
2024-03-28 17:40:08
你身边有哪些意外的死亡?网友:上一秒还在笑下一秒就没了

你身边有哪些意外的死亡?网友:上一秒还在笑下一秒就没了

石辰搞笑日常
2024-03-29 03:07:35
人人都想杀死Model Y,可现实却是人人被反杀

人人都想杀死Model Y,可现实却是人人被反杀

汽车公社
2024-03-27 15:02:18
“白人饭 ”为啥难吃?网友:当他拿出一整颗西蓝花的时候我懵了

“白人饭 ”为啥难吃?网友:当他拿出一整颗西蓝花的时候我懵了

华庭讲美食
2024-03-29 10:14:44
多摁几个零!女主播收1200万元打赏,得知手抖点错崩溃大哭。猫妹妹坐标杭州,发动态!大连冰冰嘲骂莹少。

多摁几个零!女主播收1200万元打赏,得知手抖点错崩溃大哭。猫妹妹坐标杭州,发动态!大连冰冰嘲骂莹少。

娱乐圈酸柠檬
2024-03-29 00:55:37
北京遗产继承律师:将财产留给子女最好的方式是什么?

北京遗产继承律师:将财产留给子女最好的方式是什么?

家问律师事务所
2024-03-29 15:39:54
沈阳市委书记王新伟已经出任辽宁省委副书记

沈阳市委书记王新伟已经出任辽宁省委副书记

澎湃新闻
2024-03-28 20:24:30
ISIS:将加强俄罗斯境内的袭击,包括可能针对普京本人的袭击

ISIS:将加强俄罗斯境内的袭击,包括可能针对普京本人的袭击

老马拉车莫少装
2024-03-26 13:39:26
A股:又有消息出炉,下周,A股要继续大涨还是准备下跌了?

A股:又有消息出炉,下周,A股要继续大涨还是准备下跌了?

财经大拿
2024-03-29 14:59:45
穿什么都错?

穿什么都错?

燕梳楼2021
2024-03-28 16:55:27
汪小菲求婚钻戒价格曝光,要卖3万包酸辣粉,张兰评论区炸锅了!

汪小菲求婚钻戒价格曝光,要卖3万包酸辣粉,张兰评论区炸锅了!

娱小小新
2024-03-29 11:46:18
2024-03-29 19:26:44

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

头条要闻

万科上市30多年来首次不分红 三名高管降薪至每月1万

头条要闻

万科上市30多年来首次不分红 三名高管降薪至每月1万

体育要闻

拒绝为国出战,他是足坛"天选打工人"

娱乐要闻

胡夏被曝有孩子!工作室火速辟谣

财经要闻

张维迎:如何正确理解企业家精神?

汽车要闻

找回久违的开怀大笑 试驾小米SU7 Max

态度原创

本地
时尚
游戏
公开课
军事航空

本地新闻

专访|张伟潮:最年轻的龙头专职制造者

孙艺珍生完孩子,玄彬老了十岁

人狠话不多的黄泉,正是星铁对于紫发御姐的全部理解

公开课

30岁之前,你要学会的13件事情

军事要闻

乌方声称击落两枚俄"锆石"高超音速导弹 俄方未予回应

无障碍浏览 进入关怀版
×