演示正文
嘉宾:大家好,我是微软亚洲研究院的视觉计算组的副研究员危夷晨,在这里我做一个展示,关于我们组开发的一系列视频编辑技术,我们叫数字效果。包括四个内容,分别是关于视频的修补、视频的浏览、往视频里添加新的问题、把视频里的问题从备录里分割出来。演示会以一系列视频播放作为主要内容,我会一边播放一边讲解。
首先是关于视频的修补,在视频里多个主体,如果我们希望把前面那个正在移动的人去掉的话,我们先把这块区域从视频里抹掉,然后利用视频修补技术把这个空白的区域填补起来,来合成一个新的视频。
第二个是关于视频浏览,我们把多个视频合在一起,从里面提取最主要的部分,合成一个新的视频,这样可以有效的缩短浏览视频的时间,提高效率。这里是把两个视频合在一起。
这个是关于从视频里分割出前景正在移动的物体,然后我们可以把这个物体添加到新的背景上合成一段新的视频。
这个技术也可以应用到网络摄像机的情况下,在进行网络视频聊天时我们可以把前景分割出来置换成一个新的背景,也可以应用到其他的视频上。
这是一个所谓的视频超链接的技术,通过跟踪视频里我们感兴趣的东西,比如这个人穿着的这件衣服,我们可以把这个物体和一个网页关联起来,当用户在浏览这个网页时,点击这个物体,就会跳到相应的网页。这是一个往视频里添加三维物体的效果,像这个小孩,我们可以给她增加一些面具、胡子等三维虚拟物体,增加趣味性。
这个是基于人脸跟踪和检测的技术。
这一段是关于我们好几个工作的概述,下面我会稍微详细的介绍其中一项技术,就是关于往视频里添加一些三维虚拟物体我们是怎么实现的。
这是一个人脸跟踪和检测的结果,我们可以看到,首先通过人脸检测技术我们判断在什么地方有个人脸,然后利用人脸跟踪技术我们会重新构造出这个人脸的三维模型,这个视频里的网格是我们重新塑造出的三维模型,这个工作是由我们组的研究员王强完成的。
这个结果就是前景分割技术,我们可以通过前景和背景的颜色对比,自动的把前景正在移动的物体从背景里分割出来。
基于这个人脸跟踪和前景背景分割技术,我们可以把它们综合起来应用于网络聊天,比如当你在用MSN通过网络摄像头聊天时,可以增加一个特殊效果,这个工作可以作为一个MSN插件,就可以下载并且安装使用了,可以试一试。
在这里,聊天的人可以通过点击选择不同的图标给自己的脸增加一些特殊效果,比如戴上眼镜,增加一些小胡子,或是戴上不同的面具。
这个小插件在我们研究院的主页上有下载,如果你有兴趣的话可以自己去试一试。
这样一个视频编辑技术同样可以应用到其他的视频上,比如已经存在的电影片断,我可以给它增加一些新的效果,希望大家能够喜欢我们的技术。
谢谢。
网易科技专访微软亚洲研究院危夷晨 访谈全文:
网易科技:网易的各位网友大家好,今天我们在探寻微软的亚洲研究院,现在我们邀请到的研究员是危夷晨先生作客访谈。
危夷晨:大家好。
网易科技:刚才我们看到您作的演示,非常精采,我们也很有兴趣,您是什么时候开始加入微软亚洲研究院的?
危夷晨:我是在2006年9月,两年之前加入的。
网易科技:您加入微软这两年有什么样的工作感受和体会呢?
危夷晨:实际在加入之前我曾经在这里做过大概半年的访问学者,当时我就觉得这个研究院的环境和气氛非常好,所以毕业之后,可以说没有怎么考虑吧,就毅然加入了研究院。
网易科技:您觉得这里的氛围是最吸引您的地方?
危夷晨:对,对于希望能够从事研究工作的人来讲,我觉得这可能是国内非常合适的地方。
网易科技:刚才看到了您做的这个项目,有多少人参加这个项目呢?
危夷晨:实际这不是一个项目,是一系列关于视频编辑的项目,参与刚才演示结果的人,实际包括了我们组的大部分的人,像我演示的关于视频上增加物体、移除、修补、浏览,参与到这个项目中所有工作的人大概有六七个吧。
网易科技:这个技术大概研发了多长时间?
危夷晨:每一项的时间不太一样,里面最老的技术可能是关于视频物体的分割、三维人脸的跟踪,这些技术的研发可能要追溯到三四年之前。
网易科技:之前发布的时候有没有暂时遇到过无法解决的困难?
危夷晨:这样的情况几乎每天都有。
网易科技:怎么解决的呢?
危夷晨:在做研究的过程中碰到你暂时觉得非常难的技术问题,不知道怎么解决,这种情况非常普遍、正常,可以说是家常便饭,以至于说怎么解决,我们也只能通过不停的思考、去读其他文献、跟其他的人去讨论、交流,想尽一切办法,或者说是绕过这个问题,或者是搞清楚这个问题到底难在什么地方,去解决它。这种情况很正常。
网易科技:刚才看您演示时,包括移动物体的分割,还有人脸视频捕捉技术都非常好玩,未来这些技术主要会应用在专业影视制作方面吗?
危夷晨:我想这些技术无论是在专业领域还是在业余领域,都应该有它的用途,比如你看在一些专业领域,比如电影的效果编辑,很多时候你需要把物体在背景中分割出来贴到一定的背景上,这是所谓的蓝屏技术,实际上在电影里已经广泛应用了。在做电视转播时,我们可能需要把主持人的画面分割出来,把他和一些新的背景结合起来,这部分也有很长的历史,我们所做的工作实际是希望把这个技术做得比较简单好用一些,扩大它应用的范围,使得那种业余视频爱好者也能够用我们的技术做出一些他们自己的效果,不需要特别专业的设备和知识就能够对视频进行一些更好的编辑和应用。
网易科技:现在这个项目的研发处于什么阶段?接近尾声了?按百分比来讲完成了多少呢?
危夷晨:实际对于研究项目来讲,很难确定一个具体的百分比,因为我们知道,研究项目永远都不知道能做到什么程度,所以我不能很清楚的说我们已经完成了多少。可以这么讲,实际视频的处理和分析是非常难的一个问题,我们所展示的技术仅仅是一个最基本的入门技术,应该说前路还非常漫长。
网易科技:从研发人员的角度而言,您觉得这些技术就是研发给普通电脑用户、视频爱好者使用的对吗?
危夷晨:可以这么说,比如MSN数字效果的那个插件,我们就是希望做到非常简单好用,下一个插件安到你的MSN里,马上就可以用,你不需要学习,也不需要掌握任何关键的技术就可以直接用,这也是我们的初衷
。
网易科技:关于项目我们还是想了解,今天我们在看微软时发现了很多很好玩的设施,在门口有一个休息椅,还有台球等,这些硬件设施,作为研发人员,你会经常去玩吗?
危夷晨:会经常去玩。
网易科技:您对目前研究院的硬件设施满意吗?
危夷晨:我觉得挺好的,实际上在我以前加入这里之前,我没有想到公司对休息和娱乐的条件和环境会有这么好。
网易科技:好的,非常感谢您。