网易首页 > 网易科技 > 网易科技 > 正文

Google更新相机应用:用算法实现单反的景深效果和光场相机的先拍照后对焦

0
分享至


Google近日正式推出了新版的Google Camera app。这款Android应用的最大亮点是用算法实现单反相机的景深效果—即可以让前景清晰,远景模糊。不过app目前仅支持Android 4.4(KitKat),但官方称后续将支持更多版本。

新版Google Camera的版本号为2.1.037。该应用不仅开发了全新的界面,而且新增了几项令人眼前一亮的新功能,包括镜头模糊功能、改进的全景拍摄,以及照片球等。

其中最重要的新功能就是类似数码单反相机的镜头模糊功能。我们知道,对于业余的摄影爱好者来说,最难掌握的技巧之一就是对景深的把握。哪怕用单反相机也要经过一些相对复杂的设置才能实现前景突出背景模糊的效果。智能手机的相机尽管从分辨率上来看也能与数码相机匹敌,但以往并不具备类似的功能。

比单反相机更强悍的是支持先拍照后对焦的光场相机Lytro。这种相机可以让用户先拍摄照片,然后再根据需要自由对焦。其原理是相机传感器前面布设大量微镜头,通过这些微镜头,相机传感器记录下的不是单一的由镜头、光圈等设置决定的图像,还包括了用复杂的方式记录下来的各个方位的光线,随后Lytro软件会根据需要对图像进行解码,从而达到先拍照后对焦的效果。

Google Camera的原理与Lytro类似,只不过前者是软件实现的,后者是硬件实现。Google工程师Carlos Hern ndez在博客中解释了其镜头模糊功能的机制。Google Camera事先捕捉的也不仅仅是一张照片,而是在用户拍照前移动手机时捕捉下一系列的帧。然后利用计算机视觉算法对这些图像帧进行处理,创建出对象的3D模型,再估算出到达屏幕每一点的距离(景深)。就像下面这组照片的对比(左边是原始效果,右边是镜头模糊效果):


其具体过程是这样的。

首先,App会筛选出屏幕上的视觉特征,然后在一系列图像中跟踪这些特征。接着利用所谓的运动求取结构(Structure-from-Motion,SfM)算法及光束法平差来计算相机的3D定位和定向,以及所有的图像特征在一系列帧中的3D位置。

接下来,app再利用多视角立体( Multi-View Stereo,MVS)算法计算参照图上每一个像素的景深。Carlos解释说,MVS的原理类似于人的立体视觉:只要知道同一个对象在不同图片中的3D位置,我们就能三角定位出该对象的3D位置并计算出与该对象的距离。人具有高超的识别对象能力,但机器如何识别两张不同照片里面哪个像素和哪个像素是对应的呢?计算两个像素RGB颜色之间的绝对误差和(SAD)。于是景深问题就解决了。

最后就是优化问题。按照Carlos的说法,一张最好的景深图应该是所有的相应像素之间相互类似程度最高的。但这样又会导致不同的景深图的匹配度一样。为了解决这个问题,Google引入了场景的3D几何学条件来辅助优化,比方说,可以假设临近的两个像素之间的景深类似。最后,再利用马尔科夫随机场推理法来解决此优化问题(下图中的中间那幅就是景深图,越近颜色越黑,越远颜色越白)。


有了景深图之后,app就可以对图片进行重新渲染了。渲染的效果可以根据像素深度、光圈以及与焦面的相对位置来进行不同程度的模糊化处理。焦面决定了对哪一像素进行模糊化,app会根据像素与焦面的距离按比例提高/降低模糊度。也就是说用户可以通过app确定焦点在哪里,然后实现前景清晰背景模糊或者背景清晰前景模糊(如下图)的效果。


此前曾有消息称Amazon将推出有5个前置摄像头、可实现裸眼3D效果的智能手机。Google此时更新相机应用仿佛在说:看,你用5个摄像头做到的事情我用1个摄像头加上强悍的算法也能做到。当然,这种效果是无法跟硬件相比的。另外值得一提的是去年诺基亚也发布过一款类似的Windows app—Nokia app Nokia Refocus。

[36氪原创文章,作者: boxi]

相关推荐
热点推荐
52岁阿姨血脂从7.4到1.2,分享:降血脂不是多运动,而是这2件事

52岁阿姨血脂从7.4到1.2,分享:降血脂不是多运动,而是这2件事

讲故事的大翠花花
2024-03-26 08:53:16
广东本周末雷雨增多,局地有大风冰雹!气象部门称不会很冷

广东本周末雷雨增多,局地有大风冰雹!气象部门称不会很冷

南方都市报
2024-03-28 13:33:17
外来语中,日语占了近40%!没了日本词汇,我们还能开口说话吗?

外来语中,日语占了近40%!没了日本词汇,我们还能开口说话吗?

Hi科普啦
2024-03-27 10:17:25
基辅上空诡异弹道,战果出人意料,俄军最强武器,已被中国反超

基辅上空诡异弹道,战果出人意料,俄军最强武器,已被中国反超

乐阳聊军事
2024-03-27 13:48:54
王传福:5月将发布第五代DM-i 满电满油续航2000公里

王传福:5月将发布第五代DM-i 满电满油续航2000公里

皆电
2024-03-28 11:51:20
商务部等9部门:鼓励符合条件的行业协会、从业人员依法申请注册特色小吃商标

商务部等9部门:鼓励符合条件的行业协会、从业人员依法申请注册特色小吃商标

财联社
2024-03-28 11:47:14
闹大了!成都某地一群印度人举行印度节日 网友:有点接受不了

闹大了!成都某地一群印度人举行印度节日 网友:有点接受不了

刘哥谈体育
2024-03-28 11:33:14
如果小米汽车真这么定价,就是饮鸩止渴

如果小米汽车真这么定价,就是饮鸩止渴

户外小阿隋
2024-03-17 09:36:56
李铁罪行曝光!涉及国足+两俱乐部,受贿超5000万,行贿3000万

李铁罪行曝光!涉及国足+两俱乐部,受贿超5000万,行贿3000万

奥拜尔
2024-03-28 21:08:27
普林斯:我不认为联盟中有任何一支球队想在几周后看到我们!

普林斯:我不认为联盟中有任何一支球队想在几周后看到我们!

直播吧
2024-03-28 15:12:29
贝克汉姆夫妇:躺在自家游艇上晒太阳,48岁球星的手却不安分了!

贝克汉姆夫妇:躺在自家游艇上晒太阳,48岁球星的手却不安分了!

琪琪侃娱
2024-03-28 16:24:23
河北燕郊爆炸事故后又发生火灾!当地刚要求排查突出消防隐患

河北燕郊爆炸事故后又发生火灾!当地刚要求排查突出消防隐患

南方都市报
2024-03-28 17:37:13
清明节祭祖3种水果不要带,是上坟最大的禁忌,一旦触犯非常危险

清明节祭祖3种水果不要带,是上坟最大的禁忌,一旦触犯非常危险

小鱼滑
2024-03-27 23:12:59
就在今天,约基奇用5年时间,书写NBA77年历史第一的纪录

就在今天,约基奇用5年时间,书写NBA77年历史第一的纪录

大西体育
2024-03-28 16:05:15
21.59万小米Su7价格公布,网友吵翻天!何小鹏:小米车卖便宜不对

21.59万小米Su7价格公布,网友吵翻天!何小鹏:小米车卖便宜不对

皖声微言
2024-03-28 21:28:35
事实证明,“消失”9年的歌手阿宝,早已经走上了一条“不归路”

事实证明,“消失”9年的歌手阿宝,早已经走上了一条“不归路”

飘飘然的娱乐汇
2024-03-27 21:10:03
今年清明是“凶日”,记得:1不动,2不吃,3不做,别犯了忌讳

今年清明是“凶日”,记得:1不动,2不吃,3不做,别犯了忌讳

神牛
2024-03-27 11:50:09
沈阳市委书记王新伟已经出任辽宁省委副书记

沈阳市委书记王新伟已经出任辽宁省委副书记

澎湃新闻
2024-03-28 20:24:30
喜讯!前国米锋霸将驰援国足踢泰国,就等足协向国际足联递交申请

喜讯!前国米锋霸将驰援国足踢泰国,就等足协向国际足联递交申请

评球论事
2024-03-28 12:37:09
突发!安徽网红乐乐不幸离世:人很美只有26岁,病因最后被曝光

突发!安徽网红乐乐不幸离世:人很美只有26岁,病因最后被曝光

影像温度
2024-03-28 10:35:25
2024-03-28 22:30:44

科技要闻

小米SU7起价21.59万元,顶配版29.99万元

头条要闻

小米SU7正式发布售价公布 蔚小理董事长亮相发布会

头条要闻

小米SU7正式发布售价公布 蔚小理董事长亮相发布会

体育要闻

疯狂的格林,冲刺的火箭

娱乐要闻

莱昂纳多与25岁新女友互相投喂超恩爱

财经要闻

中国版QE要来?国内外机构观点罕见一致

汽车要闻

混动增程双模式 长安UNI-Z售11.79万起

态度原创

房产
旅游
家居
手机
数码

房产要闻

中海顺昌玖里首开销售196.5亿元,上海豪宅市场“火热”

旅游要闻

在广西不洗澡,是不是犯了天条啊?

家居要闻

邂逅浪漫,注入柔性的法式基因

手机要闻

小米SU7 MAX版本售价29.99万元

数码要闻

72通道狂飙40GHz!全球首个GDDR7显存测试系统登场

无障碍浏览 进入关怀版
×