网易首页 > 网易科技 > 网易科技 > 正文

谷歌开源新AI框架 用手机实时识别3D物品位置大小方向

0
分享至

(原标题:谷歌继续开源新AI框架,可实现手机高效实时3D目标检测)

澎湃新闻记者 王心馨

如何从2D图像中做3D目标检测,对于计算机视觉研究来说,一直是个挑战。

3月12日,谷歌AI在其官方博客上发布了一款名为MediaPipe Objectron的算法框架,利用这个算法框架,只要一部手机,就能实时从2D视频里识别3D物品的位置、大小和方向。这一技术可以帮助机器人,自动驾驶汽车,图像检索和增强现实等领域实现一系列的应用。

分开来解释,MediaPipe是一个开源代码跨平台框架,主要用于构建处理不同形式的感知数据,而 Objectron在MediaPipe中实现,并能够在移动设备中实时计算面向对象的3D边界框。

在计算机视觉领域里,跟踪3D目标是一个棘手的问题,尤其是在有限的计算资源上,例如,智能手机上。由于缺乏数据,以及需要解决物体多样的外观和形状时,而又仅有可2D图像可用时,情况就会变得更加困难。

为了解决这个问题,谷歌Objectron团队开发了一套工具,可以用来在2D视频里为对象标注3D边界框,而有了3D边界框,就可以很容易地计算出物体的姿态和大小。注释器可以在3D视图中绘制3D边界框,并通过查看2D视频帧中的投影来验证其位置。对于静态对象,他们只需在单个帧中注释目标对象即可。

右:在3D世界中检测表面和点云标注3D边界框。左:带注释3D边界框的投影叠加于视频帧,从而便以验证注释。

为了补充现实世界的训练数据以提高AI模型预测的准确性,该团队还开发了一种名为AR Synthetic Data Generation(增强现实合成数据生成)的新颖方法。它可以将虚拟对象放置到具有AR会话数据的场景中,允许你利用照相机,检测平面和估计照明,来生成目标对象的可能的位置,以及生产具有与场景匹配的照明。这种方法可生成高质量的合成数据,其包含的渲染对象能够尊重场景的几何形状并无缝地适配实际背景。

网络的样本结果:左边是带有估计边界框的原始2D图像;中间是高斯分布的对象检测;右边是预测的分割蒙版。

通过上述两个方法,谷歌结合了现实世界数据和增强现实合成数据,将检测准确度度提高了10%。

增强现实合成数据生成的一个示例:虚拟白褐色谷物盒渲染到真实场景中,紧邻真实蓝皮书。

准确度的提升是一方面,谷歌表示,当前版本的Objectron模型还足够“轻巧”,可以在移动设备上实时运行。借助LG V60 ThinQ,三星Galaxy S20 +和Sony Xperia 1 II等手机中的Adreno 650移动图形芯片,它能够每秒处理约26帧图像,基本做到了实时检测。

接下去,谷歌团队表示:" 我们希望通过与更多的研究员和开发者共享我们的解决方案,这将激发新的应用案例和新的研究工作。我们计划在未来将模型扩展到更多类别,并进一步提高设备性能。"

延伸阅读
相关推荐
热点推荐
美国被曝可能很快公布“禁止接收关键技术的中国芯片企业名单”,我使馆回应!

美国被曝可能很快公布“禁止接收关键技术的中国芯片企业名单”,我使馆回应!

环球网资讯
2024-03-29 09:28:48
哈哈!女子发视频吐槽软卧男女混乘,网友群嘲:“家人们谁懂啊”

哈哈!女子发视频吐槽软卧男女混乘,网友群嘲:“家人们谁懂啊”

动物的温情故事
2024-03-29 00:10:49
《狩魔猎人4》剑指次世代

《狩魔猎人4》剑指次世代

快科技
2024-03-29 08:44:07
网传山西柳林县一“交警队公职人员‘入室’打砸”?官方:对高某依法做出行拘处理

网传山西柳林县一“交警队公职人员‘入室’打砸”?官方:对高某依法做出行拘处理

界面新闻
2024-03-29 12:58:54
《南京条约》割让了香港岛,但我们收回来了,外兴安岭和库页岛呢

《南京条约》割让了香港岛,但我们收回来了,外兴安岭和库页岛呢

作家李楠枫
2024-03-29 07:46:32
换个发型,韦世豪染了玫瑰金发色出席赛前新闻发布会

换个发型,韦世豪染了玫瑰金发色出席赛前新闻发布会

懂球帝
2024-03-29 17:39:17
这可真是穷疯了,一大堆免费的东西,突然开始收费

这可真是穷疯了,一大堆免费的东西,突然开始收费

顾礼先生
2024-03-28 14:09:34
江苏省委常委刘建洋获任省委组织部部长

江苏省委常委刘建洋获任省委组织部部长

澎湃新闻
2024-03-29 17:52:26
就在刚刚!陈戌源因有重大立功表现,依法从轻处罚…

就在刚刚!陈戌源因有重大立功表现,依法从轻处罚…

知球者也
2024-03-29 08:00:27
最高层专门会见,别想了,风向就是转了

最高层专门会见,别想了,风向就是转了

视知产研院
2024-03-28 23:03:40
焚烧怕有污染,不烧影响生产:秸秆处置何解?

焚烧怕有污染,不烧影响生产:秸秆处置何解?

半月谈APP
2024-03-29 07:38:25
刘德华近照老态龙钟?62岁满头白发啤酒肚凸起,一脸愁容震撼网友

刘德华近照老态龙钟?62岁满头白发啤酒肚凸起,一脸愁容震撼网友

山野下
2024-03-29 09:24:54
全球近一半肝癌在中国,再次提醒:家里的3种食物,尽早撤下餐桌

全球近一半肝癌在中国,再次提醒:家里的3种食物,尽早撤下餐桌

历史有些冷
2024-03-28 18:30:12
太猛了,连续60个涨停,从1.09涨到9.2元,直接翻了9倍!

太猛了,连续60个涨停,从1.09涨到9.2元,直接翻了9倍!

云姐闲聊
2024-03-29 14:40:17
广州雷雨已至!暴雨、雷雨大风黄色预警生效中,注意冰雹雷击

广州雷雨已至!暴雨、雷雨大风黄色预警生效中,注意冰雹雷击

南方都市报
2024-03-29 19:39:15
拉夫罗夫:“5月21日后,或不再承认泽连斯基为乌总统”

拉夫罗夫:“5月21日后,或不再承认泽连斯基为乌总统”

参考消息
2024-03-29 16:59:56
上海一小区墙外惊现新坟,家属磕完头后消失了,附近居民:瘆得慌!

上海一小区墙外惊现新坟,家属磕完头后消失了,附近居民:瘆得慌!

上观新闻
2024-03-29 14:26:31
炸了!曹德旺突然宣布

炸了!曹德旺突然宣布

蓝色海边
2024-03-28 23:44:21
撒贝宁一家4口滑雪,混血儿女正面太漂亮,李白高挑又白皙!

撒贝宁一家4口滑雪,混血儿女正面太漂亮,李白高挑又白皙!

缘木不求娱
2024-03-29 12:33:18
比亚迪第二代刀片电池8月发布,看完不得不说,传福哥格局大啊!

比亚迪第二代刀片电池8月发布,看完不得不说,传福哥格局大啊!

Nice好车
2024-03-28 17:40:08
2024-03-29 19:58:44

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

头条要闻

拉夫罗夫:5月21日后可能不再承认泽连斯基为乌总统

头条要闻

拉夫罗夫:5月21日后可能不再承认泽连斯基为乌总统

体育要闻

拒绝为国出战,他是足坛"天选打工人"

娱乐要闻

胡夏被曝有孩子!工作室火速辟谣

财经要闻

张维迎:如何正确理解企业家精神?

汽车要闻

找回久违的开怀大笑 试驾小米SU7 Max

态度原创

旅游
手机
房产
数码
家居

旅游要闻

赏花不止于“春” 农文旅融合助力乡村

手机要闻

消息称苹果 iPhone 16 Pro 系列手机采用全新抛光钛金属工艺

房产要闻

官宣!三亚这片区迎重大教育配套!周边楼盘、小区最全盘点来了!

数码要闻

6999元!铭凡V3三合一平板正式发布:锐龙7 8840U、秒变游戏主机/外屏

家居要闻

弧岛栖居,极致温柔奶油底色

无障碍浏览 进入关怀版
×