普渡大学创造DeepHand,用深度学习开发AR新技术

2017-01-03 17:20:57 来源: 雷锋网 举报
0
分享到:
T + -

(原标题:普渡大学创造DeepHand,用深度学习开发AR新技术)

雷锋网报道,美国印第安纳州的普渡大学西拉法叶分校的研究工作者,利用深度学习算法为虚拟增强现实技术提供了新型系统——“深度手控”(DeepHand)。

未来的人机交互系统,概念上应能够满足人类和虚拟环境间的交流互动。届时,对计算机的要求也变得更高,计算机将需要获取并计算人类手部复杂的运动状态及庞杂关节角度,从而理解人类双手无穷无尽的姿势所要表达的含义。

在虚拟增强现实技术中,用户需要佩戴头盔,才能够感知虚拟环境为用户所带来的视听盛宴。然而,增强现实技术能为用户呈现虚实并存的世界,并且满足用户对虚拟场景及真实世界双重互动。而虚拟现实技术为用户提供一个纯粹的人工环境,用户可以完全的沉浸在虚拟现实世界。

undefined

图片展示了深度手控系统的使用过程。“深度手控”(DeepHand)是由普渡大学C设计实验室的研究者所开发。该系统能够应用深度学习算法理解人类手部灵活的关节和大量复杂的扭动。这将会让我们向未来人机交互系统迈出一大步,更加深刻的满足人类和虚拟环境间的交流互动。

“如果将虚拟现实和增强现实二者结合,这种新系统必须能够看见并且理解用户的双手到底在做什么”,“Donald W. Feddersen机械工程系”兼C设计实验室主管,Karthik Ramani说道。“如果你的双手不能和虚拟现实相互沟通,那么你就没办法做任何事情。这就是为什么说双手在虚拟增强现实技术中是非常重要的。”

“深度手控”(Deephand)是一种新的系统,它应用卷积神经网络算法来模仿人类大脑,同时能够运用“深度学习”算法去理解双手状态的多变性和扭转的复杂度。“我们可以精确定位出手部和指头的位置,并能实时估计双手和指头的运动状态。”Ramani说道。

一篇关于“深度手控”的研究论文在今年6月26日至7月1日于美国拉斯维加斯举办的CVPR 2016上展出。(附上会议传送门:http://cvpr2016.thecvf.com/)

“深度手控”应用深度感知照相机捕捉使用者的手掌,并且使用特定算法来理解手势。“这种系统被称作‘三维空间用户界面‘,因为用户与电脑是在空间中进行交流,而不是传统的触屏控制和键盘操作。”,Ramani说道。“系统可以根据用户所需来识别搭建在虚拟平台上的物体,例如用户可以开虚拟汽车,或者做一个虚拟的陶艺。这样的一双会思考的虚拟双手,显然是一个至关重要的平台。”

这篇学术文章的作者是博士生Ayan Sinha和Chiho Choi以及Ramani。关于这篇文章更多细节已在C设计实验室主页展出。普渡大学的C设计实验室,是由美国国家自然基金所支持,并且和Facebook及Oculus齐名。同时联合赞助CVPR研讨会。(普渡大学C程序设计实验室网址传送门在此。)

根据一个拥有250万个手势和结构的大数据库,研究工作者不断地“训练”深度手控系统。为了更快的提取有效信息,手指连接处被设置为特定的“特征向量”。

“我们识别一些手部的关键角度。然后我们观察这些角度是如何变化的。这些结构其实就是一些量化的数值。”Sinha说道。

“这个想法类似于Netflix上的推荐算法,根据先验知识,比如用户之前购买过的电影库,然后针对这类特定客户的偏好,选择性地向他们推荐电影。”Ramani说。“深度手控”倾向于选择‘空间最近邻’算法,这种算法能够最佳的被摄像头捕捉到手部具体位置。尽管训练这个系统要求强大的计算能力,但是一旦这个系统被训练好了,就可以在标准运算强度的计算机上运行。”

雷锋网(公众号:雷锋网)了解到,这项研究已经被国家自然基金和普渡大学机械工程系所支持。

深度手控是一种关于重建人类手势使用深度学习算法的新理论。深度感知镜头使得电脑可以处理不同的人类手势。使用这些新的深度学习算法,电脑识别并重建手型的过程就像我们自身大脑做的那样。这有着潜力去变化我们和电脑交互的方式同时改变我们身边的事情。

深度学习模型能够观察手的不同部位,比如手掌或者指头,并且可以计算出他们组合在一起是怎么工作的,这和大脑的工作非常类似。考虑到自遮挡和自相似的手掌,甚至一些部分对于传感器根本不可见,但是算法依旧可以重建这些部位通过深度学习算法。

雷锋网在此附上CVPR 2016该文章的论文摘要译文:

《DeepHand:一种基于补完深度特征矩阵的鲁棒手势估计方法》

摘要:

本文提出一种使用商用传感器的深度数据恢复3D手势信息的DeepHand算法。通过有区别的训练卷积神经网络,得到低维的具有深度映射性的手势特征。这一手势特征向量包含了手部运动中整体的和局部的典型关节角度信息。算法通过高效地的识别空间上最近的指节构建出的手势特征,将特征库与合成的深度映射信息结合,并融合前几帧中的相邻指节信息来实现识别功能。

矩阵补完是通过时间-空间行为特征与已标记的手势参数值共同估计未知的手势参数。算法中手势特征数据库覆盖了多种视角下的特征数据,分层估计手势参数从而保证了在遮挡情形下的鲁棒性。文中展示了在标准配置的计算机上统一使用帧率为32的视频流将DeepHand与最新的方法进行对比的结果。

张糖糖不甜 本文来源:雷锋网 责任编辑:张洁_NT5630
分享到:
跟贴0
参与0
发贴
为您推荐
  • 推荐
  • 热点
  • 娱乐
  • 体育
  • 财经
  • 科技
  • 军事
  • 汽车

黄之锋获刑 周庭痛哭 华春莹用一句话回应

新闻 华春莹 周庭
|
北京日报
2小时前
5340 跟贴5340

澳籍主播:向赵立坚道歉 真正考虑放弃澳洲国籍

新闻 赵立坚 澳洲
|
环球时报-环球网
3小时前
729 跟贴729

拜登不会立即对中美第一阶段经贸协议采取任何行动?外交部回应

新闻 拜登 外交部
|
中华人民共和国外交部
9小时前
957 跟贴957

月亮之上,嫦娥“挖土”视频来了

新闻 月亮之上 嫦娥
| 人民网-人民日报
11小时前
5873 跟贴5873

女子抢首付800万月供10万豪宅:买200平 钱不是问题

新闻 华润城 房源
|
经济观察报
1天前
57348 跟贴57348

莫里森推特评论区 被《致莫里森》刷屏了……

新闻 莫里森 致莫里森
|
参考消息
14小时前
1167 跟贴1167

广西南宁一男子连续猛踢路边小猫,踢完冷眼旁观其挣扎到死

新闻 猫咪 南宁
|
澎湃新闻
17小时前
6584 跟贴6584

美研究显示新冠病毒去年12月就在美出现,外交部回应

新闻 外交部 新冠病毒
|
环球网
16小时前
535 跟贴535

美众议院表决通过《外国公司问责法》

新闻 外国公司问责法 参议院
|
界面新闻
2小时前
2442 跟贴2442

重要人物再遭暗杀,伊朗为何就是不实质反击?

新闻 伊朗 哈桑·鲁哈尼
|
观察者网
17小时前
88 跟贴88

要先下手?印官员:印度正考虑在雅鲁藏布江建大坝

新闻 雅鲁藏布江 印度
|
环球网
19小时前
305 跟贴305

深夜突发!深圳新增1例阳性,这里封村、小学停课?紧急回应来了

新闻 深圳 阳性
|
中国基金报
5小时前
2274 跟贴2274

英媒:拜登拟任命“亚洲事务主管”,以应对来自中国的挑战

新闻 拜登 白宫
|
环球时报
1小时前
274 跟贴274

黄之锋林朗彦周庭被判刑,有香港市民开香槟庆祝

新闻 林朗彦 周庭
|
环球网
16小时前
10163 跟贴10163

美国射电望远镜塌了,世界只剩中国FAST一只"天眼"

新闻 射电望远镜 国家科学基金会
|
观察者网
22小时前
2632 跟贴2632

被举报“有两个私生子”胡锡进本人回应

新闻 胡锡进 环球时报
|
胡锡进微博
16小时前
51378 跟贴51378

联播+ | 保护知识产权就是保护创新 习近平提出六方面要求

新闻 习近平 知识产权
|
央视网
12小时前
3790 跟贴3790

被录不雅视频,这名厅官遭敲诈250万

新闻 不雅视频 敲诈
|
长安街知事
21小时前
4245 跟贴4245

“山西寻子哥”寻子十年终寻获 拐卖者获刑10年,买者获刑2年

新闻 拐卖 寻子
|
红星新闻
9小时前
2404 跟贴2404

提前织好“安全网”?美媒:特朗普与顾问讨论赦免伊万卡兄妹及女

新闻 唐纳德·特朗普 伊万卡
|
每日经济新闻
3小时前
116 跟贴116

国航回应“成都至上海一航班起飞20分钟后返航”:系统机械故障

新闻 航班 成都
|
界面新闻
16小时前
49 跟贴49

华春莹:这就是澳大利亚愤怒的真正原因

新闻 华春莹 澳大利亚
|
观察者网
1小时前
56 跟贴56

环球时报总编辑胡锡进遭实名举报 部分内幕公示

新闻 胡锡进 环球时报
|
悄悄围观
16小时前
131064 跟贴131064

美军前F117飞行员:1999年南联盟还曾击伤一架F117

新闻 战机 战斗机
|
观察者网
17小时前
0 跟贴0

美媒爆料:当年空袭南联盟还有一架F-117被导弹击中

新闻 战斗机 战机
|
环球网
22小时前
154 跟贴154

男子婚后连得2子奖妻子300万 结果均是妻子前男友的

新闻 鉴定师 亲子鉴定
| 悄悄围观
16小时前
24892 跟贴24892

俄军开始试飞"猎人"隐身无人战机,已挂载空空导弹

新闻 导弹 无人机
|
环球网
22小时前
51 跟贴51

美司法部长称未发现大规模选举舞弊证据,特朗普律师:你们压根没

新闻 唐纳德·特朗普 司法部长
|
界面新闻
1天前
7 跟贴7

公主对“海王”太痴情,日本皇储都愁瘦了

新闻 日本 亲王
|
环球网微信公众号
19小时前
1 跟贴1

哈尔滨4岁幼女遭邻居抱走性侵 被告人被判死刑

新闻 强奸罪 奸淫
|
红星新闻
1天前
131992 跟贴131992

卡车司机礼让老夫妻 走到车前突然踩油门 老妇车轮下9秒惊险求生

新闻 车轮 车祸
|
海客新闻
23小时前
3 跟贴3

山东媒体回应雪乡喊冤:泰山山顶矿泉水5元一瓶

新闻 泰山 雪乡
|
山东商报
1天前
18800 跟贴18800

要行动?印官员:印度正考虑在雅鲁藏布江建大坝

新闻 雅鲁藏布江 印度
|
环球网
22小时前
168 跟贴168

港媒:黄之锋认罪今天下午判刑,由囚车押往法院照片曝光

新闻 黄之锋 法院
|
环球网
21小时前
0 跟贴0

蓬佩奥离任前与土耳其外长互相攻讦,美媒:或让拜登处境艰难

新闻 拜登 蓬佩奥
|
澎湃新闻
19小时前
0 跟贴0

美疾控中心建议缩短新冠肺炎隔离期 最低至7天!

新闻 隔离期 新冠肺炎
| 中国日报网
21小时前
100 跟贴100

瑞典男子遭母亲囚禁长达28年,警方已介入调查

新闻 瑞典 奥尔松
|
环球网
1天前
0 跟贴0

美媒:特朗普与顾问商讨提前赦免子女、女婿和私人律师朱利安尼

新闻 唐纳德·特朗普 朱利安尼
|
界面新闻
22小时前
7004 跟贴7004

美媒:拜登称若伊朗遵守伊核协议 美国将重新加入并取消制裁

新闻 拜登 伊核协议
| 海外网
19小时前
2 跟贴2

新西兰要站澳大利亚?外媒:新总理称已就漫画事件“向中方表达关

新闻 澳大利亚 新西兰
|
环球网
1天前
13033 跟贴13033

美英法等“站队”澳洲,新西兰忙改口!澳大利亚官员:可悲的笑话

金十数据
2020-12-02 13:55:09

他是唯一拒绝过范冰冰的男人,赵薇对他赞不绝口,娶护士幸福至今

娱圈李十八
2020-12-02 16:39:48

金晨遇高段位约会对象,比渣男更可怕,萧亚轩弟弟的话一针见血

巨蟹爱八卦
2020-12-02 16:35:36

《大秦赋》中,周天子为何说秦国的先祖“秦嬴”是养马的家奴?

待晓儿
2020-12-02 19:36:20

程序员发长贴讲述真实某多多:薪水高,普调高,环境差,厕所少

你撒好
2020-12-02 11:35:51

乌合麒麟的新画《致莫里斯》来了!

乌鸦校尉
2020-12-02 10:44:43

西藏一正厅级高官落马!被批是少数民族的耻辱,向他人索取巨额财物

阿没塔爱活
2020-12-02 16:00:10

当头一棒!“好人理查德”宣告成“死亡”,美军未来造舰计划如何走向?

军武次位面
2020-12-02 19:18:18

一张画激怒澳大利亚总理,这个漫画家到底有多刚?

世界华人周刊
2020-12-02 20:02:12

于洪臣“惊险的一天”

白话体育
2020-12-02 23:06:00

疫情过后,还有一波人抢着去开店,是无知无畏还是别有商机?

五彩斑斓的世界
2020-12-03 04:15:49

半路夫妻,再过“夫妻生活”是什么感受?女人的大实话,很现实

母子连心
2020-11-30 10:01:49

汇丰调查:超八成内地企业对未来两年国际贸易前景乐观

和讯网
2020-12-02 15:33:23

苏州最美自驾公路,因酷似日本镰仓成为网红景点,被称苏州小镰仓

刘小顺
2020-12-02 23:53:50

张作霖第一次去全聚德,被伙计当乞丐,张作霖直接调来两千官兵

观史谈天小阿姨
2020-12-02 20:37:13

曼联1-3巴黎引热议:马夏尔一己之力带崩曼联,内马尔金球级别

足球狗说
2020-12-03 07:04:52

34岁江疏影有多开放?全身上下仅用两根绳吊着,网友:原来胡歌是这口味

八姐论八卦
2020-12-02 23:32:58

民警到足疗店调查,听到房间里有特殊声音,场景更是不堪入目

凡间事
2020-12-03 00:24:04

中国正在漂移,未来要么变天堂,要么成荒漠,美欧可能会更惨!

徐德文科学频道
2020-12-02 18:35:12

新冠疫苗重磅!英国批准辉瑞疫苗紧急使用,钟南山:3个月临床试验结果远远不够

每日经济新闻
2020-12-02 22:03:56
2020-12-03 09:12:59
+ 加载更多新闻
×

【TED】快乐的源泉

热点新闻

态度原创

网易号

查看全部
阅读下一篇

返回网易首页 返回科技首页