搜狗斩获ICPR 2020人脸关键点检测挑战赛冠军,计算机视觉技术持续领先

2020-10-26 12:16:00 来源: 大众新闻 举报
0
分享到:
T + -

(原标题:搜狗斩获ICPR 2020人脸关键点检测挑战赛冠军,计算机视觉技术持续领先)

作为3D 人脸重建、人脸识别、表情迁移及美化等应用的核心基础技术,人脸关键点检测算法一直是工业界和学术界的研究热点。

近日,在第25届国际模式识别大会(ICPR 2020)举办的人脸106关键点检测挑战赛中,搜狗AI团队荣获冠军,彰显其在计算机视觉领域的核心技术实力。

ICPR 2020大会是模式识别领域的顶级国际会议,由国际权威学术组织---国际模式识别协会(The International Association for Pattern Recognition,IAPR)主办,在本届大会组织的人脸识别领域竞赛单元-人脸106关键点检测比赛中,搜狗AI 团队在预赛验证和决赛测试两阶段均取得第一,击败OPPO研究院、美团视觉中心、东南大学、西安交大等多支强队,最终一举摘得桂冠。

图1本届挑战赛决赛阶段前五名结果

ICPR人脸106关键点检测挑战赛是什么?

人脸关键点检测算法的研究重点是在不同表情、性别、年龄、姿态、光照条件下,准确定位人脸轮廓及五官关键点,近年来偏向实用的人脸关键点检测的国际评测陆续举办,国际顶级计算机会议ICME 2019就曾举办人脸关键点检测的比赛。

人脸106关键点检测挑战赛(Grand Challenge of 106-p Facial Landmark Localization)是ICPR 2020举办的八项比赛之一,相较于之前的评测,本次ICPR 2020大会举办的评测难度更大。其测试样本涵盖大姿态、极端表情、遮挡等多种高难度、复杂的情况,且训练样本少,对算法的泛化能力、准确性及鲁棒性等多个方面提出了巨大的挑战,在比拼检测精度的同时,更加追求技术的实用化程度,对模型复杂度做了更加严格的要求,模型大小需要低于20 MB,运算复杂度不超过1GFLOPs,希望推动更加高效并且鲁棒的轻量级人脸关键点检测算法的技术进步,因此极富学术和实用价值,吸引了数十家企业和高校的参赛队伍参赛。

图2本届比赛数据集图片样例

搜狗本届比赛夺冠的技术优势是什么?

作为本届赛事的冠军队伍,搜狗AI团队在人脸关键点检测技术上有三个重要突破。

首先,采用基于HRNet基础模型的改进版本,利用不同分辨率之间特征全融合的方式,有效学习不同尺度图像的语义信息,同时为了保证算法的精度,搜狗增加了HRNet不同分辨率分支的通道数,从而在人脸关键点检测任务上表现出了出色的效果;

图3使用的HRnet网络结构

其次,在卷积层部分采用组卷积,并且把其中的瓶颈层(BottleNeck)改换为MobileNet V2中的逆残差结构(Inverted Residuals),设置逆残差结构的扩展参数为1,从而有效的降低了模型的复杂度;经典残差结构:1x1(压缩)->3x3(卷积)->1x1(升维),逆残差结构:1x1(升维)->3x3(dw conv+relu)->1x1(降维+线性变换),这对基于移动端设计的小模型有广泛的效果提升作用。

图4残差结构图

最后,除了使用常规的平移、旋转等数据增强策略,还使用了PDB(Pose-based Data Balancing)策略。该策略统计训练数据集中的不同姿态的图片的数量,然后通过简单的复制数量较少的姿态的图片,从而解决了不同的姿态的数据不均衡的问题,对大姿态下关键点的预测起到有效的作用。

表1本届比赛使用的网络结构

最终搜狗的算法在模型大小12MB,模型计算复杂度0.887GFLOPs的基础上,取得了本次比赛中最好的性能,模型累计误差分布曲线面积指标(AUC)达到80.52,归一化平均误差(NME)为1.58,预测失误率(FR@0.08)只有0.05。

图5人脸关键点的累计误差分布图

(曲线与横轴围成的面积越大算法性能越优异)

图5搜狗AI的比赛测试结果样例

坚持技术创新与应用落地并重,搜狗核心AI技术持续领先

搜狗在自然交互与知识计算的人工智能战略指引下,坚持以语言为核心的人工智能研究,近年来在语音、计算机视觉、问答、翻译、对话等核心技术领域取得突破性进展。

在技术创新方面,搜狗在计算机视觉领域一直保持着强劲实力。通用技术方向,于2018年在CVPR WAD自动驾驶视觉竞赛中夺得道路目标检测任务第一名;在国际自动驾驶领域权威评测集Cityscapes实例分割评测任务中同样拿到第一名的好成绩。OCR方向,于2019年11月刷新了ICDAR 2019 ArT检测、识别、端到端三项单元的新记录;人脸识别方向,于2018年11月在人脸识别顶级评测 MegaFace 的Face Identification(人脸识别)任务中,基于百万规模级别的人脸数据库以99.939% 的识别准确率斩获大赛第一名;本次ICPR 2020人脸106关键点检测挑战赛中又一次取得技术突破获得冠军,证明了搜狗在计算机视觉领域的领先实力。

在应用落地方面,搜狗自研的人脸相关技术已经应用于搜狗核心产品及解决方案中,其中,领先行业的数字人解决方案-搜狗分身已大量使用了自研的人脸关键点检测、识别以及生成技术,技术的不断突破有力确保了搜狗分身的领先优势;搜狗首创的基于模态注意力机制的语音+唇语的多模态识别技术,强噪声场景下识别准确率提升36%;搜狗最新发布的搜狗AI录音笔-E2在语音能力之外新增了视觉能力,能够支持文档图像识别OCR等技术,后续会陆续扩展人脸识别等相关应用。本次参赛的技术以应用落地为导向,已具备了大规模部署的能力,不久的将来会与搜狗分身、AI硬件、多模态识别等能力产生联动效应,进一步提升搜狗AI创新产品的用户体验。

未来,搜狗将持续在计算机视觉领域推动核心技术研发及创新,不断扩展技术成果的应用落地,带给用户更多差异化的优质体验。

netease 本文来源:大众新闻 责任编辑:陈体强_NB6485
分享到:
跟贴0
参与0
发贴
为您推荐
  • 推荐
  • 热点
  • 娱乐
  • 体育
  • 财经
  • 科技
  • 军事
  • 汽车

28岁女子小区被偷拍“出轨快递小哥”后抑郁 编造者拒赔偿:狮子

新闻 出轨 修车厂
|
红星新闻
3小时前
62681 跟贴62681

周庭当庭落下眼泪,美国反华议员卢比奥受不了了?

新闻 卢比奥 周庭
|
环球网
4小时前
2016 跟贴2016

罕见画面!动车组装“刀片”运行,一路电光四射

新闻 动车组 接触网
|
中国铁路
3小时前
0 跟贴0

女子反复抱摔亲生儿致其死亡:我想这不是人 而是鬼

新闻 杀人罪 婴儿
|
春城晚报
5小时前
7238 跟贴7238

黄之锋获刑 周庭痛哭 华春莹用一句话回应

新闻 华春莹 周庭
|
北京日报
11小时前
31720 跟贴31720

孙小果获专利减刑内幕:狱警协助将专利图纸带入监狱

新闻 孙小果 罪犯
|
界面新闻
5小时前
0 跟贴0

美官员称千余名中国研究人员离美 华春莹:为何自诩为强大民主国

新闻 华春莹 美国
|
环球网
3小时前
459 跟贴459

7岁女孩遭爷爷性侵 罪犯被判十年

新闻 性侵 立案
|
北京头条
7小时前
8291 跟贴8291

月球挖土,“打包”完成!

新闻 探测器 月球
|
人民日报
3小时前
0 跟贴0

外媒询问“澳总理微信公众号文章被删除”,华春莹回应

新闻 华春莹 文章
|
环球网
2小时前
296 跟贴296

河南村支书被举报贪污,其子带刀棍上门殴打举报者,混乱中遭反杀

新闻 举报者 村支书
|
陕西法治网
2小时前
571 跟贴571

她在“看不见的地方”,救人一命!

新闻 看不见的地方 救人一命
|
央视新闻
3小时前
0 跟贴0

洛杉矶紧急“封城”让所有居民留在家中,市长:是时候取消一切了

新闻 在家中 洛杉矶
|
界面新闻
5小时前
38 跟贴38

脱贫摘帽之后怎么干?习近平这样部署

新闻 习近平 脱贫
|
党建网微平台
2小时前
1 跟贴1

让中国人离开就安全了?美高官宣称:已有上千中国研究人员离开美

新闻 美国 中国
|
环球网
8小时前
4353 跟贴4353

来自月球的“土特产”,完成打包!

新闻 月球 探测器
|
央视新闻客户端
9小时前
141 跟贴141

中国将在雅鲁藏布江下游搞水电? 驻印使馆回应

新闻 雅鲁藏布江 雅江
|
观察者网
7小时前
10 跟贴10

重要人物再遭暗杀,伊朗为何就是不实质反击?

新闻 伊朗 哈桑·鲁哈尼
|
观察者网
1天前
522 跟贴522

华春莹:这就是澳大利亚愤怒的真正原因

新闻 华春莹 澳大利亚
|
观察者网
11小时前
7957 跟贴7957

冠县领大额补贴种樱桃却不见樱桃 山东成立调查组

新闻 樱桃 樱桃树
|
齐鲁网
8小时前
9483 跟贴9483

男子婚后连得2子奖妻子300万 结果均是妻子前男友的

新闻 鉴定师 亲子鉴定
|
悄悄围观
1天前
40080 跟贴40080

海南省委原常委、海口市委原书记张琦受贿案一审宣判

新闻 张琦 海南省委
|
央视新闻客户端
1小时前
0 跟贴0

年薪百万银行副行长受贿近9百万 私藏枪支索贿游艇

新闻 长沙银行 受贿
|
澎湃新闻
4小时前
576 跟贴576

浦北路杀害小学生案罪犯黄一川被执行死刑

新闻 黄一川 执行死刑
|
上海一中法院
3小时前
1925 跟贴1925

俄S-500将于明年问世 印媒:萨德、F-35都要过时了

新闻 s-400 萨德
|
环球网
2小时前
0 跟贴0

习声习语 | 残疾人是人类大家庭的平等成员

新闻 残疾人 习声习语
|
中国网
2小时前
0 跟贴0

特朗普发表“可能有史以来最重要讲话”:如果我们对选举欺诈指控

新闻 拜登 唐纳德·特朗普
|
环球网
10小时前
8219 跟贴8219

被举报“有两个私生子”胡锡进本人回应

新闻 胡锡进 环球时报
|
胡锡进微博
1天前
60559 跟贴60559

北京800铁骑上岗!配摄像头主动识别交通违法

新闻 违法 铁骑
|
北京日报
11小时前
629 跟贴629

这项重要工作,习近平用39个“要”作出部署

新闻 习近平
|
新华社
18小时前
167 跟贴167

阿富汗平民讲述澳军杀害其亲人:开枪击倒后放狗咬

新闻 阿富汗 塔利班
|
环球网
9小时前
37 跟贴37

他们消失,是网红圈的悲哀

新闻 非主流 爆炸头
| 网易谈心社
23小时前
156 跟贴156

澳籍主播:向赵立坚道歉 真正考虑放弃澳洲国籍

新闻 赵立坚 澳洲
|
环球时报-环球网
13小时前
2259 跟贴2259

美国上空闪现神秘火球:白光伴巨大轰鸣 房屋震颤

新闻 火球 美国
| 海外网
1小时前
644 跟贴644

女子抢首付800万月供10万豪宅:买200平 钱不是问题

新闻 华润城 房源
|
经济观察报
1天前
59802 跟贴59802

轻松一刻:为还房租,美女老板娘竟开大尺度直播

新闻 拔河 大学生
| 轻松一刻
22小时前
3738 跟贴3738

被录不雅视频,这名厅官遭敲诈250万

新闻 不雅视频 敲诈
|
长安街知事
1天前
4907 跟贴4907

东大支教老师连踹小学生 校方回应 教体局登门道歉

新闻 东南大学 支教老师
|
北京日报
10小时前
4795 跟贴4795

碎了的蛋壳,和无家可归的年轻人

新闻 社会 蛋壳
| 网易数读
2天前
2156 跟贴2156

中国人身高东亚第一了,但我还在拖后腿

新闻 社会 身高
| 网易数读
1天前
636 跟贴636

身高2.36米的巨人鲍喜顺不听劝阻,执意生下一子,如今怎样了

新语话史
2020-11-30 23:59:17

日本人不讲武德?派二队踢韩国,韦世豪或让恒大白等3天

三十年体坛故事
2020-12-02 23:23:12

男足疗师为学徒女子示范时激发性欲,发生性关系,构成强奸吗?

身边的刑法
2020-11-30 06:20:02

签了!巴特勒新签巨额合同!就在同一天,维金斯也正式签约

蹒跚学史记
2020-12-03 09:24:50

曝齐达内最快10天后下课,皇马敲定两人选,16年忠臣PK名帅

风云体坛资讯
2020-12-02 17:45:08

俄或对华暂停移交S400,对印却大开绿灯?中国彻底明白一个道理

铁拳大卫君
2020-12-01 22:38:35

辛巴不明白,为何赔偿6000多万还不够,王海一定要让自己破产

瑶山娱乐圈
2020-12-01 22:08:29

深圳有几十万印度人,如今却想要离开,他们到底发现了什么?

小李话军事
2020-11-30 16:00:56

讲道理,每天打多少次飞机会伤身体?

较高端人类
2020-11-27 00:54:41

王必成缴获日军一大炮,日军派几千人寻找,愿拿一百挺机枪换回

奇闻观止
2020-12-02 23:56:05

他是中央军委委员,首任陆军司令,战斗英雄,62岁上将,今年67岁

侃史小助手
2020-12-01 07:30:02

世界首款「女性伟哥」,为什么没能复制蓝色小药丸的神话?

丁香医生
2020-12-02 21:10:18

被判刑后周庭痛哭黄之锋大喊,法官:即时监禁是唯一选项

澎湃新闻
2020-12-02 16:53:44

富士康最底层的挣扎:每天流水线上站10小时 想加班得请领导吃饭

安周在农村
2020-12-03 04:11:25

撑着透明的雨伞,浓浓江南女子的优雅气质,下班我能送你回家吗?

时尚企帝
2020-12-03 16:42:27

这次不忍了!阿富汗受害者重磅发声,铁证如山看澳大利亚还怎么赖

88战车
2020-12-03 10:51:19

60岁女人还需要夫妻生活吗?这三个女人说出内心想法

民生热点
2020-11-28 22:34:51

浙江女子取钱后被告上法庭,银行多给1600元,女子:离柜概不负责

小智搞笑视频
2020-12-03 12:46:50

央视第一美女主持,不顾家人反对嫁小伙,小伙现在身份不一般

妮妮娱评
2020-12-02 11:58:10

儿子结婚没钱买房,父亲为弥补遗憾摆摊到凌晨1点,目标要挣80万

常镜头
2020-12-02 18:41:26
2020-12-03 18:56:59
+ 加载更多新闻
×

【TED】普通人的超凡力量

热点新闻

态度原创

网易号

查看全部
阅读下一篇

返回网易首页 返回科技首页