网易首页 > 网易科技 > 网易科技 > 正文

会撒娇有情感,小米语音声学技术新升级!

0
分享至

(原标题:会撒娇有情感,小米语音声学技术新升级!)

近日,小米发布了小爱音箱Art,这款音箱采用全新的金属机身,机身扬声器开孔被设计成0.7mm厚度的金属饰板,可谓功能与质感兼具。小米小爱音箱Art通过一颗2.5英寸的全频扬声器,让声音的细节呈现得更加自然。

作为小米推出的第9款智能音箱,小米小爱音箱Art在技术上也全面升级,搭载第三代小爱同学,并支持情感化语音交互、全屋播放及就近唤醒。通过这款音箱得以看出,小米的声学语音技术已经实现全面自研,并在自研部分领域持续领先。

情感化语音交互:通过迭代声学模型,支持情感TTS

对于智能设备而言,实现情感化语音交互是一项挑战。“情感”本身就是主观的、多样的感受,一种情感可以有多种呈现形式,更适合人与人的面对面对话。情感化语音交互对技术要求较高,要技术方、数据方、质检方等多方对情感浓度、情感诠释方式等标准达成共识,将较主观的情感音素统一化、标准化。

随着人工智能技术的发展,在实现人机对话的基础上,各大厂商都在情感化语音交互的领域探索。为了让机器加入情感元素,小米AI实验室在“情感数据量有限”的前提下,通过不同声学模型、不同声码器组合最终上线自然、拟人效果的情感TTS,成为业内首家情感化TTS大规模落地的企业。

通过小米AI实验室的不断深耕,此次小米小爱同学Art全面支持情感化语音交互,基于有限但类型不同的情感音频数据(如开心、关心、害羞、惊讶等),通过不同技术训练并迭代声学模型,最终支持情感TTS合成并实现“小爱同学”情感化、拟人化。

未来,小米语音将升级此技术——支持情感TTS实时合成。从下图中可以看出,在大数据集的预训练模型基础上,利用目标说话人的中性情感数据对网络进行微调,得到目标说话人的中性情感模型;在此基础上用带情感的小批量数据对模型进一步微调,最终得到不同情感的模型,最终实现情感合成。

在国内语音助手行业中,小米首次实现情感化TTS的大规模落地,未来将打造情感更加丰富的“小爱同学”,为用户提供多元化的语音交互体验,为IoT设备增加更丰富更立体更逼真的语音交互体验。

语音支持全屋播放:立体声组合同步播放相同音频

小米小爱音箱Art,是首款可以实现语音支持全屋播放的设备。用户直接对小爱同学说“全屋播放XX”,无需提前在App端进行手动设置,即可实现一句话语音交互,为用户提供了更便捷的使用方式。

要实现这一功能,音箱需要具备AIoT放音的技术。小米AIoT放音的自研技术在攻克无线网络抖动、晶振时钟漂移以及弱网下数据不可达等一系列技术难题后,将不同音箱播放声音的同步优化到微秒级别,同时还实现了在不同型号的音箱之间的数据同步,提供更细腻的音质和宽广的声像。

由这张图可见,立体声支持APP创建组网,才能进行语音指令和APP操作播放,全屋播放同时支持语音指令和APP创建组网。

立体声功能同时支持语音指令和app操作播放,云端音频流下发至音箱A,音箱A将立体声分离为左右声道,音箱A自己播放左声道音频并将右声道音频流下发给音箱B,由B音箱播放右声道,精准的同步技术保证音箱A和B同时播放立体声的左右声道音频。全屋播放功能支持语音指令和app创建组网,音频流下发至音箱C,音箱C将音频流混合为单声道信号并下发给组内其他的音箱设备同时播放,不区分声道,可支持多个设备。

就近唤醒全面升级:实现跨设备关闭闹钟

早在2018年,小米音箱系列就上线了就近唤醒功能。值得一提的是,此次小米小爱音箱Art就近唤醒全新升级,可支持跨设备关闭闹钟。远处的音箱闹钟响了,唤醒近处的音箱可以直接关闭远处的闹钟。此功能在业内首次上线,小米小爱音箱Art也是首款支持该功能的产品。

说到就近唤醒,小米早在2018年就上线这一功能,截止2020年4月28日,分布式就近唤醒已为多设备用户累计避免约6.82亿次设备同时唤醒,准确率达到98%。近期首发上线了端云多维度结合的就近唤醒综合决策策略,深入加强多设备状态信息联动,智能判决空间信息,进一步提升了家庭复杂网络环境的兼容性,同时做到了多设备响应的唯一执行,大幅提升用户体验。

未来,小米将专注于家居复杂场景应用、智能声学感知和多传感融合。在复杂的家庭结构环境中,保证算法的可用性,让每个设备主动感知所处的不同环境,根据环境完成算法自适应,将数据结果取长补短,相互融合,实现多维度智能感知。

两麦阵列唤醒:两麦盲源分离降噪前端,双级唤醒策略支撑

小米小爱音箱Art同步支持两麦阵列唤醒技术。在麦克风阵列方面,小米采用两麦盲源分离降噪前端,通过盲源分离、降噪、回声消除等技术,在多声源的嘈杂环境、音箱自身播放音乐时,都能结合语音增强技术,消除噪音的强干扰,获得干净、准确的人声音频。

在唤醒方面,为了兼顾低功耗与高性能,自研语音唤醒算法采用双级唤醒策略。低功耗待机唤醒词检测模型,利用子采样与共享隐含层等技术,减少模型资源消耗的同时保证召回率在一个较高的水平。高性能误唤醒检测模型,采用粗粒度建模单元,结合局部信息与长时上下文信息,高效抑制误唤醒。通过从海量数据中自动挖掘高区分度训练样本,再经过数据扩充技术,提高唤醒模型在低信噪比与小音量场景下的鲁棒性。

小米AI实验室语音产品负责人陈君宇表示,小米IoT平台连接的智能硬件数已达到2.5亿台,音箱出货量已经达到2200万台,在这么大的用户体量下,如何让基础体验持续提升,且提升产品在AI体验上的创新性,对自研AI团队来说是非常重要的使命。

小米一直致力于研发先进的AI技术,并将技术落地到产品及业务,为用户带来更好的产品体验,让全球每一个人都能享受科技带来的美好生活。

相关推荐
热点推荐
国内首款近视药开售!定价为298元一盒

国内首款近视药开售!定价为298元一盒

人民日报健康客户端
2024-03-28 13:48:04
7分钟大定破2万!小米汽车21.59万元起售,能打穿哪些同行?

7分钟大定破2万!小米汽车21.59万元起售,能打穿哪些同行?

澎湃新闻
2024-03-28 22:44:36
普通中年人的天花板水平?从不应酬不吃夜宵,每天工资300块!

普通中年人的天花板水平?从不应酬不吃夜宵,每天工资300块!

玛丽姬丝
2024-03-28 20:54:09
曝李铁已被剃光头,刘海也没了,媒体人:他出庭时戴的应该是假发

曝李铁已被剃光头,刘海也没了,媒体人:他出庭时戴的应该是假发

体坛扒客
2024-03-29 00:24:07
明查|世行行长称7.7亿中国人处于极端贫困状态?他说的是46年前

明查|世行行长称7.7亿中国人处于极端贫困状态?他说的是46年前

澎湃新闻
2024-03-28 07:22:40
高铁9分钟不雅画面曝光,全网围观,网友:辣眼,脸都不要了?

高铁9分钟不雅画面曝光,全网围观,网友:辣眼,脸都不要了?

听风听你
2024-03-28 22:48:44
无法理解:为何有人宁愿花50多万买丰田霸道,不30多万买坦克500

无法理解:为何有人宁愿花50多万买丰田霸道,不30多万买坦克500

杂谈哥闲谈
2024-03-27 23:28:55
北京这些学校2024年首次招生、校址正式启用!

北京这些学校2024年首次招生、校址正式启用!

北青网-北京青年报
2024-03-28 18:54:05
李铁受贿共计高达7764万元,行贿4205万仅自掏腰包100万

李铁受贿共计高达7764万元,行贿4205万仅自掏腰包100万

直播吧
2024-03-28 21:43:03
决定不打了!又有大牌宣布赛季报销!五年3亿将变成毒药合同……

决定不打了!又有大牌宣布赛季报销!五年3亿将变成毒药合同……

篮球实战宝典
2024-03-29 01:42:07
03.28股市早8点丨昨尾盘杀跌不是这几个原因!

03.28股市早8点丨昨尾盘杀跌不是这几个原因!

沙黾农
2024-03-28 06:28:24
杭州公务员降薪?网友:上城区某四级主任科员综合年薪高达25万…

杭州公务员降薪?网友:上城区某四级主任科员综合年薪高达25万…

火山诗话
2024-03-28 21:16:16
京媒:李铁案庭审已进行了一个半小时,预计会持续到下午

京媒:李铁案庭审已进行了一个半小时,预计会持续到下午

直播吧
2024-03-28 10:14:17
人民币暴跌600点!亚洲货币全线崩盘,像极了1997年金融危

人民币暴跌600点!亚洲货币全线崩盘,像极了1997年金融危

户外阿崭
2024-03-28 20:41:17
何小鹏亲自开小米SU7赶赴发布会:这车卖便宜了就不对

何小鹏亲自开小米SU7赶赴发布会:这车卖便宜了就不对

手机中国
2024-03-28 17:09:28
未来3年可能出现的变化:现金、房子会贬值,而这3样却可能升值!

未来3年可能出现的变化:现金、房子会贬值,而这3样却可能升值!

静海
2024-01-10 15:11:32
小米汽车的三个杀手锏

小米汽车的三个杀手锏

袁国庆
2024-03-28 23:27:54
闹大了!云南37名游客被扣,不买床垫不让走,云南文旅介入调查

闹大了!云南37名游客被扣,不买床垫不让走,云南文旅介入调查

180°视角
2024-03-27 11:34:16
央视记者被阻挠:一个新阶段

央视记者被阻挠:一个新阶段

城市的地得
2024-03-14 00:22:23
南通禁止制售殡葬用品,法律博主:两县处级部门发文,越权公检法三大系统

南通禁止制售殡葬用品,法律博主:两县处级部门发文,越权公检法三大系统

可达鸭面面观
2024-03-28 11:09:33
2024-03-29 03:12:49

科技要闻

李斌李想何小鹏喊你买小米汽车

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

体育要闻

埃贝尔:图赫尔的继任者越早确定越好,希望做出最好的决定

娱乐要闻

莱昂纳多与25岁新女友互相投喂超恩爱

财经要闻

中国版QE要来?国内外机构观点罕见一致

汽车要闻

混动增程双模式 长安UNI-Z售11.79万起

态度原创

家居
教育
本地
游戏
军事航空

家居要闻

邂逅浪漫,注入柔性的法式基因

教育要闻

丰台首批拔尖创新人才培养基地校名单出炉!一文盘点北京7区基地校!

本地新闻

专访|张伟潮:最年轻的龙头专职制造者

开放世界游戏也能做出街机手感?10年前的《龙之信条》有多好玩

军事要闻

乌方声称击落两枚俄"锆石"高超音速导弹 俄方未予回应

无障碍浏览 进入关怀版
×