网易首页 > 网易科技 > 网易科技 > 正文

谷歌揭秘自家翻译系统:如何利用AI技术提高翻译质量

0
分享至

(原标题:谷歌揭秘自家翻译系统:如何利用AI技术提高翻译质量)

对于机器翻译来说,如果一门语言可用的文字资料越多,经过人工智能模型训练出来的翻译效果就越好。但并不是所有语言都具备丰富可用训练的文字资料,这样一来,如何在数据不多的情况下,训练出更好的翻译器,成为机器翻译领域里需要解决的问题之一。


近日,谷歌在自己的博客上介绍了公司最新的翻译创新技术,这些技术提升了谷歌翻译的用户体验。目前谷歌翻译可支持108种语言,平均每天翻译1500亿个单词。

谷歌翻译最早亮相于2006年,在过去的13年间,翻译水平有了重大飞跃。谷歌表示,其翻译突破并不是由单一技术推动的,而是针对低资源语言、高资源语言、总体质量、推理速度等一系列技术组合的突破。在2019年5月到2020年5月之间,根据人工评估和BLEU(基于翻译系统翻译和人工参考翻译之间相似性的衡量标准),谷歌翻译在所有语言中平均提高了5分以上,在50种语料资源最少的语言中平均提高了7分以上。

混合模型和数据挖掘器

在这系列技术突破中,谷歌首先提到了混合模型和数据挖掘器。

混合模型指的是由Transformer编码器和递归神经网络(RNN)解码器构成的模型。在机器翻译中,编码器通常将单词和短语编码为内部表征,解码器将其生成为所需要的语言文本。谷歌的研究人员在2017年称首次提出,翻译质量的提高主要依靠编码器。谷歌团队称这可能是因为RNN和Transformer都设计为处理有序数据序列,但Transformers并不需要按顺序处理序列。换句话说,如果所讨论的数据是自然语言,则Transformer无需在处理结尾之前先处理句子的开头。

尽管如此,RNN解码器在推理时间上仍然比Transformer中的解码器要“快得多”。谷歌翻译团队认识到这一点,于是在将RNN解码器与Transformer编码器耦合之前,对RNN解码器进行了优化,以创建低延迟、质量及稳定性均比此前所使用的RNN神经机器翻译模型更胜一筹的混合模型。

除了新颖的混合模型体系结构之外,谷歌还升级了爬虫工具,爬虫工具可以从数以百万计的示例翻译中收集编译训练数据。升级后,谷歌嵌入了14种大语言对,而不是单纯基于字典数据。也就是说它是使用实数向量来表示单词和短语,更多地聚焦于精确性(检索数据中的相关数据部分),而非检索(实际检索的相关数据总量)。产出效果方面,谷歌说这使得该数据挖掘器提取到的句子数量平均增加了29%。

“嘈杂”的数据和迁移学习

谷歌翻译性能提升的另一个技术突破来自更好地处理训练数据中的“噪声”。“噪声”即嘈杂的数据,因含有大量无法正确理解或解释的信息数据,从而会损害语料资源丰富的语言翻译。因此谷歌翻译团队部署了一个系统,该系统使用经过训练的模型为翻译示例分配分数,进而筛选出“纯净”的数据。实际上,这些模型一开始基于所有的数据进行训练,然后逐渐基于更小、更纯净的数据子集进行训练,这种方法在人工智能研究领域被称为课程学习。

对于机器翻译来说,传统上依赖于源语言和目标语言中成对句子的语料统计。对于资源较少的语言,谷歌在谷歌翻译中采用了一个回译机制,来强化并行训练数据,即语言中的每个句子都与其译文相配对。在该机制中,训练数据与合成的并行数据自动对齐,目标文本为自然语言,而源文本则由神经翻译模型生成。结果是,谷歌翻译充分利用更丰富的单语文本数据来训练模型,谷歌称这对提高翻译流畅性特别有帮助。

此外,谷歌翻译团队还建了一个M4模型。M4模型由团队在2019年提出,该模型对100多种语言的250亿对句子进行训练后,提高了30多种低资源语言的翻译质量。这一模型也证明了在机器翻译过程中可以使用迁移学习技术。这也意味着收集包括法语、德语和西班牙语,这些有数十亿个并行示例的高资源语言,并进行训练后,可以应用于翻译诸如约鲁巴语,信德语和夏威夷语,这些仅有数万个示例的低资源语言。

机器翻译的未来

谷歌称,自2010年以来,翻译质量每年都在提高,但是机器翻译绝不是翻译问题的“终结者”。 谷歌承认,即使是增强后的模型也容易出错,包括将一种语言的不同方言混合在一起,产生过多的直译,以及在特定主题,非正式或口语上的表现不佳。

谷歌尝试用不同的方法来解决上述的问题。公司曾发布一项计划旨在招募志愿者,通过检查翻译单词和短语是否正确来帮助提高低资源语言的翻译性能。 今年2月份,谷歌翻译与新兴的机器学习技术相结合后就完成了进步,他们提供了仅有7500万人使用的五种语言翻译,例如Kinyarwanda(卢旺达语),Odia(奥里亚语),Tatar(鞑靼语),Turkmen(土库曼语)和Uyghur(维吾尔语)。

追求真正通用翻译的并不只有谷歌一家。在2018年8月,Facebook发布了一种AI模型,该模型结合了逐词翻译,语言模型和反向翻译,在语言配对方面表现优异。最近,麻省理工学院计算机科学与人工智能实验室的研究人员提出了一种无监督模型,即可以从未经明确标记或分类的测试数据中学习的模型,该模型可以在两种语言的文本之间进行翻译,而无需在两种语言之间直接进行翻译。

延伸阅读
相关推荐
热点推荐
乔治质疑泰伦卢, 更衣室中两人拍桌子互骂, 哈登和伦纳德表明态度

乔治质疑泰伦卢, 更衣室中两人拍桌子互骂, 哈登和伦纳德表明态度

小宝说说
2024-03-29 15:03:29
詹姆斯:我得给里夫斯机会让他锻炼自己 他会在我退役后打得很好

詹姆斯:我得给里夫斯机会让他锻炼自己 他会在我退役后打得很好

直播吧
2024-03-29 21:53:05
6名公职人员接受纪律审查和监察调查

6名公职人员接受纪律审查和监察调查

锡望
2024-03-28 17:17:13
菲律宾前总统阿罗约:西方解决国际冲突靠战争,而中国有东方之道

菲律宾前总统阿罗约:西方解决国际冲突靠战争,而中国有东方之道

环球网资讯
2024-03-28 16:44:13
看完网飞版《三体》,海外观众也坐不住了……

看完网飞版《三体》,海外观众也坐不住了……

中国日报
2024-03-29 11:56:00
法国议员炮轰欧盟:我们简直成了中美非的租界,什么人都能拿来用

法国议员炮轰欧盟:我们简直成了中美非的租界,什么人都能拿来用

孤烟暮蝉
2024-03-29 14:23:35
曝42岁李晨上海遛娃!推简易婴儿车太低调,女儿长相清秀超像爸

曝42岁李晨上海遛娃!推简易婴儿车太低调,女儿长相清秀超像爸

花花lo先森
2024-03-27 16:36:25
梅德韦杰夫誓言血债血偿,话音刚落,乌50%供电设施从地球上消失

梅德韦杰夫誓言血债血偿,话音刚落,乌50%供电设施从地球上消失

朝晖前哨
2024-03-29 10:19:24
唐山大地震救灾士兵离奇退伍,临终坦白:竟是看到了不该看的东西

唐山大地震救灾士兵离奇退伍,临终坦白:竟是看到了不该看的东西

小红帽笔记
2023-08-07 18:35:01
局长去世人走茶凉,全局只有女副科长去吊唁,三年后女副科成正局

局长去世人走茶凉,全局只有女副科长去吊唁,三年后女副科成正局

史论纵横
2024-03-22 10:33:21
他官至副国级,受审时放狠话:谁敢判我死刑!入狱后不久患癌病逝

他官至副国级,受审时放狠话:谁敢判我死刑!入狱后不久患癌病逝

诗意世界
2024-03-20 10:15:03
刘亦菲母亲刘晓莉:长得比女儿还漂亮,两婚两离,65岁单身也幸福

刘亦菲母亲刘晓莉:长得比女儿还漂亮,两婚两离,65岁单身也幸福

简读视觉
2024-03-28 21:00:03
造车八年,巨亏近1000亿,李斌被灵魂拷问:蔚来什么时候倒闭?

造车八年,巨亏近1000亿,李斌被灵魂拷问:蔚来什么时候倒闭?

半个诸葛
2024-03-14 16:06:39
大定了一台小米Su7,看完质保权益,又有点犹豫了!

大定了一台小米Su7,看完质保权益,又有点犹豫了!

户外小阿隋
2024-03-29 15:18:05
现任外交部发言人,谁最有可能成为下一届外交部长?

现任外交部发言人,谁最有可能成为下一届外交部长?

李昕言温度空间
2024-03-20 08:46:13
CBA季后赛大反转,辽篮被套路,广厦要故意输广东,新疆队麻烦了

CBA季后赛大反转,辽篮被套路,广厦要故意输广东,新疆队麻烦了

宗介说体育
2024-03-29 17:36:46
汪小菲晒钻戒宣布求婚成功:送女友Mandy价值百万的豪车

汪小菲晒钻戒宣布求婚成功:送女友Mandy价值百万的豪车

素素娱乐
2024-03-28 22:15:19
8秒06!吴艳妮创亚洲赛季最佳战绩 PB提升0.04秒世界排名暴涨23位

8秒06!吴艳妮创亚洲赛季最佳战绩 PB提升0.04秒世界排名暴涨23位

劲爆体坛
2024-03-29 19:49:06
台湾省发达到了什么程度?让我告诉你一个真实的台湾省!

台湾省发达到了什么程度?让我告诉你一个真实的台湾省!

精选百货橱窗
2024-03-29 07:53:58
小米21.59万,汽车行业的天塌了!

小米21.59万,汽车行业的天塌了!

听风听你
2024-03-28 23:40:29
2024-03-29 22:04:49

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

头条要闻

美"双头姐妹"之一已婚 丈夫带8岁女儿加入"重建家庭"

头条要闻

美"双头姐妹"之一已婚 丈夫带8岁女儿加入"重建家庭"

体育要闻

足坛反腐涉案金额:6人超千万李铁1.2亿

娱乐要闻

胡夏被曝有孩子!工作室火速辟谣

财经要闻

张维迎:如何正确理解企业家精神?

汽车要闻

找回久违的开怀大笑 试驾小米SU7 Max

态度原创

旅游
手机
游戏
艺术
公开课

旅游要闻

赏花不止于“春” 农文旅融合助力乡村

手机要闻

全套深度定制配件!红魔9 Pro+大黄蜂限量典藏套装发布:6499元

网红风中的一股清流——《射雕》带你领略宋次元新国风

艺术要闻

专访|“提香·花神”策展人:用经典再现威尼斯画派

公开课

30岁之前,你要学会的13件事情

无障碍浏览 进入关怀版
×