网易首页 > 网易科技 > 网易科技 > 正文

谷歌让机器更懂语言的精深 发布最大消歧语料库

0
分享至

undefined

本文作者:奕欣

理解语言的核心自然是了解词语在文本中的不同含义。雷锋网(公众号:雷锋网)先说个中文笑话先:

领导:「你这是什么意思?」

下属:「没什么意思,意思意思。」

领导:「你这就不够意思了。」

下属:「小意思,小意思。」

领导:「你这人真有意思。」

下属:「其实也没有别的意思。」

领导:「那我就不好意思了。」

下属:「是我不好意思。」

如果让机器来理解这些到底是什么意思,想必它也会头疼的吧。

undefined

谷歌让机器更懂语言的博大精深,发布最大消歧语料库

那么用相对简单的英文?也没有那么简单。毕竟一个单词可能包括数十个意思。

举个例子:「he will receive stock in the reorganized company」,这个句子中,我们结合上下词就能知道,「stock」在这里是股票的意思,我们可以从牛津字典中找到更为专业的解释。

但是同样在牛津字典中,stock这个词还有超过10个不同的含义,比如「(商店里的)库存」或是「(鞭子、钓竿等的) 柄」。对于计算机算法而言,如何从博大精深的含义中找寻某个句子中对应的词义?这的确是一个词义消歧难题,也就是AI-Complete问题。

雷锋网消息,今天谷歌研究院又发出了重磅新闻,他们发布了基于MASC&SemCor数据集的大规模有监督词义消歧语料。这些语料会与牛津字典上的例句做映照,广泛适用于各个社区。与此同时,本次发布也是最大的全句释义语料库之一。

有监督词义消歧

人们通过对句子中词语的内容进行理解,因为我们能通过常识判断上下文的含义。比如同样一个例子,「『stock』 in a business」代表的自然是股票的意思,而「『stock』 in a bodega」更有可能是库存的意思,即使这里的bodega也可能指酒窖生意。我们希望为机器提供足够的背景信息,并应用于理解文本中词语的含义。

有监督词义消歧(WSD)尝试解决这一问题,也就是让机器学习使用人工标记的数据,并与字典中的词语所代表的典型含义匹配。我们希望构建这样的一个监督模型,能够不考虑复杂语境,并匹配句中单词在词典中最可能表达的含义。虽然这一点富有挑战,但监督模型在大量训练数据支持下表现良好。

通过发布数据集,我们希望社区能够提出更好的算法,让机器对自然语言产生更深刻的理解,支持以下的应用:

从文本中自动搭建数据库存,这样一来,机器可以回答问题,并将文档中的知识串联起来。举个例子,机器在经过学习后,明白「hemi engine」指的是一种自动化的机械;而「locomotive engine」则与火车有关。也能理解「Kanye West is a star」指的是名人的意思;而「Sirius is a star」则是天文学概念。

消除歧义。我们希望让文本在查询中能够呈现不同的含义,避免张冠李戴,与此同时还能返回具有相关语义的文档。

人工注释

在我们人工标记的数据集中,每一个词义注释都由五个评估者进行审核。为了确保质量,这些评估者会进行训练(gold annotation),即让语言学家们对一些研究样本进行标记。以下是我们的标记页面。

undefined

谷歌让机器更懂语言的博大精深,发布最大消歧语料库

在页面左边呈现的是general的常用词义及例句,在右侧的文本中,general一词会高亮显示。除了匹配词义外,评估者还能对词语进行判断,可以指出包括「拼写错误」、「上述情况都不符合」、「不确定」等三种情况。此外,评估者可以对一些含有隐喻的词语进行标记并评论。

这些人工的词义标注采用了Krippendorff's alpha (α >= 0.67则具有一定可信度,α >= 0.80则表示具有很高的可信度) 进行判断,结果显示得分为0.869。雷锋网认为这是一个非常不错的成绩了。

undefined

谷歌让机器更懂语言的博大精深,发布最大消歧语料库

Wordnet Mappings

与此同时,谷歌也发布了两个从牛津词典到Wordnet的映射。小的数据集中含有2200个单词,而大的数据集则是算法构建的。这两个映射内容能够更好地将Wordnet 的内容应用于牛津词典的语料库中,也能够在使用过程中实现系统的构建。

以上研究成果已经收录在「Semi-supervised Word Sense Disambiguation with Neural Models」中,主要采用的是 LSTM 语言处理模型及半监督学习算法。

Via google blog,雷锋网编译

相关推荐
热点推荐

李莲英究竟是不是真的太监?看看接触过李莲英的宫女怎么说的

微影悼红
2021-01-25 07:00:23

【过恶汁】潮汕一按摩店3名女技师提供色情服务时被抓!抓捕现场曝光

揭阳在线
2021-01-24 23:16:47

美女总统太有魅力!与马克龙十指相扣又搂又亲,大25岁老婆管不了

石头钱币
2021-01-25 09:52:15

同时约P五个男人,她把自己活成了充气娃娃

电影打分小组
2020-10-25 23:30:24

智利新鲜水果出口商协会(ASOEX)智利车厘子委员会声明

中国零售信息
2021-01-25 22:55:55

比马尚更强!辽宁最大克星要来了,网友:广东夺冠稳了!

体坛赛事风云录
2021-01-25 23:35:06

美同意日本“协防钓鱼岛”请求,中国海警:我就够你们喝一壶

国防时报看点
2021-01-25 17:11:40

江苏某教师上课只讲10分钟,其余时间学生自学,教育局已约谈

学而不思则忘
2021-01-25 22:40:42

【防疫发布会速读】上海新增1例确诊;市民必须加强防护;春节供应有保障

上观新闻
2021-01-25 15:29:00

“清朝少侠”方世玉怎么死的?一身铜筋铁骨,24岁被师太踢肛而死

静淞娱乐社
2021-01-25 05:17:10

超级碗55年历史首现主场作战,43岁布雷迪要带13年0季后赛的新东家创历史

体坛赛事风云录
2021-01-25 22:25:02

26省份经济年报:广东首超11万亿,超越俄罗斯、韩国

澎湃新闻
2021-01-25 21:43:37

歼10信号离奇失踪!雷达静默搜索空中目标,美航母感慨:今非昔比

溦溦看天空
2021-01-25 21:42:07

明年起,“降价潮”或降临,高层反复表态,内行人正悄悄撤离

财富管理专员
2021-01-23 08:20:58

啤酒,阳性!1066人居家隔离!

健康生活先闻
2021-01-25 05:03:56

“快递改造”拉开序幕,新政策出台,2年内,将出现大量农民老板

钱包那些事儿
2021-01-25 05:56:55

三四人团队,月利润10万以上,了解这几点,普通人也能起步

凡间事
2021-01-25 19:44:50

5中1!7中1!5中1!6中0!哈登看到了吧,这就是你喂出来的3D射手

体育就你秀
2021-01-25 21:31:16

“天然盘尼西林”被发现,隔天吃1次,肺热咳嗽全走开,冬天多吃

风哥爱情哲学
2021-01-23 06:02:21

68岁的康有为,身边有1妻5妾,为了壮阳,做了山羊睾丸移植?

一更历史
2021-01-24 20:54:07
2021-01-26 04:57:02

科技要闻

微信“靓号”可以卖9999元?千万别买!

头条要闻

下班不想去跳舞女子辞职变被辞退 她提出3万元赔偿

头条要闻

下班不想去跳舞女子辞职变被辞退 她提出3万元赔偿

体育要闻

阿的江:细节决定成败 要打好比赛如何抢篮板这个学费不能白交

娱乐要闻

虞书欣穿牛仔裤拍美照 元气满满

财经要闻

汽车要闻

鼠年的压轴大戏 全新奔驰S级1月29日上市

态度原创

时尚
教育
房产
游戏
军事航空

专访 周冬雨:我想玩点刺激的

教育要闻

学生用文言文写请假条火了,老师给出暖心评语

房产要闻

让群众有盼头 多地启动督办房本办理难问题

《罪恶帝国》四位首领与城市情报公布

军事要闻

陆军大口径远程火箭炮一次出动24门

×