人工智能系统如何使用疯狂 Libs 自学语法

AI10个月前发布 aixure
17 0 0
导读:假设您正在训练一台具有扎实词汇和基本语音部分知识的计算机。怎么会理解这句话:跑去商店的厨师没食物了。 厨师的食物用完了吗?商店有吗?厨师经营的商店没有食物吗? 大多数说英语的人会立刻想出正确的答案,但即使是先进的人工智能系统也会感到困惑。毕…

假设您正在训练一台具有扎实词汇和基本语音部分知识的计算机。怎么会理解这句话:"跑去商店的厨师没食物了。

厨师的食物用完了吗?商店有吗?厨师经营的商店没有食物吗?

大多数说英语的人会立刻想出正确的答案,但即使是先进的人工智能系统也会感到困惑。毕竟,这句话的一部分字面意思是"商店没有食物了"。

先进的新机器学习模型在这些方面已经取得了巨大的进展,主要是通过培训巨大的数据集或"树库"句子,人类已经手工标记来教授语法,语法和其他语言原则。

问题是树库价格昂贵,劳动密集型,计算机仍然难以解决许多歧义问题。根据句子结构和上下文的不同,相同的单词集合可以有不同的含义。

但是斯坦福大学人工智能研究人员的一组新研究发现,先进的人工智能系统可以自己找出语言原理,而无需首先练习人类为它们标记的句子。它更接近人类孩子在成人教语法或语法之前学习语言的。

然而,更令人惊讶的是,研究人员发现AI模型似乎推断出适用于许多不同的语言的"通用"语法关系。

这对自然语言处理有重大影响,因为自然语言处理对于回答问题、翻译语言、帮助客户甚至审查简历的人工智能系统越来越重要。它还可促进学习很少人所讲语言的系统。

成功的关键?看来,机器通过玩数十亿个让人联想到"疯狂 Libs"的游戏,就学到了很多关于语言的东西。为了更好地预测缺失的单词,系统逐渐创建自己的模型,了解单词之间的关系。

"随着这些模型变得越来越大和灵活,事实证明,它们实际上是自我组织来发现和学习人类语言的结构,"克里斯托弗曼宁说,他是机器学习教授、斯坦福大学语言学和计算机科学教授,也是斯坦福大学以人类为中心的人工智能研究所(HAI)的副主任。"这和人类的孩子一样。

学习句子结构

第一份关于斯坦福大学计算机科学博士生的实验报告凯文克拉克、约翰休伊特和乌尔瓦希汗德尔瓦尔曾与曼宁和Facebook人工智能研究研究员奥马尔利维合作。

研究人员首先使用谷歌开发的最先进的语言处理模型,该模型绰号为BERT("变形金刚的双向编码器表示"的简短)。BERT使用"疯狂自由民主党"的方法来训练自己,但研究人员认为,这种模式只是在附近的单词之间建立关联。例如,一个提到"跳投"和"跳投"的句子会提示模型搜索与篮球相关的单词。

然而,斯坦福团队发现,这个系统正在做一些更深刻的事:它是学习句子结构,以识别名词和动词以及主题、对象和谓词。这反过来又提高了它解开句子的真正含义的能力,否则可能会混淆。

曼宁说:"如果它能找出一个空白动词的主题或对象,那将有助于它更好地预测动词,而不是简单地知道附近出现的话。例如,如果它知道"她"指的是 Lady Gaga,那么它就会对"她"可能做什么有更多的想法。

这是非常有用的。以这句话来报道共同基金的宣传文献:"继续用名字来插上一些多元化的富达基金。

系统承认"插头"是一个动词,即使这个词通常是一个名词,"资金"是一个名词和动词的对象即使"资金"可能看起来像一个动词。不仅如此,系统并没有拔和基金之间的一串描述性词语(几个多样化的富达)分心。

该系统也变得善于识别相互提及的单词。在一段关于以色列人和巴勒斯坦人之间会晤的段落中,该制度承认一句话中提到的"会谈"与下一句中的"谈判"相同。在这里,系统也没有错误地决定"谈话"是一个动词。

"从某种意义上说,这无可为,"曼宁说。"我们所做的就是让这些非常大的神经网络运行这些疯狂 Libs 任务,但这足以让他们开始学习语法结构。

发现通用语言原则

在另外一篇主要以斯坦福大学学生伊森奇(Ethan Chi)工作为基础的论文中,曼宁和他的同事发现,BERT教授的通用原则适用于英语、法语和汉语等不同语言。同时,系统学习了差异:在英语中,形容词通常放在它修改的名词前面,但在法语和许多其他语言中,它更用在名词之后。

归根结底,识别跨语言模式应该使学习一种语言的系统更容易学习更多它们,即使它们似乎没有什么共同之处。

曼宁说:"这种通用的跨语言语法表示表明,接受10种语言培训的多语种模型应该能够更容易地学习第11或第12种语言。"事实上,这正是我们开始发现。

赞助本站

© 版权声明

相关文章

暂无评论

暂无评论...