【新智元导读】Facebook AI Research、Google DeepMind、华盛顿大学和纽约大学合作，共同推出了SuperGLUE，这是一系列用来衡量现代高性能语言理解AI表现的基准测试任务，SuperGLUE针对的是已经达到挑战上限的会话式AI深度学习模型，为其提供更难的挑战，其比GLUE基准任务更负责，旨在构建能处理更加复杂和掌握更细微差别的语言模型。
目前NLP主要着眼在多任务学习和语言模型预训练，从而孕育出各种模型，如BERT、Transformer、Elmo、MT-DNN、GPT-2等。为了评估这些模型的精准度，GLUE基准应运而生。
SuperGLUE正式上线：NLP模型们，来迎接挑战吧！
GLUE全称是通用语言理解评估（General Language Understanding Evaluation），基于已有的9种英文语言理解任务，涵盖多种数据集大小、文本类型和难度。终极目标是推动研究，开发通用和强大的自然语言理解系统。
但随着NLP模型狂飙似的发展速度，仅推出一年时间的GLUE基准，已经显得有些力不从心。于是，Facebook AI研究院、谷歌DeepMind、华盛顿大学以及纽约大学4家公司和高校开始携手打造进化版新基准：SuperGLUE！
近日，进化后的基准也正式宣布上线，可供大家使用了！
地址：
因为BERT在GLUE上是当前最成功的方法，所以SuperGLUE也使用BERT-LARGE-CASED variant.11作为模型性能基准。
什么是SuperGLUE？
如果你搜索SuperGLUE，出现在首页的一定的各种胶水。这也是科技公司在给产品起名时特别喜欢玩儿的一个梗：利用命名的首字母缩写成为一个十分普通、十分常见的英文单词，这个单词经常和实际的科技产品毫不相关。
实际上，我们今天要介绍的SuperGLUE，全称是超（级）通用语言理解评估（Super General-Purpose Language Understanding Evaluation）。
据SuperGLUE团队介绍，为了获得更强悍的任务集，他们向各个NLP社区发出了征集令，并最终获得一个包含约30种不同NLP任务的列表。随后按照如下标准筛选：
最终获得一个包含7个任务的集合。然后，以这7个任务为基础构建公开排行榜。
此外，SuperGLUE还包含基于已有数据的抽取、单个数值的表现指标，以及一套分析工具包jiant。
下载地址：
相比GLUE有哪些变化？效果如何？
进化后的新基准，难度有了大幅提升，应对起当前这些发育迅猛的NLP模型更加得心应手，从而可以鼓励构建能够掌握更复杂，或具有更细微差别的语言的模型。
相比上一代GLUE，首先研究人员向原有的11项任务开刀，直接砍掉其中的9项基准英文，并对剩下的2项任务进行了升级，这两项任务分别是识别文本蕴涵（RTE）和Winograd模式挑战赛（WSC）。
之后，5项新的评估基准也被添加进来，用于测试模型在回答问题、指代消解和常识推理方面的能力。这5项新任务分别是：CB，COPA基准英文，GAP，MultiRC和WiC。
初始的SuperGLUE基准版本包含了人类水平估计结果，扩展了GLUE中的句子和句子的分类，还包含了共指消解、句子完成和问答。
SuperGLUE任务集合比较多样化，为了帮助研究者能够开发出统一的新方法，SuperGLUE团队还贴心的为研究人员提供了一套基于PyTorch和AllenNLP、用来操作NLP的预训练、多任务学习和迁移学习的模块化建模工具包。
此外，因为考虑到公平性、信息的丰富性，管理SuperGLUE排行榜的规则也有很多地方和GLUE有所区别，以期能充分体现数据和任务创建者的贡献。
研究人员用主流NLP模型对新基准进行了测试，效果如下图：
任务示例：
值得一提的是，即使是当前最先进的BERT模型，量化后的综合分数，比人类低了约16.8%。这样的表现，恐怕只能勉强算过得去而已。
论文：
限时特惠：本站每日持续更新海量各大内部网赚创业教程，会员可以下载全站资源点击查看详情
站长微信：
相关文章
