新智元原创

修改：鹏飞

【新智元导读】Facebook AI Research、Google DeepMind、华盛顿大学和纽约大学协作，一起推出了SuperGLUE，这是一系列用来衡量现代高功能言语了解AI体现的基准测验使命，SuperGLUE针对的是现已到达应战上限的会话式AI深度学习模型，为其供给更难的应战，其比GLUE基准使命更担任，旨在构建能处理愈加杂乱和把握更细微差别的言语模型，

现在NLP首要着眼在多使命学习和言语模型预练习，然后孕育出各种模型，如BERT、Transformer、Elmo、MT-DNN、GPT-2等。为了评价这些模型的精准度，GLUE基准应运而生。

SuperGLUE正式上线：NLP模型们，来迎接应战吧！

GLUE全称是通用言语了解评价（General Language Understanding evaluation），根据已有的9种英文言语了解使命，包括多种数据集巨细、文本类型和难度。终极目标是推进研讨，开发通用和强壮的自然言语了解体系。

但随着NLP模型狂飙似的发展速度，仅推出一年时刻的GLUE基准，现已显得有些无能为力。所以，Facebook AI研讨院、谷歌DeepMind、华盛顿大学以及纽约大学4家公司和高校开端携手打造进化版新基准：SuperGLUE！

近来，进化后的基准也正式宣告上线，可供咱们运用了！

地址：

https://gluebenchmark.com

由于BERT在GLUE上是当时最成功的办法，所以SuperGLUE也运用BERT-LARGE-CASED variant.11作为模型功能基准。

什么是SuperGLUE？

假如你查找SuperGLUE，呈现在主页的必定的各种胶水。这也是科技公司在给产品起名时特别喜爱玩儿的一个梗：使用命名的首字母缩写成为一个非常一般、非常常见的英文单词，这个单词常常和实践的科技产品毫不相关。

实践上，咱们今日要介绍的SuperGLUE，全称是超（级）通用言语了解评价（Super General-Purpose Language Understanding evaluation）。

据SuperGLUE团队介绍，为了取得更强悍的使命集，他们向各个NLP社区宣布了搜集令，并终究取得一个包括约30种不同NLP使命的列表。随后依照如下规范挑选：

使命实质：即测验体系了解英语的才能

使命难度：即超出当时最先进模型的才能

可评价性：具有主动评断机制，一起还需要可以精确对应人类的判别或体现

揭露数据：具有可揭露的数据

使命格局：提高输入值的杂乱程度，答应呈现杂乱语句、阶段和文章等

使命答应：所用数据有必要取得研讨和从头分发的答应

终究取得一个包括7个使命的调集。然后，以这7个使命为根底构建揭露排行榜。

此外，SuperGLUE还包括根据已有数据的抽取、单个数值的体现目标，以及一套剖析工具包jiant。

下载地址：

https://jiant.info/

比较GLUE有哪些改变？作用怎么？

进化后的新基准，难度有了大幅提高，应对起当时这些发育迅猛的NLP模型愈加称心如意，然后可以鼓舞构建可以把握更杂乱，或具有更细微差别的言语的模型。

比较上一代GLUE，首要研讨人员向原有的11项使命开刀，直接砍掉其间的9项，并对剩余的2项使命进行了晋级，这两项使命分别是辨认文本蕴涵（RTE）和Winograd形式应战赛（WSC）。

之后，5项新的评价基准也被增加进来，用于测验模型在答复问题、指代消解和常识推理方面的才能。这5项新使命分别是：CB，COPA，GAP，MultiRC和WiC。

初始的SuperGLUE基准版别包括了人类水平估量成果，扩展了GLUE中的语句和语句的分类，还包括了共指消解、语句完结和问答。

SuperGLUE使命调集比较多样化，为了协助研讨者可以开宣布一致的新办法，SuperGLUE团队还交心的为研讨人员供给了一套根据PyTorch和AllenNLP、用来操作NLP的预练习、多使命学习和搬迁学习的模块化建模工具包。

此外，由于考虑到公平性、信息的丰富性，办理SuperGLUE排行榜的规矩也有许多当地和GLUE有所区别，以期能充分体现数据和使命创建者的奉献。

研讨人员用干流NLP模型对新基准进行了测验，作用如下图：

使命示例：

值得一提的是，即使是当时最先进的BERT模型，量化后的归纳分数，比人类低了约16.8%。这样的体现，恐怕只能牵强算过得去罢了。

论文：

https://w4ngatang.github.io/static/papers/superglue.pdf