炼数成金 门户 商业智能 自然语言处理 查看内容

20项任务横扫BERT!CMU谷歌发布XLNet,NLP再迎屠榜时刻

2019-6-21 16:44| 发布者: 炼数成金_小数| 查看: 31134| 评论: 0|来自: 量子位

摘要: 这世界变化快。去年10月,Google团队发布BERT模型横扫一切,在11种不同NLP测试中创出最佳成绩。现在,轮到BERT被碾压了。CMU和Google Brain团队最新发布的XLNet,在20项任务上超过了BERT的表现,包括SQuAD、GLUE、RA ...

工具 模型 测试 商业智能 业界

这世界变化快。

去年10月,Google团队发布BERT模型横扫一切,在11种不同NLP测试中创出较佳成绩。现在,轮到BERT被碾压了。

CMU和Google Brain团队发布的XLNet,在20项任务上超过了BERT的表现,包括SQuAD、GLUE、RACE等等。


这个消息一出,业界又轰动了。

目前这个模型的的论文、代码和预训练模型都已经放出。

XLNet的共同一作,是本科都毕业于清华的Zhilin Yang(杨植麟)和Zihang Dai,目前两人都在CMU读博。

为什么XLNet能够横扫BERT?
作者在这篇论文中表示,BERT在训练时需要mask一些输入,忽略了被遮蔽位置之间的依赖关系,因此产生预训练-微调差异。

而这次提出的XLNet,是一种泛化的自回归预训练模型。一方面,XLNet通过通过较大化所有可能因式分解顺序的对数似然,学习双向上下文;另一方面,利用自回归来客服BERT的缺点。此外,XLNet还在预训练中借鉴了较先进自回归模型Transformer-XL的想法。


最终的测试表明,XLNet在20个任务上的表现优于BERT,而且通常是大幅提升;在18个任务上,获得了较高水平的结果,包括机器问答、自然语言推理、情感分析和文档排序等。

一大批用户在推特上表示了震惊。

“我还以为NLP已经被BERT和ULMFiT解决了”,一位用户发了个哭脸评论道。

这篇论文的作者大牛云集,除了开头提到的两位共同一作,还包括CMU教授Yiming Yang、Jaime Carbonell和Ruslan Salakhutdinov,以及来自Google Brain团队的大牛Quoc V. Le。


论文地址在此:
https://arxiv.org/abs/1906.08237

GitHub地址在此:
https://github.com/zihangdai/xlnet

声明:本文版权归原作者所有,文章收集于网络,为传播信息而发,如有侵权,请联系小编及时处理,谢谢!

欢迎加入本站公开兴趣群
商业智能与数据分析群
兴趣范围包括:各种让数据产生价值的办法,实际应用案例分享与讨论,分析工具,ETL工具,数据仓库,数据挖掘工具,报表系统等全方位知识
QQ群:81035754

鲜花

握手

雷人

路过

鸡蛋

相关阅读

最新评论

热门频道

  • 大数据
  • 商业智能
  • 量化投资
  • 科学探索
  • 创业

即将开课

 

GMT+8, 2019-8-7 01:39 , Processed in 0。252679 second(s), 25 queries 。

河南快3开奖结果 江苏快3开奖结果 江苏快3开奖结果 福建快3开奖结果 江苏快3开奖结果 湖北快3开奖结果 河南快3开奖结果 江苏快3开奖结果 江苏快三开奖结果 福建快三开奖结果