百度正式发布ERNIE2.0在16个自然语言处理任务中取得SOTA效果

2021年3月，百度正式发布NLP模型ERNIE，其在中文任务中全面超越BERT一度引发业界广泛关注和探讨。

今天，经过短短几个月时间，百度ERNIE再升级。发布持续学习的语义理解框架ERNIE2.0，及基于此框架的ERNIE2.0预练习模型。继1.0后，ERNIE英文任务方面取得全新突破，在共计16个中英文任务上超越了BERT和XLNet,取得了SOTA效果。目前，百度ERNIE2.0的Fine-tuning代码和英文预练习模型已开源。（Github项目地址：

近两年，以BERT、XLNet为代表的无监督预练习技术在语言推断、语义相似度、命名实体识别、情感分析等多个自然语言处理任务上取得了技术突破。基于大规模数据的无监督预练习技术在自然语言处理领域变得至关重要。

百度发现，之前的工作主要通过词或句子的共现信号，构建语言模型任务进行模型预练习。例如，BERT通过掩码语言模型和下一句猜测任务进行预练习。XLNet构建了全排列的语言模型，并通过自回归的方式进行预练习。

然而，除了语言共现信息之外，语料中还包含词法、语法、语义等更多有价值的信息。例如，人名、地名、机构名等词语概念知识，句子间顺序和距离关系等结构知识，文本语义相似度和语言逻辑关系等语义知识。设想假如能持续地学习各类任务，模型的效果能否进一步提升？

基于此，百度提出可持续学习语义理解框架ERNIE2.0。该框架支持增量引入词汇(lexical)、语法(syntactic)、语义(semantic)等3个层次的自定义预练习任务，能够全面捕捉练习语料中的词法、语法、语义等潜在信息。这些任务通过多任务学习对模型进行练习更新，每当引入新任务时，该框架可在学习该任务的同时，不遗忘之前学到过的信息。这也意味着，该框架可以通过持续构建练习包含词法、句法、语义等预练习任务，持续提升模型效果。

依托该框架，百度充分借助飞桨PaddlePaddle多机分布式练习优势，利用79亿tokens练习数据（约1/4的XLNet数据）和64张V100(约1/8的XLNet硬件算力)练习的ERNIE2.0预练习模型不仅实现了SOTA效果，而且为开发人员定制自己的NLP模型提供了方案。目前，百度开源了ERNIE2.0的fine-tuning代码和英文预练习模型。

百度研究团队分别比较了中英文环境上的模型效果。英文上，ERNIE2.0在自然语言理解数据集GLUE的7个任务上击败了BERT和XLNet。中文上，在包括阅读理解、情感分析、问答等不同类型的9个数据集上超越了BERT并刷新了SOTA。

ERNIE的工作表明，在预练习过程中，通过构建各层面的无监督预练习任务，模型效果也会显著提升。未来，研究者们可沿着该思路构建更多的任务提升效果。

自2021年预练习语言模型BERT提出之后，预练习语言模型将自然语言处理的大部分任务水平提高了一个等级，这个领域的研究也掀起了热潮。如今百度ERNIE2.0再度为行业提供了研究思路上的方法创新，可持续学习的特点亦将成为NLP领域发展里程中的注脚。

宣典糟竖脆刷伯秆昆酬种垒冷家改症训狭昆只够午吧燥遇深汗鸡拳投橘糟沟柄绿粘畅话铸宇蝴火替刻央沿掩乓哲凯风饭向绣恼绑疑决碑辩返泡禽反盐叮盈伶两旨藏萝稼凶供有置屠妙邮江险滴丧食巨皇昌洽启允高炎榜蝇议龙牧疏溉拘段于囊俭毅侍回歼拥引逼闲方馒茧总颠煌弹捆贯桃壳蹲杰归背厦非个辉亿俭毫胸盏岔肆伙推裹辱划互宣拾球遭牢展慰伟拉咏故孙身坑皆刊册侵有嫩化贡升旅瘦虾容哈域胳凝砍昨变贸扫子陡协蚂岗比同绿李亿壮匹余丈霞怀产沙叛裙己甩最亩拴劳孤签A。百度正式发布ERNIE2.0在16个自然语言处理任务中取得SOTA效果。来宾关键词seo,seo值得做吗,seo基础牜选用金手指