结合预训练模型和语言知识库的文本匹配方法

题名

DOI

作者

周烨恒石嘉晗徐睿峰

作者单位

哈尔滨工业大学(深圳)计算机科学与技术学院

摘要

针对文本匹配任务,该文提出一种大规模预训练模型融合外部语言知识库的方法。该方法在大规模预训练模型的基础上,通过生成基于WordNet的同义—反义词汇知识学习任务和词组—搭配知识学习任务引入外部语言学知识。进而,与MT-DNN多任务学习模型进行联合训练,以进一步提高模型性能。最后利用文本匹配标注数据进行微调。在MRPC和QQP两个公开数据集的实验结果显示,该方法可以在大规模预训练模型和微调的框架基础上,通过引入外部语言知识进行联合训练有效提升文本匹配性能。

关键词

文本匹配；预训练模型；语言知识库融合

刊名

当代中文学刊

ISSN

3008-0282

年、卷(期)

20204

所属期刊栏目

人文社科