面向神经机器翻译的集成学习方法分析
李北1 王强1 肖桐1 姜雨帆1 张哲旸1 刘继强1 张俐1 于清2
1.东北大学自然语言处理实验室;2.新疆大学信息科学与工程学院
摘要: 集成学习是一种联合多个学习器进行协同决策的机器学习方法,应用在机器翻译任务的推断过程中可以有效整合多个模型预测的概率分布,达到提升翻译系统准确性的目的。虽然该方法的有效性已在机器翻译评测中得到了广泛验证,但关于子模型的选择与融合的策略仍鲜有研究。该文主要针对机器翻译任务中的参数平均与模型融合两种集成学习方法进行大量的实验,分别从模型与数据层面、多样性与模型数量层面对集成学习的策略进行了深入探索。实验结果表明在WMT中英新闻任务上,所提模型相比Transformer单模型有3.19个BLEU值的提升。
关键词:
集成学习;参数平均;模型融合;多样性;
集成学习;参数平均;模型融合;多样性