请选择 目标期刊

基于Transformer的AMR-to-Text生成 下载:37 浏览:289

朱杰 李军辉 《中文研究》 2020年5期

摘要:
抽象语义表示到文本(AMR-to-Text)的生成任务是给定AMR图,生成相同意义表示的文本。可以把此任务当成一个从源端AMR图到目标端句子的翻译任务。然而,传统的序列到序列(seq2seq, S2S)方法使用循环递归网络进行编码,并不能很好地解决长距离依赖的问题。当前最好的性能是图到序列(graph2seq, G2S)的模型,使用了图模型直接对AMR图结构进行编码,但是,该方法对于非直接相连的节点依然会损失大量的结构信息。针对上述问题,基于seq2seq框架,该文提出了一种直接而有效的AMR-to-Text生成方法。在这项工作中,引入了当前最优的seq2seq模型Transformer作为基准模型,并且使用字节对编码(BPE)和共享词表的方法来联合处理未登录词(OOV)的问题。在现有的两份英文标准数据集上,实验结果都得到了显著的提升,达到了新的最高性能。

中文字粒度切分在蒙汉机器翻译的应用 下载:27 浏览:347

苏依拉 高芬仁 庆道尔吉 《中文研究》 2019年11期

摘要:
在机器翻译任务中,主流的深度学习算法大多使用词或子词作为基础的语义单元,在词或子词层面学习嵌入表征。然而,词粒度层面存在一系列缺点。该文基于LSTM和Transformer蒙汉翻译模型,对蒙文进行子词粒度切分,对中文分别进行子词和字粒度切分对比实验。实验结果显示,相比于子词粒度切分,基于Transformer的蒙汉翻译模型和基于LSTM的蒙汉翻译模型的字粒度切分有极大的BLEU值提升,字级别的蒙汉翻译模型在验证集和测试集上都显著优于混合字和词的子词级别的蒙汉翻译模型。其表明,字级别的蒙汉翻译模型更能捕捉单元之间的语义联系,提高蒙汉翻译性能。

Transformer-CRF词切分方法在蒙汉机器翻译中的应用 下载:18 浏览:185

苏依拉 张振仁 庆道尔吉 牛向华 高芬 赵亚平 《中文研究》 2019年6期

摘要:
基于编码—解码(端到端)结构的机器翻译逐渐成为自然语言处理之机器翻译的主流方法,其翻译质量较高且流畅度较好,但依然存在词汇受限、上下文语义信息丢失严重等问题。该文首先进行语料预处理,给出一种Transformer-CRF算法来进行蒙古语词素和汉语分词的预处理方法。然后构建了基于Tensor2Tensor的编码—解码模型,为了从蒙古语语料中学习更多的语法和语义知识,该文给出了一种基于词素四元组编码的词向量作为编码器输入,解码阶段。为了进一步缓解神经网络训练时出现的词汇受限问题,该文将专有名词词典引入翻译模型来进一步提高翻译质量和译文忠实度。根据构建模型对不同长度句子进行实验对比,表明模型在处理长时依赖问题上翻译性能得到提高。

基于transformer神经网络的汉蒙机构名翻译研究 下载:52 浏览:466

安苏雅拉王斯日古楞 《当代中文学刊》 2020年2期

摘要:
机构名翻译是机器翻译的研究内容之一,在机器翻译任务中机构名翻译的准确度,直接影响着翻译性能。在很多任务上,神经机器翻译性能优于传统的统计机器翻译性能,该文中使用基于transformer神经网络模型与传统的基于短语的统计机器翻译模型和改进后的基于语块的机器翻译模型做了对比试验。实验结果表明,在汉蒙机构名翻译任务上,基于transformer神经网络的汉蒙机构名翻译系统优于传统的基于语块的汉蒙机构名翻译系统,BLEU4值提高了0.039。

基于Transformer模型的5G功放预失真研究 下载:57 浏览:471

王静怡 陈景豪 许高明 《天线研究》 2024年3期

摘要:
为了补偿功放的非线性失真和记忆效应,本文基于一种基于深度学习的Transformer模型用于射频功放非线性建模的数字预失真算法。该模型具有长时序依赖捕获和交互能力,可以很好地表征功放的强非线性失真和记忆效应。为了验证该模型的建模性能和线性化效果,对比了当下流行的数字预失真器模型,实验结果表明,相比于FFNN模型和LSTM模型,建模精度提高了~2.1dB,同时模型参数量减少了~21%。

基于神经网络智能翻译模型研究 下载:158 浏览:2049

林苡若 陈逍 《神经科学研究》 2023年2期

摘要:
随着人工智能在自然语言处理上的不断进步,本文简要介绍了翻译的发展,结合神经网络智能翻译模型,对机器翻译系统模型进行了说明,并引入了神经网络技术优化模型运行的稳定性。传统的机器翻译模型性能受限于双语平行语料库的规模,提出了一种联合EM算法的自动语料扩充方法,利用EM算法对Transformer模型进行优化,降低了训练代价,并且提高了翻译的准确性。
[1/1]
在线客服::点击联系客服
联系电话::400-188-5008
客服邮箱::service@ccnpub.com
投诉举报::feedback@ccnpub.com
人工客服

工作时间(9:00-18:00)
官方公众号

科技成果·全球共享