
qikan11@ccnpub.com
(邮箱投稿时,请说明投稿期刊名)
(邮箱投稿时,请说明投稿期刊名)
期刊菜单
2025年 »
2024年 »
2023年 »
2022年 »
2021年 »
基于门控联合池化自编码器的通用性文本表征 下载:33 浏览:511
摘要:
为了学习文本的语义表征,以往的研究者主要依赖于复杂的循环神经网络(recurrent neural networks,RNNs)和监督式学习方法。该文提出了一种门控联合池化自编码器(gated mean-max AAE)用于学习中英文的文本语义表征。该文的自编码器完全通过多头自注意力机制(multi-head self-attention mechanism)来构建编码器和解码器网络。在编码阶段,提出了均值—最大化(mean-max)联合表征策略,即同时运用平均池化(mean pooling)和最大池化(max pooling)操作来捕获输入文本中多样性的语义信息。为促使联合池化表征可以全面地指导重构过程,解码器采用门控操作进行动态关注。通过在大规模中英文未标注语料上训练模型,获得了高质量的句子编码器。在重构文本段落的实验中,该文模型在实验效果和计算效率上均超越了传统的RNNs模型。将公开训练好的文本编码器,使其可以方便地运用于后续的研究。
基于HowNet的语义表示学习 下载:47 浏览:508
面向神经机器翻译的集成学习方法分析 下载:44 浏览:475
神经机器翻译中英语单词及其大小写联合预测模型 下载:42 浏览:379
摘要:
英文中单词有大小写之分,如果使用不规范,会降低语句的可读性,甚至造成语义上的根本变化。当前的机器翻译处理流程一般先翻译生成小写的英文译文,再采用独立的大小写恢复工具进行还原,这种方式步骤繁琐且没有考虑上下文信息。另一种方式是抽取包含大小写的词表,但这种方式扩大了词表,增加了模型参数。该文提出了一种在神经机器翻译训练中联合预测英语单词及其大小写属性的方法,在同一个解码器输出层分别预测单词及其大小写属性,预测大小写时充分考虑源端语料和目标端语料上下文信息。该方法不仅减小了词表的大小和模型参数,译文的质量也得到提升。在WMT 2017汉英新闻翻译任务测试集上,相比基线方法,该方法在大小写敏感和大小写不敏感两个评价指标上分别提高0.97BLEU和1.01BLEU,改善了神经机器翻译模型的性能。
韩国语句子结构相似度计算方法研究 下载:44 浏览:276
当代中文学刊期刊指标
出版年份 :
2018-2025
发文量 :
673
访问量 :
116872
下载量 :
36587
总被引次数 :
342
影响因子 :
0.882
学术共建