请选择 目标期刊

基于上下文词向量和主题模型的实体消歧方法 下载:57 浏览:264

王瑞 李弼程 杜文倩 《中文研究》 2019年8期

摘要:
传统词向量训练模型仅考虑词共现而未考虑词序,语义表达能力弱。此外,现有实体消歧方法没有考虑实体的局部特征。综合实体的全局特征和局部特征,该文提出一种基于上下文词向量和主题模型的实体消歧方法。首先,在传统词向量模型上增加上下文方向向量,用于表征语序,并利用该模型与主题模型训练主题词向量;其次,分别计算实体上下文相似度、基于实体上下文主题的类别主题相似度以及基于主题词向量的实体主题相似度;最后,融合三种相似度,选择相似度最高的实体作为最终消歧实体。实验结果表明,相比于现有的主流消歧方法,新方法是有效的。

基于多头注意力机制Tree-LSTM的句子语义相似度计算 下载:36 浏览:354

胡艳霞1 王成1 李弼程1 李海林2 吴以茵1 《当代中文学刊》 2020年7期

摘要:
针对现有句子语义相似度计算由于缺乏语义结构信息导致精度低的问题,该文在依存关系树的基础上,提出了一种基于多头注意力机制Tree-LSTM(multi-head attention Tree-LSTM,MA-Tree-LSTM)的句子语义相似度计算方法。首先,MA-Tree-LSTM将外部具有指导意义的特征作为输入,再将输入结合多头注意力机制作用在Tree-LSTM树节点的所有孩子节点上,为每个孩子节点赋予不同的权重值,从而实现多头注意力机制和Tree-LSTM的融合;其次,将三层的MA-Tree-LSTM应用于句子语义相似度计算并实现句子对的相互指导,从而得到句子对语义特征的多层表示;最后联合多层的语义特征建立句子对语义相似度计算模型,从而实现句子对间相关的语义结构特征的充分利用。该文提出的方法鲁棒性强,可解释性强,对句子单词的顺序不敏感,不需要特征工程。在SICK和STS数据集上的实验结果表明,基于MA-Tree-LSTM的句子语义相似度计算的精度优于非注意力机制的Tree-LSTM方法以及融合了多头注意力机制的BiLSTM方法。

MaskAE:基于无监督的短文本情感迁移方法 下载:35 浏览:329

胡盛伟 李弼程 林孔杰 熊尧 《当代中文学刊》 2020年3期

摘要:
基于无监督的文本情感迁移技术是通过迁移原句子情感并且保持句子内容不变,生成带有其他情感的新句子的技术。这项技术在两个方面富有挑战性:第一,没有平行语料;第二,文本属性纠缠问题,即当改变句子情感时,通常难以保证句子内容不变。该文提出了一个基于掩码自编码器(mask-autoEncoder,MaskAE)的文本情感迁移方法。首先,利用情感词典来匹配句子中的情感词并用"mask"符号标记它;之后,利用MaskAE模型生成被标记的情感词,保持其他词不变,从而缓解属性纠缠问题。在模型训练过程中,利用情感判别器去控制生成句子的情感,从而解决没有平行语料问题。实验结果表明,该文模型简单有效,与当前先进模型比较,在自动评价指标和人工评价指标上均有提升,生成的句子在语法和语义正确性上的表现也更好。
[1/1]
在线客服::点击联系客服
联系电话::400-188-5008
客服邮箱::service@ccnpub.com
投诉举报::feedback@ccnpub.com
人工客服

工作时间(9:00-18:00)
官方公众号

科技成果·全球共享