文章-世纪中文出版社

段利国高建颖李爱萍《中文研究》 2019年5期

摘要:

针对机器阅读理解中观点型问题的求解，提出一个端到端深度学习模型，使用Bi-GRU对文章和问题进行上下文语义编码，然后运用基于拼接、双线性、点乘和差集4种函数的注意力加上Query2Context和Context2Query两个方向注意力的融合算法获取文章和问题的综合语义信息，之后运用多层注意力转移推理机制不断聚焦，进一步获取更加准确的综合语义，最终将其与候选答案进行比较，选出正确答案。该模型在AIchallager2018观点型阅读理解中文测试数据集上准确率达到76.79%，性能超过基线系统。此外，该文尝试文章以句子序列作为输入表示进行答案求解，准确率达到78.48%，获得较好试验效果。

融合注意力机制的多通道卷积与双向GRU模型的文本情感分析研究下载：57 浏览：402

袁和金张旭牛为华崔克彬《中文研究》 2019年4期

摘要:

文本情感分析作为自然语言处理领域的一大分支，具有非常高的研究价值。该文提出了一种基于多通道卷积与双向GRU网络的情感分析模型。该模型首先使用多通道卷积神经网络对文本不同粒度的特征信息进行提取，提取后的特征信息经过融合送入双向GRU中，结合注意力机制获得文本的上下文情感特征，最后由分类器给出文本的情感倾向。注意力机制自适应的感知上下文信息进而提取对情感极性影响较强的特征，在模型的基础上引入Maxout神经元，解决模型训练过程中的梯度弥散问题。模型在IMDb及SST-2数据集上进行实验，实验结果表明本文模型较CNN-RNN模型在分类精确度上有了一定程度的提升。

一种面向生文本的事件同指消解神经网络方法下载：42 浏览：491

方杰李培峰朱巧明《中文研究》 2019年3期

摘要:

事件同指消解在自然语言理解中是一项复杂的任务，它需要在理解文本信息的基础上，发现其中的同指事件。事件同指消解在信息抽取、问答系统、阅读理解等自然语言任务中均有重要作用。该文提出了一个事件同指消解框架，包括事件抽取（ENSNN）、真实性识别（ENSNN）和事件同指消解（AGCNN）三个部分。事件同指消解模型（AGCNN）利用注意力池化机制来捕获事件的全局特征，利用门控卷积抽取复杂语义特征，提高了事件同指消解的性能。在KBP 2015和KBP 2016数据集上的实验结果表明，该文提出的方法优于目前最优的系统。

基于ATT-IndRNN-CNN的维吾尔语名词指代消解下载：26 浏览：412

祁青山1 田生伟1 禹龙2 艾山·吾买尔2 《中文研究》 2019年2期

摘要:

该文提出一种基于注意力机制(attention mechanism，ATT)、独立循环神经网络(independently recurrent neural network，IndRNN)和卷积神经网络(convolutional neural network，CNN)结合的维吾尔语名词指代消解模型(ATT-IndRNN-CNN)。根据维吾尔语的语法和语义结构，提取17种规则和语义信息特征。利用注意力机制作为模型特征的选择组件计算特征与消解结果的关联度，结果分别输入IndRNN和CNN得到包含上下文信息的全局特征和局部特征，最后融合两类特征并使用softmax进行分类完成消解任务。实验结果表明，该方法优于传统模型，准确率为87.23%，召回率为88.80%，F值为88.04%，由此证明了该模型的有效性。

结合注意力机制与双向LSTM的中文事件检测方法下载：28 浏览：245

沈兰奔武志昊纪宇泽林友芳万怀宇《中文研究》 2019年2期

摘要:

事件检测是信息抽取领域的重要任务之一。已有的方法大多高度依赖复杂的语言特征工程和自然语言处理工具，中文事件检测还存在由分词带来的触发词分割问题。该文将中文事件检测视为一个序列标注而非分类问题，提出了一种结合注意力机制与长短期记忆神经网络的中文事件检测模型ATT-BiLSTM，利用注意力机制来更好地捕获全局特征，并通过两个双向LSTM层更有效地捕获句子序列特征，从而提高中文事件检测的效果。在ACE 2005中文数据集上的实验表明，该文提出的方法与其他现有的中文事件检测方法相比性能得到明显提升。

基于文本和用户信息的在线评论质量检测下载：50 浏览：394

吴璠王中卿周夏冰李寿山周国栋《中文研究》 2019年1期

摘要:

随着互联网的迅速发展，越来越多的用户评论出现在社交网站上。面对迅速增长的评论数据，如何为阅读评论的消费者提供准确、真实的高质量评论就显得尤为重要。评论质量检测旨在判断在线评论的质量，在传统的研究中，文本信息通常独立地被用于预测评论质量。但是在社交媒体上，每个文本之间不是独立的，而是可以通过发表文本的作者与其他文本相关联，即同一个用户或相近的用户发表的评论质量具有一定的相似性。因此，为了更好的构建文本的表示和研究文本之间基于用户的关联，该文基于神经网络模型分别构建用户和文本的表示，同时，为了放大用户信息的作用，我们进一步将基于注意力机制的用户信息融合到文本中，从而提高文本评论质量检测的效果。在Yelp 2013数据集上进行实验的结果表明，该模型能有效地提高在线评论质量检测的性能。

基于细粒度词表示的命名实体识别研究下载：26 浏览：337

林广和1 张绍武1，2 林鸿飞1 《中文研究》 2018年12期

摘要:

命名实体识别(NER)是自然语言处理中的一项基础任务，其性能的优劣极大地影响着关系抽取、语义角色标注等后续任务。传统的统计模型特征设计难度大、领域适应性差，一些神经网络模型则忽略了词本身所具有的形态学信息。针对上述问题，该文构建了一种基于细粒度词表示的端到端模型(Finger-BiLSTM-CRF)来进行命名实体识别任务。该文首先提出一种基于注意力机制的字符级词表示模型Finger来融合形态学信息和单词的字符信息，然后将Finger与BiLSTM-CRF模型联合进行实体识别，最终该方法以端到端、无任何特征工程的方式在CoNLL 2003数据集上取得了F1为91.09%的结果。实验表明，该文设计的Finger模型显著提升NER系统的召回率，从而使得模型的识别能力显著提升。

ACMF:基于卷积注意力模型的评分预测研究下载：64 浏览：419

商齐1 曾碧卿1，2 王盛玉1 周才东1 曾锋1 《中文研究》 2018年11期

摘要:

评分数据稀疏是影响评分预测的主要因素之一。为了解决数据稀疏问题，一些推荐模型利用辅助信息改善评分预测的准确率。然而大多数推荐模型缺乏对辅助信息的深入理解，因此还有很大的提升空间。鉴于卷积神经网络在特征提取方面和注意力机制在特征选择方面的突出表现，该文提出一种融合卷积注意力神经网络(Attention Convolutional Neural Network，ACNN)的概率矩阵分解模型:基于卷积注意力的矩阵分解(Attention Convolutional Model based Matrix Factorization，ACMF)，该模型首先使用词嵌入将高维、稀疏的词向量压缩成低维、稠密的特征向量；接着，通过局部注意力层和卷积层学习评论文档的特征；然后，利用用户和物品的潜在模型生成评分预测矩阵；最后计算评分矩阵的均方根误差。在ML-100k、ML-1m、ML-10m、Amazon数据集上的实验结果表明，与当前取得最好预测准确率的PHD模型相比，ACMF模型在预测准确率上分别提高了3.57%、1.25%、0.37%和0.16%。

T-Reader:一种基于自注意力机制的多任务深度阅读理解模型下载：47 浏览：367

郑玉昆1 李丹2 范臻1 刘奕群1 张敏1 马少平1 《中文研究》 2018年10期

摘要:

该文介绍THUIR团队在"2018机器阅读理解技术竞赛"中的模型设计与实验结果。针对多文档机器阅读理解任务，设计了基于自注意力机制的多任务深度阅读理解模型T-Reader，在所有105支参赛队伍中取得了第八名的成绩。除文本信息外，提取了问题与段落精准匹配等特征作为模型输入；在模型的段落匹配阶段，采用跨段落的文档级自注意力机制，通过循环神经网络实现了跨文档的问题级信息交互；在答案范围预测阶段，通过进行段落排序引入强化学习的方法提升模型性能。

N-Reader:基于双层Self-attention的机器阅读理解模型下载：17 浏览：389

梁小波任飞亮刘永康潘凌峰侯依宁张熠李妍《中文研究》 2018年7期

摘要:

机器阅读理解是自然语言处理和人工智能领域的重要前沿课题，近年来受到学术界和工业界的广泛关注。为了提升机器阅读理解系统在多文档中文数据集上的处理能力，我们提出了N-Reader，一个基于神经网络的端到端机器阅读理解模型。该模型的主要特点是采用双层self-attention机制对单个文档以及所有输入文档进行编码。通过这样的编码，不仅可以获取单篇文档中的关键信息，还可以利用多篇文档中的相似性信息。另外，我们还提出了一种多相关段落补全算法来对输入文档进行数据预处理。这种补全算法可以帮助模型识别出具有相关语义的段落，进而预测出更好的答案序列。使用N-Reader模型，我们参加了由中国中文信息学会、中国计算机学会和百度公司联手举办的"2018机器阅读理解技术竞赛"，取得了第3名的成绩。

基于词注意力卷积神经网络模型的情感分析研究下载：33 浏览：502

王盛玉1 曾碧卿1，2 商齐1 韩旭丽1 《中文研究》 2018年4期

摘要:

情感分类任务需要捕获文本中的情感特征，利用重要的局部特征构建文本的特征表示。卷积神经网络(convolutional neural networks，CNN)已经被证明拥有出色的特征学习能力，但是该模型无法判别输入文本中特征词与情感的相关性，卷积层缺乏对单一词特征的提取。基于目前运用非常成功的注意力模型，该文提出一种基于词注意力的卷积神经网络模型(word attention-based convolutional neural networks，WACNN)。相比于卷积神经网络，该模型以篇章的文本信息作为输入，首先在词嵌入层之后增加注意力机制层，获取重要的局部特征词，使模型有选择地进行特征提取；然后在卷积层中增加大小为1的卷积核，提取单一词的特征；最后该方法对输入文本进行适当的文本填充，保证每个词都存在上下文信息，使模型有效提取到每个词的n-grams局部特征，避免卷积处理过程中局部信息的丢失。该模型在MR5K和CR数据集上进行验证，较普通卷积神经网络和传统机器学习方法，在准确率上分别取得0.5%和2%的提升。

基于门控循环神经网络词性标注的蒙汉机器翻译研究下载：68 浏览：446

刘婉婉苏依拉乌尼尔仁庆道尔吉《中文研究》 2018年2期

摘要:

统计机器翻译可以通过统计方法预测出目标词，但没有充分理解原文语义关系，因而得到的译文质量不高。针对该问题，利用一种基于门控单元循环神经网络结构来对蒙汉神经机器翻译系统进行建模，引入注意力机制来获取双语词语的对齐信息，并在构建字典过程中对双语词语进行词性标注来强化语义，以此来缓解因欠训练导致的错译问题。实验结果表明，与RNN的基准系统和传统的统计机器翻译方法相比，该方法 BLEU值得到一定的提升。

基于协同过滤Attention机制的情感分析模型下载：47 浏览：438

赵冬梅1，2 李雅2 陶建华2 顾明亮1 《中文研究》 2018年1期

摘要:

该文主要研究在评论性数据中用户个性及产品信息对数据情感类别的影响。在影响数据情感类型的众多因素中，该文认为评价的主体即用户以及被评价的对象等信息对评论数据的情感至关重要。该文提出一种基于协同过滤Attention机制的情感分析方法(LSTM-CFA)，使用协同过滤(CF)算法计算出用户兴趣分布矩阵，再将矩阵利用SVD分解后加入层次LSTM模型，作为模型注意力机制提取文档特征、实现情感分类。实验表明LSTMCFA方法能够高效提取用户个性与产品属性信息，显著提升了情感分类的准确率。

融合图像注意力的多模态机器翻译模型下载：34 浏览：323

李霞1 马骏腾2 覃世豪2 《当代中文学刊》 2020年11期

摘要:

已有工作表明,融入图像视觉语义信息可以提升文本机器翻译模型的效果。已有的工作多数将图片的整体视觉语义信息融入到翻译模型,而图片中可能包含不同的语义对象,并且这些不同的局部语义对象对解码端单词的预测具有不同程度的影响和作用。基于此,该文提出一种融合图像注意力的多模态机器翻译模型,将图片中的全局语义和不同部分的局部语义信息与源语言文本的交互信息作为图像注意力融合到文本注意力权重中,从而进一步增强解码端隐含状态与源语言文本的对齐信息。在多模态机器翻译数据集Multi30k上英语—德语翻译对以及人工标注的印尼语—汉语翻译对上的实验结果表明,该文提出的模型相比已有的基于循环神经网络的多模态机器翻译模型效果具有较好的提升,证明了该模型的有效性。

基于句内注意力机制多路CNN的汉语复句关系识别方法下载：38 浏览：309

孙凯丽1 邓沌华2 李源1 李妙1 李洋1 《当代中文学刊》 2020年11期

摘要:

复句的关系识别是对分句间语义关系的甄别,是复句语义分析的关键,旨在从文本中识别句间的关系类型。非充盈态汉语复句存在隐式关系的特点给语义关系识别造成了困难。为了深度挖掘复句中隐含的语义信息,正确地实现关系分类,该文提出了一种基于句内注意力机制的多路CNN网络结构Inatt-MCNN。其中句内注意力机制模型是基于Bi-LSTM的,使其能够学习到句子的双向语义特征以及分句间的关联特征。同时,为了充分利用文本特征,联合使用卷积神经网络（CNN）对复句表示再次建模获得句子局部特征。与其他基于汉语复句语料库（CCCS）和清华汉语树库（TCT）的实验结果相比,该文方法的宏平均F1值为85.61%,提升约6.08%,平均召回率为84.87%,提升约3.05%。

面向多类型问题的阅读理解方法研究下载：40 浏览：370

谭红叶1 屈保兴2 《当代中文学刊》 2020年10期

摘要:

机器阅读理解是基于给定文本,自动回答与文本内容相关的问题。针对此任务,学术界与工业界提出多个数据集与模型,促使阅读理解取得了一定的进步,但提出的模型大多只是针对某一类问题,不能满足现实世界问题多样性的需求。因此,该文针对阅读理解中问题类型多样性的解答展开研究,提出一种基于Bert的多任务阅读理解模型,利用注意力机制获得丰富的问题与篇章的表示,并对问题进行分类,然后将分类结果用于任务解答,实现问题的多样性解答。该文在中文公共阅读理解数据集CAIL2019-CJRC上对所提模型进行了实验,结果表明,系统取得了比所有基线模型都要好的效果。

注意力的端到端模型生成藏文律诗下载：47 浏览：420

色差甲1,2 华果才让1,2 让加1,2 慈祯嘉措1,2 柔特1,2 《当代中文学刊》 2019年12期

摘要:

文本自动撰写在自然语言处理中是一个重要的研究领域,可通过人工智能的方法来提升文本的生成结果。目前主流的生成方法是基于深度学习的方法,而该文则提出了一种基于注意力的端到端模型生成藏文律诗法。该方法基本框架是一个双向LSTM的编码—解码模型,在此基础上引入了藏文字嵌入、注意力机制和多任务学习法。实验结果表明,该文提出的方法在藏文律诗生成结果中BLEU值和ROUGE值分别能达到59.27%、62.34%,并无需任何人为的特征设置。

基于多头注意力机制Tree-LSTM的句子语义相似度计算下载：36 浏览：357

胡艳霞1 王成1 李弼程1 李海林2 吴以茵1 《当代中文学刊》 2020年7期

摘要:

针对现有句子语义相似度计算由于缺乏语义结构信息导致精度低的问题,该文在依存关系树的基础上,提出了一种基于多头注意力机制Tree-LSTM(multi-head attention Tree-LSTM,MA-Tree-LSTM)的句子语义相似度计算方法。首先,MA-Tree-LSTM将外部具有指导意义的特征作为输入,再将输入结合多头注意力机制作用在Tree-LSTM树节点的所有孩子节点上,为每个孩子节点赋予不同的权重值,从而实现多头注意力机制和Tree-LSTM的融合;其次,将三层的MA-Tree-LSTM应用于句子语义相似度计算并实现句子对的相互指导,从而得到句子对语义特征的多层表示;最后联合多层的语义特征建立句子对语义相似度计算模型,从而实现句子对间相关的语义结构特征的充分利用。该文提出的方法鲁棒性强,可解释性强,对句子单词的顺序不敏感,不需要特征工程。在SICK和STS数据集上的实验结果表明,基于MA-Tree-LSTM的句子语义相似度计算的精度优于非注意力机制的Tree-LSTM方法以及融合了多头注意力机制的BiLSTM方法。

基于远程监督的藏文实体关系抽取下载：28 浏览：25

王丽客1 孙媛2 夏天赐1 《当代中文学刊》 2020年6期

摘要:

关系抽取任务是对句子中的实体对进行关系分类。基于远程监督的关系抽取是用预先构建的知识库来对齐朴素文本,自动标注数据,在一定程度上减少了人工标注的成本,缓解了藏文材料语料不足的问题。但是基于远程监督的实体关系抽取还存在错误标记、提取特征时出现噪声等问题。该文用远程监督方法进行藏文实体关系抽取,基于已经构建的藏文知识库,利用分段卷积神经网络结构,加入语言模型和注意力机制来改善语义歧义问题以及学习句子的信息;在训练过程中加入联合得分函数来动态修正错误标签问题。实验结果表明改进的模型有效提高了藏文实体关系抽取的准确率,且优于基线模型效果。

基于门控联合池化自编码器的通用性文本表征下载：33 浏览：487

张明华1 吴云芳1 李伟康1 张仰森2 《当代中文学刊》 2019年9期

摘要:

为了学习文本的语义表征,以往的研究者主要依赖于复杂的循环神经网络(recurrent neural networks,RNNs)和监督式学习方法。该文提出了一种门控联合池化自编码器(gated mean-max AAE)用于学习中英文的文本语义表征。该文的自编码器完全通过多头自注意力机制(multi-head self-attention mechanism)来构建编码器和解码器网络。在编码阶段,提出了均值—最大化(mean-max)联合表征策略,即同时运用平均池化(mean pooling)和最大池化(max pooling)操作来捕获输入文本中多样性的语义信息。为促使联合池化表征可以全面地指导重构过程,解码器采用门控操作进行动态关注。通过在大规模中英文未标注语料上训练模型,获得了高质量的句子编码器。在重构文本段落的实验中,该文模型在实验效果和计算效率上均超越了传统的RNNs模型。将公开训练好的文本编码器,使其可以方便地运用于后续的研究。

	在线客服
	客服电话：400-188-5008
	客服邮箱：service@ccnpub.com
	投诉举报：feedback@ccnpub.com

	在线客服：：点击联系客服
	联系电话：：400-188-5008
	客服邮箱：：service@ccnpub.com
	投诉举报：：feedback@ccnpub.com