文章-世纪中文出版社

王路路1,2 艾山·吾买尔1,2 吐尔根·依布拉音1,2 买合木提·买买提1,2 卡哈尔江·阿比的热西提1,2 《当代中文学刊》 2019年8期

摘要:

现有的维吾尔文命名实体识别主要采用基于条件随机场的统计学习方法,但依赖于人工提取的特征工程和领域知识。针对该问题,该文提出了一种基于深度神经网络的学习方法,并引入不同的特征向量表示。首先利用大规模未标注语料训练的词向量模型获取每个单词具有语义信息的词向量;其次,利用Bi-LSTM提取单词的字符级向量;然后,利用直接串联法或注意力机制处理词向量和字符级向量,进一步获取联合向量表示;最后,用BiLSTM-CRF深度神经网络模型进行命名实体标注。实验结果表明,以基于注意力机制的联合向量表示作为输入的Bi-LSTM-CRF方法在维吾尔文命名实体识别上F值达到90.13%。

基于注意力机制与文本信息的用户关系抽取下载：78 浏览：261

赵赟吴璠王中卿李寿山周国栋《当代中文学刊》 2019年8期

摘要:

随着社交媒体的发展,用户之间的关系网络对于社交媒体的分析有很大的帮助。因此,该文主要研究用户好友关系检测。以往的关于用户好友关系抽取的研究主要基于社交媒体上的结构化信息,比如其他好友关系,用户的不同属性等。但是,很多时候用户本身并没有大量的好友信息存在,同时也不一定有很多确定的属性。因此,我们希望基于用户发表的文本信息来对用户关系进行预测。不同于以往的潜在好友推荐算法,该文提出了一种基于注意力机制以及长短时记忆网络(long short-term memory,LSTM)的好友关系预测模型,将好友之间的评论分开处理,通过分析用户之间的评论来判断是否具备一定的好友关系。该模型将好友双方信息拼接后的结果作为输入,并将注意力机制应用于LSTM的输出。实验表明,用户之间的评论对于好友关系预测确实有较大的实际意义,该文提出的模型较之于多个基准系统的效果,取得了明显的提升。在不加入任何其它非文本特征的情况下,实验结果的准确率达到了77%。

ResNet结合BiGRU的关系抽取混合模型下载：34 浏览：322

唐朝1 诺明花1 胡岩2 《当代中文学刊》 2020年4期

摘要:

关系抽取主要目的是将非结构化或半结构化描述的自然语言文本转化成结构化数据,其主要负责从文本中识别出实体,抽取实体间的语义关系。就关系抽取任务而言,当前流行的网络结构是仅使用CNN作为编码器,经过多层卷积操作后,对池化的结果进行softmax分类。还有部分工作则使用RNN并结合Attention机制对最后的结果做分类。这些网络结构在远程监督带噪声的关系抽取任务中表现并不理想。该文主要根据ResNet残差块的特性,提出了一种混合模型,它有效融合,ResNet和BiGRU,将带有残差特性的CNN和双向RNN结合起来,最后融入注意力机制来完成基于远程监督的关系抽取任务。实验验证了该混合模型在远程监督的噪声过滤方面的有效性。在NYT-Freebase数据集上,P@N值相比使用单一ResNet提高了2.9%。另外,该文所建混合模型可以很轻易地移植应用到其他NLP任务中。

基于Bi-GRU并包含注意力机制的文本数据真值发现下载：40 浏览：343

常宸1 曹建军2 吕国俊1 郑奇斌1 翁年凤2 《当代中文学刊》 2020年4期

摘要:

针对传统真值发现算法无法直接应用于文本数据的问题,该文提出基于Bi-GRU并包含注意力机制的文本数据真值发现方法。根据文本答案的多因素性,词语使用的多样性与文本数据的稀疏性等特点,该文对用户答案进行细粒度划分,并利用Bi-GRU表征文本答案的语义信息,利用双层注意力机制分别学习用户答案关键词可靠度及用户答案可靠度。依据真值发现的一般假设,无监督学习上下文向量,并最终获得可靠答案。实验结果表明,该算法适用于文本数据真值发现场景,较基于检索的方法及传统真值发现算法效果更优。

基于隐含主题协同注意力网络的领域分类方法下载：37 浏览：356

黄培松黄沛杰丁健德艾文程章锦川《当代中文学刊》 2020年4期

摘要:

基于注意力机制的神经网络模型在文本分类任务中显示出了很好的效果。然而当训练数据的规模有限,或者测试数据与训练数据的分布有较大差异时,一些有价值的信息词很难在训练中被模型捕捉到。为此,该文提出了一种新的基于协同注意力(co-attention)网络的领域分类方法。该文利用隐含主题模型学习隐含主题注意力,并将其引入到文本分类常用的双向长短时记忆网络(BiLSTM)中,与软或硬注意力(soft-or hard-attention)机制一起构成协同注意力。在中文话语领域分类基准语料SMP-ECDT上的实验结果表明,隐含主题协同注意力网络取得了显著优于注意力机制的领域分类效果,比基线注意力机制Soft att、Hard att以及单独的隐含主题注意力机制BTM att分别提高了2.85%、1.86%和1.74%的分类正确率。此外,实验结果还验证了,在额外的未标记数据上训练隐含主题,可以进一步提高该文方法的领域分类性能。

基于带注意力机制CNN的联合知识表示模型下载：34 浏览：253

彭敏姚亚兰谢倩倩高望《当代中文学刊》 2019年6期

摘要:

知识表示学习在自然语言处理领域获得了广泛关注,尤其在实体链指、关系抽取及自动问答等任务上表现优异。然而,大部分已有的表示学习模型仅利用知识库中的结构信息,无法很好地处理新的实体或关联事实极少的实体。为解决该问题,该文提出了引入实体描述信息的联合知识表示模型。该模型先利用卷积神经网络编码实体描述,然后利用注意力机制来选择文本中的有效信息,接着又引入位置向量作为补充信息,最后利用门机制联合结构和文本的向量,形成最终的联合表示。实验表明,该文的模型在链路预测和三元组分类任务上与目前最好的模型性能相近。

基于神经网络的藏语语音合成下载：71 浏览：421

都格草才让卓玛南措吉算太本《当代中文学刊》 2019年5期

摘要:

语音合成是人机交互的核心技术之一,也是中文信息处理领域的一项前沿技术。随着神经网络理论的不断深入,基于神经网络的语音合成技术越来越引起人们的关注。该文通过分析藏文字结构与藏语拼读规则,融合Sequence to Sequence模型和注意力机制,研究了基于神经网络的藏语语音合成技术。实验数据表明,该文方法在藏语语音合成上具有良好的性能表现。

基于语言特征自动获取的反问句识别方法下载：35 浏览：325

李旸1 吴卓嘉1 王素格1 梁吉业2 《当代中文学刊》 2020年3期

摘要:

反问句是以疑问的形式表达强烈情感的修辞方式,对其有效识别可为自然语言处理中的情感分析任务提供技术支持。该文提出了一种基于语言特征自动获取的反问句识别方法。首先,利用标签注意机制,建立了一个数据驱动的特征抽取模型,用于获取与任务相关的词汇、句法结构、符号标记和话题等语言特征。其次,利用Bi-LSTM模型分别对句子和语言特征进行表示,两者的交互注意被用于获取句子的各个词和符号的注意力权重向量。该权重向量作用于句子的表示,用于构建一个强化语言特征的反问句识别模型。在中文微博数据集上的实验结果表明,提出的方法与之前的工作相比,反问句识别性能有显著提升。

融入丰富信息的高性能神经实体链接下载：40 浏览：373

李明扬姜嘉伟孔芳《当代中文学刊》 2020年1期

摘要:

歧义的存在使得实体链接任务需要大量信息的支撑。已有研究主要使用两类信息,即实体表述所在的文本信息和外部的知识库信息。但已有研究对信息的使用存在以下两个问题:首先,最新通用知识库规模更大、覆盖面更广,但目前的实体链接模型却未从中受益,其性能没有得到相应提升;其次,表述所在的文本信息既包含表述所处的局部上下文信息,也包含文本主题之类的全局信息,文本自身信息的利用率还需进一步提高。针对第一个问题,该文给出了一个融合文本相关度和先验知识的实体候选集抽取策略,提高了对知识库中有效知识的提取;针对第二个问题,该文给出了一个融合局部和全局信息的自注意力机制与高速网络相结合的神经网络实体链接框架。在6个实体链接公开数据集上的对比实验表明了该文提出方案的有效性,在最新的通用知识库上该文给出的实体链接模型取得了目前最好的性能。

注意力增强的双向LSTM情感分析下载：34 浏览：255

关鹏飞1 李宝安1 吕学强1 周建设2 《当代中文学刊》 2019年4期

摘要:

在基于深度学习的情感分析工作中,传统的注意力机制主要以串行的方式作为其他模型的下一层,用于学习其他神经网络模型输出的权重分布。该文在探究使用深度学习进行句子级情感分析任务的基础上,提出一种注意力增强的双向LSTM模型。模型使用注意力机制直接从词向量的基础上学习每个词对句子情感倾向的权重分布,从而学习到能增强分类效果的词语,使用双向LSTM学习文本的语义信息。最终,通过并行融合的方式提升分类效果。通过在NLPCC 2014情感分析语料上进行测试,该模型的结果优于其他句子级情感分类模型。

融入丰富信息的高性能神经实体链接下载：49 浏览：451

李明扬姜嘉伟孔芳《冶金学报》 2020年1期

摘要:

歧义的存在使得实体链接任务需要大量信息的支撑。已有研究主要使用两类信息,即实体表述所在的文本信息和外部的知识库信息。但已有研究对信息的使用存在以下两个问题:首先,最新通用知识库规模更大、覆盖面更广,但目前的实体链接模型却未从中受益,其性能没有得到相应提升;其次,表述所在的文本信息既包含表述所处的局部上下文信息,也包含文本主题之类的全局信息,文本自身信息的利用率还需进一步提高。针对第一个问题,该文给出了一个融合文本相关度和先验知识的实体候选集抽取策略,提高了对知识库中有效知识的提取;针对第二个问题,该文给出了一个融合局部和全局信息的自注意力机制与高速网络相结合的神经网络实体链接框架。在6个实体链接公开数据集上的对比实验表明了该文提出方案的有效性,在最新的通用知识库上该文给出的实体链接模型取得了目前最好的性能。

基于注意力机制的上下文相关的问答配对方法下载：24 浏览：381

王路张璐李寿山周国栋《当代中文学刊》 2019年1期

摘要:

目前,关于问答的大部分研究都是面向正式文本的问答对。然而,与以往研究不同的是,该文关注于社会媒体上存在的非正式文本问答对。非正式文本会存在问题文本里包含多个问题以及回答文本里包含多个回答的情况。针对该情况,我们提出了一个新的任务:问答配对,即对问题文本的每个问题,从答案文本中找到和该问题相关的句子。首先,我们从产品问答网站上收集了大规模非正式文本问答对,并在此基础上创建了一个产品问答配对语料库。其次,为了解决非正式文本中存在的噪声问题,提出了一种基于注意力机制的上下文相关的问答配对方法。实验结果表明,该文提出的方法能有效地提升非正式文本的问答配对的性能。

融合卷积神经网络与层次化注意力网络的中文文本情感倾向性分析下载：43 浏览：260

程艳叶子铭王明文张强张光河《当代中文学刊》 2019年1期

摘要:

文本情感倾向性分析是自然语言处理研究领域的一个基础问题。基于深度学习的模型是处理此问题的常用模型。而当前的多数深度学习模型在中文文本情感倾向性分析方面的应用存在两个问题:一是未能充分考虑到文本的层次化结构对情感倾向性判定的重要作用,二是传统的分词技术在处理文本时会产生歧义。该文针对这些问题基于卷积神经网络与层次化注意力网络的优点提出了一种深度学习模型C-HAN(Convolutional Neural Network-based and Hierarchical Attention Network-based Chinese Sentiment Classification Model),先用并行化卷积层学习词向量间的联系与组合形式,再将其结果输入到基本单元为双向循环神经网络的层次化注意力网络中判定情感倾向。实验表明:模型在中文评论数据集上倾向性分类准确率达到92.34%,和现有多个情感分析模型相比有所提升;此外,对于中文文本,选择使用字级别词向量作为原始特征会优于词级别词向量作为原始特征。

基于细粒度词表示的命名实体识别研究下载：43 浏览：250

林广和1 张绍武1,2 林鸿飞1 《当代中文学刊》 2018年12期

摘要:

命名实体识别(NER)是自然语言处理中的一项基础任务,其性能的优劣极大地影响着关系抽取、语义角色标注等后续任务。传统的统计模型特征设计难度大、领域适应性差,一些神经网络模型则忽略了词本身所具有的形态学信息。针对上述问题,该文构建了一种基于细粒度词表示的端到端模型(Finger-BiLSTM-CRF)来进行命名实体识别任务。该文首先提出一种基于注意力机制的字符级词表示模型Finger来融合形态学信息和单词的字符信息,然后将Finger与BiLSTM-CRF模型联合进行实体识别,最终该方法以端到端、无任何特征工程的方式在CoNLL 2003数据集上取得了F1为91.09%的结果。实验表明,该文设计的Finger模型显著提升NER系统的召回率,从而使得模型的识别能力显著提升。

ACMF:基于卷积注意力模型的评分预测研究下载：66 浏览：291

商齐1 曾碧卿1,2 王盛玉1 周才东1 曾锋1 《当代中文学刊》 2018年11期

摘要:

评分数据稀疏是影响评分预测的主要因素之一。为了解决数据稀疏问题,一些推荐模型利用辅助信息改善评分预测的准确率。然而大多数推荐模型缺乏对辅助信息的深入理解,因此还有很大的提升空间。鉴于卷积神经网络在特征提取方面和注意力机制在特征选择方面的突出表现,该文提出一种融合卷积注意力神经网络(Attention Convolutional Neural Network,ACNN)的概率矩阵分解模型:基于卷积注意力的矩阵分解(Attention Convolutional Model based Matrix Factorization,ACMF),该模型首先使用词嵌入将高维、稀疏的词向量压缩成低维、稠密的特征向量;接着,通过局部注意力层和卷积层学习评论文档的特征;然后,利用用户和物品的潜在模型生成评分预测矩阵;最后计算评分矩阵的均方根误差。在ML-100k、ML-1m、ML-10m、Amazon数据集上的实验结果表明,与当前取得最好预测准确率的PHD模型相比,ACMF模型在预测准确率上分别提高了3.57%、1.25%、0.37%和0.16%。

基于神经网络的学习状态检测下载：42 浏览：367

郑茜元郑虹侯秀萍《软件工程研究》 2020年12期

摘要:

对在线学习者注意力状态检测的方法大多基于眼睛闭合频率、头部偏转等特征,此类方法能够应对大多数情况,但针对学习者正视屏幕且视线落点处于屏幕上时出现的发呆、分神状态无法作出检测。针对此问题,提出了一种基于RNN的眼动分析算法RNN-EMA(RNN-EyeMovementAnalysis),该算法通过对序列眼动向量分析,预测学生学习行为,完成当前学习状态检测。实验表明,RNN-EMA算法能够对学习状态作出有效检测,且对比同类方法效果有所提升。

基于离散选择模型的推荐系统改进算法下载：65 浏览：318

刘乾超《管理与科学》 2020年2期

摘要:

准确地预估用户的点击率,并根据该概率对商品排序以供用户选择在推荐系统领域有着重要的意义。推荐系统中常用的因子分解机等机器学习模型一般只考虑用户选择单个商品的概率,忽略了候选商品之间的相互影响,离散选择模型则考虑将商品候选集作为整体进行考虑。提出了使用深度学习模型来改进离散选择模型,模型使用相对特征层、注意力机制等网络结构帮助深度学习模型进行不同商品间的特征比较,研究结果表明引入离散选择模型的深度学习模型表现优于梯度提升决策树、因子分解机等模型。

基于注意力机制的LSTM股价趋势预测研究下载：36 浏览：160

林杰康慧琳《管理与科学》 2020年1期

摘要:

针对中国股票市场,提出了一种基于注意力机制的LSTM股价趋势预测模型。选取42只中国上证50从2009年到2017年的股票数据为实验对象,根据股票市场普遍认可的经验规则,分别对每个技术指标进行量化处理得到股票涨跌的趋势数据,并和交易数据混合作为预测模型的输入,然后使用基于注意力机制的LSTM模型提取股价趋势特征进行预测。实验结果表明:引入股票离散型趋势数据到预测模型中,能够在已有交易数据和技术指标的基础上提升预测精确度,与传统的机器学习模型SVM和单一的LSTM模型相比,基于注意力机制的LSTM模型具有更好的预测能力。

融合时空信息的端对端目标跟踪算法下载：71 浏览：468

陈凯峰梁鉴如《数据与科学》 2019年9期

摘要:

视觉目标跟踪是计算机视觉领域的一个基本问题。目前,采用深度卷积方法的相关滤波器(DCF)在目标跟踪领域取得了优秀的成果。然而,大多数现有的跟踪器仅考虑当前帧的外观特征,几乎不考虑目标运动和帧间信息,不能很好地解决诸如遮挡、阴影和变形等问题。因此,我们将利用连续帧中丰富的运动信息来提高跟踪性能。首先,我们将光流信息,特征提取和相关滤波表示为深度学习网络中的相关特殊层,从而能够进行端对端深度学习网络的训练。然后,提出了一种全新的时空注意力机制,通过时空注意力机制的加权,将预定间隔的历史特征图相融合并与当前的特征图进行自适应聚合。最后,在公共数据进行了大量实验,得到了满意的结果。

基于知识图谱与循环注意力网络的视角级情感分析下载：43 浏览：372

邓立明1,2,3 魏晶晶4 吴运兵1,2,3 余小燕1,2,3 廖祥文1,2,3 《人工智能研究》 2020年12期

摘要:

现有的视角级情感分析方法难以解决单词在不同语境下"一词多义"问题,因此性能受限.针对上述问题,文中提出基于知识图谱与循环注意力网络的视角级情感分析方法.首先,利用动态注意力机制,结合双向长短时记忆网络的文本表示和知识图谱中的同义词信息,获得知识感知状态向量.再联合位置信息构造记忆内容,并输入多层门限循环单元,计算视角词情感特征,进行视角级文本情感分类.在3个公开数据集上的实验表明,文中方法分类效果较优.

	在线客服
	客服电话：400-188-5008
	客服邮箱：service@ccnpub.com
	投诉举报：feedback@ccnpub.com

	在线客服：：点击联系客服
	联系电话：：400-188-5008
	客服邮箱：：service@ccnpub.com
	投诉举报：：feedback@ccnpub.com