我要投稿 查看投稿进度
学术期刊
在线客服
客服电话：400-188-5008
客服邮箱：service@ccnpub.com
投诉举报：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享

请选择 目标期刊

基于双向注意力机制的图像描述生成 下载：60 浏览：41

张家硕 洪宇 李志峰 姚建民 朱巧明 《中文研究》 2020年1期

摘要:
结合注意力机制的编码器—解码器框架被广泛应用于图像描述生成任务中。以往方法中，注意力机制根据当前时刻的语义信息挑选出重要的局部图像特征，进而依靠解码器的"翻译"能力将图像特征解码成文字。然而，在此过程中，单向的注意力机制并未检验语义信息与图像内容的一致性。因此，所生成的描述在准确性方面有所欠缺。为解决上述问题，该文提出一种基于双向注意力机制的图像描述生成方法，在单向注意力机制的基础上，加入图像特征到语义信息方向上的注意力计算，实现图像和语义信息两者在两个方向上的交互，并设计了一种门控网络对上述两个方向上的信息进行融合。最终，提高解码器所蕴含的语义信息与图像内容的一致性，使得所生成描述更加准确。此外，与前人研究不同的是，该文在注意力模块中利用了历史时刻的语义信息辅助当前时刻的单词生成，并对历史语义信息的作用进行了验证。该文基于MSCOCO和Flickr30k两种图像描述生成数据集，并使用两种图像特征进行了实验。实验结果显示，在MSCOCO数据集上，BLEU4分值平均提升1.3，CIDEr值平均提升6.3。在Flickr30k数据集上，BLEU4分值平均提升0.9，CIDEr值平均提升2.4。

图像标题生成中的人物类名实体填充方法研究 下载：47 浏览：352

张家硕 洪宇 唐建 程梦 姚建民 《中文研究》 2019年1期

摘要:
得益于深度学习的发展和大规模图像标注数据集的出现，图像标题生成作为一种结合了计算机视觉和自然语言处理的综合任务得到了广泛关注。受到神经机器翻译任务的启发，前人将图像标题生成任务看作是一种特殊的翻译任务，即将一张图像视作源端的信息表述，通过编码解码过程，翻译为目标端的自然语言语句。因此，现有研究引入了端到端的神经网络模型，并取得了较好的生成效果。然而，图像标题生成研究依然面临许多挑战，其中最值得关注的难点之一是解决确切性文字表述的问题。一条确切的标题往往是有形且具体的表述，例如"梅西主罚点球"，而目前机器生成的标题则较为粗浅和单调，例如"一个人在踢球"。针对这一问题，该文尝试开展标题生成的有形化研究，并在前瞻性实验中聚焦于标题中人名实体的识别与填充。在技术层面，该文将机器自动生成的图像标题作为处理对象，去除其中抽象人名实体的名称(例如，一个人、男人和他等)或错误的称谓，并将由此形成的带有句法空缺的表述视作完型填空题目，从而引入了以Who问题为目标的阅读理解技术。具体地，该文利用R-NET阅读理解模型实现标题中人名实体的抽取与填充。此外，该文尝试基于图像所在文本的局部信息和外部链接的全局信息，对人名实体进行抽取。实验结果表明，该方法有效提高了图像标题的生成质量，BLEU值相应提升了2.93%；实验结果也显示，利用全局信息有利于发现和填充正确的人名实体。

融合覆盖机制的多模态神经机器翻译 下载：34 浏览：307

李志峰 张家硕 洪宇 尉桢楷 姚建民 《当代中文学刊》 2020年6期

摘要:
多模态神经机器翻译是指直接采用神经网络,以端到端方式融合图像和文本两种模态信息,以此进行翻译建模的机器学习方法。传统多模态机器翻译,是在将源语言翻译成目标语言时,借助图像中的重要特征信息优化翻译过程。但是观察发现,图像里的信息不一定出现在文本中,对翻译也会带来干扰;与参考译文对比,翻译结果中出现了过翻译和欠翻译的情况。针对以上问题,该文提出一种融合覆盖机制双注意力解码方法,用于优化现有多模态神经机器翻译模型。该模型借助覆盖机制分别作用于源语言和源图像,在注意力计算过程中,可以减少对过去重复信息的关注。在WMT16、WMT17测试集上进行实验,验证了上述方法的有效性,在WMT16英德和英法以及WMT17英德和英法测试集上,对比基准系统BLEU值分别提升了1.2,0.8,0.7和0.6个百分点。

面向属性抽取的门控动态注意力机制 下载：72 浏览：441

程梦 洪宇 唐建 张家硕 邹博伟 姚建民 《人工智能研究》 2019年3期

摘要:
在现阶段属性抽取研究中,现有注意力建模及训练较刚性(单句一次成型),而单句中不同词汇的上下文存在语境语义的差异,一致的注意力分布缺少动态的适应性.因此,文中提出面向属性抽取的门控动态注意力机制,利用双向长短时记忆网络捕获目标句中每个单词的隐层表示.在注意力模型处理词一级属性预测时,根据目标词及其上下文,计算适应该目标词的注意力分布向量,可以根据上下文的变化自动调整注意力权重的分配.借助门控调整注意力向量流向下一层神经元的信息量,最终使用条件随机场进行属性标记.应用2014-2016语义评估官方数据集验证文中方法的有效性,F1值均有所提高.
[1/1]
|<
<
1
>
>|
在线客服：：点击联系客服
联系电话：：400-188-5008
客服邮箱：：service@ccnpub.com
投诉举报：：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享