我要投稿 查看投稿进度
学术期刊
在线客服
客服电话：400-188-5008
客服邮箱：service@ccnpub.com
投诉举报：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享

请选择 目标期刊

基于双向注意力机制的图像描述生成 下载：60 浏览：42

张家硕 洪宇 李志峰 姚建民 朱巧明 《中文研究》 2020年1期

摘要:
结合注意力机制的编码器—解码器框架被广泛应用于图像描述生成任务中。以往方法中，注意力机制根据当前时刻的语义信息挑选出重要的局部图像特征，进而依靠解码器的"翻译"能力将图像特征解码成文字。然而，在此过程中，单向的注意力机制并未检验语义信息与图像内容的一致性。因此，所生成的描述在准确性方面有所欠缺。为解决上述问题，该文提出一种基于双向注意力机制的图像描述生成方法，在单向注意力机制的基础上，加入图像特征到语义信息方向上的注意力计算，实现图像和语义信息两者在两个方向上的交互，并设计了一种门控网络对上述两个方向上的信息进行融合。最终，提高解码器所蕴含的语义信息与图像内容的一致性，使得所生成描述更加准确。此外，与前人研究不同的是，该文在注意力模块中利用了历史时刻的语义信息辅助当前时刻的单词生成，并对历史语义信息的作用进行了验证。该文基于MSCOCO和Flickr30k两种图像描述生成数据集，并使用两种图像特征进行了实验。实验结果显示，在MSCOCO数据集上，BLEU4分值平均提升1.3，CIDEr值平均提升6.3。在Flickr30k数据集上，BLEU4分值平均提升0.9，CIDEr值平均提升2.4。

从视觉到文本:图像描述生成的研究进展综述 下载：30 浏览：316

魏忠钰1 范智昊1 王瑞泽2 承怡菁1 赵王榕1 黄萱菁3 《当代中文学刊》 2020年12期

摘要:
近年来,跨模态研究吸引了越来越多学者的关注,尤其是连接视觉和语言的相关课题。该文针对跨视觉和语言模态研究中的核心任务——图像描述生成,进行文献综述。该文从基于视觉的文本生成框架、基于视觉的文本生成研究中的关键问题、图像描述生成模型的性能评价和图像描述生成模型的主要发展过程四个方面对相关文献进行介绍和总结。最后,该文给出了几个未来的重点研究方向,包括跨视觉和语言模态的特征对齐、自动化评价指标的设计以及多样化图像描述生成。

基于枢轴语言的图像描述生成研究 下载：47 浏览：427

张凯 李军辉 周国栋 《当代中文学刊》 2019年7期

摘要:
当前图像描述生成的研究主要仅限于单语言（如英文）,这得益于大规模的已人工标注的图像及其英文描述语料。该文探索零标注资源情况下,以英文作为枢轴语言的图像中文描述生成研究。具体地,借助于神经机器翻译技术,该文提出并比较了两种图像中文描述生成的方法:（1）串行法,该方法首先将图像生成英文描述,然后由英文描述翻译成中文描述;（2）构建伪训练语料法,该方法首先将训练集中图像的英文描述翻译为中文描述,得到图像-中文描述的伪标注语料,然后训练一个图像中文描述生成模型。特别地,对于第二种方法,该文还比较了基于词和基于字的中文描述生成模型。实验结果表明,采用构建伪训练语料法优于串行法,同时基于字的中文描述生成模型也要优于基于词的模型,BLEU4值达到0.341。
[1/1]
|<
<
1
>
>|
在线客服：：点击联系客服
联系电话：：400-188-5008
客服邮箱：：service@ccnpub.com
投诉举报：：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享