融合空洞卷积神经网络与层次注意力机制的中文命名实体识别
1.江南大学“轻工过程先进控制”教育部重点实验室;2.江南大学物联网工程学院;3.江苏省物联网应用技术重点建设实验室
摘要: 该文针对现有的命名实体识别(named entity recognition,NER)模型未考虑到文本层次化结构对实体识别的重要作用,以及循环神经网络受其递归性的限制导致计算效率低下等问题,构建了IDC-HSAN模型(Iterated Dilated Convolutions Neural Networks and Hierarchical Self-attention Network)。该模型通过迭代的空洞卷积神经网络(ID-CNN)充分利用GPU的并行性大大降低了使用长短时记忆网络的时间代价。然后,采用层次化注意力机制捕获重要的局部特征和全局上下文中的重要语义信息。此外,为了丰富嵌入信息,加入了偏旁部首信息。最后,在不同领域数据集上的实验结果表明,IDC-HSAN模型能够从文本中获取有用的实体信息,和传统的深度网络模型、结合注意力机制的命名实体识别模型相比识别效果有所提升。
关键词:
注意力机制;迭代空洞卷积神经网络;中文命名实体识别;
注意力机制;迭代空洞卷积神经网络;中文命名实体识别