我要投稿 查看投稿进度
学术期刊
在线客服
客服电话：400-188-5008
客服邮箱：service@ccnpub.com
投诉举报：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享

请选择 目标期刊

基于弱标注数据的汉语分词领域移植 下载：46 浏览：211

朱运 李正华 黄德朋 张民 《中文研究》 2019年4期

摘要:
近年来，基于神经网络的分词模型在封闭领域文本上取得了很高的性能。然而，在领域移植场景下，即测试数据与训练数据的领域差异较大时，分词的性能会显著下降。该文尝试利用自动获取的弱标注数据来提升领域移植场景下的分词性能。首先，对目前性能最好的BiLSTM-CRF分词模型进行扩展，引入适用于弱标注数据的损失函数；进而提出一种简单有效的数据筛选方法，从海量弱标注数据中筛选和目前领域更相关的数据；最后，该文发现数据预处理和在神经网络中引入传统特征均可以有效提高分词性能。在SIGHAN Bakeoff 2010和ZhuXian标注测试集上的实验结果表明，该文所提方法可有效提升汉语分词领域移植性能，平均F值提高了3.6%。
[1/1]
|<
<
1
>
>|
在线客服：：点击联系客服
联系电话：：400-188-5008
客服邮箱：：service@ccnpub.com
投诉举报：：feedback@ccnpub.com
人工客服

工作时间（9：00-18：00）
官方公众号

科技成果·全球共享