中国地图是我国国域版图的重要的体现,中国地图内的任何一个标注、界线都与我国的主权、国家精神、疆土领域息息相关,密不可分。同时,中国地图作为一种现代化的地理信息和空间信息的表现,也与人民群众的生活出行以及工作挂钩,是人民群众认知周边世界的空间分布的重要手段[1],具有无法比拟的优越性[2]。中国版图是我国在国家主权上的体现,象征着我国的主权和领土完整性,代表国家的安全,因此兼有严禁的科学性、严肃的政治性以及严格的法定性。作为中国公民、中国的企业法人以及其他机构都必须正确使用以及维护我国国家的地图。
1 地图监管中发现的问题
“问题地图”泛指的是对我国的统一、国家主权以及国家领土等情况的错误的表达,导致不符合我国的公开地图的产品要求[3]。本文所指的“问题地图”主要为如下几个方面的错误问题:1)阿克赛钦地区绘制错误;2)藏南地区绘制错误;3)漏标或错标南海诸岛各岛点位置;4)漏标或错标钓鱼岛、赤尾屿位置;5)台湾省底色设置与大陆不一致。如图 1-1 所示。图1-1 中国地图与问题地图的示例图
近年来,各类地图产品服务于社会公众日常生活的方方面面。地图应用服务在繁荣发展的同时,各种问题地图屡禁不止,部分地图错绘我国国界线,漏绘我国重要岛屿,登载敏感甚至涉密地理信息,极大地损害了国家领土主权、安全和利益。
2 卷积神经网络的原理和特点
顾名思义,卷积神经网络是能够进行卷积运算的神经网络,其一般包含输入层、隐含层、输出层。首先,输入层的功能是对输入数据进行预处理;例如在处理图像数据时,由于使用梯度下降法进行网络的学习,为了提升算法的运行效率和学习表现,在将数据输入到卷积神经网络之前,需要对输入数据进行归一化。具体地,可将分布于[0, 255]的原始像素值归一化至[0, 1]区间。隐含层的主要功能是对输入层输入的数据进行函数映射以及特征提取。具体的,隐含层包含卷积层、池化层和全连接层。卷积层的功能是对输入数据进行特征提取,其内部包含多个卷积核,组成卷积核的每个元素都对应一个权重系数和一个偏差量。池化层的作用则是进行特征选择和信息过滤。全连接层通常与输出层搭配使用,实现分类。具体的,对于图像分类问题,输出层使用逻辑函数或归一化指数函数输出分类标签。在目标检测问题中,输出层输出物体的中心坐标、大小和分类。在图像语义分割中,输出层直接输出每个像素的分类结果。
2.1卷积神经网络的原理
卷积神经网络是带有卷积运算的神经网络,其核心是卷积运算。如图 2-1 为卷积神经网络的一个经典架构:LeNet-5,该卷积神经网络用于手写数字的识别,在经过卷积神经网络运算之后,它输出一个 10 维的向量用于实现对该图像的分类。图2-1 网络结构图
1)卷积层
卷积神经网络的核心部分即是卷积层。它按照图 2-1 的卷积运算方式,对图像进行卷积运算。具体的,对一个普通的输入图像的具体操作如图 2-2 所示。一般的,采用一个卷积核分别从图像的左上方运算至右下方,便得到了该图像的要素图,进而提取到了图像不同方面的特征。图2-2 卷积运算图
在卷积神经网络中,设该卷积神经网络有 k 维积核,第l-1层输出的特征图hl-1是第l卷积层的输入:2)池化层
池化层用于对要素图做下采样,在显著降低网络计算量的同时,还对特征进行选择和压缩,使之更具概括性。由卷积核与步距的大小关系,分为一般池化和重叠池化。设卷积核为 Size,步距为 Stride。当 Size=Stride 时,卷积核运算的相邻区域之间不存在重叠,这时称之为一般池化,如下图 a)所示;当 Size>Stride 时,说明存在重叠,这时称之为重叠池化,如下图 b)所示图 2-3 一般池化与重叠池化图
2.2卷积神经网络的特点
神经网络的结构注定了其包含大量的参数。作为改进,卷积神经网络除了使用上述的参数池化技术,还通过采用稀疏连接、参数共享的方式来减少参数的数量。
1)稀疏连接
人脑神经元往往是先获得局部特征,再对局部特征进行综合,进而得到全局特征。卷积神经网络通过稀疏连接来达到上述目的,迅速降低了计算量。例如,一张普通图像的尺寸在1000*1000左右,也就意味着这张普通的图像就包含106个像元。如果采用传统的稠密连接方式进行连接,则需要106 *106=1012个参数。而如果使用远小于图像尺寸的卷积核(如大小为10*10的卷积核)进行稀疏连接,则只需要10 *10 *106=108个参数,瞬间减少了4个数量级的权重参数。稀疏连接的图形化解释如图 2-4所示。并且,如图 2-5 所示,虽然只是连接了部分的神经元,但卷积神经网络往往有许多层,这就允许网络只描述高层次稀疏连接的特征便得到了全局尺度下的特征表达。2)参数共享
参数共享如图 2-15 所示,是指在一个模型的多个函数中使用相同的参数。具体的,同样以上文中1000*1000大小的图像为例,稀疏连接后的参数个数为108,虽然相比稠密连接少了很多,但仍然十分巨大。而使用参数共享之后,无论该层有多少个神经元,它们的参数均相同,即10*10=102 个。至此,卷积神经网络又减少了6个数量级的参数。不但使网络的计算开销变得能够接受,还能帮助网络更好的收敛。图 2-6 稠密连接与参数共享图
3 问题地图的智能识别方法
为了实现“问题地图”识别,首先建立卷积神经网络模型,以从图像的高斯金字塔中提取多尺度分层特征作为识别依据,再与多层感知器相连接实现图像中各像素的识别;为了避免目标交叠所带来的问题,对图像进行超像素分割,通过计算每个超像素内部的平均像素类别分布确定该超像素块的类别,再将相同类别的相邻超像素合并,最终实现图像中各目标的识别。卷积神经网络在进行图像检测时,往往会生成一系列的要素图,并且要素图的尺寸会随着网络层次的加深变得越来越小。在原图像中,一个物体占用的图像块在网络的深处可能已经退化成一个像素点,但换来的是越来越强的语义信息。一般的,图像中往往存在许多形状各异、不同尺寸大小的物体;而前文所述的 Faster R-CNN算法往往都是在骨干网络的最后一层对目标进行预测。如果仅仅使用单一尺度要素图进行预测,往往不能很好地检测其它尺度下的目标。如果图像上需要检测的目标的尺寸都比较大,那么检测的精度还可以接受;但如果图像上需要检测的目标的尺寸大小不一,甚至相差巨大,网络往往会忽略掉小尺寸的目标。在进行“问题地图”识别时,由于台湾岛的区域范围巨大,而钓鱼岛、赤尾屿在中国地图上往往只是一个“小点”,两者的尺寸相差悬殊,严重存在着尺寸大小不一的情况,导致目标检测网络的识别精度较低。因此,需要顾及多个尺度下的特征对“问题地图”进行检测,利用深层特征将大尺寸、简单的目标区分开来,利用浅层特征将小尺寸、复杂的目标区分开来。如图 3-1 所示,本章主要阐述基于特征金字塔网络(Feature Pyramid Network, FPN)的多尺度自适应特征融合方法,能够对“问题地图”进行多尺度自适应的智能识别,进一步提高了“问题地图”智能识别的精度。图 3-1 基于卷积神经网络的智能识别方法图
3.1 多尺度自适应特征融合方法
3.1.1 单一尺度特征的目标检测算法
卷积神经网络的一个重要特点就是特征分层,Feature Map 之间随着网络深度往往变得越来越小,并且特征之间是底层到高层逐渐递进的关系。图 3-2 中国地图的要素图可视化图
如图3-2所示,为了更直观的展示卷积神经网络中要素图随网络深度变化的特点,以Xception模型为例,将中国地图输入到该模中,并将其产生的一系列要素图进行可视化。具体的,对卷积神经网络的第2、40、80、120 层分别随机选择8张Feature Map进行可视化。从图中可以清楚的看到,随着网络的加深,Feature Map的空间分辨率越来越低。具体的,原图的尺寸为 2453×1837,但是随着网络的加深,到第120 层时,Feature Map 的尺寸已经变化为 153×115。需要注意的是,不同层之间的Feature Map的实际尺寸往往大小不一;为了方便对比,在展示可视化要素图时,采用了相同大小的显示尺寸。在网络的浅层,可以清楚的看到中国地图的细节轮廓,并且同一层网络的不同要素图分别提取了图像不同方面的特征;但到了网络的深层,如第120层时,Feature Map退化为一个个像素块,无法观察到地图具体的轮廓。前文提到的基于卷积神经网络的目标检测方法大多数只采用顶层的要素图来做检测,由于要素图的分辨率低,导致算法对图像细节的检测性能急剧下降如图3-3所示。
图 3-3 单一的顶层要素图进行检测图
如图 3-4 所示,为了解决上述单一尺度下检测精度低的问题,在手工设计特征的时代,大量运用了图像金字塔进行检测[3]。图像金字塔将同一幅图像缩放到不同尺度,每一层独立地进行预测,特征之间没有联系。为了取得较高的精度,往往需要使用密集的图像尺度采样,这会造成很高的时间及计算量消耗,难以在实际中应用。图 3-4 使用图像金字塔进行检测图
得益于卷积神经网络的出现,不再需要手动设计特征,卷积神经网络生成的要素图 就自带尺度效果。一般的,卷积神经网络产生的一系列要素图 具有如下性质:低层特征的语义信息较匮乏,但能提供更详细的位置信息;高层特征的语义信息较丰富,但位置信息较为粗略。由于要素图会随着网络深度的增加而变得越来越小,在单一尺度上进行预测可以很好的检测中等尺寸以上的目标,但是对于像钓鱼岛、赤尾屿这一类小目标来说,它们在地图上的尺寸本来就非常小,在大尺度的地图上甚至退化为一个像素点(见图 3-2)。随着图像在神经网络中进一步传递,在要素图 上已经无法表示这一类小目标,进而导致算法无法对这一类进行有效检测。因此,需要对卷积神经网络产生的要素图进行研究,通过对要素图进行处理,同时结合低层特征和高层特征的特点,在多尺度下进行快速而有效的检测。
3.1.2 多尺度特征的目标检测算法
针对上述困难,在检测这一类尺寸变化非常明显或小尺寸目标时,需要同时顾及低层特征的位置信息以及高层特征的语义信息,才能够对上述目标进行有效检测。本文在基础的目标检测网络上,引入特征金字塔网络进行多尺度检测,在不花费大量检测时间的情况下,有效改善了单一尺度目标检测算法检测精度低的问题。算法能够对不同尺度下的目标进行自适应检测,特别的,显著提高了对小尺寸目标的检测效果。具体的原理如图 3-5 所示。图 3-5 特征金字塔网络测图
由图3-5可以看出,特征金字塔网络总共有以下几个步骤:
(1)通过自底向上的路径(Bottom-up Pathway)产生一系列相差 2 倍尺度的要素图;
(2)然后通过自上而下的路径 (Top-down Pathway) 将深层的有更强语义信息的Feature Map 经过 2 倍上采样变成高分辨率的要素图(使得具有丰富语义信息的深层要素图与具有高分辨率的浅层要素图拥有相同的空间分辨率);
(3)将自底向上的路径得到的具有高分辨率的浅层要素图经过尺寸为 1×1 的卷积核进行卷积(使得具有高分辨率的浅层要素图与具有丰富语义信息的深层要素图拥有相同的通道数),并通过横向连接(Lateral Connection)将两者进行逐元素相加;
(4)将每张要素图分别使用尺寸为 3×3 的卷积核进行卷积,以消除在上采样过程中产生的混叠效应(Aliasing Effect),并在最终得到的要素图 上分别进行预测。
将特征金字塔网络融入到目标检测网络之后,算法对多个尺度下的特征进行融合,使得网络对小尺寸目标的检测能力大大提高;并且由于在多个尺度下的要素图进行预测,网络对不同尺度下的目标也能够进行更好的检测,做到了多尺度自适应的“问题地图”智能识别。
3.1.3 卷积神经网络技术运用前后的对比图
卷积神经网络技术应用之前,大量图片需要人工判断是否地图,然后再进行是否“问题地图”的识别,如图3-6所示。
图 3-6 卷积神经网络技术应用前效果图
卷积神经网络技术应用之后,地图识别效果,如图3-7所示。图 3-7 卷积神经网络技术应用后效果图
4 结语
本文提出一种基于卷积神经网络的多尺度自适应“问题地图”智能识别方法。使用图像大小归一化方法,将图像尺寸统一调整为50×50的像素;基于AlexNet,GoogLeNet以及VGG-19网络构建地图识别模型,通过卷积层对输入图像进行多维度,多尺度的特征提取,通过池化层对图像进行主要特征提取;最后将特征输入分类器,进行问题地图图像识别分类,实现问题地图的自动识别。该方法创新地使用目标检测算法进行“问题地图”的识别,并对流行的目标检测算法进行改进,在传统目标检测网络上融入特征金字塔网络,构建融合特征的多尺度表达机制,利用多个尺度下的融合特征进行检测,最后对其进行检测后处理,进一步优化检测结果。试验结果表明,该方法能够大大提高“问题地图”中不同尺度下不同大小尺寸目标的检测能力;该方法的平均目标识别准确率达97.91%,标准差为0.62%,采用GPU硬件加速后识别单幅图像的平均耗时为0.76s,尤其该方法能够显著提高小尺寸目标的检测能力。其中,用于检测阿克赛钦地区的平均准确率值由 0.3735提升到0.6521。
参考文献(references):
[1] 王家耀,成毅.论地图学的属性和地图的价值[J].测绘学报,2015,44(3):237-241
[2] 李志林,刘启亮.地图信息论:从狭义到广义的发展回顾[J].测绘学报,2016,45(7):757-767
[3] 周佳薇,吴晓春.“问题地图”现状分析及对策[J].测绘技术装备,2018,20(4):42-43+41