1概述
机载光电系统主要通过红外传感器、可见光传感器等获取目标的图像，具有实时性好、分辨率高等特点，为了更好的满足人眼观察需求和减轻操作人员负担，通过图像处理技术中的图像拼接、图像融合、超分辨率重建和自动识别等处理，能够提升场景态势感知能力，为有效完成任务提供有力支撑，本文主要对与机载光电系统密切相关的图像拼接技术、图像融合技术、图像超分辨率重建技术和图像自动目标识别技术进行分析和介绍。
2图像拼接技术
图像拼接技术通过读取传感器采集的原始图像，根据图像重叠区域快速提取特征并进行匹配，最终完成自动拼接，将多幅有重叠区域的图像融合为一幅图像，具有比单个图像更高的分辨率和更大的视野，能够更好地增强侦察的效果。在光电探测技术领域中，利用图像拼接技术中的图像配准技术可以对来自同一区域的两幅或多幅图像进行比较，也可以利用图像拼接技术将遥感卫星拍摄到的有失真地面图像拼接成比较准确的完整图像。在图像拼接处理过程中，图像配准是图像拼接的基础，图像配准的方法有基于区域的拼接和基于特征的拼接两类。基于区域的配准方法是分别对两幅图像的每个像素点进行比较，找出最佳变换矩阵，该方法计算量较大，且对图像的旋转、光照的差异都很敏感。而基于特征的图像匹配方法，是找两幅图像之间对应的特征点，其计算量相对基于区域的配准方法较小、速度较快，应用较为广泛。机载光电系统在对地面探测过程中获取的图像存在重叠区域小、图像灰度差异大、图像存在畸变等问题，不能直接对图像进行配准处理。图像拼接技术首先对待拼接图像进行预处理，消除光线变化、抖动等导致的各种噪声干扰，以及倾斜侦察导致的图像形变。然后根据图像中包含的飞行姿态、高度、速度、航向、系统方位角度、俯仰角度等信息，计算图像各像素点的地理坐标，从而能够大概估计出相邻图像之间的重叠区域及大小。据此提取出图像重叠区域的仿射不变特征点，判断特征点的数量与质量。如果不符合匹配要求，则直接使用前面地理坐标粗匹配的结果；如果符合匹配要求，则对特征点进行描述并建立匹配关系，形成最终的匹配结果。最后对配准后的两幅图像进行全局匀光处理，提高拼接图像的视觉效果[1] [2]。
3图像超分辨率重建技术
机载光电系统由于传感器阵列数目有限及探测单元尺寸的限制，空间采样频率无法满足采样定理，从而造成图像空间分辨率较低。大多数自然景物空间分辨率较丰富，包含各种高频信息，而光学衍射的影响造成图像信号的高频部分（细节）会有所丢失，从而引起图像的模糊。图像超分辨率重建技术指从多个欠采样的原始图像中重建出高分辨率图像的技术。每一幅欠采样的原始图像之间要有亚像素的位移。因为在欠采样的原始图像之间存在整像素位移的情况下，不同的原始图像在相同的采样点上的信息没有任何的差异，不包含新的信息，因此无法用于超分辨率重建。而当欠采样的原始图像之间存在亚像素位移的情况下，每一幅原始图像都无法由其他图像经过变换得到，因此对于同一场景，每一幅原始图像都含有一些新的信息，超分辨率重建技术就是把这些新的信息都融合到同一幅图像中，从而提高图像的分辨率。
图像的超分辨率重建的核心思想是以时间带宽来换取空间带宽，即通过获取同一场景的多幅图像，重建出一幅视觉效果高于任意一幅原始图像的清晰图像。对于获得的这些图像来说，它们包含同一景物的相似但不完全相同的信息，其主要的不同点表现在各图像之间存在着一定的位移。因此可以采用图像配准的方法首先估计出图像的位移矢量，然后采用运动补偿的方法估计内插像素点的灰度值，从而实现图像的超分辨率重建。
4图像融合技术
图像融合的目的是综合同一个场景的多个图像的信息，其结果是更适合人的视觉和计算机视觉的一幅图像，或更适合进一步图像处理需要的图像，对图像融合来说，融合源图像可能是在同一个时间段，来自多个传感器的图像，也可能是单个传感器在不同时间提供的图像序列。一般来说，图像是在某种意义上对客观实际的一种反映，是一个不完全、不精确的描述，图像融合充分利用多幅图像资源，通过对观测信息合理支配和使用，把多幅图像在空间或时间上的互补信息依据某种准则融合，获得对场景的一致性解释或描述，使融合后的图像具有比参加融合的任意一幅图像更优越的性质，更精确地反映客观实际。图像融合一般可以分为像素级融合、特征级融合和决策级融合三个级别，像素级图像融合是属于底层的图像融合，优点在于它尽可能多地保留了场景的原始信息，提供了其它两种层次图像融合(特征级融合和决策级融合)所不具有的细节信息。特征级图像融合是利用从各个传感器图像的原始信息中提取的特征信息进行综合分析及融合处理，它属于中间层次上的融合处理。决策级的图像融合是在信息表示的最高层次上进行的融合处理，决策级融合是直接针对具体的决策目标，充分利用了来自各图像的初步决策。像素级图像融合属于底层的图像融合，优点在于它尽可能多地保留了场景的原始信息，提供了其它两种层次图像融合所不具有的细节信息，十分适合对光电图像进行处理。
目前机载光电系统获取的图像一般均为灰度图像，其图像细节信息不能很好地被人眼获取，由于人眼能分辨的颜色等级是灰度等级的数百倍，随着计算机技术的发展和进步，通过伪彩色融合，能够将灰度图像的不同像素赋予不同的颜色信息，可以更好的利用人眼视觉特性，有效获取目标和场景信息，目前灰度图像伪彩色融方法主要包括假彩色编码算法和基于色彩传递的伪彩色算法，假彩色编码的图像融合处理是以目前的硬件技术条件最容易实现的图像融合方法，由于人眼能分辨的颜色有上千种，但只能区分从黑到白的20多种灰度。因此通过伪彩色处理将把不同灰度等级的像素分别置以不同的颜色，将那些人眼不能分辨的灰度转化成能分辨的颜色，提高了细节分辨能力，并且将蕴藏在原始信道图像灰度等级中的细节信息以彩色的方式表达出来，使人眼对图像有更丰富的认识，但其获得的融合图像彩色不自然，不适于人眼长期直接观察。基于色彩传递的伪彩色算法传递的目标是变换图像的颜色，使之看起来与源图像的颜色接近，图像显示清晰和丰富多彩，符合人眼的观察习惯。基于色彩传递的伪彩色算法是目前灰度图像伪彩色融合的重要发展方向。
5图像自动目标识别技术
自动目标识别技术是实现自主目标攻击的关键和基本前提，该技术可以有效增强作战飞机的自主性和智能化水平，削弱甚至摆脱对“人在回路”等的依赖，自主自动目标识别技术主要解决图像中有无目标的问题。
目标自动识别主要解决以下两类问题：
对参考图像所指示的某一个特定目标进行识别，是要在待识别图像中寻找到参考图像的准确对应，称为基于图像匹配的自动目标识别方法；
对某一类目标的识别，即对目标的分类，根据目标类别内部的共性特征和不同特征之间的特征差异，对目标的类别进行分类决策，称为基于特征学习的自动目标识别技术。
基于图像匹配的自动目标识别技术利用已知的目标参考图像和实时图像进行匹配比较，克服两者由于不同传感器、不同方向、不同时间引起的亮度、形状等的成像差异，寻找并判定实时图像中目标参考图像的无歧义对应，从而直接识别出参考图像所对应的特定目标。随着成像器件和集成电路等技术的飞速发展，欧美国家在20世纪90年代开始先后将基于图像匹配的自动目标识别技术应用到无人机和成像制导武器上，实现了自动目标捕获等功能。
基于特征学习的自动目标识别技术分为离线学习和在线识别两个部分。在离线状态下，分析目标样本图像数据库，提取针对目标的特征，构造目标描述空间，并进行学习训练，生成目标分类器。而在线识别时，则对待识别图像进行疑似目标或感兴趣区域检测，提取相应的特征，输入到分类器中，完成目标的类型辨别。
对于基于特征学习的自动目标识别技术，由于在样本数据库、目标检测、特征空间技术方面尚存在较大的瓶颈，进展较为缓慢。随着计算机信息技术和人工智能算法的发展，人工智能在图像目标识别领域表现出强大的应用能力，在卫星遥感、医疗诊断、指纹识别、人脸识别等领域取得显著的成果。2018年，法国Thales公司在其最新研发的TALIOS光电系统中采用人工智能技术，实现了对目标的自动探测与识别，能够有效帮助操作人员做出更快更有利的战术决策。
深度学习作为人工智能机器学习方面的一个重要算法，在基于特征学习的自动目标识别方面具有很广阔的应用空间。深度学习利用人脑识别机理，从图像输入（像素级），到提取边缘，再根据边缘得到目标局部的描述，最后再由目标的部件组成整个物体的模型。因此深度学习的核心思想在于分层处理信息，实现对人脑系统的模拟，将低级的信号通过分层迭代得到抽象的概念。深度学习建模过程实际是参数优化的过程，通过对目标函数求导并计算梯度，建立梯度和参数之间的关系从而形成迭代。深度学习的目标函数和传统的神经网络模型相近，即将网络输出和类别编码之间作差，并对参数进行加权约束构成误差函数。神经网络早期的参数学习方法是通过反向传播算法实现的，但随着互联网技术的发展，数据的规模越来越大，对于大规模数据采用基于批处理的随机梯度下降法可以提高计算效率，加快网络参数的优化，从而节省训练时间。
6展望
图像处理技术作为机载光电系统的重要组成部分，图像拼接能够保证对大范围区域的有效感知，图像超分辨率重建和图像融合能够实现对伪装目标的有效识别，自动目标识别能够有效减轻飞行员的工作负荷，通过上述图像处理技术的有效应用能够很大程度上提升光电系统的效能，保证机载光电系统在实际环境中的有效使用。
参考文献
1王合龙.机载光电系统及其控制技术[M].北京：航空工业出版社，2016
2贾银江. 无人机遥感图像拼接关键技术研究 [D].哈尔滨：东北农业大学，2016
作者信息：
边栓成（1981-），男，河北辛集人，汉，系统工程专业硕士，高级工程师，研究方向为光电系统设计。
