1.引言
近年来,随着虚拟现实技术的发展,对人体建模技术的研究也逐渐增加[1]。人体建模识别技术在远程医疗、病人护理、航天等领域有较好的应用前景[2][3]。经反复研究发现采用视频采集技术建立人体建模识别有精确度高、处理速度快、系统误差小、数据易于分析处理等优势。因为其方便、精确度高等优势,其研究意义重大。
R.Matsuda等人对人体模型采用自由变形的方法,但变形后的人体基本形状得不到保证。Allen等人根据测量的大量数据,提出了较好地建立骨架模型的方法。本文设计了一款新型的人体行为建模跟踪系统,无需人体佩戴特殊的传感器,仅通过光学摄像头阵列即可完成人体行为建模,系统具有高速的视频处理帧速率,可实现多人体运动目标同时建模的功能,具有广泛的应用前景。
2.人体建模跟踪技术
对于人体建模跟踪技术,尤为重要的一环是摄像头采集运动目标群体,进行目标群体的人体三维建模技术[4]。背景消除法即在静态摄像机下检测图像序列中,对运动物体的运动检测,保证了系统的准确性[5][6]。关节识别技术以人体骨架关节点表示的人体行为数据不会受尺度、视角、光照等变化的影响,便于识别图像[7]。
2.1.背景消除法
传统背景消除法通过对当前场景图像与参考背景图像像素特征的差异来提取前景图像。该方法易于实现但对于光的变化较为敏感[8]。为了适应环境(如光照)的变化,如今大致提出两类方法自适应地更新参考背景。
第一类是改进方法关注如何用合适的概率分布对背景像素进行建模;第二类是改进方法关注如何构建不包含移动对象的参考背景图像。
在第一类改进方法中,背景中的每个像素都被建模为服从特定分布(如高斯分布)和混合高斯分布,提出了用非参数核密度估计来评估背景像素的概率,对其进行了改进,以减小计算量。提出了视频背景提取算法为每个像素存储一组过去在相同位置或邻近区域获取的值,通过将该集合与当前像素值进行比较,以确定该像素是否属于背景。然而,在实际应用中,针对较快变化的背景,上述方法的背景更新过程占用了大量的计算时间。
图1.人体关节点间的骨骼连接关系
随着图像尺寸的增加,第二类改进方法受到越来越多的关注。第二类改进方法将运动目标视为前景图像,视频监视图像视为背景图像和前景图像的叠加或线性混合,将前景对象作为当前帧和参考背景图像之间的差异进行检测,因此计算速度快。
2.2.关节识别技术
利用Kinect技术先识别人体部位进而推断人体关节点,这是一个近似度概率的匹配、评估过程;逐个像素扫描,先局部再整体,实现了一种骨骼关节位置检测工具来提取人体关节空间位置。通过骨骼跟踪识别兼容不同身高的目标人体,建立人体各个关节点的坐标,进而呈现人体关节点三维建模图像,便于观察者与“蓝本”(“维特鲁威人”图)的比较。实现人体建模跟踪技术中的重要一环。
2.3.人体的部位联结
人体模型(图1)是对现实世界人躯体的一种抽象[9]。人体是一个复杂的综合体,我们可以将其看作是由身体不同部位相互连接而成的,其中各部位可近似看作刚体,且各部位之间通过关节点相连。可以把整个人体按部位分成十五块,依次为:头部(1),颈部(2),躯干部(9),左右上肩(3、4),左右上臂(5、6),左右手(7、8),左右大腿(10、11),左右小腿(12、13)以及左右脚(14、15)等等。
人体既有作为一个整体的运动形式,也有其各个部位特有的运动规律。换句话说,对人体模型来说,既有作为一个“人”的整体的旋转或者平移运动,也有作为人的局部的各个部位的运动。
可以利用其头肩像的检测结果,将头部区域的中心位置做为头部点,将左右肩区域的最外端分别作为左右肩关节点的位置所在,并利用模型求取头部及左右肩关节点的三维坐标[10]。以此坐标为基础,通过摄像头阵列检测人体行为,从而达到确定其他关节的功能[11]。
3.系统软硬件构建
3.1.整体构思
本设计对人体在整个系统过程中的结构进行了总体构思(图2):在人体行动过程中,将光学摄像头阵列采集到的人体信息传递到主控ARM11芯片模块,通过嵌入式处理器实现。对于数据处理,由2片TITMS320C64x+系列DSP处理器组成的数据处理单元对人体数据进行测量后的信息传输处理。同时,显示器模块实时显示人体的行为状态,关节活动等各项信息,以显示人体的情况。在系统的整个运行过程中,电源模块一直不间断地与主控芯片模块、驱动模块、显示器模块和光学摄像头阵列模块连接,提供稳定的电源电压,使其在检测过程中保持连续稳定的运行。该系统通过光学摄像头及图像处理算法即可完成人体三维运动建模,并可实现多人体运动目标的实时追踪功能。
图2.系统总体框图
3.2.各模块设计
3.2.1.中央控制模块
ARM11处理器主要作为中央控制模块,负责完成摄像头采集阵列的驱动和控制功能,以及对蓝牙、USB接口、以太网、RS232等外设的驱动控制功能。该系统所提供的引擎可用于当前生产领域中的很多智能手机;该系列还广泛用于消费类、家庭和嵌入式应用领域。本文主要研究如何利用该系统驱动摄像头阵列完成采集任务。对于USB,可利用内置芯片,编写USB接口程序,实现USB全速(FS)通信,通过实际测试,最大传输速率可达12Mbps。
3.2.2.数据处理模块
本文系统中,主要研究如何共采用TMS320C64x+数字信号处理器,对实时视频图像数据进行编解码计算,并完成复杂的人体三维建模算法。C64x芯片串口本身有I0特性,在设计这种方式下两片C64xDSP芯片间的互连时,芯片间的总线速度只能达到50MHz左右,且还要保证在设计方案以及PCB布线方面有比较可靠的设计,才能保证DSP间的可靠数据通信。TMS320C64x系列DSP的MCBSP接口是个串行端口,用于DSP之间的通信以及DSP与其他外围设备之间的通信。在本研究系统中具有重大研究意义。
存储器子系统采用高带宽母板,两种独立的外存储器接口(SROM口和DRAM口),SROM口地址空间达到27-bit (128MB) , 支持SLC和MLC NAND Flash。SDRAM接口支持高达2Gb/每Bank。S3C6410X微处理器对很多功能提供了加速支持,如:数码像机Multi格式码(MFC)、多媒体数字信号的编码解码器(JPEG Codee)、二维和三维画图,并增加了图形旋转功能。有利于进行更精确的计算。
3.2.3.图像采集模块
图像采集模块(图3)是由不同类型的摄像头模块组成光学采集系统。本系统解决的技术问题在于,提供一种基于摄像头阵列与视频分析的人体定位与识别方法,能够实现精准的360°全方位运动源定位,可以获得可靠的深度信息,深度信息可以大幅提高身体跟踪算法的鲁棒性,同时也为模型建立提供基础。且大幅减少软件开销,识别结果准确可靠。
红外灯的内核为LED Array,它是一个战略式的LED。我们是采用40mil大功率晶片阵列技术,而中央圆形发光的部分指甲盖还小,但是在这么小的范围里面它发出来的光线非常的大,产品光路结构上使用非球面光学玻璃透镜,投射光斑非常均匀,大大提高了监控夜视画面清晰度,达到可识别面貌的新阶段。LED Array可以制作出可广可窄的发射角度的产品,对于广角度的使用很有利。
3.3.系统软件设计总体说明
图3.硬件连接
在嵌入式处理器控制的人体建模跟踪系统软件设计中,软件系统大致可分为两类:数据处理和过程控制。数据处理(图4)主要包括数据采集、数字滤波、比例变换、视频背景提取算法和Kinect技术等;过程控制是使系统应用程序在系统内部进行计算、输出。本系统的图片信息非常多且复杂,需要过程控制系统使用视频背景提取算法对背景实现背景减除,反馈给计算机,然后控制整个系统的软件。
图4.软件系统工作框图
3.4.系统验证
按照上述方法,构建了一套完整的人体跟踪系统,系统可以在多种应用环境包括复杂背景下进行实验,实验结果可以说明,本系统可以实现三维人体模型提取,能够快速地处理人体运动数据。本实验是在windows10系统环境下,以25帧/秒的速度实时运行验证。本系统可实现如
图5.人体模型的提取
4. 结论
设计了一款新型的人体行为建模跟踪系统,仅通过光学摄像头阵列即可完成人体行为建模,系统具有高速的视频处理帧速率,可实现多人体运动目标同时建模的功能;系统通过实验验证,可实现基础人体模型提取。这一课题在智能监视系统、虚拟现实、高级用户接口、运动分析和基于模型的图像编码等方面具有广阔的应用前景。
总的来说,该系统在对人体的跟踪方面表现出了一定的优越性。虽然它还有许多地方需要进一步的研究和完善,但仍具有极大发展潜力和应用前景。今后系统需要的改进包括如下几个方面:①研究在实际复杂背景下迅速提取人体轮廓的方法②进一步把人体运动跟踪的结果运用于人体运动的分析和识别阶段。
参考文献
[1]李亨凡,张燕,“Jetson Nano机器人目标跟踪的VR三维建模”,电子技术及信息科学,TP242,2020.
[2]DING Chuang,XU Hong-yu,“Research on Tracking and Recognition System Based on Embedded Dynamic Gesture”.Design application,Telecom Power Technologies,2020, 37(15).
[3]沈世斌,谢非,牛友臣,王天洋,钟港林,谷全琪,“基于混合高斯模型优化的运动人体跟踪方法”,信息工程,TP391.4,2019.
[4]周斌,马玲,“三维人体运动跟踪中形状特征表述重建”,控制工程,TP391.4,2017.
[5]赵林,“面向复杂监控环境的人体运动分析方法”,控制科学与工程,TP391.41,2017.
[6]王向东,“人体异常行为识别算法研究”,信息与通信工程,TP391.41,2017.
[7]王沛,“基于图的三维骨骼人体行为识别研究”,模式识别与智能系统,TP391.41,2017.
[8]韩晓玉,“基于视频的运动人体异常行为的识别研究”,计算机软件及计算机应用,TP391.41,2016.
[9]荆旭,李春华,范秀敏,何其昌,“基于驾驶员身体特征和操作姿态的汽车内饰按键操作便捷性建模”,工业工程,2016年第4期122-130.
[10]CUI Jie,XU Cong-ti,“Study on Object Tracking Technology of Human Motion Based on the Embedded Platform with High Performance”,Embedded Image Treatment,TN957.52,2016.
[11]陈鹏展,李杰,罗漫,“网络化人体运动跟踪系统研究”,计算机应用,TP391.41,2015.