针对传统人体建模跟踪系统需人体佩戴骨骼传感器网络的问题，本文设计了一种新型的人体行为建模跟踪系统。系统仅通过光学摄像头及图像处理算法即可完成人体三维运动建模，并可实现多人体运动目标的实时追踪功能。系统由1片S3C6410ARM11嵌入式处理器作为核心控制单元，由2片TITMS320C64x+系列DSP处理器组成数据处理单元，实现高速数字信号处理。系统使用视频背景提取算法对背景实现背景减除，使用Kinect技术先识别人体部位。可以实现对视频流的高速处理，并进一步完成人体建模。