本文在利用检测与跟踪得到的人体运动信息的基础上,对人的行走轨迹进行了讨论和研究,主要针对闭合曲线和螺旋线这两种线形,提出了一种全新的基于行走轨迹判断异常行为识别的方法。
异常行为的分析对于智能监控系统有重要意义,目前智能监控系统能够从视频图像中提取运动目标,同时对提取出的运动目标进行跟踪和识别,并对其行为进行理解和描述。运动检测、目标识别和跟踪属于低层次的处理,属于图像处理的范畴;行为分析属于高层次的处理,属于人工智能的范畴。
1.运动目标检测与跟踪方法简述
运动检测的目的是在图像序列中将运动人体区域从复杂背景中提取出来。运动检测是运动跟踪和识别的基础,该阶段处理结果的质量直接影响到以后处理的效果。目前常用的运动检测方法有:背景减除法、时间差分法、光流法。
1.1 运动目标检测
(1)背景减除法
背景减除[1]方法是目前图像中运动目标分割最常用的一种方法,它是利用当前图像与背景模型图像相差分并阈值化来检测出运动物体的一种技术。
(2)时间差分法
是在连续的图像序列中两个或三个相邻帧间采用基于像素的时间差分并阈值化来提取图像中的前景区域的方法。
(3)光流法
基于光流方法的运动检测,是利用运动物体随时间变化在图像中表现的光流特性,通过计算位移向量光流场来初始化基于轮廓的跟踪算法,从而有效地提取和跟踪运动目标。
光流计算方法需要多次的迭代运算所以时间消耗比较大,而且抗干扰能力比较差,在对实时性和精度方面要求比较高的监控系统中一般不常采用。所以很少采用光流场方法进行运动检测,目前在运动检测中最常用的方法实际上是背景减除方法,或时间差分法。
1.2 运动目标跟踪
人体运动的跟踪和标定是指在连续的图像帧之间创建基于位置,速度、形状、纹理和色彩等有关特征的对应匹配问题,它是进一步识别和理解人体运动行为的基础。按照在特征对应过程中是否采用反映先验知识的形状模型,可以把人体运动的跟踪划分为有模型的方法和无模型的方法;常用的跟踪方法有三种:
(1)线图法
线性法也称为二维人体骨架模型,是最简单的人体模型。这种模型一般包括一组表示关节或者人体特征的点,以及连接这些点的一组线段,这些线段表示人的肢体或者躯干等重要部分。
图1.1 二维棍状人体模型
(2)二维轮廓
二维轮廓人体模型是人体检测和跟踪中常用的模型(如图1-2所示)。在很多情况下可以利用图像处理技术(如背景减除等)从视频帧中分割出运动目标,获取其轮廓。在此基础上可以借助人体的轮廓模型首先判别目标是否为人体,并进一步分析其姿态。
Leung等使用图1.2(a)[3]中的2D带状模型(Ribbon Model)来分析体操动作序列中的人体姿态。一个Ribbon区域表示身体的某一部分,模型中用了5个U形Ribbon区域来构造人体,A-E五个区域分别表示人体的头部和四肢。分为人体轮廓的抽取和人体运动的解释两个过程。
为了更好的分析人体部位,Leung又提出了图1.2(b)中的七点人体模型。七个点分别为头部点P0,肩膀点P1和P2,腿的端点P3和P4,躯干端点P5和P6。另外还包括五个区域的骨架线,表示肩膀的线段和躯干的骨架,以及图中圆圈所表示的四肢的四个关节点。由此可以定位人体的关节点,最终得到人体的姿态及运动。
(a)二维Ribbon人体模型(b)七点人体模型
图1.2 二维轮廓人体模型
(3)基于区域的跟踪方法
基于区域的跟踪方法目前已有较多的应用,例如Wren等利用小区域特征进行室内单人的跟踪,如下图[4]所示,文中将人体看作由头、躯干、四肢等身体部分所对应的小区域块所组成,利用高斯分布建立人体和场景的模型,属于人体的像素被规划于不同的身体部分,通过跟踪各个小区域块来完成整个人的跟踪。
图1.3 区域人体模型
基于区域跟踪的难点是处理运动目标的影子和遮挡,这或许可利用彩色信息以及阴影区域缺乏纹理的性质来加以解决,如McKenna等[5]首先利用色彩和梯度信息建立自适应的背景模型,并且利用背景减除方法提取运动区域,有效地消除了影子的影响;然后,跟踪过程在区域、人、人群三个抽象级别上执行,区域可以合并和分离,而人是由许多身体部分区域在满足几何约束的条件下组成的,同时人群又是由单个的人组成的,因此利用区域跟踪器并结合人的表面颜色模型,在遮挡情况下也能够较好地完成多人的跟踪。
2.行走轨迹算法原理描述
本文主要介绍两种行走轨迹——闭合曲线和螺旋线的算法原理与描述。下面分两种情况讨论与分析。
(1)行走轨迹为闭合曲线
图2.1行走轨迹为闭合曲线
算法步骤:
(2)行走轨迹为螺旋线
图2.2行走轨迹为螺旋线
行走轨迹为螺旋线的情况如上图2.2所示,这种情况并不符合闭合曲线的判断原理与方法,这时我们采取另外的判断方法。
图2.3行走轨迹为螺旋线的算法原理图
算法步骤:
步骤4: 根据步骤3的计算与统计结果,如果某人的轨迹点较平均地落在每个子区域中,则可判断此人形走的轨迹是螺旋线,应报告可疑。
3.实验结果
本文设计了一个基于行走轨迹的异常行为智能监控系统,使用背景差分法和时间差分法相结合的方法进行运动目标检测并提取运动人体轮廓,利用人体轮廓的外接矩形框对运动目标进行跟踪,在此基础上对基于行走轨迹的异常行为识别问题进行了分析和研究,主要针对可疑的闭合曲线和螺旋线进行研究。为了验证根据行走轨迹判断异常行为的正确性和有效性,我们把上述原理与算法应用于许多真实的场景,如银行,宾馆,大型公共设施等进行了实验,通过试验测试,发现效果良好,实验结果图如下图3.1所示。
(a) 行走轨迹为直线
行走轨迹为直线,输出视频无变化
(b) 行走轨迹为斜线
行走轨迹为斜线,输出视频无变化
(c) 行走轨迹为闭合曲线
行走轨迹为闭合曲线,系统对其标记,并发出警报声
(d) 行走轨迹为螺旋线
行走轨迹为螺旋线,系统对其标记,并发出警报声
图3.1实验结果图
当行走轨迹为直线和斜线时,并不画红框或报警,而当行走轨迹为图(c)和图(d)所示的闭合曲线和螺旋线两种线形时,说明某人有徘徊的嫌疑,则应对此人画红框并进一步报警提示以引起相关人员的注意。
参考文献
[1] McKenna S et al, Tracking groups of people. Computer Vision and Image Understanding, 2000, 80 (1): 42-56.
[2] Lipton A, Fujiyoshi H and Patil R. Moving target classification and tracking from real-time video. In: Proc IEEE Workshop on Applications of Computer Vision, Princeton, NJ, 1998, 8-14.
[3] M.k.Leung. Y.H. Yang.First Sight: A Human Body Outline Labeling System. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1995, 17(4), 359-377.
[4] Wren C, Azarbayejani A, Darrell T and Pentland A. Pfinder: real-time tracking of the human body. IEEE Trans on Pattern Analysis and Machine Intelligence, 1997, 19 (7): 780-785.
[5] McKenna S et al, Tracking groups of people. Computer Vision and Image Understanding, 2000, 80 (1): 42-56.
[6] 李魁.基于特征跟踪的视频运动捕获技术研究[硕士学位论文].浙江大学.20040319
[7] 赵宏明.水利行业视频监控系统研究与应用[硕士学位论文].太原理工大学.20050501
[8] 章毓晋.图象工程(下册):图象理解与计算机视觉.北京:清华大学出版社,2000.
[9] 范勇,游志胜,张建州等.一种快速运动目标检测与跟踪算法.光电工程,2000,27(6).
[10] 陈坚.单目视频人体运动跟踪和获取技术研究.中国科学院研究生院博士学位论文.2005年.