基于颜色相似和位移一致的运动目标归并算法研究

0引言

运动目标的检测方法主要有基于运动学信息的帧差法、背景减法、光流法和依赖于单帧特征信息的检测方法或将两类方法结合^[1] 。帧差法^[2]和背景减法^[3]检测过程的最后一步是通过分割二值图像获得目标轮廓,由于相机抖动、光照变化、目标运动不连贯、静止背景遮挡等原因,差分阈值后的二值图像会出现离散现象,基于二值图像的目标分割会将一个目标误分为多个小目标。当前,区域连通性分析多用于医学图像、车牌字母、工件计数等领域^[4],其目的是将粘连、堆叠的目标进行分离。在离散目标归并领域, 目前研究文献较少,分离与归并本是一对问题,在归并研究上可以借鉴分离的研究方法和思想。

离散目标归并是完整检测的重要一步,文献[4]依据像素级距离信息和特征相似信息对图像块进行整合。文献[5]利用HSI空间中色调、饱和度、亮度分量信息的相似性与基本形态学操作结合,定义了一种彩色形态学处理方法用于图像边缘提取,能够较好地保存边缘信息。在遥感图像方面,文献[6]基于 YCbCr颜色空间对亮度、蓝色色度、红色色度分量进行阈值化,初步确定候选阴影区域,基于候选区域提取纹理特征用于阴影消融;文献[7]利用Ycbcr颜色空间特征来表征大豆粒子外观品质特性,对大豆进行精细分类。文献[8]提出了一种复杂布局分析的混合技术,为了连接相邻区域和检测分割线,将形态学操作应用于前景和背景,轮廓跟踪用于提取形状和大小信息以及连接部件的分类。

本文以帧差后的运动 目标二值图像为起点,分别从小 目标区域滤除、离散目标的质心欧几里得距离判定、HSI空间颜色特征相似度计算、前后帧离散目标位移一致性评价等方面进行归并方法研究。

1 HSI空间颜色相似性

相机获取的图像是RGB颜色空间,每个通道都包含同种信息,HSI颜色空间更符合生物视觉系统^[9],H、S、I分别代表色调、饱和度、亮度,两空间转 换可表示:

式中:B表示蓝色分量;G表示绿色分量;R表示红色分量;θ为色调角度。

设一离散区域Ω,V={v ̅_H，v ̅_s，v ̅_I}表示在HSI颜色空间下Ω的每个像素点的颜色矢量,进一步计算区域Ω内总体颜色特征矢量U={v ̅_H，v ̅_s，v ̅_I,σH,σS,σI},其中v ̅_H，v ̅_s，v ̅_I分别表示区域内各分量均值,σH,σS,σI表示各分量的标准差。在一帧图像中会出现多个离散目标区域,则整帧图像的颜色特征表示为U={u1,u2,… ,un},n为单帧图像中离散目标区域的数量。

各离散目标的颜色相似度测算是离散目标是否归并的重要依据,通常来讲,不同类型目标在颜色特征上有较大差异,但离散目标颜色特征和完整目标颜色特征具有相似性,同属一个整体目标的各离散目标之间距离较短,颜色特征也具有相似性。

式中:d_H、d_s、d_I为定义的色度、饱和度、亮度的相似测度函数,均以e为底数的减函数定义;下标i,j表示任意两个离散目标;a,b,c分别为各分量测度参数,均在区间(0,+∞)保证了测度函数递减性,对于同样的两个颜色向量,因为参数不同表现出不同的相似性,符合生物感知世界的模糊性。

以分量差值的绝对值为变量,保证定义域大于等于零,将其值域归一化到[0,1]区间内,差值的绝对值越小,计算结果越向1趋近,各分量相似性越高,同属一个目标的概率越大;否则,属于同一目标的概率越小。

颜色总体特征的相似性由三个分量相似性共同决定:

D(ui,uj)∈[0,1],该值接近1时,表示两个离散目标的颜色信息更加接近,同属于一个整体目标的概率大。

2上下帧位移一致性

运动 目标在前后帧中所处的位置会有移动,但是其颜色特征保持稳定。设当前帧和前一帧的颜色特征向量分别是Uc,UP,上下帧相似性矩阵如下:

其中,M、K分别为当前帧和前一帧离散目标数量,对相似性矩阵元素做二值化处理:

式中:D(u_cm,u_Pk)表示两区域的颜色特征相似性;Tb 表示颜色相似阈值;o(u)表示区域的质心,p1 (x1,y1),p2(x2,y2)分别为o(u_Pm)和o(u_ck)的坐标,Euc[o(u_cm),o(u_ck)]表示两质心间欧几里得距离,以表征目标在前后帧的位移距离;T_D2表示当前帧和前一帧两两离散目标的欧几里得距离阈值。

二值化要同时满足两个条件:1)颜色特征相似性高于T_b;2)虽然运动目标在前后帧中会发生位移,但是由于两帧间隔时间较短,位移距离应小于T_D2。

当A_b中每列存在两个及以上值为1的元素,即前一帧中的一个离散目标在当前帧中对应多个相似目标,那么对应的当前帧目标之间也具有较高的相似性。若存在多个颜色特征相似且距离较近的目标,例如正在会车的同款车辆,此时会将多个物体归并在一起。通常情况下,一个完整目标的各部分位移的大小和方向应该一致,因此应将离散目标在上下帧的位移信息考虑进来。

δ表示从o₁位移到o₂ 的位移方向,以正右方为0°,逆时针增加至360°。定义位移向量R={r1,r2,…,rl},其中r={δ,E_uc,x2,y2},l是A_b中元素值为1的。评价位移向量ri,rj一致性依据:

式中:dx,dy表示质心点在水平和垂直方向的移动距离;d(ri,rj)由两个方向移动距离差值合成,当其小于阈值TM则认为两目标位移具有一致性。

3 归并步骤

步骤1,读入原图像src及所对应的二值图像 src_b,并将原图像src由RGB颜色空间转换为HSI空间得到src_hsi。

步骤2,对二值图像src_b进行膨胀操作,然后查找轮廓,对轮廓面积小于阈值Ts的区域,将区域内所有像素设置为0,得到最新src—b,达到滤除小 目标作用,膨胀操作还会对微小距离的离散目标进行归并。

步骤3,对src_b再次查找轮廓并找到其最小外接矩形框和质心,将矩形框映射到原图像src中,计算 HSI颜色空间下映射区域颜色特征U,判断是否为初始帧,若为初始帧,则同时保存为当前帧和前一帧。否则,更新为当前帧数据。

步骤4,计算当前帧两两离散目标之间的欧几里得距离E_uc[o(u_i),o(u_j)],当其值小于当前帧中两个离散目标的欧氏距离阈值T_D1时,近一步计算其颜色特征相似性,当D(u_i,u_j)大于相似度阈值T_C1则认为两个离散目标间相似度高,可视为同一目标。

步骤5,依据当前帧和前一帧的颜色特征向量 U_C,U_P,求解上下帧相似矩阵A,并对矩阵二值化得到A_b,对元素值为1所对应的离散区域进行位移一致性评价,当d(ri,rj)小于阈值TM则认为目标在运动方向和距离上保持一致,可以归并为同一目标。

步骤6,在src_b1上,将判定为同一目标的各离散区域通过连接线完成目标归并,查找src_b1轮廓并获得外接矩形框。

步骤7,将当前帧的颜色特征信息更新为前一帧数据。重新回到步骤1对下一帧图像做同样处理。

4 实验结果及分析

选取三段视频序列验证算法的效果和适用性能,视频1为静态相机下监控视频,视频2为运动相机下所拍摄的视频,视频3为运动相机所拍摄,但视频中存在多个距离相近、颜色特征相似的运动目标。通过VS2017和OpenCV 4.1编程实现验证,在PC (CPU 为8核3.5 GHz,内存8 GB)上运行。

实验1:基于HSI颜色特征相似性对离散目标进行第一次归并。本文中相似度测度参数a、b、c均设为10,欧氏距离阈值T_D1设为30,相似度阈值T_C1设为0.75。如图1所示,第一行视频目标的离散程度低,滤除小目标后的二值图像已经呈现出比较完整的人体轮廓。第二行视频人与相机同时运动,相机运动补偿不足或过度补偿导致目标不连贯,离散程度大,由于目标上下着装颜色一白一黑,其颜色相似度低,将上下半身分别归并,人体仍然是离散状态。由此可见,当一个完整目标各部分颜色对比度较强时,仅依据颜色特征相似度归并能力有限。第三行视频飞机漆装颜色单一,基于颜色相似度归并效果较好。三架飞机为同一颜色,由于T_D1设置比较小,飞机之间没有出现归并。

实验2:基于上下帧位移一致性进行归并,本文中将T_D2设置为80,T_b设为0.6,T_M设为30。第二次归并是在第一次归并后进行,对于一个完整目标,各部分的位移距离和方向具有一致性,在视频2中体现明显,第一次归并后,人体上下半身仍然分离,第二次归并后,上下半身归并为一体,人体轮廓检测完整,如图2所示。

定义准确率P=N_t/N,其中N为目标总数量,N_t为完整检测目标的数量。准确率P1表示直接对二值图像查找轮廓进行目标检测,P2表示对离散目标归并后再查找目标轮廓,由表1可知,归并后目标完整检测的准确率有了大幅提高,平均提高27个百分点。

5结束语

本文为提高基于二值图像目标检测的正确率,提出了一种基于HSI空间颜色相似度和上下帧位移一致性的目标归并方法,首先滤除小目标区域,然后基于颜色特征的相似度对离散目标进行第一次归并,在此基础上,结合离散目标在前后帧中位移的一致性进行第二次归并,达到将离散目标合体的效果。

采用三段不同场景不同拍摄条件的视频对方法进行验证,结果表明了方法的有效性。图像的内涵信息是丰富的,本文只考虑了颜色特征和位移一致性,未来的研究中可加入更多的图像特征,例如纹理特征、梯度特征等。

[参考文献]

[1]ROZANTSEVA,LEPETITV,FUAP.Detectingflying objectsusingasinglemovingcamera [J].IEEE TransactionsonPattern Analysis andMachineIntelligence,2017,39(5): 879—892.

[2]王智文,王宇航,蒋联源,等.基于关联帧差分法的运动目标检测与跟踪[J].现代电子技术,2021,44(2):174—178.

[3]戚亚明,陈树越,孙磊.基于改进ViBe算法的双流CNN跌倒检测[J].计算机工程与设计,2023,44(6):1812—1819.

[4]康世英,姚斌.快速连通域标记算法在堆叠棒材计数中的应用研究[J].机械与电子,2018,36(11):29—33.

[5]何晓军,徐爱功,李玉.利用HSI空间相似性的彩色形态学图像处理方法[J].计算机科学,2019,46(4):285—292.

[6]方岚,于凤芹.去除鬼影及阴影的视觉背景提取运动 目标检测算法[J].激光与光电子学进展,2019,56 (13): 71—78.

[7]林萍,何坚强,邹志勇,等.基于可见光谱图的大豆外观品质判别方法[J].光学学报,2019,39(8):208—215.

[8] VASILOPOULOS N,KAVALLIERATOUE.Complex layout ana—lysisbasedon contour classificationandmorpho—logicaloperations [J].EngineeringApplications ofArtificialIntelligence,2017,65:220—229.

[9]宋瑞霞,李达,王小春.基于HSI色彩空间的低照度图像增强算法[J].图学学报,2017,38(2):217—223.

2024年第14期第13篇