基于形态特征提取的图像匹配搜索技术研究
扫描二维码
随时随地手机看文章
引言
目前大家比较熟悉的网络搜索引擎技术,大多是基于文字的检索。不论是文章的查询、图片的搜索、音乐的查找甚至视频的检索,都是通过文字以及关键词的描述或者标引实现的。对于关键词的文字捜索其缺点在于对多媒体信息描述上,用文字描述难以避免主观性。特别是在网络购物中,在海量商品库中通过关键词的查找很难找到自己所需要的物品,因而基于图像的捜索技术应运而生。
传统的图像捜索方法一般是由图像处理软件自动抽取图像的颜色、形状、纹理等特征,建立特征索引库,用户输入要查找的物品图像,就可以找出与之具有相近特征的图像。本文从数学形态学的角度来提取图像的关键形态特征,建立海量物品图片((含bmp、jpg、gif等静态图片格式)的形态骨架库,以此简化图像搜索的关键内容,降低数据库存储量,提高匹配效率以及准确性。
1数学形态学的基本原理
数学形态学是一门建立在集论基础上的学科,是几何形态学分析和描述的有力工具,它摒弃了传统的数值建模及分析的观点,从集合的角度来刻画和分析图像,可以用来解决抑制噪声、特征提取、边缘检测、图像分割、形状识别、纹理分析、图像恢复与重建、图像压缩等图像处理问题。数学形态学已在计算机视觉、信号处理与图像分析、模式识别、计算方法与数据处理等方面得到了极为广泛的应用。
数学形态学是以形态结构元素为基础对图像进行分析的数学工具。它的基本思想是用具有一定形态的结构元素去度量和提取图像中的对应形状,以达到对图像分析和识别的目的。数学形态学的应用可以简化图像数据,保持它们基本的形状特征,并除去不相干的结构,适合当前网络搜索技术中对图像内容搜索的需要。
数学形态学的基本运算主要有四个,包括腐蚀(Erosion)、膨胀(dilation)、开运算(openoperation),闭运算(closeoperation)。它们在二值图像中和灰度图像中各有特点。下面对这几个算法的原理进行介绍,并给出实验结果。
腐蚀(Erosion)
把结构元素B平移a后得到B[a],若B[a]包含于X,我们记下这个a点,所有满足上述条件的a点组成的集合称做X被B腐蚀的结果。用公式表示为:
E(X)={a\B[a\1X}=X!B
图1所示是其腐蚀示意图。
图1腐蚀的示意图
下面以鞋子图像为例,给出如图2所示的腐蚀结果,实际上也就是要捜索的鞋子示意图(图像大小136X136像素,BMP格式)。
(a)原始图片(b)腐蚀图片
图2腐蚀结果
膨胀(dilation)
膨胀可以看做是腐蚀的对偶运算,其定义是:把结构元素B平移a后得到B[a],若B[a]击中X,我们记下这个a点,所有满足上述条件的a点组成的集合称做X被B膨胀的结果。用公式表示为:
图3所示是其膨胀原理与结果示意图。
图3膨胀原理与结果示意图
开运算(openoperation)
先腐蚀后膨胀称为开运算,如图4所示。上面的两幅图中的左边是被处理的图像X(二值图像,这里主要针对的是黑点),右边是结构元素B;下面的两幅图中的左边是腐蚀后的结果,右边是在此基础上膨胀的结果。可以看到,原图经过开运算后,一些孤立的小点被去掉了。
图4开运算示意图
一般来说,开运算能够去除孤立的小点、毛刺和小桥(即连通两块区域的小点),而总的位置和形状不变,这就是开运算的作用。
闭运算(closeoperation)
先膨胀后腐蚀称为闭运算,如图5所示。图5中上面的两幅图中,左边是被处理的图像X(二值图像,我们针对的是黑点),右边是结构元素B;下面的两幅图中,左边是膨胀后的结果,右边是在此基础上腐蚀的结果可以看到。可见,原图经过闭运算后,断裂的地方被弥合了。
图5闭运算
一般来说,闭运算能够填平小湖(即小孔),弥合小裂缝,而总的位置和形状不变。这就是闭运算的作用。图6展示了二值图和灰度图利用圆盘状结构元素进行闭运算的结果。
(a)开运算(b)闭运算
图6运算结果
1.5击中击不中变换HMT(Hit-MissTransform)
将形态学运算推广到更为一般的情况,实际上就演变为条件严格的模板匹配。这时结构元素不仅含有物体点,而且
还含有背景点,只有当结构元素与所对应的区域完全符合时,才作为结果输出到输出图像。
设A是被研究的对象,3是结构元素,而且B由两个不相交的部分B1和B2组成,即:
B=BiU&Bi+B2=0
于是,A被B击中的定义为:
A7B={a\Bi[a\3A且压[a]3Ac,
A7B=(A!Bi)n(Ac!B2)
因此,我们可以考虑将其作为一个整体结构元素:B=BiUB2,Bi+B2=0。当B在图像A上移动时,在当前位置a,只有当B[a]与A和A的补集均相交,且其子集B1[a]含于A,B2[a]含于A时才能保留下来。所以选择适当的B1和B2后,HM变换实际上提取了A的特定于结构元素对BB2)的边缘几何结构信息。如图7所示,图7中的右下图为采用约束灰度进行击中击不中变换的效果图。
图7击中击不中示意图
2图像的细化与骨骼提取
2.1图像的细化(Thinning)
细化可以由腐蚀分两步实施完成,以免分裂物体。第一步是一个正常的腐蚀,但它是有条件的,就是那些被标为可除去的像素点并不立即消去。在第二步中,只将那些消除后并不破坏连通性的点消除,否则保留。每一步都是一个3X3邻域运算,图8所示是常用的八个方向结构元素。
图8八个方向结构
第二步可以根据待消除点的八个相邻点的情况查表来判断是否删除,图9所示是相邻点的情况示意图。
图9相邻点情况表
判定是否可删的依据可以从以下几种进行考虑:①内部
点不能删除;②孤立点不能删除;③直线端点不能删除;④如
/18物联网技术2013年/第11期果P是边界点,去掉P后,如果连通分量不增加,则P可以删除。
2.2骨架提取(Skeletonization)
一个与细化有关的运算是抽骨架,也称为中轴变换(Medialaxistransform)„中轴是所有与物体在两个或更多非邻接边界点处相切的圆心的轨迹。但抽骨架很少通过在物体内拟合圆来实现。中轴可设想成按如下方式形成。想象一片与物体形状相同的草,沿其外围各点同时点火。当火势向内蔓延,向前推进的火线相遇处各点的轨迹就是中轴。图10所示是图像细化与骨架提取示意图。
抽骨架的实现与细化相似,可采用一个两步有条件腐蚀实现,但是与细化的不同在于拐角处,骨架延伸到边界。
(a)二值细化(b)骨架提取
图10图像细化与骨架提取
3骨架数据库建立与搜索结果比较
本文采用形态变换骨架提取算法,并以女式高跟鞋为例来建立女式高跟鞋有关的形态数据库,以数据库查询搜索方式模拟网络搜索引擎,通过形态配准的相似率来搜索最接近的鞋子,并以相似率进行排序,按相似程度的高低按序输出,图11所示是其实验结果图。
图11图像形态骨骼提取数据库建立
通过与传统的图像相似度进行比较,在检索速度、相似度以及数据压缩等各个指标进行实验,得出如表1所列的实验数据。
表1实验数据表
方法 |
检索时间/ms |
相似概率/(%) |
形态法 |
2.5 |
85 |
结构法 |
4.1 |
80 |
由以上实验可以看出,基于形态骨骼提取的图像检索算法在检索速度上要比传统的基于图像结构的捜索快50%,其相似配准率的准确性要优于5%,另外,在数据存储的时候其压缩率要比普通的静态图像数据存储格式要高30%以上。
4结语
基于形态骨骼提取的图像捜索方法在物品颜色的检索方面具有先天的不足,但是相较于传统的文字关键词捜索而言,本文提出的图像捜索方法具有更加直观和实用的特点,通过数学形态特征提取建立特征索引库,用户只需将要查找的图像的大致特征描述出来,就可以找出与之具有相近特征的图像,检索效率快,匹配的准确性高,可广泛应用网络购物、刑事侦测、夕卜观检索、特定物品搜索以及基于图像内容的搜索引擎技术领域。
20211112_618e60beb1df4__基于形态特征提取的图像匹配搜索技术研究