印刷电路板表面组件自动化检验

摘要

本文探讨以机器视觉进行印刷电路板表面组件的自动化检验工作。首先，将待测之彩色影像灰阶化，以减少数据处理量，接着以中通滤波 (Median filter) 作减低噪声的运算，再利用相关系数 (Coefficient of correlation) 对待测区域进行定位点影像搜寻与定位处理，并使用金字塔(pyramid )的观念加速运算。接着将影像以默认值予以二值化(Thresholding)，进一步滤除电路影像数据，以突显待检主要目标。然后利用反复投射(Interactive project) 方式将各个待检主体所在的位置分割出来，再藉由所得之相关系数，将待检主体依相关系数的值，而选择相对应的特征撷取方式与缺陷判断规则。本文所提方法，在表面组件检验上可侦测的瑕疵有断字、缺字、型号错误、印字不清、放置错位等。

关键词：印刷电路板，瑕疵，特征撷取，自动化检验

1. 绪论

印刷电路板表面组件检验近年来成长迅速，随着生产技术的改进，电子组件朝向精致化、迷你化发展。人工检验的方式已不符使用，机器视觉取代人工成为新兴的检验方法。其中有许多学者致力于IC 组件的检验，大多为批号辨识、缺陷检验等[1]。

改进式类神经结构来进行字符辨识，利用霍普菲尔网络的记忆特性来辨识字符，并利用改良网络结构型态来改进霍普菲尔的记忆限制问题，并追求辨识速度的优化，其将整个字元辨识领域由特征数据转到了图面思考的境界[2]。

利用不同的色彩转换模式来凸显特定零件，如检验电容便以HIS的颜色模型来处理，并利用转换式将蓝色强调用以显现出电容影像[3]。

印刷电路板检视系统中，提出2.5D的取像检验方法，并说明了曲线拟合、与圆形影像之圆心坐标与半径的推导，其缺陷检验方式为建立标准影像，再将待测影像与之作逻辑运算后，进行分析[4]。

电路板的检测规则，其文中对影像前处理运用于电路板检验之叙述相详尽，其中所提及之XOR应用于影像比对的方式，可以应用在许多方面[5]。

Chung整合了IC批号辨识常应用的技术，如相关系数与金字塔，文中也提出了盒形滤波(box-fiLTEr)的演算观念与相关系数正规化的想法，将检验的能力与方法强化，提升其检验速度与系统环境适应力[7]。

Sauvola和Pietikainen提出以一分类器来将影像先行作一分类，接着利用模糊理论找出一较合适的选值方法，使得二值化的应用有了另一个思考的方向，文中并以区域像素平均值加上标准偏差的乘积的方法来选择阀值[8]。

IC封装与方位的检验法则，文中对于IC的封装结构叙述清楚，也提出了用对比强化的方式来突显IC芯片的信息，且透过Candy边缘侦测法来萃取出IC影像的线性特征[9, 10]。

本文着重于IC组件上的商标与文字辨识，在方法上，先进行影像前处理来强化待测影像的质量，接着透过反复投射与相关系数的运算来得到特征值，并以此特征值判断是否存在瑕疵，以进行常见的IC组件瑕疵侦测与分类。

第二节将叙述本文提出之印刷电路板表面组件的常见瑕疵与检验方法。第三节则对所提方法实作进行印证，最后，并对整个研究过程与结果作一个讨论。

2. 印刷电路板检验

印刷电路板组件自动化检验的主要流程与步骤如图一所示。包括影像前处理步骤，瑕疵定义与判断法则，与样版之建立等。以下各小节将作进一步介绍与探讨。

2.1 影像前处理步骤

在影像前处理部分，包括影像灰阶化，噪声消除，定位，二值化，反复投射与正规化等，各步骤简略叙述如下：

图一. 印刷电路板组件检验流程

灰阶化

在此我们采用将影像转为灰阶影像，以简化后续的处理，使用之转换公式如下：

其中r(x,y), g(x,y), b(x,y)分别为像素(x,y)之红色、绿色与蓝色色彩值。

噪声消除
在此我们使用中值滤波 (Median filter) 来降低噪声，由实验中发现，中值滤波可以适当保留主体轮廓。

定位
我们利用相关系数 (Correlation) ，对特定区域进行两个定位点的搜寻(参见公式2)，结果如图二所示[7]。

m 和 n 为欲搜寻影像的宽度与高度，M是标准影像，I 是欲搜寻的影像区域。u , v 则是搜寻过程中坐标相对的偏移值。 为标准样板的灰阶值平均， 为欲搜寻影像区域的灰阶值平均。

找到定位点后即可以最小平方法计算出这两个定位点之中心，再透过标准样板两个定位点所成的直线与待测影像两个定位点所成直线，运用公式(3) 即可算出样板与待检向之旋转角度。

其中m1为标准样板定位线的斜率， 为待测影像定位线的斜率，θ为两线间的夹角。

计算出旋转角度与位移后，接着利用公式(4)进行平移与旋转运算来修正待检影像之坐标。

其中， 0, 0 x y 为待测影像的定位参考点，x ' , y' 为新的影像坐标， x, y 为原先影像的坐标。

二值化
由于检验的灯光环境可以控制，因此我们使用默认值的方式来作二值化的处理，以加速影像二值化之处理速度。

正规化
由于相关系数需要执行于相同的大小的图形，故将分割所得的每一个区块影像，调整至与标准样板一样的大小，以便进行相关系数运算。

反复投射
以递归的方法，针对欲检验区域进行反复投射( Interactive project) 的处理，将IC上面的不同大小的商标与文字分割出来，如图三所示。

图二. 待测影像定位处理

图三. 待测区域影像反复投射以分割各字符

2.2 瑕疵定义与检验法则

一般常见的IC瑕疵有断字、印刷不良、缺字、批号错误、放置错位，其各自相关的定义与检验法则说明如下：

(1) 断字：由于印刷的原因导致IC字符部分未能显现，以致产生有如断掉般的情况。将待测影像与正确影像进行 XOR 运算，再侦测有无区块影像产生，如果有则判为断字(如图四)。

图四. IC断字的影像

(2) 印刷不良：由于印刷时机器的不稳定所导致或是印字时印头清洁不良，导致字符有模糊或毛边的情况发生。将待测影像与正确影像进行XOR 运算，再侦测有无散状影像产生，如果有则判断为印刷不良(如图五)。

图五. IC印刷不良的影像

(3) 缺字：原本应该有字的影像区块却没有字符或商标存在。检验影像区块，经侦测后没有发现物体 (物体点数小于一容忍值)，即判断为缺字(如图六)。

图六. IC 缺字影像

(4) 批号错误：原本应该印的字符变成另外其他的字符或图像。依据相关系数低至0.3 以下，有相当大的信心确信该区字符已不是原来之字符或图像。至于要更进一步了解印出为何字符则需要更进一步的萃取特征信息来作辨别(如图七)。

图七. IC 批号错误之影像

(5) IC放置错位：因为机械手臂拿取的缘故，导致IC方位正好颠倒。我们可藉由侦测定位点与特定ＩＣ批号字符的相对位置，藉此了解有无装反之情况(如图八)。

图八. IC放置错位之影像

2.3 样板建立与检验流程

为了判断待检影像是否存在瑕疵，首先需要建立标准样板数据，以作为检验的标准。在检验时，即可取得欲测影像与标准样板比较，来决定是否有异常的现线。

PCB组件中建立标准样板步骤如下：

1. 撷取影像，并予以噪声消除。
2. 利用相关系数于特定区域内找寻两个定位点，并计算出差距量予以旋转修正影像。
3. 针对欲检测区域进行反复投射，将IC组件上的商标与字符分隔出来。
4. 写入各区块影像至硬盘中，并记录相关位置与大小资料。

建立完标准样板数据后，即可对印刷电路板之IC组件进行检验工作。PCB组件中检验步骤说明：

1. 撷取影像，并予以噪声消除。

2. 利用相关系数于特定区域内找寻两个定位点，并计算出差距量予以旋转修正影像。

3. 依据系统训练的数据，针对应该有数据区域撷取影像。

4. 进行影像前处理运算。

5. 将系统设定之样板影像与待测影像，先行缩放至相同大小后，接着进行相关系数的运算。

6. 对运算所得之相关系数进行判断，判断是否存在瑕疵，法则如下：

a. 大于0.9通过检验，表示无瑕疵。
b. 介于0.9至0.7先进行进行断字检验，如仍无法判定则继续进行其他瑕疵检验。
c. 介于0.3至0.7先进行印刷不良，如仍无法判定则继续进行其他缺陷检验。
d. 介于0.1至0.3之间先进行印字错误检验，如仍无法判定则继续进行其他缺陷检验。
e. 小于或等于0.1 则进行缺字检验。如仍无法判定则继续进行定位错误检验。

3. 实验与结果分析

本文中测试的各项硬设备的功能和规格说明如下：

1. 彩色固态摄影机：Mintron OS-50D。

2. 图像处理卡：Matrox公司制造的Meteor 影像处理卡。

3. 个人计算机：IBM 兼容的个人计算机，中央处理器INTEL Pentium III 550，易失存储器 192MB，显示卡为 SIS6326，最大分辨率 1024 X 768。

4. 光源照明： 以一白光环形灯于待测组件上方打光。

5. 程序语言： Borland C++ Builder 5.0， 并利用Matrox公司提供之MIL 函式库5.12 版。

6. 实验环境： 本研究之硬设备为将彩色固态摄影机架设于一垂直操作台上，待测物放于固定平台上，CCD 距离台面15 公分，镜头离台面11公分。

我们为了解此一检验方法的效果，拟定了一套检验过程。连续取像检验20 个芯片影像进行结果分析。由实验所得的结果，我们发现利用相关系数作为判断依据与分类准则是一个不错的方法。由于待测影像均为小影像，故运算并不会太过缓慢。加上大部分的组件都是完好的，故以相关系数作判断分类，可以有效减少判断所需次数。我们可以由图九与图十中看到系统可以将有瑕疵的区域突显出来，并将各个区域影像的相关系数显示，如我们所预期，断字的相关系数落于0.7 至0.9 中。而缺字也因为没有物体于区域影像中，故相关系数运算得到其值为0，也符合了我们当初的检验设定值。

图九. (a)断字初步判断影像输出;(b)断字影像之相关系数数据

图十. (a)缺字初步判断影像输出;(b)缺字影像之相关系数数据

对于检验加速方面的考虑，我们以金字塔的观念，建立一个原影像的等比例缩小图，来简化相关系数运算时的数据处理量，在大图形时可以将原检测图形以等比例缩小数次，可以减少运算时间，同时搜寻到的组件位置也不会偏差太多。

各处理步骤所需所花的时间如表一依所示。我们利用C 语言指针的特性加速程序的执行，采用区域图像处理，而尽量不进行整张图形处理。整个检验流程，以一个有30 个字符的IC 影像而言只需0.5 秒左右，如再进一步将程序优化，则可望再减少些检验所需时间。

表一. 处理各步骤所需时间

结论

本文提出利用相关系数作为对IC 影像瑕疵与否的分类器，依据相关系数的数值，来做相对应的判断处理，可以简化IC 检验处理流程。利用相关系数的分类对于检验加速而言相当有效，但其却对字符的影像撷取质量相当敏感，故整体检验时环境需要多加注意。对于字体印刷质量的界定，应可有更佳的检测方法。以增进判断的准确与细致。