计算机视觉新技术及其在ＩＣ标记质量检验中的应用

    摘要：介绍了电子和计算机技术对计算机视觉技术发展的影响，以及与计算机视觉系统开发相关的虚拟仪器开发平台ＬａｂＶＩＥＷ和图像处理软件ＩＭＡＱ Ｖｉｓｉｏｎ的特点，重点说明了模型匹配新技术的原理和特性，并给出这些新技术在ＩＣ标记检验中的应用实例。

    关键词：计算机视觉技术 虚拟仪器 图形编程语言 图像处理

    计算机视觉技术在农业、通信、交通、生物医学等领域有着广泛用途。在以往的计算机视觉系统中，图像采集卡和ＰＣ机之间基本上都需要有专门的图像处理装置。这些图像处理装置通常以专门的ＣＰＵ或高速ＤＳＰ芯片为核心，需要设计专门的电路，用汇编或Ｃ等语言编程。因此，使得整个系统的开发工作量大，周期长，成本高。近几年来，日新月异的计算机技术促进了基于ＰＣ机的测控仪器（也称为虚拟仪器，其中包括计算机视觉系统）技术的发展。计算机和电子测量领域不断有新的技术推出，例如为增强多媒体功能而开发的ＭＭＸ技术、数据传输率达１３２ＭＢ／ｓ的ＰＣＩ局部总线和速度越来越快的ＣＰＵ，以及功能越来越强大的操作系统和图像处理软件，还有性能优异的图像采集卡等；使得ＰＣ机的图像处理能力大大增强。在新型的计算机视觉系统中，ＰＣ机可直接对图像采集卡采集到信号进行快速的处理，在功能和速度等方面能满足大多数工程应用的要求。

    目前，在ＩＣ生计算机视觉技术在工业、产过程中的大部分工序中都利用计算机视觉系统进行在线的过程监控。其中的一个工序是ＩＣ标记质量的在线检验。标记质量检验包括对ＩＣ表面的标记（商标图案和字符）的位置、角度、清晰程度、是否缺损和错漏等情况的检验。ＩＣ上的标记通常用激光刻绘或印刷的方法加工而成。据了解，国内的半导体器件制造业所配置的计算机视觉系统均为外国产品，ＩＣ标记质量检验计算机视觉系统的主要生产商是ＩＣＯＳ公司和ＨＰ公司，国内现在使用的系统基本上是需要专门图像处理装置的旧式结构的系统。

    根据一家ＩＣ生产厂家所提出的技术要求，我们采用计算机视觉新技术设计了一套ＩＣ标记质量检验系统（以下简称为ＩＣ检验系统）。该系统具有结构简单灵活、功能强和性能价格比高等特点。

１ ＩＣ检验系统的结构和配置

１．１ 系统的结构

    ＩＣ检验系统由光源、镜头、ＣＣＤ摄像机、图像采集卡、ＰＣ机和专门的应用软件组成。ＩＣ检验系统结构示意图如图１所示。

    在工厂中，ＩＣ检验系统需与专门的传送包装系统相互配合才能完成ＩＣ标记质量的检验和包装工作。ＩＣ标记质量检验工序主要有以下几个步骤：首先由传送包装系统先将ＩＣ逐个装入条状塑料包装带的空格内，包装带在ＩＣ检验系统的镜头下方一格一格地快速移动。包装带每移动一次，传送包装系统就会通过接口电路查询ＩＣ检验系统是否处于准备就绪的状态；是则发出信号通知ＩＣ检验系统对ＩＣ进行测试。若检验合格，包装带前移一格，再重复前面的步骤。若ＩＣ不合格，ＩＣ检验系统发出信号通知传送包装系统更换ＩＣ，待ＩＣ更换后，再进行检验。

１．２ 系统的配置

    ＣＣＤ摄像机：敏通公司的ＭＴＶ－１８８１ＥＸ型１／２″黑白摄像机，７９５（Ｈ）×５９６（Ｖ）图像像素，６００ＴＶ线水平分辨率，最低照度０．０２１ｘ，信噪比优于４８ｄＢ。

    图像采集卡：美国国家仪器 ＮＩ）公司的ＰＣＩ－１４０８型单色图像采集卡，采用ＰＣＩ总线，具有８位分辨率，更新速率为２５帧／ｓ（ＰＡＬ）。该卡有４根触发信号和８根同步信号线，可用于与其它ＤＡＱ卡或外部设备通信联络。

    ＰＣ机：联想ＰＩＩＩ／４５０，６４Ｍ内存，８．４Ｇ硬盘。

    操作系统：Ｗｉｎｄｏｗｓ ９８。

    应用软件：自行开发的ＩＣ标记质量检验程序。

２ 开发工具软件

    以软件为中心是虚拟仪器的一大特点，虚拟仪器的开发往往以软件为主。因此，选择好的开发工具软件十分重要。我们采用了ＮＩ公司的虚拟仪器开发平台ＬａｂＶＩＥＷ ５．１和图像处理软件包ＩＭＡＱ Ｖｉｓｉｏｎ ５．０作为开发工具。

２．１ ＬａｂＶＩＥＷ

    ＬａｂＶＩＥＷ是一种基于图形编程语言的虚拟仪器应用软件开发平台，特别适用于测试、测量、仪器控制、过程监控和工业自动化等方面的工程应用软件的开发。它采取编译方式生成的应用程序可脱离开发平台而独立运行，运行速度与Ｃ语言相当。它在数据采集、信号处理和数据表达等方面有很强的能力，并且具有直观易学和编程效率高等特点。与通用编程语言（例如ＶＣ和ＶＢ）相比，可节省一半以上的软件开发时间。它可通过ＤＬＬ等多种方式与其它语言的应用程序连接。ＬａｂＶＩＥＷ ５．１版在很多方面作了改进，例如加强了信号处理和分析、３Ｄ图形显示和报告生成的功能，以及ＡｃｔｉｖｅＸ和网上数据交换等方面的功能。

２．２ ＩＭＡＱ Ｖｉｓｉｏｎ ｆｏｒ ＬａｂＶＩＥＷ

    ＩＭＡＱ Ｖｉｓｉｏｎ包含一系列ＭＭＸ优化函数。它使ＬａｂＶＩＥＷ具有科研和工程中常用的图像处理功能，例如各种类型的滤波、统计、几何变换和图像显示的功能，还有模型匹配、边缘检测、斑点分析和测量等功能。ＩＭＡＱ Ｖｉｓｉｏｎ ５．０在模型匹配和感兴趣区域ＲＯＩ的控制等方面作了进一步的改进，总体性能有了明显的提高。

３ 模型匹配的新技术

    ＩＣ检验系统采用了ＩＭＡＱ Ｖｉｓｉｏｎ中的图像处理新技术，其中最有特色的是模型匹配技术。模型匹配是最常用的图像处理方法之一。传统的模型匹配常采用相关算法。该方法处理速度较慢，而且对匹配对象的大小比例和角度的变化有很大的限制。

    ＩＭＡＱ Ｖｉｓｉｏｎ ５．０的模型匹配技术采用了三种新方法：高效率的非均匀图像采集、与旋转和大小比例无关的样板信息提取，以及图像的几何建模。这些新方法大大提高了模型匹配的速度。

    将一幅图像转换成数字信息时，往往包含大量冗余信息。如果对一幅图像的所有信息进行模型匹配处理，将会很费时。但是，如果只对图像中有代表意义的部分进行采样，就可以大大减小要处理的信息量，从而加快了处理速度。图２是非均匀采样法原理示意图。图２（ａ）是样板（Ｔｅｍｐｌａｔｅ）的原始图像，图２（ｂ）中的黑点用来表示那些代表样板图像的信息。显然，在图像中灰度均匀的区域采样点较少，灰度变化大的区域采样较多，采样的密度随图像内的情况自动调整。
边缘检测的方法能提供有关图像结构的信息，一个图像中图形边缘的信息远远少于整个图像的信息。边缘信息还可以作进一步处理，以提取图像中几何形状图形有关的数据，例如被测图像中直线和园形的数量等。模型匹配中匹配对象的计数可简化为几何图形的匹配处理。图３是边缘检测和几何建模技术示意图。图３（ａ）是样板图像，图３（ｂ）是图形边缘强化后的图像，图３（ｃ）是以几何形状表示图形边缘的图像。 ＩＭＡＱ Ｖｉｓｉｏｎ中与模型匹配相关的函数综合运用了非均匀采样、边缘检测和几何建模等方法，令模型匹配快速而准确，并允许匹配对象可以有０～３６０度的旋转和一定范围的大小比例变化。即使是在照明状况有变化（指均匀变化）、镜头聚焦不太好和部分图形被隐藏的情况下，也能取得相当准确的结果。

４ 软件设计

４．１ ＬａｂＶＩＥＷ编程的基本方法

    用ＬａｂＶＩＥＷ开发的应用程序主要由面板和流程图组成。面板的设计相当简便快捷，因为ＬａｂＶＩＥＷ有很丰富的控件库，其中包含工程上常用的各种各样的开关、旋钮，表头、数值指示器和波形显示器等仪表面板部件。设计面板的基本工作就是从控件库中选取所需的控件，并以很简便方法为它们设置合适的属性（例如尺寸、颜色、量程等）和位置。如有需要，这些属性可通过程序进行调整。面板上的所有控件都会在流程图中自动生成对应的图标。ＬａｂＶＩＥＷ的函数库内有上千种函数和子程序，它们也是以图标形式出现。流程图主要由面板上控件的图标、函数图标和连线组成。通常情况下，在图标左侧连接输入参数，而输出参数从图标右侧引出。设计流程图的基本方法是：从函数库中选取所需的函数图标，并按照数据在程序中传送的顺序把它们和控件图标的位置统一编排好，再用连线工具将图标都连接起来。

４．２ 模型匹配函数的编程

    ＩＭＡＱ Ｖｉｓｉｏｎ中的模型匹配函数ＩＭＡＱ Ｍａｔｃｈ Ｐａｔｔｅｒｎ可提供所有查找到的匹配对象的检测结果，其中包括匹配对象的数目、位置坐标、旋转角度、大小比例和相似程度计分（以１０００分为满分）。模型匹配函数需要以下几个相关函数的配合才能得到正确的结果。

    （１）学习模式设置函数（ＩＭＡＱ）用于设定建立样板模型时的学习模式。学习模式有三种：仅允许样板位移的模式，仅允许样板旋转的模式，以及允许样板位移和旋转的模式。

    （２）学习建模函数（ＩＭＡＱ）运用模型匹配新方法将样板的原始图像转换成描述数据形式的样板模型。

    （３）模型匹配参数设置函数ＩＭＡＱ Ｓｅｔｕｐ Ｍａｔｃｈ Ｐａｔｔｅｒｎ用于集合最小对比度和匹配模式等多种参数。

    图４是一个模型匹配程序（流程图）实例，用来说明模型匹配的基本编程方法。

    我们用自编的测试程序对模型匹配函数的几项主要技术指标进行了测试，测试是在ＩＣ检验系统的软硬件配置条件下进行的，测试结果如表１所示。

４．３ ＩＣ 标记检验系统应用程序的设计

    ＩＣ检验系统应用程序的面板如图５所示。图５中的１、２、３等数字表明有关控件（按键和数值输入等）操作的主要步骤和程序运行的基本顺序。

表1 模型苑配函数主要技术指标测试

    （１）“制作标准图像”按钮用于为一个完全符合要求的ＩＣ拍摄一幅标准图像，作为模型匹配样板图像的基准。

    （２）“设定搜索区域”按钮用作在标准图像的中间位置上自动生成一个搜索矩形框，该框用来限定标记检验搜索区域。搜索区域应选择ＩＣ的主体为宜。因为，搜索区域不仅是作为符号匹配检验的搜索区域，而且是作为ＩＣ主体的样板图像，它作为基准被转换为ＩＣ主体的样板模型。在每个ＩＣ检验的开始阶段，该样板模型与被检验ＩＣ的图像进行模型匹配，找到ＩＣ主体并校正其坐标位置和角度。

    （３）“调整搜索区域位置”数字式和滑动式数值控件可上下左右地移动搜索矩形框，而“调整搜索区域大小”的数值控件则用来改变搜索矩形框的边长；这两种操作交替地进行即可精确地选择搜索区域。

    （４）“增加检验符号”按钮用于选择待检验的字符。先用鼠标框选要检验符号，再用“增加检验符号”按钮确认这一选择。框选的位置没有限制，但字符选择框的边长不能小于８个像素，也不能超出搜索区域。框选字符的数目最多可达２００个。框选字符的目的是缩小匹配处理的范围，提高检测准确性。

    （５）“学习建模”按钮启动为所有被选符号建立样板模型的工作。这些样板模型被用来作为符号检验的基准。

    （６）在检验参数和检验方式设置栏目中，“对比度”控件用于设定被检验ＩＣ图像的最小对比度。“合格分数”、“位移上限”和“旋转上限”控件的设定值是判断ＩＣ标记质量是否合格的门限值，它们均可由用户根据实际要求来设定。例如，按照图５中这几项的设定值，被检验的符号匹配计分达７００分，而且位移未超过２５μｍ，旋转角度未超过０．３度时，为合格符号。所有被测符号均合格时，ＩＣ标记质量才算合格。

    （７）“开始ＩＣ检验”按钮用于发出ＩＣ检验系统已做好准备的信号。若传送包装系统亦已准备好，它会发出信号让ＩＣ检验系统开始检验工作。

    此外，统计数据栏中的“存盘”和“打印”按钮用于存储或打印ＩＣ标记质量检验的统计数据。

    图５中名为搜索区域的图像是待测ＩＣ主体部分的图像，而名为角度校正的图像是以标准ＩＣ图像为基准的经角度校正后的图像，校正的目的是准确地计算出被检验符号的位置偏移和角度变化。字符质量检验的其它项目由相似程度计分来统一判断。

    总之，借助于电子和计算机等领域的最新技术，新型计算机视觉系统在结构和性能等方面有了突破性的进展。功能强大和高效率的虚拟仪器和图像处理工具软件为计算机视觉系统的开发和推广应用提供了更加有利的条件。在ＩＣ标记质量检验系统中所采用的光学符号检验新技术除了可用于各类型印刷符号的检验外，也适用于各种产品的元器件安装方位和缺漏等检测项目。而且，基于ＰＣ机的计算机视觉系统还可以利用网络技术与其它虚拟仪器或测控设备组成网络化的产品质量监控系统。