机器视觉系统-Machine Vision System

       机器视觉系统就是利用机器代替人眼来作各种测量和判断。它是计算机学科的一个重要分支，它是综合了光学、机械、电子、计算机软硬件等方面的技术，涉及到计算机、图像处理、模式识别、人工智能、信号处理、光机电一体化等多个领域。图像处理和模式识别等技术的快速发展，也大大地推动了机器视觉的发展。

释义：机器代替人眼来作各种测量和判断

包括：光学、机械、计算机软硬件等

领域：图像处理、模式识别、人工智能等

      视觉系统就是指用机器代替人眼来做测量和判断。视觉系统是指通过机器视觉产品(即图像摄取装置，分 CMOS 和CCD 两种)将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。是用于生产、装配或包装的有价值的机制。它在检测缺陷和防止缺陷产品被配送到消费者的功能方面具有不可估量的价值。

机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉;同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。可以在最快的生产线上对产品进行测量、引导、检测、和识别，并能保质保量的完成生产任务。

系统构成

一个典型的机器视觉系统包括以下三大块:

一、折叠照明

       照明是影响机器视觉系统输入的重要因素，它直接影响输入数据的质量和应用效果。由于没有通用的机器视觉照明设备，所以针对每个特定的应用实例，要选择相应的照明装置，以达到最佳效果。光源可分为可见光和不可见光。常用的几种可见光源是白帜灯、日光灯、水银灯和钠光灯。可见光的缺点是光能不能保持稳定。如何使光能在一定的程度上保持稳定，是实用化过程中急需要解决的问题。另一方面，环境光有可能影响图像的质量，所以可采用加防护屏的方法来减少环境光的影响。照明系统按其照射方法可分为:背向照明、前向照明、结构光和频闪光照明等。其中，背向照明是被测物放在光源和摄像机之间，它的优点是能获得高对比度的图像。前向照明是光源和摄像机位于被测物的同侧，这种方式便于安装。结构光照明是将光栅或线光源等投射到被测物上，根据它们产生的畸变，解调出被测物的三维信息。频闪光照明是将高频率的光脉冲照射到物体上，摄像机拍摄要求与光源同步。

二、镜头

FOV(Field of Vision)=所需分辨率*亚象素*相机尺寸/PRTM(零件测量公差比)

镜头选择应注意:

①焦距②目标高度 ③影像高度 ④放大倍数 ⑤影像至目标的距离 ⑥中心点 /节点⑦畸变

视觉检测中如何确定镜头的焦距

为特定的应用场合选择合适的工业镜头时必须考虑以下因素:

· 视野 - 被成像区域的大小。

· 工作距离 (WD) - 摄像机镜头与被观察物体或区域之间的距离。

· CCD - 摄像机成像传感器装置的尺寸。

· 这些因素必须采取一致的方式对待。如果在测量物体的宽度，则需要使用水平方向的 CCD 规格，等等。如果以英寸为单位进行测量，则以英尺进行计算，最后再转换为毫米。

参考如下例子:有一台 1/3" C 型安装的 CDD 摄像机(水平方向为 4.8 毫米)。物体到镜头前部的距离为 12"(305 毫米)。视野或物体的尺寸为2.5"(64 毫米)。换算系数为 1" = 25.4 毫米(经过圆整)。

FL = 4.8 毫米 x 305 毫米 / 64 毫米

FL = 1464 毫米 / 64 毫米

FL = 按 23 毫米镜头的要求

FL = 0.19" x 12" / 2.5"

FL = 2.28" / 2.5"

FL = 0.912" x 25.4 毫米/inch

FL = 按 23 毫米镜头的要求

注:勿将工作距离与物体到像的距离混淆。工作距离是从工业镜头前部到被观察物体之间的距离。而物体到像的距离是 CCD 传感器到物体之间的距离。计算要求的工业镜头焦距时，必须使用工作距离

三、相机

       按照不同标准可分为:标准分辨率数字相机和模拟相机等。要根据不同的实际应用场合选不同的相机和高分辨率相机:线扫描CCD和面阵CCD;黑白相机和彩色相机。

图像采集

       图像采集卡只是完整的机器视觉系统的一个部件，但是它扮演一个非常重要的角色。图像采集卡直接决定了摄像头的接口:黑白、彩色、模拟、数字等等。

       比较典型的是PCI或AGP兼容的捕获卡，可以将图像迅速地传送到计算机存储器进行处理。有些采集卡有内置的多路开关。例如，可以连接8个不同的摄像机，然后告诉采集卡采用那一个相机抓拍到的信息。有些采集卡有内置的数字输入以触发采集卡进行捕捉，当采集卡抓拍图像时数字输出口就触发闸门。

视觉处理器

       视觉处理器集采集卡与处理器于一体。以往计算机速度较慢时，采用视觉处理器加快视觉处理任务。由于采集卡可以快速传输图像到存储器，而且计算机也快多了，所以视觉处理器用的较少了。

机器选型

       在机器视觉系统中，获得一张高质量的可处理的图像是至关重要。系统之所以成功，首先要保证图像质量好，特征明显，。一个机器视觉项目之所以失败，大部分情况是由于图像质量不好，特征不明显引起的。要保证好的图像，必须要选择一个合适的光源。

光源选型基本要素:

1、对比度:对比度对机器视觉来说非常重要。机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度，从而易于特征的区分。对比度定义为在特征与其周围的区域之间有足够的灰度量区别。好的照明应该能够保证需要检测的特征突出于其他背景。

2、亮度:当选择两种光源的时候，最佳的选择是选择更亮的那个。当光源不够亮时，可能有三种不好的情况会出现。第一，相机的信噪比不够;由于光源的亮度不够，图像的对比度必然不够，在图像上出现噪声的可能性也随即增大。其次，光源的亮度不够，必然要加大光圈，从而减小了景深。另外，当光源的亮度不够的时候，自然光等随机光对系统的影响会最大。

3、鲁棒性:另一个测试好光源的方法是看光源是否对部件的位置敏感度最小。当光源放置在摄像头视野的不同区域或不同角度时，结果图像应该不会随之变化。方向性很强的光源，增大了对高亮区域的镜面反射发生的可能性，这不利于后面的特征提取。

好的光源需要能够使你需要寻找的特征非常明显，除了是摄像头能够拍摄到部件外，好的光源应该能够产生最大的对比度、亮度足够且对部件的位置变化不敏感。光源选择好了，剩下来的工作就容易多了。具体的光源选取方法还在于试验的实践经验。

应用类别

       在布匹的生产过程中，像布匹质量检测这种有高度重复性和智能性的工作只能靠人工检测来完成，在现代化流水线后面常常可看到很多的检测工人来执行这道工序，给企业增加巨大的人工成本和管理成本的同时，却仍然不能保证100 %的检验合格率(即"零缺陷")。对布匹质量的检测是重复性劳动，容易出错且效率低。

       流水线进行自动化的改造，使布匹生产流水线变成快速、实时、准确、高效的流水线。在流水线上，所有布匹的颜色、及数量都要进行自动确认(以下简称"布匹检测")。采用机器视觉的自动识别技术完成以前由人工来完成的工作。在大批量的布匹检测中，用人工检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。

特征提取辨识

       一般布匹检测(自动识别)先利用高清晰度、高速摄像镜头拍摄标准图像，在此基础上设定一定标准;然后拍摄被检测的图像，再将两者进行对比。但是在布匹质量检测工程中要复杂一些:

1、图像的内容不是单一的图像，每块被测区域存在的杂质的数量、大小、颜色、位置不一定一致。

2、杂质的形状难以事先确定。

3、由于布匹快速运动对光线产生反射，图像中可能会存在大量的噪声。

4、在流水线上，对布匹进行检测，有实时性的要求。

由于上述原因，图像识别处理时应采取相应的算法，提取杂质的特征，进行模式识别，实现智能分析。

Color检测

       一般而言，从彩色CCD相机中获取的图像都是RGB图像。也就是说每一个像素都由红(R)绿(G)蓝(B)三个成分组成，来表示RGB色彩空间中的一个点。问题在于这些色差不同于人眼的感觉。即使很小的噪声也会改变颜色空间中的位置。所以无论我们人眼感觉有多么的近似，在颜色空间中也不尽相同。基于上述原因，我们需要将RGB像素转换成为另一种颜色空间CIELAB。目的就是使我们人眼的感觉尽可能的与颜色空间中的色差相近。

Blob检测

       根据上面得到的处理图像，根据需求，在纯色背景下检测杂质色斑，并且要计算出色斑的面积，以确定是否在检测范围之内。因此图像处理软件要具有分离目标，检测目标，并且计算出其面积的功能。

       Blob分析(Blob Analysis)是对图像中相同像素的连通域进行分析，该连通域称为Blob。经二值化(Binary Thresholding)处理后的图像中色斑可认为是blob。Blob分析工具可以从背景中分离出目标，并可计算出目标的数量、位置、形状、方向和大小，还可以提供相关斑点间的拓扑结构。在处理过程中不是采用单个的像素逐一分析，而是对图形的行进行操作。图像的每一行都用游程长度编码(RLE)来表示相邻的目标范围。这种算法与基于象素的算法相比，大大提高处理速度。

结果处理和控制

       应用程序把返回的结果存入数据库或用户指定的位置，并根据结果控制机械部分做相应的运动。

       根据识别的结果，存入数据库进行信息管理。以后可以随时对信息进行检索查询，管理者可以获知某段时间内流水线的忙闲，为下一步的工作作出安排;可以获知内布匹的质量情况等等。

应用

       在生产线上，人来做此类测量和判断会因疲劳、个人之间的差异等产生误差和错误，但是机器却会不知疲倦地、稳定地进行下去。一般来说，机器视觉系统包括了照明系统、镜头、摄像系统和图像处理系统。对于每一个应用，我们都需要考虑系统的运行速度和图像的处理速度、使用彩色还是黑白摄像机、检测目标的尺寸还是检测目标有无缺陷、视场需要多大、分辨率需要多高、对比度需要多大等。从功能上来看，典型的机器视觉系统可以分为:图像采集部分、图像处理部分和运动控制部分。

工作过程

一个完整的机器视觉系统的主要工作过程如下:

1、工件定位检测器探测到物体已经运动至接近摄像系统的视野中心，向图像采集部分发送触发脉冲。

2、图像采集部分按照事先设定的程序和延时，分别向摄像机和照明系统发出启动脉冲。

3、摄像机停止扫描，重新开始新的一帧扫描，或者摄像机在启动脉冲来到之前处于等待状态，启动脉冲到来后启动一帧扫描。

4、摄像机开始新的一帧扫描之前打开曝光机构，曝光时间可以事先设定。

5、另一个启动脉冲打开灯光照明，灯光的开启时间应该与摄像机的曝光时间匹配。

6、摄像机曝光后，正式开始一帧图像的扫描和输出。

7、图像采集部分接收模拟视频信号通过A/D将其数字化，或者是直接接收摄像机数字化后的数字视频数据。

8、图像采集部分将数字图像存放在处理器或计算机的内存中。

9、处理器对图像进行处理、分析、识别，获得测量结果或逻辑控制值。

10、处理结果控制流水线的动作、进行定位、纠正运动的误差等。

从上述的工作流程可以看出，机器视觉是一种比较复杂的系统。因为大多数系统监控对象都是运动物体，系统与运动物体的匹配和协调动作尤为重要，所以给系统各部分的动作时间和处理速度带来了严格的要求。在某些应用领域，例如机器人、飞行物体导制等，对整个系统或者系统的一部分的重量、体积和功耗都会有严格的要求。

优点

机器视觉系统的优点有:

1、非接触测量，对于观测者与被观测者都不会产生任何损伤，从而提高系统的可靠性。

2、具有较宽的光谱响应范围，例如使用人眼看不见的红外测量，扩展了人眼的视觉范围。

3、长时间稳定工作，人类难以长时间对同一对象进行观察，而机器视觉则可以长时间地作测量、分析和识别任务。

机器视觉系统的应用领域越来越广泛。在工业、农业、国防、交通、医疗、金融甚至体育、娱乐等等行业都获得了广泛的应用，可以说已经深入到我们的生活、生产和工作的方方面面。