一、机器视觉基本概念：

机器视觉简单来说就是机器具有人眼的测量和判断能力，在实际使用中，用机器视觉替代人眼来测量和检测等。机器视觉相当于机器人的眼睛系统，是人工智能的一个分支，现处理快速发展的阶段。

如下图用3D结构光相机测量物体尺寸。

二、机器视觉系统的组成部分

机器视觉系统是通过专业打光系统（如3D结构光、红外照明灯、线激光）提供光源；使用工业摄像头等摄像部分将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息。摄像部分根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，产生点云等信息。视觉系统可以讲检测到的内容，传输给相关控制系统，进而让控制系统根据判别的结果来控制现场的设备动作。

一个典型的工业机器视觉系统包括：光源（3D结构光、线激光、各种定制光源）、镜头（定焦镜头、变倍镜头、远心镜头、显微镜头）、 相机（包括CCD相机和COMS相机）、图像处理单元（或图像捕获卡）、图像处理软件、监视器、通讯 / 输入输出单元等。

三、机器视觉特点

机器视觉系统最基本的特点就是提高生产的灵活性和自动化程度。在一些不适于人工作业的危险工作环境、人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉，以实现工业正常生产。同时，在大批量重复性的工业生产过程中，用机器视觉可以大大提高生产的效率和自动化程度。（如用3D扫描仪替代二次元，1秒钟即可以得出使用二次元半小时才能完成的工作；用机器视觉做品质检验，可以提升10倍以上的效率）

如下图使用好优投科技的3D结构光相机用于汽车轴承烘烤车间自动抓取，烘烤车间温度高，轴承又大又重，人工摆放会又累又热。

下图的人面部测量，现代医学采用了很多智能技术，需要测量人身体不同部位的尺寸，用传统的测量方法，非常费时且不一定很准确，而使用新式的3D视觉技术，可以控制误差在0.5mm，非常精准。

在检测行业，与人类视觉相比，机器视觉优势明显

精确度高：人类视觉是64灰度级，且对微小目标分辨力弱；机器视觉可显著提高灰度级，如康耐视、好优投的3D相机都同时可观测微米级的目标；

2）速度快：人类是无法看清快速运动的目标的，机器快门时间则可达微秒级别；3D结构光测试的，1*1.2米的幅面，每秒可以拍摄60次。

3）稳定性高：机器视觉解决了人类一个非常严重的问题——不稳定。因为人工目检是劳动非常枯燥和辛苦的行业，无论你设计怎样的奖惩制度，都会发生比较高的漏检率。但是机器视觉检测设备则没有疲劳问题，没有情绪波动，只要是你在算法中写好的东西，每一次都会认真执行。在质控中大大提升效果可控性。

4）信息的集成与留存：机器视觉获得的信息量是全面且可追溯的，相关信息可以很方便的集成和留存。

（3D结构光相机拍摄轴承，检测表明不良，精度10um）

四、机器视觉技术近年发展

1）图像采集技术发展迅猛

CCD、CMOS等固件越来越成熟，图像敏感器件尺寸不断缩小，像元数量和数据率不断提高，分辨率和帧率的提升速度可以说日新月异，产品系列也越来越丰富，在增益、快门和信噪比等参数上不断优化，通过核心测试指标（MTF、畸变、信噪比、光源亮度、均匀性、色温、系统成像能力综合评估等）来对光源、镜头和相机进行综合选择，使得很多以前成像上的难点问题得以不断突破。

2）图像处理和模式识别发展迅速

机器视觉，尤其是3D机器视觉，需要拍摄大量的高清图像，机器视觉这几年能得以快速发展，与图像处理技术的快速发展密不可分。图像处理上，随着图像高精度的边缘信息的提取，很多原本混合在背景噪声中难以直接检测的低对比度瑕疵开始得到分辨。

图像处理需要大量计算，算力模块提升和算力模块标准化（如英伟达的Jetson等），为很多小批量、多场景的视觉设备的研发提供的基础的硬件支持，让研发人员可以快速模块化开发和应用。

模式识别上，本身可以看作一个标记过程，在一定量度或观测的基础上，把待识模式划分到各自的模式中去。图像识别中运用得较多的主要是决策理论和结构方法。决策理论方法的基础是决策函数，利用它对模式向量进行分类识别，是以定时描述（如统计纹理）为基础的；结构方法的核心是将物体分解成了模式或模式基元，而不同的物体结构有不同的基元串（或称字符串），通过对未知物体利用给定的模式基元求出编码边界，得到字符串，再根据字符串判断它的属类。在特征生成上，很多新算法不断出现，包括基于小波、小波包、分形的特征，以及独二分量分析；还有关子支持向量机，变形模板匹配，线性以及非线性分类器的设计等都在不断延展。

3）深度学习带来的突破

传统的机器学习在特征提取上主要依靠人来分析和建立逻辑，而深度学习则通过多层感知机模拟大脑工作，构建深度神经网络（如卷积神经网络等）来学习简单特征、建立复杂特征、学习映射并输出，训练过程中所有层级都会被不断优化。在具体的应用上，例如自动ROI区域分割；标点定位（通过防真视觉可灵活检测未知瑕疵）；从重噪声图像重检测无法描述或量化的瑕疵如橘皮瑕疵；分辨玻璃盖板检测中的真假瑕疵等。随着越来越多的基于深度学习的机器视觉软件推向市场（包括瑞士的vidi，韩国的SUALAB等），深度学习给机器视觉的赋能会越来越明显。

4）3d视觉的发展

3D视觉这两年发展非常迅速，许多应用程序都在使用3D表面重构，包括导航、工业检测、逆向工程、测绘、物体识别、测量与分级等。但3D视觉现在仍处于起步阶段，因为一方面现在应用场景实在太多，每个应用场景要测量的物体不同、可以测量条件不同，导致对测量光源、相机及算法均有不同的要求，导致研发人员还不能快速完成相关技术研发。现在整体市场反馈，年复增长率超过39%，相信未来这块潜力巨大。

五、现在机器视觉还有哪些难点有待攻破

1）光源与成像：机器视觉中优质的成像是第一步，由于不同材料物体表面反光、折射等问题都会影响被测物体特征的提取，因此光源与成像可以说是机器视觉检测要攻克的第一个难关。比如现在玻璃、反光表面的划痕检测等，很多时候问题都卡在不同缺陷的集成成像上。

2）重噪音中低对比度图像中的特征提取：在重噪音环境下，真假瑕疵的鉴别很多时候较难，这也是很多场景始终存在一定误检率的原因，但这块通过成像和边缘特征提取的快速发展，已经在不断取得各种突破。

3）对非预期缺陷的识别：在应用中，往往是给定一些具体的缺陷模式，使用机器视觉来识别它们到底有没有发生。但经常遇到的情况是，许多明显的缺陷，因为之前没有发生过，或者发生的模式过分多样，而被漏检。如果换做是人，虽然在操作流程文件中没让他去检测这个缺陷，但是他会注意到，从而有较大几率抓住它，而机器视觉在这点上的“智慧”目前还较难突破。

六、机器视觉主要用途

机器视觉常见的应用领域包括视觉检测、视觉定位、视觉测量及物料分拣。

四个常见应用领域：

1、检测

检测是机器视觉工业领域最主要的应用之一。几乎所有产品在生产过程中均需要品质保障，这样均需要质量检测，而人工检测会因为检测人员的个人能力差异、长时间工作疲劳、每个人都有犯错误的时候等因素导致存在多种的毛病，导致检测的一致性、准确性等更是无法保证，检测速度不稳定，影响生产效率。因此，机器视觉检测设备在图像检测方面应用广泛。

2、定位

视觉定位是通过机器视觉系统，快速准确地找到被测或需要安装零件位置。如PCB加工时，贴片生产时需要确认贴片位置，自动化插件生产需要确定插件位置；在半导体封装领域，设备需要按照机器视觉取得的芯片位置信息调整拾取头，准确拾取芯片并进行绑定；自动焊接时，需要确认需要焊接的位置等。这些都是视觉定位的应用。

3、测量

机器视觉的测量属于非接触式的测量，具有检测精度高、速度快、成本低、安装简便等优点。可以完成物品的二维、三维尺寸在线测量，如物体的长度、圆、角度、线弧等测量。

分拣

大型农场的果实采摘、大量快递包裹物流分拣等都是机器视觉很好的应用场景。物体分拣应用是建立在识别、检测之后一个环节，通过机器视觉系统将物体在空间的位置识别出来，尤其用3D视觉识别，然后实现分拣。在机器视觉工业应用中常用于食品分拣、流水线不良品剔除、快递包裹分拣等。

七、机器视觉系统未来发展趋势

1）嵌入式解决方案发展迅猛，智能相机性能与成本优势突出，嵌入式PC会越来越强大

2）模块化的通用型软件平台和人工智能软件平台将降低开发人员技术要求和缩短开发周期

3）3d视觉将走向更多应用场景，如好优投科技先后接到测量保护膜、测量人眼部突变尺寸、测双开门冰箱安装尺寸等各式应用。

八、机器视觉现在的行业应用情况

半导体和电子生产行业：从国内机器视觉工业上的应用分布来看，46％都集中在电子及半导体制造行业，包括晶圆加工制造的分类切割、PCB检测（底片、内／外层板、成品外观终检等）、SMT贴装检测、LCD全流程的AOI缺陷检测、各种3c组件的表面缺陷检测、3c产品外观检测等

（上图为3D锡膏测试仪，配好优投结构光、索恩达出品）

汽车：车身装配检测、零件的几何尺寸和误差测量、表面和内部缺陷检测、间隙检测等

印刷、包装检测：烟草外壳印刷、食品的包装和印刷、药品的铝塑板包装和印刷等

农业：对农产品的分级、检验和分类

纺织：对异纤、云织、经疵、纬疵等瑕疵检测、织物表面绒毛鉴定、纱线结构分析等等。

九、机器视觉的产业链

机器视觉上游有光源、镜头、工业相机、图像采集卡、图像处理软件等软硬件提供商，中游有集成和整机设备提供商，行业下游应用较广，主要下游市场包括电子制造行业、汽车、印刷包装、烟草、农业、医药、纺织和交通等领域。

1）上游部件级市场

主要包括光源、镜头、工业相机、图像采集卡、图像处理软件等提供商，近几年智能相机、工业相机、光源和板卡都保持了不低于20%的增速。根据中国机器视觉产业联盟（CMVU）调查统计，现在已进入中国的国际机器视觉品牌已近200多家（如康耐视、达尔萨、堡盟等为代表的核心部件制造商，以基恩士、欧姆龙、松下、邦纳、NI等为代表的则同时涉足机器视觉核心部件和系统集成），中国自有的机器视觉品牌也已有100多家（如海康、华睿、盟拓光电、神州视觉、深圳灿锐、上海方诚、上海波创电气、好优投等），机器视觉各类产品代理商超过300家（如深圳鸿富视觉、微视新纪元、三宝兴业、凌云光、阳光视觉等）。很多国内机器视觉的部件市场都是从代理国外品牌开始，很多企业均与国外的同行有较好的合作，且这种合作具有一定的排他性，这给潜在进入者带来了一定的门槛，因此优质产品的代理商也都有不错的市场竞争力和利润表现。同时，以海康、华睿、好优投为代表的国产工业视觉核心部件正在快速崛起。

2）中游系统集成和整机装备市场

国内中游的系统集成和整机装备商有100多家，他们可以给各行业自动化公司提供综合的机器视觉方案，如凌云光、微视新纪元、嘉恒、凌华、阳光视觉、鼎信、大恒图像等。由于国内产品与国际依然有不小差距，很多中游系统集成商和整机装备商又是从核心零部件的贸易做起来的，因此很多在视觉产品的选择方面，依然更为青睐国外品牌。国内品牌为推广自己的软硬件产品，往往需要发展自己的方案集成能力，才能更好的面对市场竞争。

3）下游应用市场

机器视觉下游，主要是给终端用户提供非标自动化综合解决方案的公司，行业属性非常强，核心竞争力是对行业和生产的综合理解和多类技术整合。由于行业自动化的更迭有一定周期性，深受行业整体升级速度、出货量和利润状况影响，因此近两年来看，拉动机器视觉应用普及最主要的还是在电子制造业，其次是汽车和制药。