依据核算机视觉的金属资料外表缺点检测是冶金工业范畴的研讨热门。在金属制作职业中，高规范的平面质量要求主动视觉查看体系及其算法的功用有必要不断进步。本文依据对钢，铝，铜板和带钢的一些典型金属平面资料产品的160多种出版物的总述，企图对二维和三维外表缺点检测技能进行全面的总述。依据算法的特点和图画特征，现有的二维办法分为四类：核算办法，光谱办法，模型办法和依据机器学习的办法。在三维数据搜集的基础上，三维技能分为立体视觉，光度立体，激光扫描仪和结构化光丈量办法。本文将剖析和比较这些经典算法和新式办法。终究，对视觉缺点检测的剩下挑战和未来的研讨趋势进行了评论和猜测。

　　金属平面资料（例如，钢，铝，铜板等）广泛用于轿车制作，桥梁修建，航空航天和其他支柱产业，为现代社会开展和日子改善做出了巨大贡献。可是，在实践的工业出产进程中，加工设备的损坏或恶劣的工业环境不可防止地会导致金属平面资料产品呈现某些质量问题。一些具有大面积或周期性特征的产品外表缺点不只影响后续出产，而且要挟终端产品的质量，给制作企业带来巨大的经济和名誉丢失。外表缺点区域的数量，程度和散布是决议工业金属平面资料质量的重要因素。依据振荡声调制，无线传感技能和其他不同原理的损害检测办法现已进行了很长时刻的研讨。可是，依据核算机视觉的外表缺点检测办法具有成本低，操作简洁，功用优越等长处，是在图画外表发现和定位反常区域的最常用办法。硬件设备的开展以及人工智能技能的不断开展，主动视觉查看（AVI）设备已逐步成为工业制作商进步产品质量和出产功率的规范装备。

　　金属平面资料（例如钢，铝，铜板和带材）具有类似的外观特征，具有一致的质量要求，能够归纳为“精确的尺度，均匀的外表和光亮的外表”，这意味着板材的厚度和宽度应契合规定的精度要求，外表应清洁且无鳞，裂纹，划痕，辊痕和气泡等。金属平面资料外表的缺点不只会损坏平面产品的外观，而且或许成为应力会集的薄弱环节，成为决裂和腐蚀的本源。用于金属平面资料外表缺点的检测设备应具有两个首要功用：缺点检测和缺点分类。前者的意图是在工业出产进程中在线精确地检测和定位缺点，而无需辨认缺点的类型，以便工业现场能够依据缺点的程度和频率调整相应的连铸/轧制设备，然后赶快操控类似缺点的很多分散，并有用防止质量问题形成的经济丢失。一同，缺点分类是辨认和符号检测到的缺点，以便终究产品的分级。分类精度直接由缺点检测的精度决议；因而，检测体系的全体功用首要遭到缺点检测进程中各种算法的精确性，时刻功率和鲁棒性的约束，这是本文的要点。

　　钢，铝，铜带和其他极薄带的外表润滑，而且它们的高外表反射率易于带来较高的光影区域；然后，灰度值不一致的现象增加了过错边际检测的或许性。

　　伪缺点（例如水滴，水布，雨水线，水雾以及在层流冷却进程中发生的其他实践缺点）会导致检测设备频频呈现误报。

　　因为接连的轧制设备振荡，轧制速度差，侧导板异位，轧制速度动摇，类大气湍流效应等原因，随机弹性变形会在电荷耦合器件（CCD）相机发生随机图画失线）海量图画数据

　　实践国际中出产线的高速，卷材替换的快节奏以及热轧机中对纤细缺点检测的需求，使得图画搜集前端接连生成很多图画数据，其峰值速度高达5.12 Gbps ，这要求检测算法有必要在检测精度，核算和牢靠性之间到达杰出的平衡。

　　在不同的工艺中，不同类型的工业设备的工艺操作使外表纹路有很大的差异，相应的金属板和带材也具有不同的检测难度。下图列出了金属平面资料的三个典型外表图画。左边是无缺点的图画，右侧显现了几个典型的缺点或伪缺点图画，例如鳞片，渣痕，裂纹，划痕，毛刺和连铸坯外表上的照明不均匀；在热轧带钢外表上有辊痕，划痕，夹渣，夹杂物，孔洞和氧化皮；冷轧带钢外表的酸洗，腐蚀，波纹，污点，凹坑和孔。这些图画都是运用线性阵列扫描CCD相机从实践国际的出产线上获取的。

　　以带状外表缺点检测体系为例，其硬件结构首要由照明设备，CCD相机，图画处理核算机和服务器组成，其照明设备选用特别的红外光源阵列。CCD线扫描摄像机组水平摆放在带钢出产线上，水平缓笔直可视规模彼此堆叠，以保证没有漏检。CCD摄像机搜集的图画经过光纤传输到图画处理核算机组，以进行图画处理和图画辨认。然后，将成果与出产线的相关信息一同发送到服务器数据库进行进一步处理，并生成各种现场出产信息核算陈述。用户能够依据这些陈述评价钢卷的质量等级，或许剖析出产线反常的原因，然后完结对出产线的实时监控。下图显现了典型的工业带材外表缺点检测体系。

　　在外表缺点检测使命中，咱们一般会依据核算成果对相关办法进行定量评价，可将其分为四类：真阳性（TP）标明检测到的实践缺点为缺点，真阴性（TN）标明检测到的缺点。实践缺点被过错地检测为布景，假阳性（FP）标明过错地将实践布景检测为缺点，而假阴性（FN）标明将实践布景检测为布景。明显，在抱负情况下，TP和FN越大，检测作用越好，而TN和FP越大，检测作用越差。因而，九个方针界说如下：

　　其间，G均值以组合的办法衡量这两类的精确性，而G均值越大意味着TPR和TNR越高，这也是缺点检测运用程序的要求。另一方面，F-measure依据精确性和召回率评价缺点检测的整体功用。

　　作者全面回忆了现有的金属平面资料外表缺点检测办法的二维视觉技能和模型，并进行了评论和展望，检测办法分类的整体结构。值得注意的是，近年来深度学习的快速开展改变了这种形式。依据深度学习的缺点检测办法越来越多地运用于金属平面资料。因而，本文将金属平面资料的外表缺点检测办法分为四类：传统的依据核算的办法，依据光谱的办法，依据模型的办法和新式的依据机器学习的办法。

　　从核算办法的视点来看，图画纹路被视为随机现象。核算办法经过丈量像素空间散布的核算特性来研讨像素强度的规矩和周期性散布，以检测金属平面资料外表的缺点。以下是对五个代表性核算办法的扼要介绍，下表给出了这五个类别的几种典型办法的比较。

　　其间，边际检测是一种检测被测图画中的灰度或结构骤变的办法。缺点区域和布景之间的灰度级差异导致鸿沟处呈现明显的边际，可用于检测金属平面资料的外表缺点。因为图画边际像素的不接连性，研讨人员一般选用部分图画微分技能来获取边际检测算子，金属平面资料外表缺点的常用边际检测模板包括Prewitt，Sobel 和Canny 运算符，下图显现了在相同缺点样本上这些原始运算符的检测成果。

　　这些模板也有自己的缺点，许多研讨人员对其进行了优化，以取得更好的成果。下表列出了传统版别和优化版别，并扼要比较了这些运算符的优缺点。

　　在光照改变和伪缺点搅扰的情况下，许多核算办法都不牢靠。走运的是，研讨人员发现图画在改换域中更有或许被别离出具有不同特征的信息，而且有或许找到比像素域中的直接处理办法更好的缺点检测办法。下表总结了一些转化域办法，以下是这些类别的几种典型办法的比较。

　　其间，小波改换具有更强的自习惯才能，十分契合人的视觉特征，它不只能够定位时频窗口，而且能够依据窗口中心频率的改变主动修正窗口巨细。下图显现了二维图画的二阶小波分化的示意图。

　　该二维图画从标度j +1分化为标度J，然后分化为标度J-1。小波分化的成果是将图画划分为子图画的调集。为了有用地从信号中提取信息并剖析函数或信号，份额改换和移位运算已成为小波改换的明显优势。在实践的出产线中，因为比如水滴，氧化物水垢，照明不均匀或晦气环境等缺点，金属板和带材的外表缺点的检测越来越具有挑战性。

　　除了依据核算和频谱的办法外，还有一种依据模型的办法。依据模型的办法经过经过参数学习增强的特别结构模型将图画块的原始纹路散布投影到低维散布，然后更好地检测各种缺点。下表给出了这些类别的几种典型办法的比较。

　　跟着人工智能技能的飞速开展，广泛运用的机器学习在各个范畴都取得了杰出的作用。下表列出了几种典型办法。

　　机器学习的实质是剖析和学习数据（特征），然后做出精确的决议计划或猜测。2005年，Liu等人运用双层前馈神经网络将测企图画的像素点分类为有缺点的和无缺点的。该使命的基本思想实践上是依据是否存在缺点二分，因而仍能够归类为缺点检测。卷积神经网络（CNN）是当时依据监督办法最常用的深度学习网络。Chen等进行了裂缝检测 依据卷积神经网络（CNN）和朴素贝叶斯数据交融计划的NB-CNN。考虑到缺点形状的多样性，Zhou等改善了快速R-CNN，挑选了K-mean算法，依据“地上本相”的巨细生成了锚框的长宽比，并将特征矩阵与不同的接纳域交融在一同。该办法具有较好的微观缺点检测才能，在光线改变时仍能精确地辨认出缺点类型，易于移植到实践工业运用中。随后，跟着支撑向量机（SVM）的开展和改善，这种值得称赞的支撑数据二进制分类的广义线性分类器一般被广泛用于区别有缺点和无缺点区域。Ghorai等以为分类器在缺点检测中的功用在很大程度上取决于特征和分类器的组合。因而，他们对不同的特搜集（Haar，DB2，DB4）和不同的分类器（SVM和向量值正则化核函数迫临（VVRKFA））进行置换和组合，并调查缺点检测成果。试验标明，具有榜首级Haar特征的VVRKFA的功用在所有特征分类器组合中排名榜首。与上述缺点检测办法不同，He和Xu等颠倒了ROI提取和方针分类的一般次序，他们提出了一个新的方针检测结构：分类优先级网络（CPN）。首要经过多组卷积神经网络（MG-CNN）对测企图画进行分类，然后输出更多的稀少和合理的特征组。依据分类成果，CPN从或许包括缺点的特征组中退回了缺点鸿沟框，并分别在钢板和钢带进步行了测验，检出率分别为94％和96％。可是，在实践国际的工业出产线中，搜集和符号很多图画样本是不切实践的，而且所得图画样本愈加未被符号。为了用少数的练习样本取得满足的成果，数据扩大以及搬迁学习是练习网络的要害要素。例如，Yun等运用条件卷积变分自编码器（CCVAE）作为数据增强办法，并经过运用CCVAE学习给定缺点数据的散布来生成各种缺点图画。试验标明，在运用CCVAE进行数据增强的情况下，精确功用够从96.27％进步到99.69％，F值也能够从96.27％进步到99.71％。经过运用搬运学习，Neuhauser等人运用在ImageNet上预练习的网络权重作为学习进程的初始权重；他们运用搬运学习来加快训练进程，并进步检测揉捏铝材缺点的功用。搬迁学习的基本前提是能够扩展网络的特征提取功用。假如源域和方针域之间的类似度不行，则成果将不抱负。

　　从简略的二进制图画处理到高分辨率的多灰度图画处理，再到从一般的2D信息处理到3D视觉处理，机器视觉作为一门新式且开展迅速的学科已从试验室研讨搬运到了实践运用。与以往不同，本文要点研讨质量操控要求类似的平面金属资料，从二维和三维方面全面总结缺点检测办法。本文总结了近30年来主动检测金属板和带材外表视觉缺点的研讨成果，其间大多数是近10年宣布的。介绍并总结了工业金属平面资料外表缺点检测的学习办法，理论讨论和运用开展。依据上述文献的启示和作者在开发外表缺点检测体系中的经历，总结出该范畴仍存在的挑战和研讨主张。

　　（1）与其他依据核算机视觉的外表缺点检测使命比较，在实践国际中的金属平面资料工业制作中，除了检测精度和核算功率之间的平衡外，更重要的是保证检测算法的稳定性，尤其是对环境改变的稳健性。此外，还有必要具有检测缺点多样性的才能，尤其是没有边际特征的变形缺点。

　　（2）算法的快速性和通用性是实践AVI体系运用中的两个要害问题。至于算法自身，与杂乱的学习网络比较，在线外表缺点检测作为一种无监督的实时检测使命，更倾向于运用轻量级算法，而机器学习或深度网络则更适合于处理杂乱的网络。具有丰厚数据集的多类分类问题（即缺点分类）。就硬件而言，边际核算的概念能够用于终端加快。例如，专用集成电路（ASIC），类似于现场可编程门阵列 （FPGA），能够放置在图画搜集的前端以实时完结原始数据的预处理，以防止杂乱的信息影响后续处理。

　　（3）噪声滑润和边际增强是缺点检测的重要预处理操作，应尽或许接近成像的传感器侧进行安置。此外，检测体系最有用的去噪办法是经过一些可行的工程办法使图画尽或许明晰。例如，应在方针的透镜侧和外表侧装置鼓风机或离子，以去除恶劣的工业环境在光学外表上发生的水滴，尘埃，纤维等，并供给光源应当在方针侧施加均匀，适度的亮度，以战胜白天和晚上照明改变引起的光线不均匀的影响。别的，一些经济有用的冷却装备办法和成像设备的安全保护办法关于防止由高温文机械振荡等恶劣环境引起的成像退化也具有重要意义。

　　（4）最新的机器学习技能供给了一种新办法来处理此数据不平衡问题。例如，GAN在生成缺点样本方面取得了巨大的成功。为防止GAN中的可解释性差的问题，能够将其与强化学习联系起来，而且能够将GAN用于逆向强化学习和模仿学习，以进步强化学习的功率，图画和文本的转化才能以及机器的理解才能。因为研讨人员在不同的数据集上运用不同的办法进行试验，因而很难公平地比较不同技能的检测功用。受生物辨认范畴研讨的启示，构建一个丰厚多样的金属平面资料外表缺点数据库将是该范畴的一项长时间作业。

　　（5）金属平面资料外表缺点的主动视觉检测应尽力习惯国际工业竞赛格式的新调整，抢占未来工业竞赛的制高点。应尽力促进多种技能的深度集成和有机协作，研讨金属平面资料的外表缺点检测算法和办法。