高精度針孔檢測(cè)設(shè)備
More >>
您所在的位置:精質(zhì)視覺(jué) > 新聞中心>工業(yè)帶材表面缺陷檢測(cè)系統(tǒng)
2022-07-19 11:06:42 精質(zhì)視覺(jué)
以帶狀表面缺陷檢測(cè)系統(tǒng)為例,其硬件框架主要由照明設(shè)備,CCD相機(jī),圖像處理計(jì)算機(jī)和服務(wù)器組成,其照明設(shè)備采用特殊的紅外光源陣列。CCD線掃描攝像機(jī)組水平排列在帶鋼生產(chǎn)線上,水平和垂直可視范圍相互重疊,以確保沒(méi)有漏檢。CCD攝像機(jī)收集的圖像通過(guò)光纖傳輸?shù)綀D像處理計(jì)算機(jī)組,以進(jìn)行圖像處理和圖案識(shí)別。然后,將結(jié)果與生產(chǎn)線的相關(guān)信息一起發(fā)送到服務(wù)器數(shù)據(jù)庫(kù)進(jìn)行進(jìn)一步處理,并生成各種現(xiàn)場(chǎng)生產(chǎn)信息統(tǒng)計(jì)報(bào)告。用戶可以根據(jù)這些報(bào)告評(píng)估鋼卷的質(zhì)量等級(jí),或者分析生產(chǎn)線異常的原因,從而實(shí)現(xiàn)對(duì)生產(chǎn)線的實(shí)時(shí)監(jiān)控。下圖顯示了典型的工業(yè)帶材表面缺陷檢測(cè)系統(tǒng)。
在表面缺陷檢測(cè)任務(wù)中,我們通常會(huì)根據(jù)統(tǒng)計(jì)結(jié)果對(duì)相關(guān)方法進(jìn)行定量評(píng)估,可將其分為四類(lèi):真陽(yáng)性(TP)表示檢測(cè)到的實(shí)際缺陷為缺陷,真陰性(TN)表示檢測(cè)到的缺陷。實(shí)際缺陷被錯(cuò)誤地檢測(cè)為背景,假陽(yáng)性(FP)表示錯(cuò)誤地將實(shí)際背景檢測(cè)為缺陷,而假陰性(FN)表示將實(shí)際背景檢測(cè)為背景。顯然,在理想情況下,TP和FN越大,檢測(cè)效果越好,而TN和FP越大,檢測(cè)效果越差。
其中,G均值以組合的方式衡量這兩類(lèi)的準(zhǔn)確性,而G均值越大意味著TPR和TNR越高,這也是缺陷檢測(cè)應(yīng)用程序的要求。另一方面,F(xiàn)-measure根據(jù)準(zhǔn)確性和召回率評(píng)估缺陷檢測(cè)的總體性能。
現(xiàn)有的金屬平面材料表面缺陷檢測(cè)方法的二維視覺(jué)技術(shù)和模型,并進(jìn)行了討論和展望,檢測(cè)方法分類(lèi)的總體結(jié)構(gòu)。值得注意的是,近年來(lái)深度學(xué)習(xí)的快速發(fā)展改變了這種模式?;谏疃葘W(xué)習(xí)的缺陷檢測(cè)方法越來(lái)越多地應(yīng)用于金屬平面材料。因此,本文將金屬平面材料的表面缺陷檢測(cè)方法分為四類(lèi):傳統(tǒng)的基于統(tǒng)計(jì)的方法,基于光譜的方法,基于模型的方法和新興的基于機(jī)器學(xué)習(xí)的方法。
方法1:基于統(tǒng)計(jì)的方法
從統(tǒng)計(jì)方法的角度來(lái)看,圖像紋理被視為隨機(jī)現(xiàn)象。統(tǒng)計(jì)方法通過(guò)測(cè)量像素空間分布的統(tǒng)計(jì)特性來(lái)研究像素強(qiáng)度的規(guī)則和周期性分布,以檢測(cè)金屬平面材料表面的缺陷。以下是對(duì)五個(gè)代表性統(tǒng)計(jì)方法的簡(jiǎn)要介紹,下表給出了這五個(gè)類(lèi)別的幾種典型方法的比較。
其中,邊緣檢測(cè)是一種檢測(cè)被測(cè)圖像中的灰度或結(jié)構(gòu)突變的方法。缺陷區(qū)域和背景之間的灰度級(jí)差異導(dǎo)致邊界處出現(xiàn)明顯的邊緣,可用于檢測(cè)金屬平面材料的表面缺陷。由于圖像邊緣像素的不連續(xù)性,研究人員通常采用局部圖像微分技術(shù)來(lái)獲取邊緣檢測(cè)算子,金屬平面材料表面缺陷的常用邊緣檢測(cè)模板包括Prewitt,Sobel 和Canny 運(yùn)算符,下圖顯示了在相同缺陷樣本上這些原始運(yùn)算符的檢測(cè)結(jié)果。
這些模板也有自己的缺點(diǎn),許多研究人員對(duì)其進(jìn)行了優(yōu)化,以獲得更好的結(jié)果。下表列出了傳統(tǒng)版本和優(yōu)化版本,并簡(jiǎn)要比較了這些運(yùn)算符的優(yōu)缺點(diǎn)。
方法2:基于頻譜的方法
在光照變化和偽缺陷干擾的情況下,許多統(tǒng)計(jì)方法都不可靠。幸運(yùn)的是,研究人員發(fā)現(xiàn)圖像在變換域中更有可能被分離出具有不同特征的信息,并且有可能找到比像素域中的直接處理方法更好的缺陷檢測(cè)方法。下表總結(jié)了一些轉(zhuǎn)換域方法,以下是這些類(lèi)別的幾種典型方法的比較。
其中,小波變換具有更強(qiáng)的自適應(yīng)能力,非常符合人的視覺(jué)特征,它不僅可以定位時(shí)頻窗口,而且可以根據(jù)窗口中心頻率的變化自動(dòng)修改窗口大小。下圖顯示了二維圖像的二階小波分解的示意圖。
該二維圖像從標(biāo)度j +1分解為標(biāo)度J,然后分解為標(biāo)度J-1。小波分解的結(jié)果是將圖像劃分為子圖像的集合。為了有效地從信號(hào)中提取信息并分析函數(shù)或信號(hào),比例變換和移位運(yùn)算已成為小波變換的顯著優(yōu)勢(shì)。在實(shí)際的生產(chǎn)線中,由于諸如水滴,氧化物水垢,照明不均勻或不利環(huán)境等缺陷,金屬板和帶材的表面缺陷的檢測(cè)越來(lái)越具有挑戰(zhàn)性。
方法3:基于模型的方法
除了基于統(tǒng)計(jì)和頻譜的方法外,還有一種基于模型的方法。基于模型的方法通過(guò)通過(guò)參數(shù)學(xué)習(xí)增強(qiáng)的特殊結(jié)構(gòu)模型將圖像塊的原始紋理分布投影到低維分布,從而更好地檢測(cè)各種缺陷。下表給出了這些類(lèi)別的幾種典型方法的比較。
方法4:基于機(jī)器學(xué)習(xí)的方法
隨著人工智能技術(shù)的飛速發(fā)展,廣泛應(yīng)用的機(jī)器學(xué)習(xí)在各個(gè)領(lǐng)域都取得了良好的效果。下表列出了幾種典型方法。
機(jī)器學(xué)習(xí)的本質(zhì)是分析和學(xué)習(xí)數(shù)據(jù)(特征),然后做出準(zhǔn)確的決策或預(yù)測(cè)。2005年,Liu等人使用雙層前饋神經(jīng)網(wǎng)絡(luò)將測(cè)試圖像的像素點(diǎn)分類(lèi)為有缺陷的和無(wú)缺陷的。該任務(wù)的基本思想實(shí)際上是根據(jù)是否存在缺陷二分,因此仍可以歸類(lèi)為缺陷檢測(cè)。卷積神經(jīng)網(wǎng)絡(luò)(CNN)是當(dāng)前基于監(jiān)督方式最常用的深度學(xué)習(xí)網(wǎng)絡(luò)。Chen等進(jìn)行了裂縫檢測(cè) 基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)和樸素貝葉斯數(shù)據(jù)融合方案的NB-CNN??紤]到缺陷形狀的多樣性,Zhou等改進(jìn)了快速R-CNN,選擇了K-mean算法,根據(jù)“地面真相”的大小生成了錨框的長(zhǎng)寬比,并將特征矩陣與不同的接收域融合在一起。該方法具有較好的微觀缺陷檢測(cè)能力,在光線變化時(shí)仍能準(zhǔn)確地識(shí)別出缺陷類(lèi)型,易于移植到實(shí)際工業(yè)應(yīng)用中。隨后,隨著支持向量機(jī)(SVM)的發(fā)展和改進(jìn),這種值得稱(chēng)贊的支持?jǐn)?shù)據(jù)二進(jìn)制分類(lèi)的廣義線性分類(lèi)器通常被廣泛用于區(qū)分有缺陷和無(wú)缺陷區(qū)域。Ghorai等認(rèn)為分類(lèi)器在缺陷檢測(cè)中的性能在很大程度上取決于特征和分類(lèi)器的組合。因此,他們對(duì)不同的特征集(Haar,DB2,DB4)和不同的分類(lèi)器(SVM和向量值正則化核函數(shù)逼近(VVRKFA))進(jìn)行置換和組合,并觀察缺陷檢測(cè)結(jié)果。
實(shí)驗(yàn)表明,具有第一級(jí)Haar特征的VVRKFA的性能在所有特征分類(lèi)器組合中排名第一。與上述缺陷檢測(cè)方法不同,He和Xu等顛倒了ROI提取和對(duì)象分類(lèi)的一般順序,他們提出了一個(gè)新的對(duì)象檢測(cè)框架:分類(lèi)優(yōu)先級(jí)網(wǎng)絡(luò)(CPN)。首先通過(guò)多組卷積神經(jīng)網(wǎng)絡(luò)(MG-CNN)對(duì)測(cè)試圖像進(jìn)行分類(lèi),然后輸出更多的稀疏和合理的特征組。根據(jù)分類(lèi)結(jié)果,CPN從可能包含缺陷的特征組中退回了缺陷邊界框,并分別在鋼板和鋼帶上進(jìn)行了測(cè)試,檢出率分別為94%和96%。然而,在現(xiàn)實(shí)世界的工業(yè)生產(chǎn)線中,收集和標(biāo)記大量圖像樣本是不切實(shí)際的,并且所得圖像樣本更加未被標(biāo)記。為了用少量的訓(xùn)練樣本獲得滿意的結(jié)果,數(shù)據(jù)擴(kuò)充以及遷移學(xué)習(xí)是訓(xùn)練網(wǎng)絡(luò)的關(guān)鍵要素。例如,Yun等使用條件卷積變分自編碼器(CCVAE)作為數(shù)據(jù)增強(qiáng)方法,并通過(guò)使用CCVAE學(xué)習(xí)給定缺陷數(shù)據(jù)的分布來(lái)生成各種缺陷圖像。實(shí)驗(yàn)表明,在使用CCVAE進(jìn)行數(shù)據(jù)增強(qiáng)的情況下,準(zhǔn)確性可以從96.27%提高到99.69%,F(xiàn)值也可以從96.27%提高到99.71%。通過(guò)應(yīng)用轉(zhuǎn)移學(xué)習(xí),Neuhauser等人使用在ImageNet上預(yù)訓(xùn)練的網(wǎng)絡(luò)權(quán)重作為學(xué)習(xí)過(guò)程的初始權(quán)重;他們利用轉(zhuǎn)移學(xué)習(xí)來(lái)加快培訓(xùn)過(guò)程,并提高檢測(cè)擠壓鋁材缺陷的性能。遷移學(xué)習(xí)的基本前提是可以擴(kuò)展網(wǎng)絡(luò)的特征提取功能。如果源域和目標(biāo)域之間的相似度不夠,則結(jié)果將不理想。