2020-06-02 09:50:04 0
AI視覺檢測機(jī)器系統(tǒng)
使用深度學(xué)習(xí)進(jìn)行缺陷檢測
視覺檢查系統(tǒng)中檢測均勻背景對象（細(xì)線，緞紋等）中各種缺陷的技術(shù)。在制造業(yè)領(lǐng)域中，最近出現(xiàn)了“人力資源短缺”和“消費(fèi)者需求多樣化”的趨勢，并且對自動視覺檢查系統(tǒng)的需求也在增加。然而，現(xiàn)有的檢查系統(tǒng)不能適應(yīng)多種物體/缺陷類型。我們構(gòu)建了深度學(xué)習(xí)模型，可以預(yù)先學(xué)習(xí)各種缺陷類型，從而構(gòu)建了一個(gè)缺陷檢測系統(tǒng)，該系統(tǒng)使任何人都可以像人眼一樣自動執(zhí)行檢查，而無需進(jìn)行任何復(fù)雜的設(shè)置。
簡介
1.1背景
在制造領(lǐng)域，人力資源短缺和客戶需求的多樣化已經(jīng)變得更加多樣化，并且對視覺檢查系統(tǒng)的自動化的需求也在增加。然而，現(xiàn)有的圖像傳感器僅使檢查過程自動化的一部分可行。原因如下：由于要制造的物體種類繁多，這種傳感器不能適應(yīng)要檢查的物體的各種材料和形狀；除非具備豐富的專業(yè)知識，否則無法進(jìn)行調(diào)整。為此，我們的目標(biāo)是實(shí)現(xiàn)一種自動化的外觀檢查技術(shù)，該技術(shù)可以滿足適用于多種對象和缺陷類型的要求，并且任何人都可以輕松設(shè)置以實(shí)現(xiàn)檢查過程的自動化。
為了處理各種對象和缺陷類型，檢測缺陷的算法，突出顯示缺陷的輸入（照明/成像）技術(shù)以及適應(yīng)對象輪廓的驅(qū)動技術(shù)都是必需的。在本文中，我們提出了一種用于檢測各種缺陷的缺陷檢測算法。
1.2使用深度學(xué)習(xí)進(jìn)行預(yù)訓(xùn)練類型缺陷檢測的建議
在深度學(xué)習(xí)方法帶來各種圖像分析結(jié)果的情況下，瓶頸在于圖像的收集。為了實(shí)際實(shí)現(xiàn)用于視覺檢查的深度學(xué)習(xí)，用于學(xué)習(xí)的圖像的收集將對現(xiàn)場工作人員構(gòu)成巨大的負(fù)擔(dān)，從而使得在啟動產(chǎn)品線時(shí)難以確保足夠數(shù)量的學(xué)習(xí)圖像。在本文中，為解決該問題，我們提出了視覺檢查的自動化方法，其中應(yīng)用了不需要為每個(gè)產(chǎn)品系列準(zhǔn)備學(xué)習(xí)圖像的預(yù)訓(xùn)練類型算法。
在目視檢查中，僅需檢測各種物體表面和缺陷類型中細(xì)微或細(xì)微差異的缺陷。如表1所示，可以對進(jìn)行目視檢查的對象和缺陷類型進(jìn)行分類。在分類檢查中，已經(jīng)與現(xiàn)有圖像傳感器一起實(shí)際使用的檢查僅限于在統(tǒng)一背景下進(jìn)行的顯著缺陷檢查。另一方面，本文提出的算法可以應(yīng)用于均勻物體中的小缺陷或弱缺陷。因?yàn)橐粋€(gè)統(tǒng)一的對象甚至在不同的產(chǎn)品系列中都顯示相似的特征，所以預(yù)訓(xùn)練類型算法可以很好地工作。
2.系統(tǒng)概述
圖1是檢測處理的圖示。特征圖通過使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）的預(yù)訓(xùn)練類型處理輸入圖像來表達(dá)可能的缺陷級別。此后，如此獲得的特征圖被二值化并提取為缺陷區(qū)域。
圖1檢驗(yàn)系統(tǒng)概要
用于執(zhí)行此類任務(wù)的深度學(xué)習(xí)研究案例通常基于包括對象檢測和語義分割的算法，以輸出處理結(jié)果1）。另一方面，本文提出的算法將特征圖設(shè)置為最終輸出。這是因?yàn)椋瑢τ趯?shí)際的生產(chǎn)現(xiàn)場，對于每個(gè)產(chǎn)品線，關(guān)于產(chǎn)品缺陷是被歸類為缺陷產(chǎn)品還是被認(rèn)為是合格產(chǎn)品的判斷是不同的，因此需要留出空間來設(shè)置閾值對于各行。實(shí)際的操作模型假設(shè)在生成特征圖（其中僅缺陷部分由所提出的算法突出顯示）并在圖像傳感器上進(jìn)行簡單圖像處理的二值化或標(biāo)記后，將該算法用作一系列檢查流程的一部分被申請;被應(yīng)用; 因此，通過使用任何缺陷的位置和大小來執(zhí)行驗(yàn)收判斷。
3.生成缺陷檢測圖像的算法
在制造現(xiàn)場進(jìn)行的缺陷檢查中，假設(shè)可能會在圖像中投影除缺陷以外的對象，并且在后處理階段可能需要對缺陷和其他對象進(jìn)行分類。因此，應(yīng)該安排成可以通過特征圖來標(biāo)識位置和尺寸，在特征圖中可以對缺陷的可能程度成像。這種特征圖的準(zhǔn)備包括以下兩個(gè)步驟（圖2）。
（1）假設(shè)檢查圖像中存在缺陷的可能性
（2）缺陷的估計(jì)位置的識別和成像
首先，對于步驟（1），將檢查圖像輸入到CNN中，并輸出圖像中可能存在缺陷的可能性，可能性為0到1。CNN的排列方式是，當(dāng)圖案更接近缺陷時(shí)會輸出較高的值通過允許從許多缺陷圖像中預(yù)先學(xué)習(xí)，可以將這些元素包含在檢查圖像中。
接下來，對于步驟（2），確定從檢查圖像內(nèi)的哪個(gè)位置導(dǎo)出在（1）中估計(jì)出的缺陷的概率。使用CNN，表示缺陷位置的信息包含在各個(gè)中間層的計(jì)算結(jié)果中2）并且，通過使用該信息，可以以檢查圖像像素為單位計(jì)算出對缺陷概率的貢獻(xiàn)度。最后，將每個(gè)像素的貢獻(xiàn)度乘以適當(dāng)?shù)姆糯蟊堵?，從而?chuàng)建特征圖。
圖3是特征圖的示例。在該圖中，隨著對缺陷概率的貢獻(xiàn)程度變高，顏色從藍(lán)色變?yōu)榧t色。在檢查圖像中已知存在缺陷的部分顯示出較高的值。
4.學(xué)習(xí)圖像數(shù)據(jù)庫
為了使預(yù)學(xué)習(xí)型算法發(fā)揮全部性能，在開發(fā)時(shí)有必要構(gòu)建一個(gè)大型的學(xué)習(xí)圖像數(shù)據(jù)庫（DB），該數(shù)據(jù)庫涵蓋制造現(xiàn)場生產(chǎn)的各種對象。但是，由于并不總是保存實(shí)際的產(chǎn)品線數(shù)據(jù)，并且這些數(shù)據(jù)通常可能是機(jī)密的，因此出于開發(fā)用途的目的收集數(shù)據(jù)并不容易。特別地，對于包含缺陷的圖像數(shù)據(jù)，還存在絕對數(shù)較小且優(yōu)質(zhì)產(chǎn)品的數(shù)據(jù)量不平衡的問題。
作為在可獲得可學(xué)習(xí)圖像的條件下構(gòu)建數(shù)據(jù)庫的方法，將由計(jì)算機(jī)圖形學(xué)（CG）或生成對抗網(wǎng)絡(luò)（GAN）生成的偽圖像的方法用作學(xué)習(xí)圖像3），4），但很少在實(shí)際環(huán)境中顯示出有效性的情況。
因此，參照本文提出的算法的發(fā)展，實(shí)際創(chuàng)建并成像了包含缺陷類型，位置，大小，顏色，背景材料和光源設(shè)置的組合的對象的模式，從而構(gòu)建了數(shù)據(jù)庫。圖4顯示了實(shí)際創(chuàng)建的組合模式的示例。
為了進(jìn)行學(xué)習(xí)處理，在將圖像數(shù)量增加到800萬之后，使用了通過添加包括裁剪和添加噪聲的數(shù)據(jù)增強(qiáng)而獲得的圖像。DB的使用允許本文中提出的算法在制造現(xiàn)場處理各種對象和缺陷類型。
5.關(guān)于更高速度的考慮
通常，來自GPU的大量計(jì)算資源可用于實(shí)施深度學(xué)習(xí)。然而，對于在制造現(xiàn)場使用的圖像傳感器，由于諸如成本的問題，難以使用這種資源。因此，為了通過使用CPU的處理來提高高速性能，應(yīng)將注意力集中在占用CNN處理時(shí)間的調(diào)用層上，從而針對圖像傳感器的硬件配置優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)和線纜安裝類型。根據(jù)輸入圖像的分辨率，這種布置實(shí)現(xiàn)了100 ms至600 ms的處理時(shí)間。
5.1優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)
盡管已經(jīng)提出了幾種精密深度學(xué)習(xí)網(wǎng)絡(luò)，但是許多網(wǎng)絡(luò)都假定使用GPU，并且在大多數(shù)情況下，CPU中圖像傳感器的處理時(shí)間超過1000毫秒。本文提出的算法所采用的網(wǎng)絡(luò)是基于ResNet的5） 或開始6），這是用于一般對象識別任務(wù)的高精度和高速網(wǎng)絡(luò)的典型代表。此外，考慮到網(wǎng)絡(luò)的每一層都可以結(jié)合多種缺陷和背景圖案進(jìn)行處理，因此結(jié)構(gòu)上要優(yōu)先考慮有效接收場的多功能性7），8）以及多樣化的高速結(jié)構(gòu) 9） 具有特色，從而同時(shí)確保速度和精度。
5.2核近似
對于卷積運(yùn)算，計(jì)算量與內(nèi)核大小成比例地增加，因此，隨著內(nèi)核大小變小，可以獲得更高的速度。另一方面，對于CNN，可以通過使用多個(gè)較小尺寸的卷積層來獲得等效于較大尺寸內(nèi)核的卷積層的效果。10）。因此，我們將內(nèi)核大小為NxNxC的卷積層劃分為包括1xNxC和Nx1xC兩個(gè)階段的兩個(gè)階段，從而縮短了總體計(jì)算時(shí)間。（圖5）
5.3并行操作指令的定點(diǎn)表示與利用
卷積是浮點(diǎn)數(shù)據(jù)行的乘積和運(yùn)算。另一方面，對于圖像傳感器采用的CPU，可以使用并行執(zhí)行多個(gè)數(shù)據(jù)的積和運(yùn)算的單指令多數(shù)據(jù)（SIMD）。此外，SIMD還可以執(zhí)行更多并行操作，作為表示數(shù)據(jù)的位數(shù)。參考卷積計(jì)算，通過實(shí)現(xiàn)輸入和輸出的8位定點(diǎn)表示，我們最多可以執(zhí)行32個(gè)并行操作。
6.績效評估
我們將本文提出的算法應(yīng)用于466個(gè)檢查圖像（對于優(yōu)質(zhì)產(chǎn)品為62個(gè)圖像；對于次品為404個(gè)圖像）以評估性能。用于比較的傳統(tǒng)方法的精度是通過針對每個(gè)對象優(yōu)化流行的濾鏡（包括對比度增強(qiáng)和合并到圖像傳感器中的邊緣檢測）來優(yōu)化的，從而提取缺陷區(qū)域。但是請注意，用于評估的圖像是成像環(huán)境和成像對象與本文采用的學(xué)習(xí)圖像不同的圖像。
表2顯示了性能評估的結(jié)果。類別“假陽性”表示從良好的產(chǎn)品圖像中檢測到錯(cuò)誤，而“假陰性”表示未檢測到有缺陷的產(chǎn)品圖像。
表2績效評價(jià)結(jié)果
假陰性 假陽性
常規(guī)方法 3.2％ 6.7％
擬議方法 0.9％ 3.4％
該方法的假陽性和假陰性結(jié)果均顯示出較高的精度。另外，雖然常規(guī)方法需要選擇多個(gè)濾波器并針對每個(gè)對象調(diào)整幾個(gè)參數(shù)，但是使用所提出的方法需要調(diào)整的參數(shù)僅是特征圖的閾值，并且減少了調(diào)整的時(shí)間和精力?？梢栽谏a(chǎn)現(xiàn)場進(jìn)行工作。
圖6和7顯示了使用提出的算法提取缺陷區(qū)域的結(jié)果。圖的第一行示出了輸入圖像，第二行示出了使用結(jié)合在圖像傳感器中用于比較的常規(guī)方法從輸入圖像中提取缺陷區(qū)域的結(jié)果。最后的第三行顯示了使用提出的算法提取缺陷區(qū)域的結(jié)果。圖6示出了圖像包含與學(xué)習(xí)圖像相似的圖案的情況的結(jié)果，圖6（a）示出了緞面拋光的鋁被劃傷的物體。劃痕的寬度約為 4像素的分辨率足以滿足約4像素的要求。對比度低的輸入圖像的2000×2000，并且用常規(guī)方法進(jìn)行的加工根本無法提取劃痕。另一方面，所提出算法的處理結(jié)果能夠提取劃痕區(qū)域，這是常規(guī)方法無法實(shí)現(xiàn)的，并且它忽略了在與劃痕相鄰的圖像區(qū)域上顯示出顯著顯著對比度的照明陰影。地區(qū)。圖6（b）示出了在其上具有污漬的塑料膜。該膜具有細(xì)的發(fā)際線，并且當(dāng)用常規(guī)方法處理圖像時(shí)，源自發(fā)際線的噪聲在工作中很普遍。相反，所提算法的處理結(jié)果表明，缺陷區(qū)域可以更清晰地提取而不受細(xì)線的影響。所提算法的處理結(jié)果能夠提取出常規(guī)方法無法實(shí)現(xiàn)的劃痕區(qū)域，并且忽略了在與劃痕區(qū)域相鄰的圖像區(qū)域上顯示出更高顯著對比度的照明陰影。圖6（b）示出了在其上具有污漬的塑料膜。該膜具有細(xì)的發(fā)際線，并且當(dāng)用常規(guī)方法處理圖像時(shí)，源自發(fā)際線的噪聲在工作中很普遍。相反，所提算法的處理結(jié)果表明，缺陷區(qū)域可以更清晰地提取而不受細(xì)線的影響。所提算法的處理結(jié)果能夠提取出常規(guī)方法無法實(shí)現(xiàn)的劃痕區(qū)域，并且忽略了在與劃痕區(qū)域相鄰的圖像區(qū)域上顯示出更高顯著對比度的照明陰影。圖6（b）示出了在其上具有污漬的塑料膜。該膜具有細(xì)的發(fā)際線，并且當(dāng)用常規(guī)方法處理圖像時(shí)，源自發(fā)際線的噪聲在工作中很普遍。相反，所提算法的處理結(jié)果表明，缺陷區(qū)域可以更清晰地提取而不受細(xì)線的影響。它忽略了在與劃痕區(qū)域相鄰的圖像區(qū)域上顯示更高對比度的照明陰影。圖6（b）示出了在其上具有污漬的塑料膜。該膜具有細(xì)的發(fā)際線，并且當(dāng)用常規(guī)方法處理圖像時(shí)，源自發(fā)際線的噪聲在工作中很普遍。相反，所提算法的處理結(jié)果表明，缺陷區(qū)域可以更清晰地提取而不受細(xì)線的影響。它忽略了在與劃痕區(qū)域相鄰的圖像區(qū)域上顯示更高對比度的照明陰影。圖6（b）示出了在其上具有污漬的塑料膜。該膜具有細(xì)的發(fā)際線，并且當(dāng)用常規(guī)方法處理圖像時(shí)，源自發(fā)際線的噪聲在工作中很普遍。相反，所提算法的處理結(jié)果表明，缺陷區(qū)域可以更清晰地提取而不受細(xì)線的影響。
圖7顯示了與學(xué)習(xí)圖像有很多差異并且背景區(qū)域有信息時(shí)對象的輸出結(jié)果。圖7（a）示出了在鐵氧體芯上產(chǎn)生裂紋的圖像，并且在學(xué)習(xí)圖像中不存在包含該類型的信息的圖像。當(dāng)用常規(guī)方法對該圖像進(jìn)行處理時(shí)，盡管可以提取裂紋區(qū)域，但也可以提取鐵氧體磁心的形狀和源自表面粗糙度的邊緣。另一方面，該算法的處理結(jié)果表明，只有裂紋區(qū)域作為缺陷區(qū)域輸出。圖7（b）示出了圖像，其中木制智能手機(jī)蓋上存在灰塵。學(xué)習(xí)圖像不包括木制物體的圖像，并且不存在其中包括灰塵作為缺陷的圖案，因?yàn)檫@種圖案不是當(dāng)前開發(fā)中的目標(biāo)。當(dāng)用常規(guī)方法加工該物體時(shí)，不僅灰塵，而且木紋部分也以相似的強(qiáng)度被提取。另一方面，使用提出的算法進(jìn)行處理后發(fā)現(xiàn)，盡管沒有學(xué)習(xí)木材圖案和灰塵，但灰塵可能會作為缺陷而輸出，而忽略了木材圖案。
結(jié)果表明，盡管本文提出的算法屬于預(yù)學(xué)習(xí)類型，但它具有響應(yīng)學(xué)習(xí)圖像中不存在的未知模式的能力。
7.結(jié)論
在本文中，我們提出了一種預(yù)訓(xùn)練類型的缺陷檢測算法，該算法可以處理各種對象和缺陷類型。通過提出的方法，我們驗(yàn)證了該算法還可以處理未知模式的對象和缺陷。
對于未來的前景，我們正在研究將其與更復(fù)雜的技術(shù)結(jié)合使用，以進(jìn)行輸入（照明，成像），機(jī)器人的驅(qū)動技術(shù)以及在線和其他學(xué)習(xí)，以處理具有更復(fù)雜設(shè)計(jì)的對象。
