圖 1 腐蝕分類器訓(xùn)練過程
Figure 1. Corrosion classifier training process
分享：基于圖像處理的金屬腐蝕等級評價方法
金屬腐蝕過程中,界面上存在化學(xué)和電化學(xué)多種反應(yīng)[1]。腐蝕會顯著降低金屬材料的力學(xué)性能,破壞金屬構(gòu)件的幾何形狀,縮短設(shè)備使用壽命,甚至造成災(zāi)難性事故[2]。中國工程院2015年重點咨詢項目“中國腐蝕現(xiàn)狀與控制策略研究”的研究結(jié)果表明,中國每年因腐蝕造成的經(jīng)濟損失約為21278億元,約占GDP的3.34%[3]。所以,解決金屬腐蝕問題迫在眉睫。
在研究金屬腐蝕問題的過程中,判斷金屬的腐蝕程度是不可或缺的工作。研究腐蝕發(fā)展程度對預(yù)測腐蝕行為、了解腐蝕機理和評價產(chǎn)品的可靠性有重要意義[4]。目前,對金屬材料的腐蝕等級一般采取人工判斷結(jié)合標(biāo)準(zhǔn)評價的方式。比如GJB 6461-2002《金屬基體上金屬和其他無機覆蓋層經(jīng)腐蝕試驗后的試樣和試件的評級》中采用腐蝕面積對金屬試樣的腐蝕等級進行評價[5]。但是,這種評價方式檢測速度慢,檢測人員工作強度大,專業(yè)性要求高。特別是在腐蝕發(fā)生的早期,人工很難判定腐蝕發(fā)生的具體區(qū)域,而且腐蝕區(qū)域分布不均勻、形狀復(fù)雜,面積百分比難以獲取。
在金屬腐蝕的研究過程中,會獲取大量的金屬外觀圖像。在金屬腐蝕圖像中,存在大量與腐蝕相關(guān)的信息,如腐蝕坑的分布、形狀等[6-7]。此外,近年來機器視覺技術(shù)作為一種新興技術(shù),伴隨著人工智能技術(shù)的快速發(fā)展而備受關(guān)注[8]。計算機視覺可以模擬人眼的視覺功能,并通過算法分析代替人工判斷,目前已經(jīng)被廣泛應(yīng)用于各種民用基礎(chǔ)設(shè)施的檢查與檢測任務(wù)中[9-10]。這使得基于圖像處理的金屬腐蝕檢測評估成為可能。
目前,以圖像處理的方式研究金屬腐蝕主要集中在腐蝕區(qū)域定位方面。早期的腐蝕區(qū)域定位主要采用純粹的圖像處理方式。HARALICK等[11]提出灰度共生矩陣來描述紋理特征,進行腐蝕檢測。GUNATILAKE等[12]利用COHEN[13]提出的六階小波對飛機外殼上的腐蝕進行檢測,使用的特征是從8×8的像素區(qū)域內(nèi)獲取的能量值,腐蝕區(qū)域與未腐蝕區(qū)域采用最近鄰分類器進行分類。ITZHAK等[14]通過圖像二值化處理技術(shù)獲取不銹鋼腐蝕圖像呈現(xiàn)的孔蝕率特性。郭建斌等[15]通過圖像識別技術(shù)對水工鋼結(jié)構(gòu)的腐蝕形貌特征及分布狀況進行定量化研究,并通過室內(nèi)試驗對圖像識別技術(shù)進行驗證。然而,隨著深度學(xué)習(xí)的發(fā)展,現(xiàn)如今的缺陷檢測已經(jīng)不僅僅局限于純粹的圖像處理,也有學(xué)者借助深度學(xué)習(xí)對缺陷區(qū)域進行定位。陳桂娟等[16]提出了以腐蝕圖像信息為特征、支持向量機為識別器的CO2腐蝕類型識別方法。陳法法等[17]針對傳統(tǒng)方法難以精確分割出金屬構(gòu)件腐蝕區(qū)域特征的難題,構(gòu)建了一種融合雙注意力機制和U-Net深度學(xué)習(xí)網(wǎng)絡(luò)的銹蝕圖像區(qū)域分割模型,結(jié)果表明所構(gòu)建的模型能夠有效地從復(fù)雜背景圖像中分割出銹蝕區(qū)域特征。深度學(xué)習(xí)的引入大幅提高了腐蝕區(qū)域定位的準(zhǔn)確性,但是對于金屬腐蝕等級的評估,卻少有人深入探討。而且,目前基于圖像處理的腐蝕等級評價方法主要基于腐蝕面積等單一指標(biāo)進行評價,無法區(qū)分腐蝕程度不同的腐蝕區(qū)域,導(dǎo)致評價結(jié)果的準(zhǔn)確度低,魯棒性較差[4]。因此,筆者將著重探討基于圖像處理的多指標(biāo)金屬腐蝕等級快速評價方法。
本文先用基于滑動窗口法的卷積神經(jīng)網(wǎng)絡(luò)對金屬外觀圖像中的腐蝕區(qū)域進行定位,然后提出一種基于標(biāo)準(zhǔn)色圖譜信息表的腐蝕等級評價方法,實現(xiàn)對腐蝕特征信息的數(shù)字化和定量化。與傳統(tǒng)的人工評價方式相比,本文所采用的方法未受到評價人員經(jīng)驗因素的影響,提高了腐蝕等級評價的準(zhǔn)確性和評價速度。同時,降低了檢測人員的勞動強度。此外,借助機器視覺高分辨率的特點,也可以對腐蝕的早期圖像進行識別,對腐蝕等級進行精確評價。
1. 腐蝕區(qū)域定位
為了提取腐蝕區(qū)域的特征參數(shù),需要對金屬外觀圖像中的腐蝕區(qū)域進行定位,使后續(xù)的特征提取范圍更有針對性,從而提高特征參數(shù)提取的準(zhǔn)確性。腐蝕區(qū)域定位屬于機器視覺表面缺陷檢測的應(yīng)用。機器視覺表面缺陷檢測在很多行業(yè)均有應(yīng)用,涉及印刷[18]、電子[19]等多種行業(yè)和產(chǎn)品。腐蝕區(qū)域的準(zhǔn)確定位是腐蝕等級評價結(jié)果準(zhǔn)確的重要保證。
1.1 訓(xùn)練腐蝕分類器
采用卷積神經(jīng)網(wǎng)絡(luò)進行腐蝕區(qū)域定位首先要訓(xùn)練腐蝕分類器,即輸入圖片之后,腐蝕分類器可以判定該圖片中的區(qū)域是否發(fā)生腐蝕。訓(xùn)練腐蝕分類器的過程如圖1所示。將收集到的圖片分割成小圖片,然后人工分成腐蝕和未腐蝕的類型,生成訓(xùn)練集和測試集,利用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練生成腐蝕分類器。
1.1.1 制作數(shù)據(jù)集
基于以往環(huán)境試驗中的金屬腐蝕圖像進行數(shù)據(jù)集的制作,圖2為部分未腐蝕和腐蝕區(qū)域的原始圖片。
圖 2 數(shù)據(jù)集的原始圖像
Figure 2. Original image of data se
將原始圖像分割成32×32像素的小圖片,作為卷積神經(jīng)網(wǎng)絡(luò)的輸入。圖3為部分分割后的32×32像素的小圖片。對所有原始圖片進行分割,共獲取61 981張小圖片,然后隨機挑選其中的49 983張圖片作為訓(xùn)練集,其中28 083張圖片為未腐蝕,21 900張圖片為腐蝕。其他11 998張圖片作為測試集,其中7 043張圖片為未腐蝕,4 955張為腐蝕。
圖 3 分割后圖片
Figure 3. Segmented image
1.1.2 搭建卷積神經(jīng)網(wǎng)絡(luò)
由于所需的腐蝕分類器為二分類,且為了減少所需訓(xùn)練圖片的數(shù)量和加速腐蝕區(qū)域定位的速度,采用TensorFlow搭建了如圖4所示的較為簡單的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。該網(wǎng)絡(luò)結(jié)構(gòu)共包括五層,其中前兩層為卷積層,包括卷積和池化兩個步驟；后三層為全連接層。該結(jié)構(gòu)采用Relu作為激活函數(shù),最終通過Softmax函數(shù)進行輸出,判斷輸入的圖片是否發(fā)生腐蝕。表1為該卷積神經(jīng)網(wǎng)絡(luò)每層的詳細結(jié)構(gòu)參數(shù)。
圖 4 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
Figure 4. Convolutional neural network architecture
表 1 卷積神經(jīng)網(wǎng)絡(luò)每層的詳細結(jié)構(gòu)參數(shù)
Table 1. Detailed structural parameters of each layer of convolutional neural network
| 卷積網(wǎng)絡(luò)結(jié)構(gòu) | 輸入 | 核尺寸 | 核數(shù)/個 | 步長 | 輸出 | 變量數(shù)/個 |
|---|---|---|---|---|---|---|
| 卷積層1 | 32×32×3 | 5×5×3 | 6 | 1 | 28×28×6 | 456 |
| 池化層1 | 28×28×6 | 2×2×1 | — | 2 | 14×14×6 | — |
| 卷積層2 | 14×14×6 | 5×5×6 | 16 | 1 | 10×10×16 | 2416 |
| 池化層2 | 10×10×16 | 2×2×1 | — | 2 | 5×5×16 | — |
| 全連接層1 | 5×5×16 | — | — | — | 120 | 48 120 |
| 全連接層2 | 120 | — | — | — | 40 | 4 840 |
| 全連接層3 | 40 | — | — | — | 2 | 82 |
圖5為卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中訓(xùn)練集和測試集準(zhǔn)確率和損失的折線圖?？梢钥闯?本文選取的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)取得了很好的圖像腐蝕判定效果。經(jīng)過10次左右的訓(xùn)練之后,可以在測試集上獲取到較高的準(zhǔn)確率和較低的損失。
圖 5 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中訓(xùn)練集和測試集準(zhǔn)確率和損失的折線圖
Figure 5. The line chart of accuracy (a) and loss (b) of training set and test set in the training process of convolutional neural network
1.2 滑動窗口法取樣
圖6為滑動窗口法取樣示意圖,取樣時采用尺寸為a×b的小窗口在原始圖像上逐步滑動進行取樣。取樣窗口初始位置為1,窗口以距離c逐步向右滑動到位置2、3,每次滑動之后對取樣窗口內(nèi)的圖像進行取樣。當(dāng)窗口滑動到原始圖像最右端的位置3時,再以距離d向下滑動到位置4,從左到右再次取樣,直至取樣窗口在整幅原始圖像上完成滑動。
圖 6 滑動窗口法取樣示意圖
Figure 6. Schematic diagram of sampling by sliding window method
1.3 定位結(jié)果分析
圖7為利用腐蝕分類器和滑動窗口法進行腐蝕區(qū)域定位的流程。首先,采用8×8像素的滑動窗口在金屬外觀圖像上進行取樣,然后采用雙線性插值將其放大至32×32像素的圖像,再使用腐蝕分類器對放大后的圖像進行腐蝕情況判定,若發(fā)生腐蝕則保留金屬外觀圖像中該小圖像對應(yīng)的區(qū)域,否則將對應(yīng)的區(qū)域轉(zhuǎn)化為黑色的背景。將整幅金屬外觀圖像的腐蝕區(qū)域定位完之后,即可得到腐蝕區(qū)域圖像。
圖 7 腐蝕區(qū)域定位流程示意圖
Figure 7. Schematic diagram of process for locating corroded areas
部分金屬外觀圖像腐蝕區(qū)域定位前后的效果如表2所示,采用交并比對腐蝕區(qū)域定位的準(zhǔn)確性進行衡量。可以看出,所有圖片的交并比均大于0.95,所以本文使用的方法不僅對腐蝕色差較為明顯的黑色金屬具有良好的腐蝕區(qū)域定位效果,對于鋁、鋅等白色腐蝕產(chǎn)物與基體色差較弱的情況同樣適用。
表 2 腐蝕區(qū)域定位效果及交并比
Table 2. Corrosion area positioning effect and intersection ratio
| 金屬外觀圖像 | 腐蝕區(qū)域圖像 | 交并比 |
|---|---|---|
|
|
0.960 |
|
|
0.966 |
|
|
0.955 |
|
|
0.957 |
|
|
0.952 |
|
|
0.953 |
|
|
0.971 |
2. 腐蝕等級評價
為了評價產(chǎn)品的耐蝕性,需要對完成環(huán)境試驗后的金屬進行腐蝕等級評價,然后根據(jù)該結(jié)果對金屬的環(huán)境適應(yīng)性進行評價。傳統(tǒng)的腐蝕等級評價方式多為定性的評價方法,通過單一的評價指標(biāo)如腐蝕面積、質(zhì)量變換率、腐蝕速率等進行評價,或者直接根據(jù)評價人員的個人經(jīng)驗進行腐蝕等級判定。因此,傳統(tǒng)人工評價方式指標(biāo)單一,主觀性強且準(zhǔn)確性較低。為此,本文同時根據(jù)腐蝕面積和顏色對腐蝕等級進行評價,通過腐蝕區(qū)域內(nèi)部顏色的差異進行腐蝕程度的衡量,從而分成腐蝕程度不同的小區(qū)域,最后對整個腐蝕區(qū)域的等級進行綜合評價,使得評價結(jié)果具有較好的客觀性和準(zhǔn)確性。
2.1 顏色聚類
以往僅依靠腐蝕面積作為特征參數(shù)進行腐蝕等級評價,忽略了腐蝕區(qū)域內(nèi)各部分腐蝕程度不同的問題[20]。通常情況下,同種金屬材料腐蝕程度不同時表現(xiàn)出的顏色也有差異。所以,本文采用顏色作為特征參數(shù)對不同的腐蝕程度區(qū)域進行表征。采用K-Means聚類算法對腐蝕區(qū)域內(nèi)部的像素進行顏色聚類,將顏色相近的像素聚集到一個聚類中心,表征其代表的腐蝕程度相近。
2.2 訓(xùn)練標(biāo)準(zhǔn)色圖譜信息表
將所有腐蝕區(qū)域內(nèi)的像素聚類后,可以獲取數(shù)個聚類中心。為了衡量每個聚類中心的腐蝕程度,需要獲取標(biāo)準(zhǔn)色圖譜信息表,標(biāo)準(zhǔn)色圖譜信息表中的部分標(biāo)準(zhǔn)色如圖8所示。此外,每一個標(biāo)準(zhǔn)色都有一個腐蝕程度因子與之對應(yīng),腐蝕程度因子越大,該標(biāo)準(zhǔn)色對應(yīng)的腐蝕程度越大。
圖 8 部分標(biāo)準(zhǔn)色
Figure 8. Partial standard color
2.2.1 選擇標(biāo)準(zhǔn)色
對標(biāo)準(zhǔn)色圖譜信息表進行訓(xùn)練首先要進行標(biāo)準(zhǔn)色的選擇。為了選擇出具有腐蝕代表性的標(biāo)準(zhǔn)色,本文采取直方圖結(jié)合聚類算法的方式進行標(biāo)準(zhǔn)色選取。圖9為單張金屬腐蝕區(qū)域圖像各分量的直方圖,可以看出各分量的直方圖基本符合正態(tài)分布,因此采用分位數(shù)進行標(biāo)準(zhǔn)色選擇。
圖 9 各分量的灰度值直方圖
Figure 9. Gray value histogram of each component: (a) R component; (b) G component; (c) B component
每隔總數(shù)量的10%進行一次標(biāo)準(zhǔn)色的選取,即選取總數(shù)量的10%、20%…90%分位數(shù)對應(yīng)的灰度值作為對應(yīng)分量的標(biāo)準(zhǔn)色。然后,隨機選取20張腐蝕區(qū)域圖片,采用直方圖分位數(shù)法選擇標(biāo)準(zhǔn)色。為了獲取可以對腐蝕區(qū)域進行最準(zhǔn)確描述的標(biāo)準(zhǔn)色,采用顏色聚類將這20張圖片的R、G、B分量的分位數(shù)灰度值聚成9類,再以灰度值0和255作為最終的標(biāo)準(zhǔn)色,共113=1 331個,如表3所示。
表 3 最終選擇的標(biāo)準(zhǔn)色灰度值
Table 3. The final selection of standard color gray value
| 分量 | 標(biāo)準(zhǔn)色灰度值 | ||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R | 0 | 60 | 81 | 103 | 124 | 145 | 163 | 180 | 205 | 227 | 255 | ||||
| G | 0 | 48 | 60 | 71 | 83 | 94 | 106 | 118 | 130 | 142 | 255 | ||||
| B | 0 | 24 | 36 | 46 | 55 | 64 | 73 | 83 | 92 | 105 | 255 | ||||
2.2.2 訓(xùn)練腐蝕程度因子
采用已經(jīng)標(biāo)定過腐蝕等級的圖片,對標(biāo)準(zhǔn)色圖譜信息表中的腐蝕程度因子進行訓(xùn)練。具體的訓(xùn)練公式見式（1）。
|
|
(1) |
式中：Fx+1為訓(xùn)練之后的腐蝕程度因子；Fx為訓(xùn)練之前的腐蝕程度因子；r為學(xué)習(xí)率,取值范圍為0~1;G0為圖片標(biāo)定的腐蝕等級；G1為按照目前的腐蝕程度因子進行評價的腐蝕等級；P為圖片中腐蝕區(qū)域的面積百分比。
對于標(biāo)準(zhǔn)色圖譜信息表中的腐蝕程度因子隨機初始化后,采用前期使用三維形貌儀和X射線能譜分析標(biāo)定腐蝕等級的圖片,根據(jù)訓(xùn)練公式對腐蝕程度因子進行訓(xùn)練,即可獲得最終的標(biāo)準(zhǔn)色圖譜信息表。
2.3 評價結(jié)果分析
完成腐蝕區(qū)域像素聚類和標(biāo)準(zhǔn)色圖譜信息表的訓(xùn)練之后,可進行腐蝕等級評價。首先通過最小歐式距離尋找每個聚類中心對應(yīng)的標(biāo)準(zhǔn)色,即遍歷標(biāo)準(zhǔn)色求取與聚類中心的歐式距離,選取最小歐式距離對應(yīng)的標(biāo)準(zhǔn)色替代聚類中心顏色并進行之后的腐蝕等級評價。歐式距離的計算公式見式（2）。
|
|
(2) |
式中：r1、g1和b1均為聚類中心的顏色分量；r2、g2和b2均為標(biāo)準(zhǔn)色的顏色分量。
然后,根據(jù)公式（3）進行腐蝕等級結(jié)果評價。
|
|
(3) |
式中：G為腐蝕等級評價結(jié)果；Pi為每一個聚類中心像素數(shù)量占產(chǎn)品外觀圖像像素數(shù)量的百分比；Fi為距聚類中心歐氏距離最近的標(biāo)準(zhǔn)色對應(yīng)的腐蝕程度因子。
采用圖像處理的方式對本文選取50張標(biāo)定腐蝕等級的圖片進行腐蝕等級評價,部分圖片的腐蝕等級評價結(jié)果和代表性評價參數(shù)如表4所示。結(jié)果顯示,其中48張圖片的腐蝕等級評價結(jié)果與標(biāo)定等級相同,準(zhǔn)確率達到96%。因此,利用圖像處理的方式對金屬腐蝕等級進行評價的準(zhǔn)確率較高,相較于人工評價方式效率高且客觀性強。
表 4 腐蝕等級評價結(jié)果
Table 4. Corrosion grade evaluation results
| 金屬外觀圖像 | 腐蝕區(qū)域圖像 | 評價代表參數(shù) | 標(biāo)定等級 | 評價等級 | ||
|---|---|---|---|---|---|---|
| 總腐蝕面積/% | 最大聚類中心 | |||||
| 面積/% | R、G、B | |||||
|
|
26.10 | 4.29 | [209,163,118] | 2級 | 2級 |
|
|
46.75 | 8.62 | [137,82,72] | 0級 | 0級 |
|
|
49.68 | 7.94 | [97,60,49] | 0級 | 0級 |
|
|
35.38 | 6.12 | [123,98,69] | 1級 | 1級 |
|
|
32.84 | 6.11 | [127,104,75] | 1級 | 1級 |
3. 結(jié)論
提出一種多指標(biāo)評價方法,開展金屬腐蝕等級的定量化評價。該方法利用卷積神經(jīng)網(wǎng)絡(luò)和滑動窗口法實現(xiàn)腐蝕特征分類及腐蝕區(qū)域定位,定位結(jié)果的交并比均大于0.95。此外,該方法是基于顏色聚類算法對不同腐蝕程度的腐蝕區(qū)域進行區(qū)分的,再結(jié)合訓(xùn)練后的標(biāo)準(zhǔn)色圖譜信息表,實現(xiàn)對腐蝕等級的多指標(biāo)快速評價,評價結(jié)果的準(zhǔn)確率為96%。相較于傳統(tǒng)的人工結(jié)合標(biāo)準(zhǔn)的評價方式,利用圖像處理的方式評價效率高、準(zhǔn)確性高和客觀性強。
文章來源——材料與測試網(wǎng)
浙公網(wǎng)安備 33042402000106號
