基於機器學習的實時可見疲勞裂紋擴展檢測

Machine learning-based real-time visible fatigue crack growth detectio

作者：Le Zhang, Zhichen Wang , Lei Wang , Zhe Zhang , Xu Chen, Lin Meng

摘要：航空航天和汽車工業(ye) 中應用了許多大型和複雜的結構部件。然而，在使用過程中，反複的交變或循環載荷往往會(hui) 導致意外的疲勞斷裂。因此，開發實時可見的疲勞裂紋萌生和擴展監測方法對結構安全至關(guan) 重要。本文提出了一種結合計算機視覺和機器學習(xi) 的基於(yu) 機器學習(xi) 的疲勞裂紋擴展檢測方法。在我們(men) 的模型中，計算機視覺用於(yu) 數據創建，機器學習(xi) 模型用於(yu) 裂紋檢測。然後使用計算機視覺對裂紋的擴展路徑和長度進行標記和分析。我們(men) 應用了7種模型進行裂縫分類，發現決(jue) 策樹是本研究中模型。實驗結果證明了該方法的有效性，實現的裂縫長度測量精度為(wei) 0.6 mm。此外，輕微的機器學習(xi) 模型幫助我們(men) 實現了實時可見的疲勞裂紋檢測。

關(guan) 鍵詞：疲勞裂紋、擴展預測、機械響應、發光材料結構健康監測、計算機視覺、機器學習(xi)

1.簡介

航空、汽車工業(ye) 中應用了許多大型、複雜的結構部件，如發動機、渦輪等。其中一些在使用中受到反複交變或循環載荷的作用，容易產(chan) 生意外的疲勞斷裂。因此，開發實時可見的疲勞裂紋萌生和擴展監測方法對結構安全至關(guan) 重要。在過去的幾十年裏，工業(ye) 上廣泛發展了用於(yu) 疲勞損傷(shang) 評估的結構健康監測(SHM)方法。壓電傳(chuan) 感器、紅外熱成像、聲發射、蘭(lan) 姆波和數字圖像相關(guan) (DIC)等技術在飛機結構安全監測中得到了廣泛應用。然而，有限的傳(chuan) 感器尺寸、高成本和複雜的測量係統以及複雜的加工程序限製了它們(men) 在大型複雜結構部件上的應用。目前迫切需要一種現場、實時、可見的SHM疲勞損傷(shang) 評價(jia) 方法。

基於(yu) 熒光的檢測技術具有可視化和快速響應的優(you) 點。因此，在生物、化學、光電子等領域得到了廣泛的應用。機械-發光(machine -noluminescence, ML)材料在機械響應的測量中被考慮，其中，當ML材料受到機械力的作用時，熒光波長或強度可以發生變化。因此，ML現象對於(yu) 實現對應力分布和疲勞裂紋行為(wei) 等機械響應的實時、直接可見的監測有很大的好處。許多無機物基ML材料，如SrAl2O4:Eu2þ、Dy3þ、Nd3þ(SAO)和CdSe@ZnS顆粒，被混合在陶瓷中或塗覆在金屬表麵，從(cong) 而可以實現對疲勞裂紋擴展的實時可見監測。1,1,2,2-四基(4-硝基苯基)乙烷(TPE-4N)是一種純有機機械響應發光材料(MRL)。它在無定形狀態下表現出強烈的綠色熒光，而在結晶狀態下其發射則被強烈猝滅。與(yu) 無機ML材料相比，純有機MRL材料在金屬表麵具有良好的成膜性，為(wei) 大型複雜結構件疲勞損傷(shang) 評估的現場、實時、可見監測開辟了新的可能性。通常，疲勞損傷(shang) 出現在材料表麵。因此，金屬表麵的誘導熒光可以用來表征疲勞損傷(shang) 。要使該技術真正應用，必須實現疲勞裂紋損傷(shang) 的自動監測和保護報警。因此，在目前的工作中，應用計算機視覺和機器學習(xi) 來實現對熒光分布的監測，熒光分布代表疲勞的發生和傳(chuan) 播。

在計算機視覺的研究領域，裂紋檢測可能定義(yi) 為(wei) 一種目標檢測方法，並取得了良好的性能。在某些情況下，機器學習(xi) 模型通過使用計算機視覺提取的圖像特征對物體(ti) 進行分類。例如，甲骨文(Oracle Bone Inscription, OBI)是一種刻在骨頭上的類似裂縫的文字，利用計算機視覺技術和機器學習(xi) 模型對甲骨文進行分類就取得了很好的效果。此外，隨著計算能力的不斷提高，深度學習(xi) 技術被廣泛用於(yu) 具有更高精度的目標檢測。深度學習(xi) 方法在OBI分類中也取得了很好的準確率。

因此，提出的工作研究計算機視覺和機器學習(xi) 方法，通過有機MRL方法實時和可見地監測疲勞裂紋檢測。將金屬中的疲勞裂紋起裂和裂紋擴展路徑轉換為(wei) 可見的熒光信號。在檢測過程上，首先通過計算機視覺提取圖像特征作為(wei) 預處理，然後采用機器學習(xi) 方法對裂紋和非裂紋進行分類。最後，在原始圖像上標記裂紋部位，並測量其生長方向。根據熒光分布，可以實時確定疲勞裂紋長度和疲勞裂紋擴展路徑。這些結果表明，本文提出的方法在實際應用中對大型複雜結構構件的裂紋檢測具有很大的潛力。

第2節討論了相關(guan) 工作。我們(men) 在第3節中提出了提出的疲勞裂紋檢測方法。第4節介紹了實驗過程，結果見第5節。第6節討論了這項工作的貢獻以及局限性。我們(men) 在第7節中總結了一個(ge) 簡短的總結和未來工作的計劃。

2.相關(guan) 工作

疲勞裂紋檢測是疲勞損傷(shang) 評估中最重要的一步，因為(wei) 裂紋檢測的準確性深刻影響疲勞裂紋起裂和擴展路徑的預測。在此，我們(men) 對不同研究領域的裂紋檢測相關(guan) 工作進行了綜述。

2.1.金屬力學響應的實時可見檢測

近年來，純有機MRL已經成功實現了金屬內(nei) 部應力分布和疲勞裂紋擴展的動態可視化。通過在金屬表麵塗覆有機MRL膜，可以將金屬的超靈敏力學響應轉化為(wei) 可見的熒光信號。有機MRL法測得的應力分布與(yu) DIC法或有限元法模擬得到的結果吻合較好。然而，對有機MRL膜機械響應熒光圖像的定量評估仍然不足，限製了其在實時機械損傷(shang) 評估中的應用。

2.2.基於(yu) 視覺的疲勞裂紋檢測

裂紋檢測可以定義(yi) 為(wei) 計算機視覺中的一種物體(ti) 檢測。Mohan等人對使用圖像處理的裂紋檢測進行了全麵的調查，並發現了使用圖像處理的方法。與(yu) 傳(chuan) 統的物體(ti) 檢測類似，疲勞裂紋檢測包括降噪、特征提取和分類。通常，Reduction使用過濾器來減少噪聲，二值化來增強對象(裂紋)。為(wei) 了檢測鉻鍍層中的裂紋網絡圖案區域，Vidal等人首先將拉普拉斯高斯(LoG)濾波器和Prewitt濾波器結合起來，然後直接對所選像素進行閾值化，構建二值圖像。Heideklang等人提出了一種數據融合濾波器，用於(yu) 改進近表麵裂紋檢測。孟等人旨在通過定向梯度直方圖(Histogram of oriented Gradients, HoG)獲取裂紋網絡信息，並通過分析幾個(ge) 案例獲得了更好的二值化閾值。Glud等人采用Gabor濾波器進行降噪，采用Otsu方法獲得二值化圖像。形態學處理包括(a)初始二值圖像;(b)對角填充處理;(c)閉合處理;(d)細化處理;(e)清洗處理(骨架的最終圖像);以及(f)分支點處理。由於(yu) 特征是從(cong) 二值圖像中提取的，因此通常提取的裂縫為(wei) 黑色，背景為(wei) 白色。

2.3.基於(yu) 機器學習(xi) 的疲勞裂紋檢測

支持向量機(SVM)、k -最近鄰算法(KNN)、樸素貝葉斯、決(jue) 策樹、隨機森林、集成模型和神經網絡(NN)等機器學習(xi) 模型已被廣泛用於(yu) 分類。作為(wei) 機器學習(xi) 的延伸，深度學習(xi) 模型現在被用於(yu) 裂紋檢測。

基於(yu) 計算機視覺的裂紋檢測方法已經取得了良好的性能。但是，閾值的判定比較困難，通常需要人工修改，這就限製了製造業(ye) 的發展。目前，在高精度目標檢測的研究領域，提出了幾種深度學習(xi) 模型。LeNet是第一個(ge) 成功分類數字手寫(xie) 數字的深度學習(xi) 模型。提出了AlexNet和GoogleNet，並在更大數量的分類中取得了很好的精度，後來提出了Inception和Xception ResNet，以獲得更好的精度。但是，這些模型都需要提前手工切割目標圖像。後來，YOLO和SSD同時被提出用於(yu) 目標檢測和分類，也被用於(yu) 一些特殊的研究領域，如古文字識別。

因此，研究人員嚐試將深度學習(xi) 應用於(yu) 裂紋檢測。Fan等人提出了一個(ge) 14層的模型，其中有7個(ge) 卷積層。每兩(liang) 個(ge) 卷積層之間應用一個(ge) 最大池化層，最後一個(ge) 是連接層。Li等人提出了一個(ge) 12層模型，其中兩(liang) 次三個(ge) 卷積層þ池化層後應用三個(ge) 卷積層。接下來的步驟是三個(ge) 連接的層，最後一層應用了一個(ge) softmax。此外，還提出了一些其他模型，通過使用深度學習(xi) 模型進行裂紋檢測。

然而，深度學習(xi) 的局限性在於(yu) 需要準備大量的數據進行訓練。這也證明了為(wei) 什麽(me) 提出了大量深度學習(xi) 模型來檢測混凝土裂縫的原因。本文提出了一種基於(yu) 計算機視覺和機器學習(xi) 的疲勞裂紋檢測方法，利用機器學習(xi) 避免數據限製，並嚐試將裂紋檢測結果用於(yu) 疲勞裂紋擴展評價(jia) 。我們(men) 采用了7種機器學習(xi) 模型來檢驗和選擇裂紋檢測的模型。

3.機器學習(xi) 的疲勞裂紋檢測

我們(men) 提出了一種計算機視覺和機器學習(xi) 相結合的疲勞裂紋檢測和增長路徑預測方法。圖1是該方法的概述，它由三個(ge) 步驟組成:

步驟1.預處理用於(yu) 檢測數據集的創建，將原始圖像分成若幹塊，並通過傳(chuan) 統的圖像處理從(cong) 這些塊中提取特征。

步驟2.使用機器學習(xi) 進行分類，利用機器學習(xi) 將塊分類為(wei) 有裂紋和無裂紋。

步驟3.利用分類結果對裂紋進行測量，在原始圖像中標記裂紋，並利用裂紋的坐標來檢測裂紋的擴展方向和長度。

3.1. 特征提取

特征提取包括二值化、圖像分離和特征像素計數。二值化後，每張裁剪後的圖像分別被縱軸和橫軸分割成四個(ge) 部分。這意味著裁剪後的圖像被分成16個(ge) 部分。然後對二值化後的圖像中各部分的白像素數進行計數。最後得到16個(ge) 數字作為(wei) 裂縫分類的特征。

3.2. 檢測數據集預處理

由於(yu) 原始圖像太大，裂縫有時小於(yu) 原始圖像大小，因此應將圖像裁剪成幾個(ge) 塊。在第一步中，原始圖像被裁剪成幾個(ge) 塊。裁剪的動作如圖2所示。圖2(a)為(wei) 簡單原始圖像，大小為(wei) {Size_j， Size_i}。圖2 (b)是中心塊，其大小定義(yi) 為(wei) 8✕8。

當裂縫分類正確時，我們(men) 隻能得到裂縫的局部信息。這意味著我們(men) 隻獲得了原始圖像中的裂紋坐標，這一步很難判斷裂紋的擴展方向和長度。為(wei) 了解決(jue) 生長路徑預測的問題，我們(men) 從(cong) 左、右、上、下四個(ge) 方向移動起點，然後裁剪圖像。換擋動作如圖2(c)、(d)、(e)、(f)所示，分別表示左換擋、右換擋、上換擋和下換擋。移位像素數定義(yi) 為(wei) 步長，如圖2所示，步長定義(yi) 為(wei) 2。

這並不意味著可以在每個(ge) 塊中檢測到裂縫。然而，通過這種方式，可能會(hui) 在某些塊中檢測到裂縫。例如，在圖2(b)的裁剪圖像中存在部分裂紋。通過平移圖像，左移圖像(c)失去了裂縫，而右移圖像中仍然存在一部分裂縫。在這種情況下，可以在(b)和(d)中檢測到裂縫，並在同一位置進行標記。

算法1以五個(ge) 方向顯示原始圖像的裁剪塊。首先計算五個(ge) 塊的起始點（左上坐標），然後檢查溢出。當溢出不存在時，塊被裁剪。

3.3. 機器學習(xi) 分類

我們(men) 采用支持向量機、KNN、樸素貝葉斯、決(jue) 策樹、隨機森林、集成模型和神經網絡等7種機器學習(xi) 模型進行檢驗，並選出裂縫分類的模型。所有這些模型都是傳(chuan) 統模型。

支持向量機是一種監督學習(xi) 模型，用於(yu) 從(cong) 最大邊界超平麵上確定邊界並對數據進行分類。KNN計算特征空間中的k個(ge) 訓練數據。Naïve貝葉斯分類器是基於(yu) 貝葉斯理論的概率分類器，特征之間具有很強的獨立性假設。決(jue) 策樹是一種分類器，它使用樹狀模型進行決(jue) 策及其可能的後果，包括事件結果的概率、資源成本和效用。決(jue) 策樹在工業(ye) 中廣泛應用於(yu) 各種不確定數據領域，如道路裂縫檢測和生物技術。隨機森林結合了樹的預測器，其中每棵樹都獨立依賴於(yu) 隨機向量樣本的值，並且森林中的所有樹都具有相同的分布。

神經網絡是一種研究大腦神經元結構的數學模型，它為(wei) 訓練數據構建多層相互連接的節點，通常用於(yu) 分類。這項工作構建了一個(ge) 由五層組成的神經網絡模型。輸入層有8個(ge) 節點，第二層、第三層、第四層分別有16、32、64個(ge) 節點。前四層的激活為(wei) 整流線性單元（ReLU），輸出層的激活為(wei) s型。對於(yu) 參數，epoch設為(wei) 50，置信度為(wei) 0.5，即當裂縫分類置信度大於(yu) 0.5時，判斷預測結果為(wei) 裂縫，否則判斷預測結果為(wei) 非裂縫。集成模型通過組合幾個(ge) 基本模型來進行預測。關(guan) 鍵思想是通過對基本模型預測進行投票，生成最終的預測結果

3.4. 疲勞裂紋擴展檢測

分類後，對有裂縫的區域用正方形、橢圓形和圓形標記，表示分別從(cong) 中心塊、左右塊、上下塊檢測裂縫。將漸降信息用於(yu) 裂紋擴展預測。我們(men) 使用一個(ge) 簡單的圖像（圖3）來介紹增長預測算法。在這裏，我們(men) 定義(yi) 裂紋分支中的裂紋方向變化，這可以通過檢查同類標記的退化來找到。例如，在左右裂紋分支的情況下，紅色橢圓從(cong) 兩(liang) 個(ge) （左和右）變為(wei) 一個(ge) （左）。這意味著疲勞裂紋有向左擴展的趨勢。此外，在上下裂紋分支的情況下，藍色循環從(cong) 兩(liang) 個(ge) （上下）變為(wei) 一個(ge) （上）。這意味著疲勞裂紋擴展趨向於(yu) 減小。因此，得出的結論是，裂紋擴展預測是左下的，距離可以通過對抗檢測到的裂紋數來測量，如圖3中的5✕Block_size。

4.疲勞裂紋擴展試驗過程及熒光響應實驗程序

4.1.實驗程序

本文對航空工業(ye) 中常用的結構材料之一A2024鋁合金進行了研究。1,1,2,2-四akis (4-nitrophenyl)乙烷(TPE-4N)是一種具有聚集誘導發射(AIE)特性的純有機MRL材料，其晶體(ti) 狀態被破壞時表現出敏感的機械響應熒光信號。文獻詳細介紹了TPE-4N的熒光特性和成膜過程。在 A2024鋁合金表麵形成厚度約為(wei) 1 μm的均勻結晶TPE-4N薄膜。疲勞裂紋試驗試樣的尺寸和試驗裝置如圖 4所示。疲勞裂紋擴展試驗采用單刃缺口試樣。試件的尺寸如圖 4 (a)所示。通過線電極切割加工一個(ge) 尖銳的缺口。圖 4(b)顯示了實驗裝置，其中包括一台施加機械載荷的原位电子raybet(IBTC-5000, CARE)和一個(ge) 成像係統，該係統包括一個(ge) CCD相機來捕捉實時圖像，一個(ge) 紫外燈來提供紫外線，以及一台計算機來進行數據分析。在室溫下，在恒力(F¼700 N)控製下進行疲勞試驗。在脈衝(chong) 循環拉伸(應力比R¼0)下，進行了恒周期為(wei) 4s的三角形波形加載。力從(cong) 0上傳(chuan) 至最大值，再下載至0，記為(wei) 一個(ge) 應力循環。同時，CCD攝像機記錄了TPE-4N薄膜在不同周期(N)下的實時熒光響應。用相對灰度值表示熒光強度，即從(cong) 背景中去除了灰度值。

4.2.疲勞裂紋擴展試驗下的熒光響應

圖5為(wei) A2024鋁合金表麵TPE-4N薄膜在單調張力作用下的熒光響應。未變形的試樣表麵未觀察到明顯的熒光。相對灰度隨外加應力的增大而逐漸增大。因此，值得注意的是，不可見的機械應力被轉化為(wei) 可見的熒光信號。此外，更高的應力導致更高的熒光強度。圖6為(wei) A2024鋁合金單棱缺口疲勞裂紋擴展試驗時的熒光圖像。初始樣品中除圖像背景外，熒光信號不顯著(如圖 6(a)所示)。由圖 6(b) - (e)可以看出，在疲勞裂紋附近出現熒光，熒光擴展伴隨著疲勞裂紋擴展，應力循環次數分別為(wei) 7300、8500、10200、12500。利用熒光信號可以實時監測疲勞裂紋的萌生、擴展路徑和長度。

5.基於(yu) 機器學習(xi) 的疲勞裂紋擴展預測實驗結果

5.1. 實驗條件

使用Python 3.7和OpenCV編程進行預處理、特征提取和機器學習(xi) 設計。標準平台是Anaconda。硬件環境是一個(ge) CPU (core i7 8th Gen，內(nei) 存:32gb)。測試映像大小為(wei) 577✕314，目標映像的高度為(wei) 6 mm。塊大小為(wei) 32✕32，步幅(偏移大小)為(wei) 8像素。因此，裁剪後的目標約為(wei) 0.6毫米。

對於(yu) 訓練數據集的創建，我們(men) 將一張圖像分為(wei) 裂紋部分和非裂紋部分。然後我們(men) 將裂縫裁剪成幾個(ge) 32✕32大小的塊，並使用左、右、上和下移動進行數據集增強，以克服裂縫圖像的數量限製。最後，創建41張裂紋和63張非裂紋大小為(wei) 32✕32的圖像作為(wei) 訓練數據集。

5.2. 實驗結果

我們(men) 應用了7個(ge) 模型進行裂縫分類，測量了這些模型的精度，並將它們(men) 與(yu) 以前的人工裂縫收集進行了比較。我們(men) 發現決(jue) 策樹模型是本研究中的模型，因為(wei) 神經網絡和樸素貝葉斯方法經常發生過擬合。此外，其他模型經常失去裂縫。因此，我們(men) 在本研究中配備了決(jue) 策樹模型。

圖6 R-a)、R-b)、R-c)、R-d)、R-e)為(wei) (a)初始狀態下的裂紋檢測結果;(b) 7300個(ge) 周期;(c) 8500次;(d) 10,200個(ge) 周期;(e) 12,500個(ge) 周期。如圖6 R-a)所示，由於(yu) (a)的目標圖像為(wei) 初始狀態，因此未檢測到裂紋。在圖 6R-b中，圖像的中心有兩(liang) 個(ge) 正方形，在正方形中也標記了幾個(ge) 橢圓和圓。這意味著在圖像的中心有一個(ge) 裂縫。然後在這些標記下可以觀察到一個(ge) 橢圓，這意味著裂縫現在正在向下擴展。如圖6 (R-c)所示，在圖6 (r)所示的最後一個(ge) 橢圓上增加了兩(liang) 個(ge) 周期。結果表明，最後的擴展路徑預測是正確的，裂紋繼續向下擴展。最後一個(ge) 橢圓為(wei) 左橢圓，表示裂紋擴展方向為(wei) 左向下。如圖6 (R-d)所示，在最後一個(ge) 橢圓和周期中增加一個(ge) 正方形。這也證明了最後的擴展預測是正確的，裂紋繼續向下擴展。在圖 6(R-e)中檢測到的裂紋區域左側(ce) 加四個(ge) 周期。可以得到類似的增長趨勢。

裂紋擴展方向和裂紋長度隨循環的變化如圖 7所示。發現裂紋擴展方向預測正確，在10200 ~ 12500次循環之間，由於(yu) 裂紋長度增加，裂紋擴展速度最快(圖中標注了大部分裂紋痕跡)。這也證明了我們(men) 的建議的有效性，即更長的周期帶來更長的裂紋增長。

6.討論

提出了一種基於(yu) 機器學習(xi) 的疲勞裂紋擴展檢測方法，該方法將計算機視覺與(yu) 機器學習(xi) 相結合。實驗結果表明，該方法能準確監測疲勞裂紋的擴展情況，包括裂紋長度和裂紋路徑。且長度精度水平為(wei) 一塊尺寸為(wei) 0.6 mm，可用於(yu) 實際應用。由於(yu) 時間較短，本研究使用了兩(liang) 種分類機器學習(xi) 模型(決(jue) 策樹)，計算時間幾乎是實時的。

但是，由於(yu) 弱裂紋數據集和光線變化的影響，實驗結果中出現了一些檢測誤差，如圖中圖像左側(ce) 的檢測誤差(Rb)。有時，錯誤檢測發生在圖像的探測中。由於(yu) 光線變化很小，因此光校正並不是克服這一問題的有效方法。幸運的是，這種誤差不會(hui) 在集中時發生，因此我們(men) 可以消除這些分散的標記，以克服光影響的問題

此外，盡管根據相關(guan) 工作，深度學習(xi) 可能是一種很好的裂紋檢測方法，但應用幾種裂紋檢測模型並沒有達到比機器學習(xi) 方法更好的精度。原因與(yu) 訓練數據集的弱點有關(guan) 。

結論

提出了一種結合計算機視覺和機器學習(xi) 的基於(yu) 機器學習(xi) 的疲勞裂紋擴展檢測方法。利用計算機視覺進行數據生成，利用機器學習(xi) 模型進行裂紋檢測，然後利用計算機視覺分析疲勞裂紋擴展路徑和長度。實驗結果證明了該方法對疲勞裂紋擴展路徑預測的有效性，獲得的裂紋長度測量精度為(wei) 0.6 mm。此外，輕微的機器學習(xi) 模型(決(jue) 策樹)幫助我們(men) 實現實時的裂紋檢測。但是，由於(yu) 裂紋數據本身的缺陷和受的影響較小，在今後的工作中存在一定的誤差，需要加以糾正。

算法1.數據集創建