陳 鷹

(鋼鐵研究總院 中心實驗室，北京 100081)

0 引言

鋼鐵材料微觀組織分析是一項極為重要的測試分析技術。當前，人工智能在鋼鐵材料微觀組織分析中的應用日益增長。材料基因工程、機器視覺和深度學習等材料科學與信息技術的發(fā)展，為鋼鐵材料微觀組織分析智能化帶來了新的機遇。

鋼鐵材料微觀組織分析的科學基礎是金相學。隨著科技的發(fā)展，金相學逐步成為顯微學、金屬學、物理冶金學和材料科學等多學科交叉的新興科學[1]。顯像、衍射和微區(qū)成分性能分析是微觀組織分析主要應用的三種技術。根據(jù)不同材料的合金組成、基體及第二相、點線面晶體缺陷等，合理運用上述三種技術中的一種或是兩種以上的組合，可獲取試驗測試結果并基于結果數(shù)據(jù)(圖像等)分析得到相關結論信息。20世紀90年代，數(shù)字攝影技術隨CCD數(shù)碼相機的出現(xiàn)應用在光學和電子顯微鏡上。計算機輔助圖像記錄和分析替代了過去暗室沖洗照片的圖像采集、記錄和分析方式[2]?，F(xiàn)代微觀組織分析裝置已經(jīng)具備集成光學或電子成像、計算機圖像處理和分析的特征，為針對測試結果進行智能分析奠定堅實基礎。

筆者基于多年來從事鋼鐵材料研發(fā)與微觀組織檢測與分析實踐，綜述了人工智能在鋼鐵材料微觀組織分析的應用與研究進展、主要問題和當前研究熱點，并對本技術領域未來發(fā)展進行了展望。

1 應用與研究進展

1.1 測試結果數(shù)字化

目前，所有通過微觀組織分析裝置的測試結果(圖像、衍射花樣和微區(qū)成分)均實現(xiàn)了數(shù)字化。

圖1 透射電鏡操作軟件界面

圖1所示為某科研機構的日立H800透射電鏡完成數(shù)字化改造后的軟件界面。

電子背散射衍射(EBSD)的計算機分析系統(tǒng)通過Houhg變換，自動確定菊池帶的位置、寬度、強度和帶間夾角，與對應的晶體學庫中的理論值比較，標出對應的晶面指數(shù)與晶帶軸，并計算出所測晶粒晶體坐標系相對于樣品坐標系的取向。圖2所示為電子背散射衍射裝置(EBSD)的軟件界面。

圖2 EBSD軟件界面

配備電子衍射光譜(EDS)探測器的掃描電鏡可以利用自動特征分析(AFA)軟件，對鋼中非金屬夾雜物進行自動化掃描檢測分析。分析結果可自動顯示，包含氧化物、硫化物、氮化物和硅酸鹽等夾雜物的成分、形態(tài)和分布等，如圖3所示。

圖3 全自動夾雜物檢測分析軟件界面

上述測試結果的數(shù)字化為微觀組織測試結果智能化分析奠定堅實基礎。

1.2 測試結果智能化分析

20世紀初，通過應用圖像處理、計算機視覺和模式識別技術, 多位學者[3-5]開展金相圖像自動分析研究，提高了金相分析的自動化程度并擴展了其功能。劉國權[6]介紹了材料顯微組織幾何形態(tài)的定量表征與分析技術及其標準化、顯微組織仿真及設計以及金相研究時應注意的材料顯微組織的若干特性等內(nèi)容。許建廣[7]和顧超[8]提出圖像增強去噪預處理方法。湯力琨[9]提出基于數(shù)學形態(tài)學的去噪方法。Antonini[10]用 8個數(shù)值記錄圖像的邊界，以此描述金相顯微組織的灰度值、大小和顯微組織形狀等特征參數(shù)。Mandelbrot[11]則用分形維數(shù)來定量描述金相組織晶粒和組織的不規(guī)則性。燕惠芳等[12]則開展了鋼鐵金相組織自動識別系統(tǒng)關鍵技術研究。覃文軍[13]論述了圖像分析領域所面臨的問題及今后的發(fā)展方向。于金鑫等[14]采用圖像識別技術對鋼鐵材料在不同狀態(tài)下形成的微觀組織進行了分析，研究了不同圖像增強算法和機器學習算法對鋼鐵顯微組織識別精度的影響。上述針對圖像預處理、圖像分割、特征參數(shù)提取和模式識別等關鍵技術進行的深入研究和實踐，以及取得商業(yè)化應用的圖像分析軟件，智能化程度不高，呈現(xiàn)弱人工智能的特征，可視為具備一定知識應用的專家系統(tǒng)。

而針對衍射、微區(qū)成分等測試結果數(shù)據(jù)，楊平、王春芳等[15-16]結合實例說明， EBSD測試數(shù)據(jù)在鋼鐵材料中取向、晶界研究等方面的應用。尚成嘉等[17]針對材料基因庫的構建提出了EBSD測試結果可視化及數(shù)字化表征的方法，建立了材料微觀基因結構與宏觀力學性能的數(shù)字化關聯(lián)。傅向葵等[18]開展了基于人工智能的非金屬夾雜物檢測與研究。肖娜等[19]研究了一種利用合適電化學充氫后的拉伸試樣獲取夾雜物，與極值統(tǒng)計法相結合，從而估算不同體積鋼中非金屬夾雜物的最大尺寸，并預測疲勞強度的夾雜物評估方法。這些測試結果的分析人工參與度較高，也呈現(xiàn)出弱人工智能特征。

1.3 組織性能預報

組織性能預報對鋼鐵材料熱軋生產(chǎn)過程中各種物理冶金現(xiàn)象進行綜合數(shù)值模擬，定量化描述其組織結構演變過程，預測軋后產(chǎn)品顯微組織結構和力學性能，其數(shù)學模擬研究始于20世紀70年代末的英國，如英國Sheffield 大學的Sellars 等[20-22]，之后世界各國均開展大量的理論和實踐研究工作， 并取得一定進展[23-30]。至2010年，世界各國相繼開發(fā)鋼的組織性能預報模擬和控制系統(tǒng)，如HSMM[31]、VAI-Q Strip[32]、METMODEL[33]、STRIPCAM[34]和SPPC[35]等，這些系統(tǒng)有的離線，有的在線，均在熱軋產(chǎn)線上取得成功應用。

近年來，我國通過引進、消化、吸收和自主創(chuàng)新，已成功開發(fā)出具有自主知識產(chǎn)權的組織性能預報中間平臺和模型[36]。當前，工業(yè)大數(shù)據(jù)、智能制造、材料計算和機器學習等的應用將會成為推動熱連軋過程組織性能預報強人工智能化的強大動力。

1.4 深度學習的應用與研究

Alex Krizhevsky[37]在 2012 年使用 AlexNet 網(wǎng)絡在 ILSVRC 中以大比分獲勝，自此深度學習特別是卷積神經(jīng)網(wǎng)絡作為一種新的機器學習方法，在各種分類任務中開始流行，并逐漸應用到鋼鐵材料微觀組織分析中。Lubbers等[38]將機器學習和計算機視覺應用于材料微觀組織圖像，通過激活預先訓練的卷積神經(jīng)網(wǎng)絡來合成顯微結構圖像，通過大量訓練后，可反映微觀組織生成過程。Decost等[39]構建了超高碳鋼顯微組織數(shù)據(jù)集，包含了在不同熱處理條件、不同尺度下的超高碳鋼顯微組織，并開發(fā)了一套可視化工具，用于與微觀組織圖像數(shù)據(jù)集和元數(shù)據(jù)集進行交互和探索。Azimi等[40]基于卷積神經(jīng)網(wǎng)絡(FCNNs)的像素分割法，利用一種深度學習方法，對低碳鋼的某些微觀組織進行分類識別。

在圖像識別方面，國外多位研究者[41-44]嘗試將由人工主觀對圖像識別的傳統(tǒng)任務交給深度學習進行處理，進而消除人工識別的不確定性，有效、快速且自動地對材料顯微圖像進行識別。同樣，圖像分割模型在材料顯微圖像分析中得到了較為廣泛的應用[39-40，45-47]。在圖像生成方面則出現(xiàn)以下兩種應用：通過作為數(shù)據(jù)增廣策略增加模型所需的訓練數(shù)據(jù)[48]和基于先驗知識和注意力機制的生成對抗性模型，以實現(xiàn)材料輻照圖像的生成和相應的工業(yè)性能預測模型的構建[49]。

具體實踐方面，楊俊鴻[50]開展了基于深度學習，以卷積神經(jīng)網(wǎng)絡和遷移學習兩種算法，對不同材料的金相組織進行識別與評級的研究。班曉娟等[51]討論了深度學習在材料顯微圖像分析和信息挖掘中的發(fā)展方向和挑戰(zhàn)?？紫槊鞯萚52]展望了基于深度學習的火電廠高溫緊固螺栓金相組織智能識別方法的前景。李維剛等[53]采用深度學習模型對鋼鐵材料微觀組織掃描電子顯微鏡(SEM)圖像進行自動辨識。提出了適用于鋼鐵材料微觀組織辨識的AlexNet、VggNet、GoogleNet和ResNet改進模型，比較了不同卷積神經(jīng)網(wǎng)絡模型在不同預處理方式下的圖片辨識精度。羅新中等[54]建立供神經(jīng)網(wǎng)絡學習的高碳盤條索氏體素材庫，利用人工智能和深度學習技術識別模型，并對其進行測試、互動優(yōu)化。

2 主要問題和研究熱點

目前，本領域研究與實踐存在以下問題：①大部分計算機輔助分析系統(tǒng)智能化程度低，人工參與度高；②對于制樣效果差或者干擾較多的組織結構圖像處理與分析效果不理想、誤差大；③熱軋組織圖像數(shù)據(jù)和性能數(shù)值數(shù)據(jù)之間的內(nèi)在聯(lián)系不甚明晰；④缺乏能夠通過專業(yè)、恰當方法構建圖像數(shù)據(jù)集和針對測試結果數(shù)據(jù)開展深度學習的算法和模型。預計存在以下四個方面的研究熱點。

2.1 組織結構自動分類辨識

鋼鐵材料的微觀組織類型、含量、尺寸、形貌和分布等特點決定了材料的性能。因此，對微觀組織進行正確分類、識別及分析尤其重要。受合金元素、加熱條件、冷卻速度和加工工藝等因素的影響，鋼鐵材料微觀組織具有多樣性和復雜性。目前，鋼鐵材料微觀組織分類與辨識主要是通過人工根據(jù)專業(yè)知識水平和實踐經(jīng)驗開展，并且由于技術人員專業(yè)水平不同，使得人工分類辨識差異大、效率低、誤差大。因此，研究材料微觀組織的自動分類辨識具有重要意義。

2.2 微觀分析定量化和智能化

目前，現(xiàn)有微觀組織圖像自動分析軟件定量化和智能化分析水平低，人工介入較多，儀器與設備未與實驗數(shù)據(jù)管理系統(tǒng)進行實時聯(lián)動，數(shù)據(jù)收集仍需實驗員手動下載上傳。因此，利用人工智能技術高效智能地開展微觀分析具有重要現(xiàn)實意義，國內(nèi)外有些實驗室已經(jīng)開始探索如何使微觀分析的全過程更加定量化和智慧化的理論和應用研究。

2.3 組織與性能數(shù)據(jù)映射關系構建

熱軋組織性能預報系統(tǒng)“機理模型”開發(fā)思路是建立熱軋成品顯微組織與力學性能的關系模型，因此，需要大量采集分析微觀組織數(shù)據(jù)與材料性能數(shù)據(jù)。隨著工業(yè)大數(shù)據(jù)和智能制造技術的進步，通過深度學習對海量工業(yè)微觀組織數(shù)據(jù)進行深度挖掘與分析，構建組織與性能多尺度的映射關系，為鋼鐵材料組織性能預報系統(tǒng)的開發(fā)、組織性能預測模型的建立提供數(shù)據(jù)和算法基礎。

2.4 圖像數(shù)據(jù)集構建和深度學習模型開發(fā)

以上三個方向的順利開展，均需由具有多年鋼鐵材料研發(fā)經(jīng)驗的專業(yè)人員根據(jù)專業(yè)知識水平和實踐經(jīng)驗，采集大量鋼鐵材料的微觀組織圖像、衍射和微區(qū)成分與性能分析數(shù)據(jù)，并進行數(shù)據(jù)挖掘與分析，按照需要構建不同的數(shù)據(jù)集。根據(jù)這些數(shù)據(jù)集的特征，開發(fā)基于深度學習模型與算法的專家系統(tǒng)，從而構成相關強人工智能分析平臺模塊。

3 技術展望

綜合以上針對本領域技術應用與研究進展的梳理，結合鋼鐵材料微觀組織檢測分析一線人員多年的工作經(jīng)驗與感悟，未來應該在以下兩個方面展開研發(fā)與實踐。

(1)基于現(xiàn)有弱人工智能技術，提升(如圖像增強處理、圖像分割與晶界重建、組織特征提取和數(shù)值數(shù)據(jù)統(tǒng)計分析等)智能化程度。同時不斷研究適用于圖像智能分析、幾何參數(shù)求解和數(shù)值統(tǒng)計分析的新算法(如數(shù)學形態(tài)學和分形幾何的深度學習算法等)。

(2)加強金相測試和材料專家的專業(yè)知識經(jīng)驗在計算機系統(tǒng)中的表示和應用，構建具有可擴展性的微觀組織和性能的大數(shù)據(jù)集。引入新的基于深度學習的智能算法和模型, 提高計算機分析的智能化程度，徹底將弱人工智能提升為強人工智能。

4 結論

自20世紀70年代末開展熱軋組織性能預報物理數(shù)學模型的研究開始，歷經(jīng)近50年的研究與實踐，人工智能在鋼鐵材料微觀組織分析中的應用日趨廣泛深入。伴隨著人工智能技術由專家系統(tǒng)知識應用型向全面集成發(fā)展特征轉進，鋼鐵材料微觀組織試驗測試數(shù)據(jù)結果全面數(shù)字化，微觀組織測試結果的智能化分析持續(xù)創(chuàng)新發(fā)展。展望未來，基于深度學習的強人工智能技術應用于圖像智能化分析、圖像和數(shù)值大數(shù)據(jù)集構建、集成工業(yè)大數(shù)據(jù)和智能制造的組織性能預報等發(fā)展方向有望取得突破性進展。