潘 登， 李 謙， 李 強(qiáng)

（1. 上海大學(xué) 材料基因組工程研究院, 上海 200444；2. 上海理工大學(xué) 機(jī)械工程學(xué)院, 上海 200093）

目前，鈦合金已經(jīng)在人工關(guān)節(jié)、牙科種植和外科器械中得到了廣泛使用，但是鈦合金的生產(chǎn)工藝相對(duì)復(fù)雜，加工難度大，造成成本較高，限制了其廣進(jìn)一步發(fā)展[1]。目前，大范圍使用的鈦合金成分為T(mén)i-6Al-4V 合金（TC4 鈦合金），醫(yī)學(xué)臨床研究發(fā)現(xiàn)，TC4 鈦合金在人體內(nèi)會(huì)向血液釋放Al 離子和V 離子，這些離子會(huì)誘發(fā)阿爾茲海默癥、神經(jīng)系統(tǒng)病變、骨骼軟化癥等疾病。TC4 鈦合金的彈性模量遠(yuǎn)高于人骨的，因此，會(huì)造成“應(yīng)力屏蔽”現(xiàn)象，不利于新骨的生長(zhǎng)。近年來(lái)，通過(guò)加入不同配比的合金元素（如Ta、Mo、Nb），獲得匹配人骨彈性模量的高強(qiáng)度無(wú)毒β 型鈦合金是目前醫(yī)用材料研究的重要方向之一[2]。

計(jì)算相圖是一種常用的設(shè)計(jì)方法，它基于熱力學(xué)平衡原理和試驗(yàn)數(shù)據(jù)，并結(jié)合了計(jì)算機(jī)模擬和優(yōu)化算法，旨在提供對(duì)合金體系中各種相的形成和穩(wěn)定性的深入理解。盡管計(jì)算相圖方法在預(yù)測(cè)和計(jì)算相圖方面非常有用，但它仍然依賴于試驗(yàn)數(shù)據(jù)和熱力學(xué)數(shù)據(jù)庫(kù)的準(zhǔn)確性。鈦合金的制備和加工較為復(fù)雜，組成元素種類(lèi)繁多，大幅增加了材料性能試驗(yàn)量，所以會(huì)造成上述性能測(cè)試方法成本高、周期長(zhǎng)、效率低，給新型鈦合金的開(kāi)發(fā)帶來(lái)了諸多挑戰(zhàn)。

基于數(shù)據(jù)驅(qū)動(dòng)方式的機(jī)器學(xué)習(xí)建模無(wú)需明確內(nèi)部的復(fù)雜機(jī)制，僅依靠數(shù)據(jù)訓(xùn)練來(lái)構(gòu)建關(guān)系模型，目前已成為材料研究的熱點(diǎn)之一[3-5]。主要的機(jī)械學(xué)習(xí)方法有多層感知器（multi-layer perceptron,MLP）、卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks,CNN）、隨機(jī)森林網(wǎng)絡(luò)（random forest regression,RFR）等。MLP 是一種常見(jiàn)的前饋神經(jīng)網(wǎng)絡(luò)模型，由多個(gè)節(jié)點(diǎn)組成的多個(gè)隱藏層構(gòu)成，每個(gè)節(jié)點(diǎn)都是一個(gè)人工神經(jīng)元，接收來(lái)自前一層的輸入，并將加權(quán)和輸入進(jìn)行非線性變換后傳遞給下一層[6]。CNN 是一種依靠卷積核從輸入數(shù)據(jù)中提取局部特征，并通過(guò)卷積核的滑動(dòng)獲得輸入數(shù)據(jù)特征圖的神經(jīng)網(wǎng)絡(luò)[7]。RFR 是一種集成學(xué)習(xí)方法，通過(guò)組合多個(gè)決策樹(shù)模型來(lái)進(jìn)行預(yù)測(cè)和分類(lèi)[8-9]。采用機(jī)器學(xué)習(xí)的方法，是從數(shù)據(jù)和算法的角度建立模型，揭示數(shù)據(jù)和性能的相關(guān)性和顯著性，在合金成分設(shè)計(jì)和性能預(yù)測(cè)方面具有一定的指導(dǎo)意義[10-13]。

上世紀(jì)80 年代末，日本學(xué)者M(jìn)orinaga 等[14]提出，采用反映元素電負(fù)性的d-電子結(jié)合能（Md）和反映d 軌道電子結(jié)合強(qiáng)度的d-電子結(jié)合次數(shù)（Bo）來(lái)評(píng)估元素原子尺寸、電負(fù)性及合金化等因素的影響。各合金元素的Md和Bo按照原子分?jǐn)?shù)取加權(quán)平均值，即為合金的d-電子平均結(jié)合能（）和d-電子平均結(jié)合次數(shù)（）的影響水平。根據(jù)計(jì)算結(jié)果可以確定合金的相穩(wěn)定性，為合金設(shè)計(jì)提供理論依據(jù)。Mo 當(dāng)量（[Mo]）常被用于鈦合金中確定β 相的穩(wěn)定程度。本文針對(duì)鈦合金彈性模量快速預(yù)測(cè)的需要，利用已有的鈦合金彈性模量，并通過(guò)合金設(shè)計(jì)公式轉(zhuǎn)換得到鈦合金的[Mo]、、三種參數(shù)作為原始數(shù)據(jù)；基于數(shù)據(jù)驅(qū)動(dòng)建立鈦合金元素配比與其彈性模量關(guān)系模型，并對(duì)模型預(yù)測(cè)性能進(jìn)行驗(yàn)證與對(duì)比分析。

1 機(jī)器學(xué)習(xí)過(guò)程

1.1 合金元素?cái)?shù)據(jù)轉(zhuǎn)換與分析

基于鈦合金設(shè)計(jì)公式及機(jī)器學(xué)習(xí)的多層感知器理念建立數(shù)學(xué)模型，利用模型揭示鈦合金元素配比與彈性模量之間的關(guān)系。圖1 是模型數(shù)據(jù)集轉(zhuǎn)換流程。

首先，數(shù)據(jù)集收集具有β 相的鈦合金數(shù)據(jù)，使用箱型圖描述這個(gè)數(shù)據(jù)集的樣本分布，橫軸為不同參數(shù)的名稱，縱軸為相應(yīng)元素參數(shù)值；然后，利用相應(yīng)公式轉(zhuǎn)換成為、、[Mo]三種參數(shù)作為相關(guān)模型原始輸入數(shù)據(jù)直接進(jìn)行處理，轉(zhuǎn)換公式為：

式中：xi為 合金元素i的 原子分?jǐn)?shù)； （Bo）i為合金元素i的Bo值； （Md）i為合金元素i的Md值[15]。在數(shù)據(jù)集進(jìn)行轉(zhuǎn)換之后依舊使用箱型圖描述這個(gè)數(shù)據(jù)集的樣本分布，用來(lái)分析數(shù)據(jù)集的稀疏值和異常值。

數(shù)據(jù)集經(jīng)過(guò)轉(zhuǎn)換后，只有[Mo]、3 個(gè)輸入標(biāo)簽值，利用斯皮爾曼（Spearman）計(jì)算方法來(lái)獲得三者與彈性模量之間的相關(guān)性熱力圖與相應(yīng)的P值判斷相關(guān)性的顯著程度。

通過(guò)Spearman 計(jì)算所得的P值是用于衡量?jī)勺兞肯嚓P(guān)性是否具有統(tǒng)計(jì)學(xué)上顯著性的指標(biāo)。Spearman 相關(guān)性系數(shù)衡量了兩個(gè)變量之間的線性強(qiáng)度，取值范圍為-1～1。

相關(guān)性ρ計(jì)算公式如下：

式中：R（x）為x元素的當(dāng)前取值；R（y）為y元素的當(dāng)前取值；為x元素的平均值；為y元素的平均值；n為元素觀測(cè)總數(shù)。

在訓(xùn)練過(guò)程中，所有模型將數(shù)據(jù)集按照8:2 的比例進(jìn)行分割，其中80%用于模型訓(xùn)練，20%作為測(cè)試集驗(yàn)證模型性能。為提升模型在訓(xùn)練過(guò)程中的收斂速度，將數(shù)據(jù)集送入模型前進(jìn)行歸一化處理，并采用式（5）將輸入量歸一化至區(qū)間[0, ε]，采用式（6）將輸出量歸一化至區(qū)間[-ε, ε]。

式中：x、y分別為轉(zhuǎn)化后的輸入標(biāo)簽值以及合金的彈性模量；x′、y′分別為歸一化后所得相應(yīng)輸入、輸出值； ε為縮放系數(shù)。

鈦合金中，鈦占比一般不超過(guò)80%，因此，本文將 ε設(shè)定為0.8。

1.2 機(jī)器學(xué)習(xí)模型的建立

本文分別使用CNN、RFR 和MLP 三種模型，通過(guò)Python 軟件進(jìn)行建模和計(jì)算。

1.2.1 MLP 模型

圖2（a）為MLP 模型的訓(xùn)練示意圖，其中，輸入層接收原始數(shù)據(jù)或特征向量作為輸入，隱藏層進(jìn)行加權(quán)和非線性變換，輸出層根據(jù)具體任務(wù)產(chǎn)生相應(yīng)的輸出結(jié)果。隱藏層和輸出層之間的連接由權(quán)重參數(shù)決定，各層之間皆使用激活函數(shù)進(jìn)行連接，這些參數(shù)通過(guò)訓(xùn)練進(jìn)行優(yōu)化。

圖2 三種模型內(nèi)部結(jié)構(gòu)圖Fig. 2 Internal structure diagrams of the three models

MLP 模型的核心思想是通過(guò)非線性變換（通常是使用激活函數(shù)）將輸入數(shù)據(jù)映射到更高維的特征空間。MLP 模型的訓(xùn)練方法通常使用反向傳播算法，該算法通過(guò)計(jì)算損失函數(shù)對(duì)于權(quán)重參數(shù)的梯度，不斷調(diào)整權(quán)重參數(shù)以最小化損失函數(shù)。具體表達(dá)如下：

式中：y為輸出值；hk為輸出層神經(jīng)元的輸入加權(quán)和。R為使用的激活函數(shù)為整流線性函數(shù)（rectified linear unit,R），其表達(dá)式為：

在神經(jīng)網(wǎng)絡(luò)中，R函數(shù)的導(dǎo)數(shù)恒為1 或0，不存在梯度消失的問(wèn)題，因此，能夠更好地訓(xùn)練深層神經(jīng)網(wǎng)絡(luò)。R函數(shù)在輸入值為負(fù)時(shí)輸出為0，因此，可以使神經(jīng)網(wǎng)絡(luò)中的一部分神經(jīng)元處于關(guān)閉狀態(tài)，增加了網(wǎng)絡(luò)的稀疏性，減少了模型的復(fù)雜程度[16]。

1.2.2 CNN 模型

CNN 模型（見(jiàn)圖2b）在經(jīng)過(guò)多個(gè)卷積、池化操作后，能挖掘數(shù)據(jù)中隱含的深層特征[17-18]，CNN模型中卷積層公式如下：

式中：W為圖像寬度；H為圖像高度；S為卷積核步長(zhǎng)；p為圖像邊緣增加的邊界像素層數(shù)。

在CNN 模型中，輸入數(shù)據(jù)只能是圖片，所以對(duì)于轉(zhuǎn)換后的合金元素?cái)?shù)據(jù)進(jìn)行圖像化三維處理，隨后放入CNN 模型中進(jìn)行訓(xùn)練。

1.2.3 RFR 模型

RFR 模型（見(jiàn)圖2c）通過(guò)構(gòu)建多個(gè)決策樹(shù)，并對(duì)它們的結(jié)果進(jìn)行綜合，從而提高了整體預(yù)測(cè)的準(zhǔn)確性和穩(wěn)定性。每個(gè)決策樹(shù)都是獨(dú)立的分類(lèi)器，最后預(yù)測(cè)結(jié)果由所有決策樹(shù)的投票或平均所決定。RFR 模型的優(yōu)點(diǎn)包括具有處理高維數(shù)據(jù)和大規(guī)模數(shù)據(jù)集的能力、對(duì)缺失值或異常值的魯棒性較強(qiáng)、參數(shù)調(diào)整需求較少[19-24]。

1.3 機(jī)器學(xué)習(xí)模型的預(yù)測(cè)

為量化各個(gè)預(yù)測(cè)模型在驗(yàn)證集上的預(yù)測(cè)性能，評(píng)價(jià)指標(biāo)采用相關(guān)指數(shù)（r-square,R2），均方根誤差（root mean square error, RMSE）兩種性能指標(biāo)對(duì)模型性能進(jìn)行量化，RMSE 指標(biāo)越小表明模型預(yù)測(cè)性能越優(yōu)，R2 指標(biāo)越趨近于1，則模型預(yù)測(cè)能力越具有可信度，R2 指標(biāo)公式如下[25-28]：

式中：yi為 觀測(cè)值；為回歸模型預(yù)測(cè)值；為所有實(shí)際觀測(cè)值的均值。

RMSE 公式如下：

式中：ti為 每一批次計(jì)算過(guò)程中的標(biāo)簽；yi為每一批次計(jì)算過(guò)程中的輸出。

所有模型訓(xùn)練完成后，儲(chǔ)存相關(guān)系數(shù)和權(quán)重，將數(shù)據(jù)集中20%未經(jīng)訓(xùn)練的數(shù)據(jù)作為驗(yàn)證數(shù)據(jù)放入模型中進(jìn)行驗(yàn)證，通過(guò)比較其RMSE 和R2 指標(biāo)來(lái)判斷各個(gè)模型的優(yōu)劣[28]。

RFR 模型作為機(jī)器學(xué)習(xí)模型在參數(shù)確定的情況下，預(yù)測(cè)性能指標(biāo)均為確定值[29-31]，而CNN 模型和MLP 模型具有特殊的結(jié)構(gòu)，對(duì)具有神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的模型進(jìn)行多次預(yù)測(cè)，對(duì)預(yù)測(cè)結(jié)果取平均值，比較性能優(yōu)劣來(lái)判斷模型預(yù)測(cè)性能。本文將分別對(duì)CNN 模型、MLP 模型進(jìn)行5 次訓(xùn)練和預(yù)測(cè)[32-35]。

2 結(jié)果與討論

2.1 數(shù)據(jù)集分析

圖3 為未轉(zhuǎn)換前數(shù)據(jù)的箱型圖。在數(shù)據(jù)集中，鈦合金中的Ti 最大質(zhì)量分?jǐn)?shù)為88.2%，彈性模量分布在24.7～116.0 GPa。圖3 中除了Ti 以外，Nb 質(zhì)量分?jǐn)?shù)中位數(shù)高于其他合金元素，它是開(kāi)發(fā)低彈性模量鈦合金時(shí)添加最多的合金元素。其次是Zr，它與Ti 同屬一族，具有與Ti 相似的物理化學(xué)性質(zhì)，可用于強(qiáng)化合金和調(diào)整β 相穩(wěn)定性。數(shù)據(jù)集中，三元和四元鈦合金最多，所以，鈦合金數(shù)據(jù)集中一組合金成分常常缺失一種或多種合金元素，從而導(dǎo)致數(shù)據(jù)集具有較強(qiáng)的稀疏性。由于這些合金元素在數(shù)據(jù)集中稀疏性太大，所以它們配比中位數(shù)接近零。需要指出的是，稀疏性太大的數(shù)據(jù)集對(duì)于神經(jīng)網(wǎng)絡(luò)訓(xùn)練是非常不利的。

圖3 數(shù)據(jù)集未轉(zhuǎn)換前合金元素統(tǒng)計(jì)箱型圖Fig.3 Statistical box plot image of the alloy elements before dataset conversion

圖4 是數(shù)據(jù)集轉(zhuǎn)換后參數(shù)統(tǒng)計(jì)箱型圖。圖4 中除了[Mo]參數(shù)以外，、兩個(gè)輸入值幾乎沒(méi)有異常數(shù)據(jù)，通過(guò)鈦合金成分設(shè)計(jì)公式轉(zhuǎn)換得到的數(shù)據(jù)集稀疏性減少，為模型的訓(xùn)練提供更適合的原始數(shù)據(jù)，更有利于模型的訓(xùn)練和擬合。

圖4 數(shù)據(jù)集轉(zhuǎn)換后參數(shù)統(tǒng)計(jì)箱型圖Fig. 4 Statistical box plot image of the parameter after dataset conversion

2.2 參數(shù)與彈性模量的相關(guān)性分析

圖5 是采用Spearman 系數(shù)計(jì)算數(shù)據(jù)集各參數(shù)同彈性模量所得的相關(guān)性系數(shù)的熱力圖。如果計(jì)算得到的Spearman 相關(guān)性系數(shù)具有較小的P值（通常小于選定的顯著性水平，如0.05），則可以認(rèn)為觀察到的相關(guān)性系數(shù)不太可能是由隨機(jī)因素導(dǎo)致的，存在著真實(shí)的相關(guān)性。這意味著可以拒絕零假設(shè)，并認(rèn)為兩個(gè)變量之間存在顯著的線性相關(guān)性。由圖5可知，[Mo]與鈦合金的彈性模量（E）相關(guān)性最大，相關(guān)性系數(shù)為0.29。在本文數(shù)據(jù)集中反映出[Mo]與彈性模量呈正相關(guān)；在數(shù)據(jù)集中與彈性模量的相關(guān)性系數(shù)為-0.22，說(shuō)明與彈性模量之間呈負(fù)相關(guān)；與彈性模量相關(guān)性系數(shù)為-0.10，說(shuō)明與彈性模量呈負(fù)相關(guān)。

圖5 采用Spearman 系數(shù)計(jì)算數(shù)據(jù)集各參數(shù)同彈性模量（E）所得的相關(guān)性值的熱力圖Fig. 5 Heat chart of the Spearman coefficient-calculated correlation value between each parameter in the dataset and elastic modulus （E）

表1 是通過(guò)Spearman 計(jì)算所得數(shù)據(jù)集之間的P值，彈性模量與[Mo]、之間的相關(guān)性＜0.05，它們之間具有顯著的相關(guān)性。與彈性模量的P值＞0.05，所以和鈦合金的彈性模量不具有明顯的相關(guān)性。

表1 數(shù)據(jù)集參數(shù)之間的P 值Tab.1 P-values between the parameters in the dataset

Bo、Md、[Mo]三者之間的P值＜0.05，所以它們之間具有顯著的相關(guān)性，這說(shuō)明對(duì)于鈦合金的彈性模量的影響是間接的。

2.3 模型比較

三種模型經(jīng)過(guò)計(jì)算和迭代后，最終確定MLP 結(jié)構(gòu)為3-8-10-1，因此模型的輸入節(jié)點(diǎn)為3，隱藏層第一層節(jié)點(diǎn)數(shù)為8，隱藏層第二層節(jié)點(diǎn)數(shù)為10，最后輸出層的節(jié)點(diǎn)為1；CNN 模型采用10 個(gè)3×3 的卷積核，全連接層節(jié)點(diǎn)數(shù)為128；RFR 模型的決策樹(shù)數(shù)量為120。

圖6 是訓(xùn)練好的MLP、CNN、RFR 模型對(duì)驗(yàn)證集數(shù)據(jù)進(jìn)行驗(yàn)證所得預(yù)測(cè)對(duì)比圖。圖6 中紅色點(diǎn)線為驗(yàn)證集中鈦合金所對(duì)應(yīng)的實(shí)測(cè)彈性模量，而藍(lán)色則是模型通過(guò)大量訓(xùn)練以后預(yù)測(cè)所得到的相應(yīng)合金的彈性模量，可以看出，MLP 模型可以很好地去模擬合金的元素配比和彈性模量之間的相應(yīng)關(guān)系，預(yù)測(cè)值的數(shù)據(jù)和實(shí)測(cè)值的數(shù)據(jù)較為貼合，具有可靠預(yù)測(cè)合金性能的能力。

圖6 機(jī)器學(xué)習(xí)模型驗(yàn)證集預(yù)測(cè)圖Fig. 6 Prediction images of the validation sets obtained by machine learning models

表2 為預(yù)測(cè)模型性能指標(biāo)。從表2 可以看到，MLP 模型的RMSE 和R2 指標(biāo)平均值分別是7.54 GPa和0.66；CNN 模型的RMSE 和R2 指標(biāo)平均值分別是3.58 GPa 和-0.61；RFR 模型的RMSE 和R2 指標(biāo)平均值分別是10.03 GPa 和0.40。當(dāng)R2 的評(píng)分大于0 時(shí)才能證明模型的預(yù)測(cè)結(jié)果具有可信度，比較三者R2 評(píng)分可知，MLP 模型對(duì)于鈦合金彈性模量的預(yù)測(cè)建模是可信度最高的。RMSE 代表預(yù)測(cè)結(jié)果和實(shí)際模量之間的偏差，MLP 模型的RMSE 于3 個(gè)模型中處于中游。在模型評(píng)價(jià)中，R2 指標(biāo)的權(quán)重大于RMSE 的，模型的第一評(píng)價(jià)標(biāo)準(zhǔn)是R2。綜合可知，MLP 模型在本文數(shù)據(jù)集中的預(yù)測(cè)性能最佳，CNN 模型具有一定的預(yù)測(cè)能力，但是可靠性不高，RFR 模型的預(yù)測(cè)能力介于二者之間。MLP 模型綜合性能指標(biāo)相較于其他兩個(gè)模型更具優(yōu)勢(shì)，模型預(yù)測(cè)結(jié)果更為可靠。

表2 預(yù)測(cè)模型性能指標(biāo)Tab.2 Performance indicators of the prediction models

為了更加直觀地表達(dá)MLP 模型在全部數(shù)據(jù)集上的預(yù)測(cè)效果，通常采用擬合優(yōu)度圖進(jìn)行直觀判斷。圖7 是MLP 模型對(duì)所有數(shù)據(jù)集的預(yù)測(cè)擬合圖，圖中藍(lán)色圓形點(diǎn)集表示模型在訓(xùn)練集的預(yù)測(cè)值，紅色圓形點(diǎn)集表示模型在測(cè)試集上的預(yù)測(cè)值。從圖7 中可以看出，MLP 模型在測(cè)試集上的預(yù)測(cè)值大部分靠近中心線，數(shù)據(jù)散點(diǎn)分布更緊湊，表明預(yù)測(cè)值更接近實(shí)際值。圖7 也反映了MLP 模型對(duì)數(shù)據(jù)集的較好擬合情況。

圖7 MLP 模型擬合圖Fig.7 Fitting graph of the MLP model

2.4 預(yù)測(cè)結(jié)果

為了進(jìn)一步說(shuō)明MLP 模型的可靠性，從測(cè)試集中選取5 組常見(jiàn)的鈦合金進(jìn)行模型預(yù)測(cè)分析。表3是5 組常見(jiàn)鈦合金的彈性模量實(shí)測(cè)值與預(yù)測(cè)值，二者的偏差在MLP 模型的RMSE 范圍內(nèi)，說(shuō)明預(yù)測(cè)結(jié)果均是合理的，即MLP 模型的預(yù)測(cè)能力是可靠的。

表3 5 組常見(jiàn)鈦合金的彈性模量實(shí)測(cè)值與預(yù)測(cè)值Tab.3 Measured and predicted elastic moduli of five groups of common titanium alloys

3 結(jié) 論

本文利用合金設(shè)計(jì)公式轉(zhuǎn)換后的數(shù)據(jù)集作為原始數(shù)據(jù)集，建立機(jī)器學(xué)習(xí)模型。通過(guò)驗(yàn)證和分析模型的預(yù)測(cè)性能，得出以下結(jié)論：

（1）利用合金設(shè)計(jì)公式對(duì)原始數(shù)據(jù)集進(jìn)行轉(zhuǎn)換，解決了原始數(shù)據(jù)集稀疏值較大的問(wèn)題。

（2）彈性模量的大小與[Mo]呈顯著的正相關(guān)，與呈顯著的負(fù)相關(guān)，而與彈性模量之間無(wú)顯著相關(guān)性。通過(guò)影響[Mo]、來(lái)間接影響鈦合金的彈性模量。

（3）建立了基于CNN、REF、MLP 的三種鈦合金彈性模量預(yù)測(cè)模型。其中，MLP 模型對(duì)鈦合金彈性模量預(yù)測(cè)的RMSE、R2 指標(biāo)平均值分別為7.54 GPa、0.66，相較于RFR 模型、CNN 模型，MLP 模型具有更優(yōu)的預(yù)測(cè)性能和預(yù)測(cè)精度。