崔曉寧，王起才*,2，張戎令,2，代金鵬,2，謝 超

(1. 蘭州交通大學(xué) 土木工程學(xué)院，蘭州 730070；2. 蘭州交通大學(xué) 道橋工程災(zāi)害防治技術(shù)國(guó)家地方聯(lián)合工程實(shí)驗(yàn)室，蘭州 730070)

高性能混凝土是一種新型高技術(shù)混凝土，采用常規(guī)材料和工藝生產(chǎn)，根據(jù)需要摻入改善混凝土性能的外摻料，使得混凝土結(jié)構(gòu)具有所要求的各項(xiàng)力學(xué)性能，增加高耐久性、高工作性和高體積穩(wěn)定性[1].得益于高性能混凝土的優(yōu)異性能，高性能混凝土被廣泛的應(yīng)用于建筑行業(yè)各個(gè)領(lǐng)域.經(jīng)過養(yǎng)護(hù)的混凝土28 d抗壓強(qiáng)度是鋼筋混凝土結(jié)構(gòu)設(shè)計(jì)的關(guān)鍵參數(shù)，也是衡量高性能混凝土工程性能的重要指標(biāo).因此，對(duì)于混凝土抗壓強(qiáng)度的研究具有較高的科研價(jià)值[2].

近幾年，隨著人工智能技術(shù)的迅猛發(fā)展，各個(gè)行業(yè)都在結(jié)合人工智能新技術(shù)進(jìn)行自我賦能[3-4].基于機(jī)器學(xué)習(xí)、深度學(xué)習(xí)的工程類研究也在如火如荼的進(jìn)行[4-7].許多機(jī)器學(xué)習(xí)理論已經(jīng)應(yīng)用到混凝土相關(guān)研究中，主要包括：人工神經(jīng)網(wǎng)絡(luò)[8]，支持向量機(jī)[9]，集成算法[10]等.Daneshvar等[11]使用隨機(jī)森林算法，建立了瀝青混凝土的動(dòng)彈模預(yù)測(cè)模型，預(yù)測(cè)結(jié)果精度可達(dá)94.62%.周雙喜等基于深度學(xué)習(xí)理論研究混凝土孔成像分析[12]以及氯離子在混凝土中的擴(kuò)散模型[13].Ren等[14]基于計(jì)算機(jī)視覺技術(shù)，提出了一種適用于裂縫語義分割的卷積神經(jīng)網(wǎng)絡(luò)，為隧道的健康監(jiān)測(cè)提供新方法.Cui等[15]將注意力機(jī)制引入混凝土裂縫的語義分割任務(wù)中，并提出一種Att-Unet的卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)了裂縫的準(zhǔn)確語義分割.Chun等[16]基于隨機(jī)森林算法，開展鋼筋混凝土結(jié)構(gòu)內(nèi)部損傷研究，并取得了準(zhǔn)確的預(yù)測(cè)結(jié)果.湯志立等[17]基于9種機(jī)器學(xué)習(xí)算法對(duì)巖爆進(jìn)行分類，分類結(jié)果表明機(jī)器學(xué)習(xí)算法具有較高的分類精度，其預(yù)測(cè)結(jié)果與現(xiàn)場(chǎng)監(jiān)測(cè)結(jié)果有較好的一致性.

基于機(jī)器學(xué)習(xí)的混凝土相關(guān)研究已經(jīng)開展并取得一定成果，但對(duì)于混凝土抗壓強(qiáng)度的預(yù)測(cè)研究仍在發(fā)展階段，且應(yīng)用機(jī)器學(xué)習(xí)算法的研究尚有不足，主要表現(xiàn)為：現(xiàn)有研究多采用單一機(jī)器學(xué)習(xí)算法進(jìn)行預(yù)測(cè)，而對(duì)于多種算法在同一數(shù)據(jù)上的適用性對(duì)比研究較少[18].針對(duì)現(xiàn)有研究的不足，基于隨機(jī)森林、支持向量回歸分析以及多層感知機(jī)3種機(jī)器學(xué)習(xí)算法進(jìn)行混凝土抗壓強(qiáng)度預(yù)測(cè)研究，通過多特征輸入構(gòu)建機(jī)器學(xué)習(xí)模型數(shù)據(jù)集，以訓(xùn)練、測(cè)試、對(duì)比不同模型在應(yīng)用于高性能混凝土抗壓強(qiáng)度預(yù)測(cè)的精度，甄選適用于混凝土抗壓強(qiáng)度預(yù)測(cè)的最優(yōu)模型.

1 數(shù)據(jù)

科學(xué)合理的數(shù)據(jù)集選取是實(shí)現(xiàn)混凝土抗壓強(qiáng)度準(zhǔn)確預(yù)測(cè)的關(guān)鍵.加州大學(xué)歐文分校機(jī)器學(xué)習(xí)實(shí)驗(yàn)室提供的混凝土公共數(shù)據(jù)集涵蓋了混凝土配合比設(shè)計(jì)中常見的八種變量且數(shù)據(jù)集樣本數(shù)量能夠滿足機(jī)器學(xué)習(xí)的需求，因此，使用該數(shù)據(jù)集進(jìn)行混凝土抗壓強(qiáng)度的預(yù)測(cè)研究[19].該數(shù)據(jù)集共有1 030個(gè)數(shù)據(jù)，每個(gè)數(shù)據(jù)都包含八個(gè)變量和混凝土抗壓強(qiáng)度實(shí)測(cè)值，為提高機(jī)器學(xué)習(xí)的泛化能力與預(yù)測(cè)精度，在進(jìn)行機(jī)器學(xué)習(xí)模型建立和訓(xùn)練過程中將八個(gè)變量全部作為模型的特征輸入.其中八個(gè)特征變量輸入為：水泥用量，齡期，水，粗骨料，細(xì)集料，高效減水劑，粉煤灰，礦粉.輸出結(jié)果變量為混凝土的抗壓強(qiáng)度值.數(shù)據(jù)集的數(shù)值特征統(tǒng)計(jì)如表1所列.Q1，Q2，Q3分別表示下四分位數(shù)，中四分位數(shù)，上四分位數(shù).

表1 數(shù)據(jù)集特征統(tǒng)計(jì)

2 多特征輸入算法研究

2.1 多層感知機(jī)(MLP)

多層感知機(jī)由感知機(jī)發(fā)展而來.通常情況下，多層感知機(jī)由三部分組成，即：輸入層、隱藏層、輸出層，多層感知機(jī)神經(jīng)網(wǎng)絡(luò)模型的原理如圖1所示.假設(shè)輸入樣本個(gè)數(shù)為m，每個(gè)樣本有n個(gè)特征，對(duì)于特征輸入層X∈Rm×n，以具有h個(gè)神經(jīng)元的隱藏層為例，隱藏層的權(quán)重及偏置可表示為Wh∈Rn×h、bh∈R1×h，輸出值有q個(gè)特征，則輸出層的權(quán)重及偏置分別為WO∈Rh×q、bO∈R1×q.輸入層到隱藏層的激活函數(shù)為σ1，隱藏層到輸出層的激活函數(shù)為σ2.于是多層感知機(jī)神經(jīng)網(wǎng)絡(luò)模型參數(shù)設(shè)定如表2所列.

圖1 多層感知機(jī)原理

表2 神經(jīng)網(wǎng)絡(luò)參數(shù)匯總表

根據(jù)表2的模型參數(shù)設(shè)定可得：

輸入層到隱藏層：

(1)

h=σ1(net1),

(2)

隱藏層到輸出層:

(3)

(4)

損失函數(shù)?。?/p>

(5)

基于前文的模型設(shè)定，多層感知機(jī)模型的計(jì)算步驟為：

1) 初始化神經(jīng)網(wǎng)絡(luò)模型中的權(quán)值和偏置項(xiàng)

2) 參數(shù)向前傳播，得到各層輸出和損失函數(shù)的期望值

(6)

3) 根據(jù)損失函數(shù)，計(jì)算輸出單元的誤差項(xiàng)和隱藏單元的誤差項(xiàng).

輸出單元的誤差項(xiàng)，即計(jì)算損失函數(shù)關(guān)于輸出單元的梯度值.根據(jù)鏈?zhǔn)椒▌t有：

(7)

(8)

隱藏單元的誤差項(xiàng)，即計(jì)算損失函數(shù)關(guān)于隱藏單元的梯度值.根據(jù)鏈?zhǔn)椒▌t有：

(9)

(10)

4) 更新神經(jīng)網(wǎng)路中的權(quán)值和偏置項(xiàng)

輸出單元參數(shù)更新：

(11)

(12)

隱藏單元參數(shù)更新：

(13)

(14)

5) 重復(fù)步驟2)～4)，直到損失函數(shù)小于模型設(shè)定的閾值或迭代計(jì)算次數(shù)，輸出此時(shí)的參數(shù)即為模型最佳參數(shù)[20].

2.2 支持向量回歸(SVR)

支持向量回歸(SVR)算法的建立基于兩點(diǎn)原則：1) 模型允許預(yù)測(cè)值f(x)與真實(shí)值y之間存在ε的誤差；2) 當(dāng)f(x)與y絕對(duì)值大于ε時(shí)，模型的損失函數(shù)才進(jìn)行參數(shù)更新.因此，SVR模型以f(x)為中心，以±ε為帶寬，構(gòu)建了一個(gè)模型參數(shù)不更新區(qū)域帶，SVR的原理示意如圖2所示.在圖2中，橙色區(qū)域表示允許誤差范圍內(nèi)，即參數(shù)不更新區(qū)域，藍(lán)色實(shí)心點(diǎn)表示落在±ε的參數(shù)不更新區(qū)域條帶中，橙色空心在誤差允許值之外.SVR的優(yōu)化目標(biāo)函數(shù)式為[20]

圖2 支持向量回歸示意

(15)

式中：ω為法向量;C為正則化常數(shù);L為模型優(yōu)化目標(biāo)函數(shù);f(xi)為模型的預(yù)測(cè)值;yi為數(shù)據(jù)真實(shí)標(biāo)簽值.

2.3 隨機(jī)森林(RF)

Bagging算法是并行集成算法的代表，對(duì)于給定的N個(gè)樣本原始數(shù)據(jù)集，每次進(jìn)行有放回的采樣，得到一個(gè)由m個(gè)樣本組成的數(shù)據(jù)集，同樣的取樣流程進(jìn)行k次，得到k個(gè)訓(xùn)練集，進(jìn)而基于每個(gè)訓(xùn)練集訓(xùn)練一個(gè)基學(xué)習(xí)器.Bagging算法通過訓(xùn)練k個(gè)獨(dú)立的基學(xué)習(xí)器得到每個(gè)基學(xué)習(xí)器的預(yù)測(cè)結(jié)果，進(jìn)而對(duì)k個(gè)基學(xué)習(xí)器的預(yù)測(cè)結(jié)果進(jìn)行加權(quán)得到整個(gè)集成算法的預(yù)測(cè)結(jié)果.

本文的Bagging集成算法采用隨機(jī)森林(RF)對(duì)數(shù)據(jù)集進(jìn)行回歸分析.RF是Bagging集成算法的一個(gè)變種改良模型.RF以決策樹為基學(xué)習(xí)器，通過對(duì)若干決策樹的集成搭建隨機(jī)森林模型，同時(shí)RF在決策樹的訓(xùn)練過程中引入特征屬性的隨機(jī)選擇，基于這一機(jī)制，RF繼承了Bagging集成算法的樣本擾動(dòng)優(yōu)點(diǎn)，同時(shí)在此基礎(chǔ)上進(jìn)行改良，引入屬性隨機(jī)選擇的擾動(dòng)策略.因此，對(duì)于同一數(shù)據(jù)集，隨機(jī)森林的雙重隨機(jī)性使其具有更好的泛化能力和抗過擬合能力，隨機(jī)森林的算法原理如圖3所示.

圖3 隨機(jī)森林算法原理

2.4 數(shù)據(jù)集劃分與模型參數(shù)設(shè)定

文中所用混凝土抗壓強(qiáng)度數(shù)據(jù)集包含1 030個(gè)數(shù)據(jù)點(diǎn)，將數(shù)據(jù)集按照7∶3的比例劃分成訓(xùn)練集與測(cè)試集，其中訓(xùn)練集用來訓(xùn)練和優(yōu)化機(jī)器學(xué)習(xí)模型的參數(shù)，測(cè)試集用來評(píng)估機(jī)器學(xué)習(xí)模型的最終預(yù)測(cè)精度.為排除模型參數(shù)設(shè)置不合理引起的模型次優(yōu)化現(xiàn)象，在機(jī)器學(xué)習(xí)模型訓(xùn)練與評(píng)估之前，先利用GridSearch[21]方法對(duì)不同機(jī)器學(xué)習(xí)模型進(jìn)行參數(shù)優(yōu)化設(shè)定.

3 模型評(píng)價(jià)與結(jié)果

3.1 模型評(píng)價(jià)指標(biāo)

為對(duì)比分析多層感知機(jī)(MLP)、支持向量回歸(SVR)以及隨機(jī)森林(RF)三種機(jī)器學(xué)習(xí)算法在混凝土抗壓強(qiáng)度數(shù)據(jù)集上的表現(xiàn)，選取四個(gè)常用的機(jī)器學(xué)習(xí)模型評(píng)價(jià)指標(biāo)：R2，MAE，MAPE，RMSE.其中MAE、MAPE、RMSE都是衡量模型誤差的評(píng)價(jià)指標(biāo)，三者互為補(bǔ)充，用不同類型的誤差來衡量模型的預(yù)測(cè)精度，其值越小，模型的預(yù)測(cè)精度越高；R2是相關(guān)系數(shù)，表征模型預(yù)測(cè)值與數(shù)據(jù)真實(shí)值之間的接近程度，R2越接近于1，則表示模型的預(yù)測(cè)精度越高.R2，MAE，MAPE，RMSE數(shù)學(xué)表達(dá)式如公式(16)～(19)所示.

(16)

(17)

(18)

(19)

式中：y為抗壓強(qiáng)度真實(shí)值;y′為抗壓強(qiáng)度模型預(yù)測(cè)值.

3.2 模型結(jié)果對(duì)比分析

在各個(gè)模型的預(yù)測(cè)結(jié)果對(duì)比前，為使各個(gè)模型的預(yù)測(cè)結(jié)果更加準(zhǔn)確，采用了GridSearch方法對(duì)各種模型的參數(shù)進(jìn)行最優(yōu)化.基于前文建立的模型評(píng)價(jià)體系，對(duì)各個(gè)模型的預(yù)測(cè)結(jié)果進(jìn)行統(tǒng)計(jì)分析，其對(duì)比結(jié)果如表3所列.

分析表3可得：1) 總體而言，對(duì)于誤差衡量指標(biāo)(MAE、RMSE、MAPE)，隨機(jī)森林模型的預(yù)測(cè)結(jié)果為誤差最小的模型，其次是多層感知機(jī)模型，預(yù)測(cè)誤差最大的模型為支持向量回歸模型.2) 就相關(guān)系數(shù)R2而言，隨機(jī)森林模型達(dá)到了0.902，是三種模型中相關(guān)系數(shù)最高的，這說明對(duì)于多特征輸入高性能混凝土抗壓強(qiáng)度預(yù)測(cè)任務(wù)，隨機(jī)森林表現(xiàn)出了較高的預(yù)測(cè)精度，可以為混凝土抗壓強(qiáng)度的預(yù)測(cè)提供一定參考.

表3 三種機(jī)器學(xué)習(xí)模型對(duì)比分析

3.3 隨機(jī)森林預(yù)測(cè)結(jié)果分析

隨機(jī)森林模型的混凝土抗壓強(qiáng)度預(yù)測(cè)結(jié)果與測(cè)試集實(shí)際抗壓強(qiáng)度的統(tǒng)計(jì)結(jié)果如圖4所示.從圖4(a)可以看出：總體而言，對(duì)于混凝土不同抗壓強(qiáng)度大小，隨機(jī)森林模型的預(yù)測(cè)結(jié)果與測(cè)試集的真實(shí)值十分接近，隨機(jī)森林預(yù)測(cè)誤差標(biāo)準(zhǔn)差均值為3.78 MPa，誤差百分比均值為13.73%，體現(xiàn)了隨機(jī)森林模型用于多特征輸入混凝土抗壓強(qiáng)度預(yù)測(cè)的準(zhǔn)確預(yù)測(cè)能力.從圖4(b)可以看出隨機(jī)森林的數(shù)據(jù)預(yù)測(cè)絕大部分在±15%誤差以內(nèi)，經(jīng)過統(tǒng)計(jì)，測(cè)試集上共有309個(gè)樣本，其中223個(gè)樣本的預(yù)測(cè)結(jié)果在±15%以內(nèi)，誤差超過±15%的數(shù)據(jù)點(diǎn)共有86個(gè).以15%為誤差界限，對(duì)不同強(qiáng)度區(qū)間內(nèi)的隨機(jī)森林預(yù)測(cè)誤差進(jìn)行統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如表4所列.從表4中可以看出：隨著混凝土抗壓強(qiáng)度的增大，超限點(diǎn)所占的比例逐漸減小，這說明隨機(jī)森林模型對(duì)混凝土抗壓強(qiáng)度較低時(shí)值預(yù)測(cè)誤差相對(duì)較大，但隨著預(yù)測(cè)強(qiáng)度的增大，隨機(jī)森林模型的預(yù)測(cè)精度逐漸提升，當(dāng)混凝土抗壓強(qiáng)度達(dá)到50 MPa之后，隨機(jī)森林模型預(yù)測(cè)超限點(diǎn)比例僅占14.41%.由此可見，隨機(jī)模型對(duì)強(qiáng)度較高的數(shù)據(jù)點(diǎn)預(yù)測(cè)較為準(zhǔn)確.

圖4 隨機(jī)森林模型預(yù)測(cè)結(jié)果分析

表4 隨機(jī)森林預(yù)測(cè)結(jié)果超限統(tǒng)計(jì)

3.4 隨機(jī)森林結(jié)果誤差分析

為有效評(píng)價(jià)隨機(jī)森林模型的預(yù)測(cè)誤差，引入誤差貢獻(xiàn)率這一指標(biāo)EC·EC的定義如公式(20)所示.以混凝土抗壓強(qiáng)度小于30 MPa的集合為例，以誤差±15%為誤差界限值，則在該集合中總樣本數(shù)為55，超限樣本數(shù)為26，訓(xùn)練集總樣本309，超限點(diǎn)總數(shù)86，該集合以17.80%的樣本占有率貢獻(xiàn)了整體模型30.23%的誤差，誤差貢獻(xiàn)率達(dá)1.70，這說明隨機(jī)森林模型在強(qiáng)度低于30 MPa的范圍內(nèi)預(yù)測(cè)誤差相對(duì)較大.

(20)

對(duì)隨機(jī)模型測(cè)試集上預(yù)測(cè)結(jié)果的誤差統(tǒng)計(jì)如圖5所示，從圖5的誤差累積曲線可以看出，當(dāng)模型誤差累積到50%時(shí)，對(duì)應(yīng)的混凝土抗壓強(qiáng)度為28.93 MPa，在誤差累積到50%之后，隨著抗壓強(qiáng)度的提高，誤差累積曲線切線斜率逐漸減小.總體上說明，隨機(jī)森林模型對(duì)低強(qiáng)度樣本預(yù)測(cè)誤差大，對(duì)高強(qiáng)度樣本預(yù)測(cè)誤差小.從圖5的誤差貢獻(xiàn)率曲線可以看出：混凝土抗壓強(qiáng)度在0～30 MPa時(shí)，誤差貢獻(xiàn)率較高，此時(shí)模型對(duì)于樣本的預(yù)測(cè)結(jié)果誤差相對(duì)較大，混凝土抗壓強(qiáng)度在30～50 MPa時(shí)，模型的預(yù)測(cè)誤差迅速下降，當(dāng)強(qiáng)度達(dá)到50 MPa后，模型的誤差貢獻(xiàn)率趨于收斂，誤差貢獻(xiàn)率基本穩(wěn)定在1.0～1.15之間，這說明模型在抗壓強(qiáng)度低于30 MPa時(shí)具有較高的預(yù)測(cè)誤差，隨著抗壓強(qiáng)度的增大，模型的預(yù)測(cè)精度逐漸提高.

圖5 隨機(jī)森林模型誤差曲線

4 結(jié)論

1) 將機(jī)器學(xué)習(xí)算法應(yīng)用到了多特征輸入高性能混凝土的抗壓強(qiáng)度預(yù)測(cè)，并取得良好結(jié)果，研究結(jié)果可為機(jī)器學(xué)習(xí)在混凝土抗壓強(qiáng)度預(yù)測(cè)相關(guān)研究提供一定參考.

2) 通過對(duì)比隨機(jī)森林、支持向量回歸、多層感知機(jī)三種機(jī)器學(xué)習(xí)算法在同一數(shù)據(jù)集上的表現(xiàn)能力，發(fā)現(xiàn)隨機(jī)森林算法預(yù)測(cè)精度最高，隨機(jī)森林算法預(yù)測(cè)標(biāo)準(zhǔn)差均值為3.78 MPa，誤差百分比均值為13.73%，可以應(yīng)用于高性能混凝土的抗壓強(qiáng)度預(yù)測(cè).

3) 隨機(jī)森林算法對(duì)于混凝土強(qiáng)度在低于30 MPa的樣本預(yù)測(cè)誤差較大，誤差貢獻(xiàn)率為1.5～3.5，隨著混凝土抗壓強(qiáng)度的增大隨機(jī)森林模型預(yù)測(cè)誤差減小，即當(dāng)混凝土抗壓強(qiáng)度達(dá)到30 MPa以上時(shí)，模型具有較高的預(yù)測(cè)精度.