王莉莉, 屠良平, 李雙川

(遼寧科技大學(xué)理學(xué)院, 鞍山 114051)

郭守敬望遠(yuǎn)鏡(large sky area multi-object fiber spectroscopy telescope)是大天區(qū)面積多目標(biāo)光纖光譜巡天望遠(yuǎn)鏡,于2012年9月啟動(dòng)之后,光譜數(shù)據(jù)量急速增加,目前最新釋放的LAMOST-DR9的數(shù)量已超過(guò)千萬(wàn)量級(jí)。面對(duì)如此龐大的光譜數(shù)據(jù)量,如何精準(zhǔn)預(yù)測(cè)光譜的科學(xué)參數(shù)成為天文光譜學(xué)分析的研究熱點(diǎn)之一[1]。恒星大氣參數(shù)主要包括有效溫度、表面重力、金屬豐度和微觀湍流速度,這些參數(shù)不僅是造成恒星光譜差異的原因也是參數(shù)測(cè)量的主要內(nèi)容。目前,參數(shù)測(cè)量常用的機(jī)器學(xué)習(xí)算法包括支持向量回歸[2]、貝葉斯回歸[3]和隨機(jī)森林[4]等被用于恒星大氣參數(shù)預(yù)測(cè),但這些機(jī)器學(xué)習(xí)算法在面對(duì)大量高維、強(qiáng)相關(guān)性及高冗余的恒星光譜數(shù)據(jù)時(shí)會(huì)存在一定的局限性。由于恒星在參數(shù)空間中分布廣泛,不同的光譜特征對(duì)大氣參數(shù)具有不同的敏感性,因此很難依靠單一的方法來(lái)推導(dǎo)具有高精度的恒星大氣參數(shù)。

近年來(lái),有研究者使用多種算法結(jié)合的方法進(jìn)行恒星大氣參數(shù)測(cè)量。Xiang等[5]開(kāi)發(fā)的LAMOST恒星參數(shù)管道,基于模板匹配技術(shù)從LAMOST光譜中確定恒星參數(shù)(徑向基速度、有效溫度、表面重力和金屬豐度),實(shí)驗(yàn)結(jié)果表明基于模板匹配技術(shù)得到的參數(shù)精度較高。Lu等[6]使用最小絕對(duì)收縮和選擇算子(least absolute shrinkage and selection operator,LASSO)算法,選擇部分候選特征作為光譜特征,估算恒星大氣參數(shù)。Yang等[7]提出了一種利用自動(dòng)編碼器提取恒星光譜的代表性特征,通過(guò)反向傳播網(wǎng)絡(luò)估計(jì)恒星大氣參數(shù),結(jié)果表明該方案在估計(jì)恒星大氣參數(shù)方面具有良好的性能。

深度學(xué)習(xí)作為目前流行的算法之一,也逐漸應(yīng)用在恒星大氣參數(shù)測(cè)量中,潘儒揚(yáng)等[8]基于深度學(xué)習(xí)理論,提出深度學(xué)習(xí)在恒星大氣參數(shù)測(cè)量方面的應(yīng)用,提出了一個(gè)5層棧式自編碼深度神經(jīng)網(wǎng)絡(luò),對(duì)恒星大氣參數(shù)進(jìn)行自動(dòng)估計(jì),結(jié)果表明棧式自編碼深度神經(jīng)網(wǎng)絡(luò)精度較好。鄧詩(shī)語(yǔ)等[9]利用可變形卷積神經(jīng)網(wǎng)絡(luò)(deformable convolutional network,DCN)方法對(duì)恒星大氣參數(shù)進(jìn)行分析,驗(yàn)證了DCN算法在參數(shù)測(cè)量上效果的優(yōu)越性。這些方法更多考慮的是光譜數(shù)據(jù)的物理特征與科學(xué)參數(shù)之間的關(guān)聯(lián),但深度學(xué)習(xí)在研究恒星大氣參數(shù)測(cè)量這一方面的內(nèi)容相對(duì)較少,另外在面對(duì)精度差,測(cè)量時(shí)間長(zhǎng)以及深度學(xué)習(xí)不能直接進(jìn)行一維光譜參數(shù)測(cè)量等問(wèn)題亟待解決。因此,現(xiàn)通過(guò)將一維光譜變成二維的形式,充分利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像優(yōu)秀的特征提取能力進(jìn)行參數(shù)測(cè)量。它通過(guò)提取光譜數(shù)據(jù)中更高層次的非顯性參數(shù)特征,進(jìn)而達(dá)到提高精度的目的。

1 CNN方法和RF方法

1.1 CNN網(wǎng)絡(luò)模型

卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network)主要由輸入層、卷積層、池化層、全連接層和輸出層5個(gè)部分構(gòu)成[10],如圖1所示。但并未用到完整的結(jié)構(gòu)網(wǎng)絡(luò),只是利用了CNN的卷積和池化層對(duì)圖像優(yōu)秀的特征提取能力。

卷積層通過(guò)卷積核按照特定的步長(zhǎng)在輸入矩陣上滑動(dòng),直到遍歷整個(gè)區(qū)域的特征后得到輸出矩陣,該過(guò)程可以用數(shù)學(xué)模型描述為

(1)

池化層設(shè)置在卷積層之后,可以通過(guò)向下采樣壓縮輸入而不影響輸入質(zhì)量[11],降低特征維度。CNN選擇最大池化方法對(duì)特征進(jìn)行降維處理,在卷積層和池化層之間設(shè)置BN(batch normalization)層,BN層可以解決因數(shù)據(jù)分布的變化需要調(diào)節(jié)權(quán)重而導(dǎo)致的訓(xùn)練速度減慢的問(wèn)題,它會(huì)將上層輸出的數(shù)據(jù)特征進(jìn)行批歸一化再輸出,以獲取更加集中有效的特征信息。

1.2 隨機(jī)森林回歸模型分析

隨機(jī)森林(random forest, RF)是Breiman[12]提出的一種基于決策樹(shù)組合的可用于分類(lèi)、回歸以及多維數(shù)據(jù)處理的機(jī)器學(xué)習(xí)算法,不僅能夠平衡樣本中分布不均勻數(shù)據(jù)的誤差,而且對(duì)異常值和噪聲有很好的容忍度[13]。RF不僅可以處理大型多維數(shù)據(jù),而且適用于非線性問(wèn)題。更重要的是,RF對(duì)每一棵樹(shù)都使用了自助抽樣技術(shù)。相對(duì)于單顆決策樹(shù),RF方法可以在自助采樣后對(duì)每棵決策樹(shù)進(jìn)行單獨(dú)訓(xùn)練并生成平均結(jié)果,從而減少了過(guò)擬合問(wèn)題。因此RF算法具有預(yù)測(cè)效率好和可解釋性等諸多優(yōu)點(diǎn)。更重要的是RF算法并不需要過(guò)多的調(diào)參,得到的精度較高。鑒于此特點(diǎn),現(xiàn)選擇RF算法作為恒星大氣參數(shù)測(cè)量的回歸器,其組成如圖2所示。

2 模型架構(gòu)與參數(shù)

考慮到機(jī)器學(xué)習(xí)出現(xiàn)的弊端以及深度學(xué)習(xí)在圖像特征提取方面的優(yōu)勢(shì),現(xiàn)設(shè)計(jì)一種CNN和RF的組合算法對(duì)恒星大氣參數(shù)進(jìn)行測(cè)量,簡(jiǎn)記為CNN-RF,如圖3所示。CNN通過(guò)卷積和池化不斷的進(jìn)行交替操作,恒星光譜數(shù)據(jù)中的隱含特征得以被提取,然后基于恒星光譜數(shù)據(jù)產(chǎn)生的特征圖進(jìn)行壓平(Flatten)作為下一個(gè)算法的輸入。卷積池化之后,在特征輸出節(jié)點(diǎn)間設(shè)置展平層,將提取到的光譜特征輸入到RF特征篩選層,通過(guò)特征重要性計(jì)算,過(guò)濾掉無(wú)用特征,剩余特征作為RF的輸入向量。最后將提取好的特征展平輸入到RF里進(jìn)行訓(xùn)練和測(cè)試,計(jì)算出3個(gè)恒星大氣參數(shù)的預(yù)測(cè)值。

圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Convolutional neural network structure

CNN對(duì)預(yù)處理好的恒星生成的“偽二維光譜圖”進(jìn)行特征提取之后,通過(guò)模型訓(xùn)練得到恒星光譜數(shù)據(jù)參數(shù)的預(yù)測(cè)值與真實(shí)值作差,通過(guò)二者之間的差值計(jì)算損失函數(shù),并反向傳播以訓(xùn)練模型參數(shù),訓(xùn)練完成后用測(cè)試數(shù)據(jù)進(jìn)行模型測(cè)試,驗(yàn)證模型的精確度。若出現(xiàn)誤差太大,及時(shí)停止并通過(guò)網(wǎng)格搜索對(duì)網(wǎng)絡(luò)的超參數(shù)(卷積核的大小、網(wǎng)絡(luò)深度、神經(jīng)元的個(gè)數(shù)、學(xué)習(xí)率等)進(jìn)行優(yōu)化。最終設(shè)置3組卷積層和池化層,其中卷積核個(gè)數(shù)分別為64 128和256,大小為9×9,卷積步長(zhǎng)為1×1,模型的詳細(xì)參數(shù)如表1所示。同時(shí)與典型回歸算法中決策樹(shù)(classification and regression tree, CART)、支持向量回歸(support vector regression, SVR)、RF的預(yù)測(cè)結(jié)果進(jìn)行對(duì)比。

RF回歸層使用網(wǎng)格搜索優(yōu)化參數(shù)進(jìn)行優(yōu)化,通過(guò)調(diào)整決策樹(shù)的數(shù)量以及單棵決策樹(shù)的特征數(shù)量來(lái)提高隨機(jī)森林模型的性能,通過(guò)網(wǎng)格搜索并結(jié)合k折交叉驗(yàn)證(k=5)得到最終參數(shù)。根據(jù)實(shí)驗(yàn)結(jié)果比較,確定了形成隨機(jī)森林樹(shù)的數(shù)量(n_estimators=200)、形成葉節(jié)點(diǎn)(n_tree=10)所需的最小數(shù)據(jù)量以及損失函數(shù)(criterion=mse)。

RF的特征篩選層是基于后向(或前向)選擇的貪婪算法,通過(guò)反復(fù)構(gòu)建基層模型,選擇一定比例重要性評(píng)分,排序靠后的變量進(jìn)行剔除,直至達(dá)到某一標(biāo)準(zhǔn)或獲得指定數(shù)量的變量個(gè)數(shù)。利用R2評(píng)分進(jìn)行特征重要性的選擇,它可以描述回歸模型對(duì)因變量隨輸入變量變化的解釋程度,其計(jì)算公式為

表1 模型結(jié)構(gòu)參數(shù)Table 1 Model structural parameters

圖3 CNN-RF網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 CNN-RF network structure diagram

(2)

SVR模型的參數(shù)是利用網(wǎng)格搜索進(jìn)行優(yōu)化進(jìn)而選擇了徑向基函數(shù)(radial basis function),懲罰函數(shù)C和核函數(shù)參數(shù)Gamma。CART算法中的參數(shù)設(shè)置由學(xué)習(xí)曲線和網(wǎng)格參數(shù)進(jìn)行調(diào)節(jié)。各預(yù)測(cè)模型的參數(shù)設(shè)置情況如表2所示。

表2 其他參數(shù)模型Table 2 Other prediction model parameters

CNN-RF算法的具體步驟如下。

(1)批量讀取預(yù)處理之后的光譜數(shù)據(jù),輸入到CNN特征提取網(wǎng)絡(luò)中。

(2)用一定大小的卷積核以固定步長(zhǎng)讀取整個(gè)“偽二維光譜圖像”,將第一次卷積層得到的“偽二維光譜圖像”下采樣生成池化層;重復(fù)此步驟;再用池化后的二維光譜數(shù)據(jù)變?yōu)橐痪S,從而獲得訓(xùn)練樣本和測(cè)試樣本的特征向量。

(3)將CNN特征提取網(wǎng)絡(luò)生成的特征向量作為RF回歸器的輸入特征,并劃分為測(cè)試集與訓(xùn)練集;利用RF中的自助采樣法在訓(xùn)練集上采樣,對(duì)每個(gè)決策樹(shù)生成其對(duì)應(yīng)的訓(xùn)練子集,并對(duì)決策樹(shù)進(jìn)行訓(xùn)練,在每個(gè)內(nèi)部節(jié)點(diǎn)上選擇最優(yōu)屬性進(jìn)行分裂。

(4)對(duì)于測(cè)試集,用RF回歸器進(jìn)行測(cè)試,得到其中一個(gè)恒星大氣參數(shù)的預(yù)測(cè)結(jié)果。另外兩個(gè)恒星大氣參數(shù)的結(jié)果預(yù)測(cè)進(jìn)行相同操作。

3 實(shí)驗(yàn)

3.1 數(shù)據(jù)集以及預(yù)處理

本文要處理的光譜屬于一維形式(如圖4所示),其形式可以看作是一個(gè)由高達(dá)數(shù)千個(gè)屬性構(gòu)成的向量。所用的數(shù)據(jù)來(lái)自于中國(guó)科學(xué)院國(guó)家天文臺(tái)運(yùn)營(yíng)的郭守敬望遠(yuǎn)鏡(LAMOST)項(xiàng)目。從LAMOST官網(wǎng)中下載所需的一維光譜文件,該文件存儲(chǔ)方式為fits格式,同時(shí)下載對(duì)應(yīng)的星表文件。從中篩選出信噪比r波段大于等于20的數(shù)據(jù)共56 683條,隨機(jī)選擇兩萬(wàn)條作為本文實(shí)驗(yàn)數(shù)據(jù)。

圖4 一維光譜圖Fig.4 One-dimensional spectrogram

光譜數(shù)據(jù)處理過(guò)程如下。

(1)首先利用MATLAB將fits文件和星表文件進(jìn)行匹配,讀取fits文件的流量和波長(zhǎng)以及所對(duì)應(yīng)的3個(gè)恒星大氣參數(shù)。

(2)對(duì)一維光譜進(jìn)行數(shù)據(jù)預(yù)處理,包括初步篩選、插值和歸一化,將數(shù)據(jù)變成4 096個(gè)分量。歸一化處理的目的是將數(shù)據(jù)特征映射到同一尺度中,有利于網(wǎng)絡(luò)的訓(xùn)練,從而提升精度。本文選擇min-max歸一化法,也叫離差標(biāo)準(zhǔn)化,是對(duì)原始數(shù)據(jù)的線性變換,即

(3)

式(3)中:F′為標(biāo)準(zhǔn)化之后的恒星光譜流量;F為原始恒星光譜流量;Fmax和Fmin為原始恒星光譜流量的最大值和最小值,將恒星光譜流量轉(zhuǎn)化為0～1的區(qū)間,測(cè)試數(shù)據(jù)也做類(lèi)似的處理。

(3)為了能夠利用CNN來(lái)處理該一維光譜,使用文獻(xiàn)[14]所提出的S型折疊方法將一維光譜轉(zhuǎn)換成“偽二維光譜”,可以看作是一種保留一維光譜所有信息的偽圖像。將歸一化后的光譜通過(guò)“S”型折疊轉(zhuǎn)換為64×64的二維矩陣,形成“偽二維光譜圖”,如圖5所示。

(4)最后隨機(jī)選擇20 000條數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試,每次實(shí)驗(yàn)時(shí)都是隨機(jī)選擇總光譜的70%作為訓(xùn)練數(shù)據(jù),其余的30%作為測(cè)試數(shù)據(jù)。本文所選實(shí)驗(yàn)數(shù)據(jù)中三大參數(shù)本身的覆蓋區(qū)間范圍為:Teff:3822.52-8471.59 K、Logg:-0.054～4.9 dex、Fe/H:-2.473-0.757 dex。

3.2 實(shí)驗(yàn)環(huán)境

本文使用的預(yù)測(cè)模型均基于python語(yǔ)言實(shí)現(xiàn):使用pytorch深度學(xué)習(xí)框架搭建CNN-RF和CNN模型,其他對(duì)比模型是用scikit-learn庫(kù)搭建。處理器為Intel(R)Core(TM)i5-7500 CPU @2.90 GHz。系統(tǒng)類(lèi)型:Windows 10旗艦版64位。

圖5 一維光譜數(shù)據(jù)變成“偽二維光譜圖”Fig.5 One-dimensional spectral data becomes “pseudo-two-dimensional spectral map”

3.3 評(píng)價(jià)指標(biāo)

為了準(zhǔn)確評(píng)價(jià)上述模型的預(yù)測(cè)性能,引入平均絕對(duì)誤差(mean absolute error, MAE),標(biāo)準(zhǔn)差(standard deviation, SD)作為預(yù)測(cè)性能的評(píng)價(jià)指標(biāo),MAE直觀反映了預(yù)測(cè)值與實(shí)際值的偏差,其數(shù)值越小,模型的預(yù)測(cè)性能越好;SD反映回歸預(yù)測(cè)的離散程度,表達(dá)式為

(4)

(5)

3.4 實(shí)驗(yàn)結(jié)果分析

圖6～圖8所示為CNN-RF、RF、SVR、CART的回歸模型預(yù)測(cè)的有效溫度(Teff)、表面重力(Log g)、金屬豐度(Fe/H)估計(jì)值和真實(shí)值對(duì)比圖以及每個(gè)參數(shù)測(cè)量誤差的分布直方圖。4種模型的Teff、Logg、Fe/H的平均絕對(duì)誤差、標(biāo)準(zhǔn)差和R2的實(shí)驗(yàn)結(jié)果如表3所示。

(1)有效溫度(Teff)的預(yù)測(cè)結(jié)果對(duì)比圖和殘差分布直方圖:從表3可以看到CNN-RF、RF、SVR、CART的有效溫度的平均絕對(duì)誤差分別為123.65、131.95、130.49、151.04 K,CNN-RF最小。從圖6所示測(cè)量結(jié)果對(duì)比圖和誤差直方圖中,可以看到CNN-RF的預(yù)測(cè)值和真實(shí)值均勻地分布在y=x上,并且在殘差圖中可以看到CNN-RF基本上都接近零點(diǎn)中心。與對(duì)比實(shí)驗(yàn)的圖相比,有明顯的聚合性且離散程度較小,但因4種算法之間的平均絕對(duì)誤差相對(duì)較小,因此在圖中的直觀中反應(yīng)并沒(méi)有很大的差別。

表3 4種算法的MAE和SD以及R2統(tǒng)計(jì)表Table 3 MAE, SD and R2 statistics of the four algorithms

圖7 4種算法下Logg的預(yù)測(cè)值和真實(shí)值對(duì)比圖和誤差統(tǒng)計(jì)直方圖Fig.7 Comparison of predicted and true Logg values and histogram of error statistics under the four algorithms

圖8 4種算法下Fe/H的預(yù)測(cè)值和真實(shí)值對(duì)比圖和誤差統(tǒng)計(jì)直方圖Fig.8 Comparison of predicted and true Fe/H values and histogram of error statistics under the four algorithms

(2)表面重力(Logg)預(yù)測(cè)結(jié)果對(duì)比圖和殘差分布直方圖:由表3中可以看到CNN-RF、RF、SVR、CART的表面重力(Logg)的平均絕對(duì)誤差分別為0.205 5、0.244 2、0.243 2、0.269 1 dex,CNN-RF的精度最高。因?yàn)長(zhǎng)og g數(shù)據(jù)本身的分布范圍相對(duì)較小,所以整體的差別并不是很大。從圖7所示預(yù)測(cè)值和真實(shí)值對(duì)比圖和殘差分布圖的結(jié)果中可以看出,數(shù)據(jù)基本上分布在y=x附近,殘差圖分布比較緊湊,離散程度較低。

(3)金屬豐度(Fe/H)預(yù)測(cè)結(jié)果對(duì)比圖和誤差直方圖:由表3中可以看到CNN-RF、RF、SVR、CART的金屬豐度(Fe/H)的平均絕對(duì)誤差分別為0.148 6、0.175 9、0.204 4、0.202 4 dex,從圖8中可以看出,CNN-RF的結(jié)果與經(jīng)典回歸擬合算法相比,精度較高。從圖8所示預(yù)測(cè)值和真實(shí)值對(duì)比圖和殘差分布圖的結(jié)果中可以看出,RF、SVR、CART預(yù)測(cè)的表面重力均帶有不同程度的離散,并沒(méi)有均勻的分布在y=x這條直線上,效果相對(duì)較差。

由表4可以看出CNN-RF相比于RF、SVR、CART在3個(gè)參數(shù)上均有提升,從而驗(yàn)證了本文算法的有效性。另外從表3中可以看出RF在測(cè)量3個(gè)參數(shù)時(shí)的MAE相較于SVR、CART相對(duì)來(lái)說(shuō)精度較高,從側(cè)面驗(yàn)證了RF算法的優(yōu)越性,進(jìn)而表明了CNN和RF的結(jié)合在一定程度上是可行的。

最后,實(shí)驗(yàn)結(jié)果表明本文提出的CNN-RF算法在三大物理參數(shù)Teff、Logg、Fe/H的測(cè)量結(jié)果評(píng)價(jià)指標(biāo)中相對(duì)于其他3種傳統(tǒng)算法都有較大的提升,一定程度上說(shuō)明了CNN-RF算法能夠較好地應(yīng)用于恒星大氣參數(shù)的自動(dòng)測(cè)量。在模型泛化性能方面,CNN-RF的R2在Teff和Fe/H結(jié)果中最優(yōu),Logg次之,說(shuō)明本文提出的CNN-RF模型回歸預(yù)測(cè)綜合性能最優(yōu),模型的有效性及擬合能力得到驗(yàn)證。從預(yù)測(cè)值和真實(shí)值的對(duì)比圖和誤差直方圖來(lái)看, CNN-RF算法大部分?jǐn)?shù)據(jù)對(duì)比結(jié)果都均勻的分布在基準(zhǔn)線y=x上,說(shuō)明模型的擬合能力相對(duì)較好,而誤差直方圖顯示出CNN-RF的系統(tǒng)誤差相對(duì)更接近于零,從而說(shuō)明本文方法預(yù)測(cè)結(jié)果分布更為合理。

表4 精度提升百分比統(tǒng)計(jì)表Table 4 Accuracy improvement percentage statistical table

4 結(jié)論

針對(duì)恒星大氣參數(shù)自動(dòng)測(cè)量問(wèn)題的現(xiàn)實(shí)需求,利用CNN對(duì)二維圖像的優(yōu)秀特征提取能力和經(jīng)典回歸網(wǎng)絡(luò)的回歸擬合能力,提出了一種卷積神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林相結(jié)合的恒星大氣參數(shù)測(cè)量算法CNN-RF。該方法得到的預(yù)測(cè)結(jié)果擬合程度更好并且具備更小的誤差,能夠利用光譜數(shù)據(jù)準(zhǔn)確有效的對(duì)恒星大氣參數(shù)進(jìn)行測(cè)量。為了驗(yàn)證構(gòu)建CNN-RF回歸預(yù)測(cè)模型的有效性以及泛化性能,與3種經(jīng)典的機(jī)器學(xué)習(xí)算法SVR、RF、CART模型進(jìn)行了性能對(duì)比,實(shí)驗(yàn)結(jié)果驗(yàn)證了本文方法具有更高的精度,證明了本文方法能夠有效用于恒星大氣科學(xué)參數(shù)的自動(dòng)測(cè)量。