艾霖嬪,楊錦濤,徐權(quán)峰,張靜敏,杜利婷,周衛(wèi)紅,2

(1.云南民族大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院,云南 昆明 650500; 2.中國(guó)科學(xué)院 天體結(jié)構(gòu)與演化重點(diǎn)實(shí)驗(yàn)室,云南 昆明 650011)

研究天體光譜能發(fā)現(xiàn)許多對(duì)天文研究有重要的意義的信息,其中天體光譜的分類研究是天體光譜研究的重要一環(huán).但目前仍有大量的天體沒有經(jīng)過光譜觀測(cè)，郭守敬望遠(yuǎn)鏡(LAMOST)有著極高的光譜獲取率,為我國(guó)天文學(xué)研究做出了重大貢獻(xiàn).如今LAMOST光譜發(fā)布已進(jìn)入千萬量級(jí)時(shí)代,創(chuàng)下多項(xiàng)世界之最.

對(duì)于天體光譜的分類研究學(xué)者們進(jìn)行了許多的嘗試.覃冬梅等[1]利用主分量分析法來研究恒星光譜的分類,該方法的實(shí)驗(yàn)結(jié)果跟基南系統(tǒng)的恒星分類標(biāo)準(zhǔn)相差無幾,表明了該方法的有效性;張華煜[2]提出的分類模型是基于支持向量機(jī)的層次型聚類多類分類器,該模型可以有效提高分類速度;康超[3]針對(duì)M矮星的分類研究，提出殘差分布度量的方法,證實(shí)了該方法對(duì)天體光譜進(jìn)行分類的可行性;趙旭俊等[4]提出利用分類模式樹提取恒星光譜中屬性的出現(xiàn)頻率,挖掘分類的規(guī)則,表明了該方法對(duì)恒星光譜分類有較高的準(zhǔn)確率;劉忠寶等[5]為了解決數(shù)據(jù)樣本很大時(shí),支持向量機(jī)計(jì)算量大速度慢等問題,提出流形模糊雙支持向量機(jī)應(yīng)用于SDSS的恒星光譜數(shù)據(jù)集,該方法不僅大幅度減少了計(jì)算的時(shí)間,同時(shí)還能有效降低噪聲點(diǎn)以及奇異點(diǎn)的影響,提高分類精度.

隨著LAMOST、SDSS等巡天項(xiàng)目的開展,光譜數(shù)據(jù)量呈爆炸式的增長(zhǎng),我們必須尋求快速、高效、精確的分類方法來對(duì)天體光譜進(jìn)行分類.由于深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域取得了非凡的成就,學(xué)者們也開始將深度學(xué)習(xí)應(yīng)用到天體光譜分類領(lǐng)域.石超君等[6]提出基于卷積神經(jīng)網(wǎng)絡(luò)對(duì)K型和F型恒星光譜進(jìn)行分類,結(jié)果表明卷積神經(jīng)網(wǎng)絡(luò)能對(duì)K型和F型恒星光譜快速的分類篩選,訓(xùn)練的數(shù)據(jù)量與模型泛化能力,分類準(zhǔn)確率成正比;張靜敏等[7]提出基于深度信念網(wǎng)絡(luò)的LAMOST恒星光譜分類研究方法,驗(yàn)證了該模型對(duì)F、G、K這3種恒星光譜分類的有效性;王奇勛等[8]針對(duì)LAMOST光譜數(shù)據(jù)優(yōu)化了DenseNet網(wǎng)絡(luò),對(duì)恒星、星系和類星體3類天體光譜進(jìn)行分類,該優(yōu)化后的模型具有可解釋性強(qiáng)、魯棒性強(qiáng)、泛化能力強(qiáng)等優(yōu)點(diǎn), 可用于天體光譜的分類研究;許婷婷等[9]利用DBN模型對(duì)光譜數(shù)據(jù)特征的分層學(xué)習(xí)具有數(shù)據(jù)降維的特點(diǎn),基于深度學(xué)習(xí)訓(xùn)練了一個(gè)深度信念網(wǎng)絡(luò)對(duì)F、G和K 3種恒星光譜進(jìn)行分類,沒有對(duì)天體光譜進(jìn)行降維處理,直接訓(xùn)練DBN模型,最終準(zhǔn)確率為0.9303.張靜敏等[10]又提出1種基于2維傅里葉譜圖像的特征提取方法,采用短時(shí)傅里葉變換將1維光譜數(shù)據(jù)變換成2維傅里葉譜圖像,再利用深度卷積網(wǎng)絡(luò)模型對(duì)得到的2維傅里葉譜圖像進(jìn)行分類,最終的分類準(zhǔn)確率是0.929 0.

1 恒星光譜數(shù)據(jù)

恒星光譜分類方法有西奇分類、哈佛系統(tǒng)、威爾遜山系統(tǒng)、基南系統(tǒng)等,其中基南系統(tǒng)對(duì)于恒星光譜的分類得到了廣泛的應(yīng)用.它按照恒星的表面溫度從高到低對(duì)恒星光譜進(jìn)行分類,仍然使用哈佛系統(tǒng)對(duì)光譜分類的標(biāo)示,將恒星的光譜分成O、B、A、F、G、K、M 7大類.目前國(guó)際上的巡天項(xiàng)目有LAMOST、斯隆數(shù)字巡天(Sloan Digital Sky Survey，縮寫為SDSS)等,而LAMOST獲取到的光譜是所有天文望遠(yuǎn)鏡中最多的,歷經(jīng)5年,在LAMOST全體工作人員的共同努力下，LAMOST一期光譜巡天任務(wù)圓滿完成,LAMOST DR5數(shù)據(jù)集也于2017年12月31日正式發(fā)布,共發(fā)布了901萬條光譜,信噪比大于10,其中高質(zhì)量光譜數(shù)達(dá)到了777萬條.

在LAMOST中，天體光譜存儲(chǔ)形式為FITS格式，其包含許多恒星的屬性特征信息，而這些信息在某一具體問題中不一定都能用，因而在恒星光譜分類中選取其中的一個(gè)數(shù)字矩陣中的流量與波長(zhǎng)構(gòu)成光譜圖，橫坐標(biāo)為波長(zhǎng)，縱坐標(biāo)為流量.不同類別的恒星光譜,其流量、形狀、峰寬有一定的差異,即使同一波長(zhǎng)處的流量也相差很多,不同的恒星光譜波長(zhǎng)不同時(shí)流量也不同.根據(jù)這些特性,我們可以判斷出恒星光譜的類型.由于不同類型的恒星光譜在不同的波長(zhǎng)處具有各自的發(fā)射線與吸收線,從而不同類型的恒星光譜的光譜圖會(huì)有很大的差異,因此可以將恒星光譜看成是一維信號(hào),再利用一維卷積神經(jīng)網(wǎng)絡(luò)中一維卷積計(jì)算的特性，實(shí)現(xiàn)了對(duì)一維恒星光譜的自動(dòng)分類[11].

2 一維卷積神經(jīng)網(wǎng)絡(luò)

在20世紀(jì)80年代就有學(xué)者開始研究卷積神經(jīng)網(wǎng)絡(luò),此后深度學(xué)習(xí)的理論日趨成熟,以及計(jì)算機(jī)被日益改進(jìn),卷積神經(jīng)網(wǎng)絡(luò)也快速的發(fā)展.

卷積神經(jīng)網(wǎng)絡(luò)是1種前饋網(wǎng)絡(luò),是深度學(xué)習(xí)領(lǐng)域比較典型的算法.卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力可以有效的學(xué)習(xí)數(shù)據(jù)中的特征,并學(xué)會(huì)怎樣提取特征.卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于分類識(shí)別研究,其中一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)于時(shí)間序列、電信號(hào)以及音頻信號(hào)等領(lǐng)域的分析有著出色的表現(xiàn),鑒于此將一維卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于天體光譜分類的研究.

2.1 一維卷積運(yùn)算

卷積是表征函數(shù)f(x)或g(x)先進(jìn)行翻轉(zhuǎn),另一個(gè)表征函數(shù)進(jìn)行平移,它們重合部分函數(shù)值乘積對(duì)重合區(qū)間長(zhǎng)度的積分,即“循環(huán)乘積與加和”一維卷積的數(shù)學(xué)定義公式如下：

(1)

圖1 一維卷積運(yùn)算過程

2.2 一維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

卷積神經(jīng)網(wǎng)絡(luò)一般結(jié)構(gòu)包括：

1) 輸入層:通常一維卷積神經(jīng)網(wǎng)絡(luò)處理的數(shù)組類型是一維或二維的,在原始數(shù)據(jù)進(jìn)入輸入層之前會(huì)對(duì)其進(jìn)行歸一化處理;

2) 卷積層:提取輸入數(shù)據(jù)的局部特征,提取到的特征進(jìn)入池化層繼續(xù)篩選和過濾;

3) 池化層:首要的作用是降采樣,過濾掉對(duì)分類識(shí)別影響不大的特征,將數(shù)據(jù)壓縮,完成特征的降維處理,可實(shí)現(xiàn)參數(shù)數(shù)量的減少,提升網(wǎng)絡(luò)模型的計(jì)算速度,同時(shí)提高模型的容錯(cuò)性,最終獲得更有代表性的特征;

4) 全連接層:輸入數(shù)據(jù)經(jīng)過卷積層,池化層的處理,得到極具代表性的抽象化特征,由全連接層整合起來;

5) 輸出層:給出模型的預(yù)測(cè)結(jié)果,此次分類任務(wù)完成.

圖2 卷積神經(jīng)網(wǎng)絡(luò)一般結(jié)構(gòu)

圖3 卷積神經(jīng)網(wǎng)絡(luò)分類簡(jiǎn)圖

3 數(shù)據(jù)預(yù)處理及實(shí)驗(yàn)設(shè)計(jì)

3.1 數(shù)據(jù)的預(yù)處理

由于F、G、K 型恒星光譜由于溫度相近、譜線相似導(dǎo)致分類準(zhǔn)確率較低,所以文中選取 LAMOST DR5 中的F、G、K 型恒星光譜各 10 000 條,共 30 000 條,采用一維卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)其進(jìn)行分類,以提升這三類恒星光譜的分類精確率,其中訓(xùn)練數(shù)據(jù)集為 27 000 條, 測(cè)試數(shù)據(jù)集為 3 000 條,每條光譜數(shù)據(jù)的波長(zhǎng)范圍是370～910 nm.

為了后續(xù)實(shí)驗(yàn)方便,將用于實(shí)驗(yàn)的光譜數(shù)據(jù)調(diào)整為相同的維度,3 909 維.其次光譜原始數(shù)據(jù)在波長(zhǎng)不同時(shí)流量會(huì)有很大的差異,對(duì)數(shù)據(jù)進(jìn)行了歸一化處理,使流量值處于同一數(shù)量級(jí),這個(gè)操作可加快網(wǎng)絡(luò)模型的收斂性,有利于數(shù)據(jù)分析.

圖4 原始F5型、G5型、K5型光譜數(shù)據(jù)

圖5 歸一化后的F5型、G5型、K5型光譜數(shù)據(jù)

文中使用min-max歸一化, 對(duì)原數(shù)據(jù)進(jìn)行了等比例縮放, 公式如下：

(2)

其中xnorm表示歸一化后的數(shù)據(jù)，x為原始的光譜數(shù)據(jù),xmax表示每條原始光譜數(shù)據(jù)的最大流量值,xmin表示每條原始光譜數(shù)據(jù)的最小流量.

3.2 實(shí)驗(yàn)設(shè)計(jì)

文中的一維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)包括1個(gè)輸入層,7個(gè)卷積層和池化層,1個(gè)Dropout層,2個(gè)Dense層,1個(gè)輸出層.其中卷積的步長(zhǎng)設(shè)置為1,每層濾波器的大小都設(shè)置為3,濾波器的個(gè)數(shù)每層依次遞增10，即第1層卷積濾波器的個(gè)數(shù)為10,到第7層濾波器的個(gè)數(shù)為70, 本實(shí)驗(yàn)在每一層卷積層的后面都添加了池化層,采用的是最大池化,窗口為 1×2, 網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示.

圖6 一維卷積網(wǎng)絡(luò)結(jié)構(gòu)

為解決深層神經(jīng)網(wǎng)絡(luò)的梯度爆炸和梯度消失問題,減少輸出的復(fù)雜度和防止數(shù)據(jù)的過擬合,在卷積之后使用修正線性單元ReLU函數(shù),其函數(shù)如下：

ReLU(x)=max(0,x)

(3)

其中x為神經(jīng)元的輸入,當(dāng)x>0時(shí),梯度為1,解決了梯度消失的問題,加快收斂速度的同時(shí)增大了網(wǎng)絡(luò)的魯棒性;當(dāng)x<0 時(shí),該層的輸出為0,當(dāng)訓(xùn)練結(jié)束時(shí)真正對(duì)分類效果有影響的神經(jīng)元越少網(wǎng)絡(luò)的稀疏性越大,提取到的特征對(duì)于分類效果的影響就越強(qiáng),優(yōu)化了計(jì)算的過程使得網(wǎng)絡(luò)模型的計(jì)算代價(jià)大大降低.

本實(shí)驗(yàn)在全連接層中加入了Dropout層,目的是防止出現(xiàn)過擬合,減少計(jì)算時(shí)間.交叉驗(yàn)證表明,Dropout率為0.5的時(shí)候,能隨機(jī)生成最多的網(wǎng)絡(luò)結(jié)構(gòu),網(wǎng)絡(luò)模型效果最佳[12].

圖7 標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)、應(yīng)用Dropout層后的神經(jīng)網(wǎng)絡(luò)

按照Dropout率隨機(jī)令一定比例的神經(jīng)元暫時(shí)等于零,這樣能實(shí)現(xiàn)神經(jīng)元的總個(gè)數(shù)不會(huì)減少的同時(shí),增加網(wǎng)絡(luò)的魯棒性.參數(shù)被傳遞到下一次迭代中,進(jìn)行新一輪的隨機(jī)丟棄,一直到訓(xùn)練完成為止.

4 實(shí)驗(yàn)結(jié)果與分析

將 3 000 條測(cè)試數(shù)據(jù),用于訓(xùn)練好的一維卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行測(cè)試,得到F型、G型、K型光譜在測(cè)試集上的混淆矩陣.可以看出在對(duì)F型光譜進(jìn)行分類預(yù)測(cè)時(shí),有5條被分類為G型光譜,有一條被分類為K型光譜; 在對(duì)G型光譜進(jìn)行分類預(yù)測(cè)時(shí),有10條被分類為F型光譜,有2條被分類為K型光譜; 在對(duì)K型光譜進(jìn)行分類預(yù)測(cè)時(shí),沒有光譜被分類為F型光譜,有35條被分類為G型光譜.在這3類恒星光譜中F型光譜和G型光譜相似性更高,混淆矩陣如表1：

表1 混淆矩陣

根據(jù)混淆矩陣可得到F型、G型、K型光譜的分類精確率、準(zhǔn)確率、召回率以及F1分?jǐn)?shù),如表2所示：

表2 各類分類效果及平均分類效果

由表2可以看出一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)恒星光譜進(jìn)行分類預(yù)測(cè)時(shí)有著極強(qiáng)的泛化能力和魯棒性，平均分類精確率為 0.982 2,準(zhǔn)確率為 0.988 2,召回率為 0.982 4,F1分?jǐn)?shù)為 0.982 1.其中F型恒星光譜特征最明顯分類效果最好,精確率、準(zhǔn)確率、召回率以及F1分?jǐn)?shù)都在0.99以上.

鑒于本文使用的數(shù)據(jù)集來源以及實(shí)驗(yàn)數(shù)據(jù)大小與文獻(xiàn)[9]～[10]相同,將本文方法所獲得的結(jié)果與DBN和Inception v3方法獲得的結(jié)果做對(duì)比,如表3所示：

表3 DBN、Inception v3與本文使用方法的對(duì)比

由表3可以看出,采用3種不同的方法對(duì)恒星光譜進(jìn)行分類研究,本文使用的方法效果更好,花費(fèi)時(shí)間更少.表明了一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)于恒星光譜分類的泛化能力強(qiáng),分類準(zhǔn)確率高,計(jì)算成本更小. DBN、Inception v3方法對(duì)于恒星光譜的分類可能存在以下問題:

1) 許婷婷等[9]利用DBN模型對(duì)光譜數(shù)據(jù)特征的分層學(xué)習(xí)具有數(shù)據(jù)降維的特點(diǎn),基于深度學(xué)習(xí)訓(xùn)練了一個(gè)深度信念網(wǎng)絡(luò)對(duì)F、G和K 3種恒星光譜進(jìn)行分類,沒有對(duì)恒星光譜進(jìn)行降維處理,直接訓(xùn)練DBN模型.但該分類模型可能不能很好的找出數(shù)據(jù)的聯(lián)合概率分布, 未能獲取潛藏在數(shù)據(jù)中的高層信息導(dǎo)致分類精度不高,且該模型的時(shí)間復(fù)雜度明顯增加.

2) 張靜敏等[10]采用短時(shí)傅里葉變換將1維光譜數(shù)據(jù)變換成2維傅里葉譜圖像,再利用Inception v3網(wǎng)絡(luò)模型對(duì)得到的2維傅里葉譜圖像進(jìn)行分類.但將1維光譜數(shù)據(jù)變換成2維傅里葉譜圖像的過程中可能造成原始光譜特征信息的丟失;其次新生成的2維傅里葉譜圖像特征分布并不明顯,深度卷積網(wǎng)絡(luò)模型可能不能很好的對(duì)新生成的圖像進(jìn)行分類;最后將1維光譜數(shù)據(jù)變換成2維傅里葉譜圖像,導(dǎo)致分類模型的時(shí)間復(fù)雜度也明顯增加.

本文鑒于一維卷積神經(jīng)網(wǎng)絡(luò)可以很好地分析具有固定長(zhǎng)度周期的信號(hào)數(shù)據(jù),將其應(yīng)用于F5、G5、K5型恒星光譜的分類研究,通過實(shí)驗(yàn)可以看出:

1) 一維卷積神經(jīng)網(wǎng)絡(luò)有很強(qiáng)的泛化能力以及魯棒性,能有效應(yīng)用于恒星光譜的分類研究中;

2) 一維卷積神經(jīng)網(wǎng)絡(luò)用于恒星光譜的分類研究能有效降低計(jì)算代價(jià);

3) 直接對(duì)光譜數(shù)據(jù)進(jìn)行一維卷積處理,有效降低了將光譜數(shù)據(jù)進(jìn)行變換處理,再應(yīng)用于傳統(tǒng)二維卷積神經(jīng)網(wǎng)絡(luò)的特征損失,進(jìn)而提高分類準(zhǔn)確率.

5 結(jié)語

為了提高F、G、K型恒星光譜的分類可信度,本文將一維卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于這3種恒星光譜的分類識(shí)別研究中,平均精確率達(dá)到 0.982 2,平均準(zhǔn)確率達(dá)到 0.988 2,平均召回率達(dá)到 0.982 4,平均F1分?jǐn)?shù)達(dá)到 0.982 1,相對(duì)于其他的方法有了較大的提升.表明了一維卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)于恒星光譜數(shù)據(jù)分類具有很強(qiáng)的泛化能力.將本文方法與DBN以及Inception v3方法的實(shí)驗(yàn)結(jié)果對(duì)比發(fā)現(xiàn)一維卷積神經(jīng)網(wǎng)絡(luò)模型對(duì)恒星光譜分類的效果更好.但用于實(shí)驗(yàn)的數(shù)據(jù)量較少,在接下來的工作中,會(huì)選取更多的光譜數(shù)據(jù)來進(jìn)行實(shí)驗(yàn),與本文實(shí)驗(yàn)以及其他方法進(jìn)行對(duì)比分析,希望進(jìn)一步提高F、G、K型恒星光譜的分類可信度.并且也會(huì)繼續(xù)將一維卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于分類精度較低的光譜，以驗(yàn)證一維卷積神經(jīng)網(wǎng)絡(luò)對(duì)于低精度恒星光譜分類的有效性,為人類探索宇宙的奧秘盡一份綿薄之力.