楊五谷，田衛(wèi)新,*，曾曙光，黃 瑤

(1. 湖北省農(nóng)田環(huán)境監(jiān)測工程技術(shù)研究中心，湖北 宜昌 443002；2. 三峽大學(xué)天文與空間科學(xué)研究中心，湖北 宜昌 443002；3.三峽大學(xué)計(jì)算機(jī)與信息學(xué)院，湖北 宜昌 443002)

太陽耀斑[1-2]是由太陽突然釋放磁場能量造成的。長期觀測發(fā)現(xiàn)，大多數(shù)耀斑發(fā)生在黑子群的上空，且黑子群的磁場極性越復(fù)雜，發(fā)生大耀斑的幾率越高。因此，黑子群的磁類型可以作為預(yù)測太陽耀斑的重要依據(jù)。典型的黑子群分類方法可以分為基于圖像學(xué)的邊緣檢測法、數(shù)學(xué)形態(tài)法和小波分析法，以及基于數(shù)據(jù)驅(qū)動的機(jī)器學(xué)習(xí)方法。近年來隨著觀測條件的進(jìn)步，與太陽活動有關(guān)的數(shù)據(jù)迅速增長，基于機(jī)器學(xué)習(xí)方法的優(yōu)勢越來越顯著[3]。

2008年，文[4]采用McIntosh分類方法，提出了一種混合系統(tǒng)。該系統(tǒng)使用從太陽和日光層天文臺/邁克爾遜多普勒成像儀(Solar & Heliospheric Observatory/Michelson Doppler Imager, SOHO/MDI)磁圖中提取的活動區(qū)域數(shù)據(jù)，對白光圖上的黑子群進(jìn)行自動檢測，從白光圖中檢測到黑子后，使用磁圖對它們進(jìn)行分組/聚類，通過集成圖像處理和神經(jīng)網(wǎng)絡(luò)自動對檢測到的黑子組分類，系統(tǒng)存在分組錯誤和小型黑子漏檢的缺陷。

2010年，文[5]采用改良后的7類Zurich分類方案，使用支持向量機(jī)(Support Vector Machine, SVM)實(shí)現(xiàn)對太陽全日面白光圖上黑子群的自動分類。在數(shù)據(jù)預(yù)處理階段使用邊緣檢測、噪聲去除以及二值化分割黑子群和日面，之后對黑子群進(jìn)行無監(jiān)督分割，將屬于同一組的黑子合并，然后提取每個黑子組的屬性，最后使用支持向量機(jī)進(jìn)行分類。該方法精度對圖片質(zhì)量和失真程度有所要求，且分割過程對結(jié)果輸出的速率有較大影響。

2019年，文[6]使用卷積神經(jīng)網(wǎng)絡(luò)對黑子群的磁類型進(jìn)行分類，在數(shù)據(jù)預(yù)處理階段將圖像分為白光圖、磁圖以及兩者的合成圖，采用卷積神經(jīng)網(wǎng)絡(luò)對3類圖像進(jìn)行分類，結(jié)果顯示單獨(dú)使用白光圖的分類效果最佳。文[6]認(rèn)為，磁圖結(jié)構(gòu)相對白光更為復(fù)雜，使用卷積神經(jīng)網(wǎng)絡(luò)不能準(zhǔn)確地提取特征，是造成磁圖分類不佳的主要原因之一。

雙流卷積神經(jīng)網(wǎng)絡(luò)可以融合對象不同維度的特征，為分類任務(wù)提供更多的特征信息。在動作識別領(lǐng)域，雙流卷積神經(jīng)網(wǎng)絡(luò)一個分支用于提取視頻中某一幀的空間信息，另一個分支用于提取光流圖的時間信息，融合之后進(jìn)行動作識別。該方法識別打斗行為的平均識別率可以達(dá)到89.3%，高于單一分支情況[7]。

威爾遜山(Mount Wilson)方案判斷黑子群磁類型需要用到不同維度的特征信息，首先通過白光圖觀察黑子群結(jié)構(gòu)，然后查看對應(yīng)磁圖的磁極分布，最后將兩者結(jié)合起來確定黑子群的磁類型。鑒于威爾遜山方案的特點(diǎn)，本文將雙流卷積神經(jīng)網(wǎng)絡(luò)用于黑子群磁類型分類，一個分支用于提取白光圖特征，另一個分支用于提取磁圖特征，不同類型的特征在全連接層進(jìn)行融合。分類結(jié)果顯示，雙流卷積神經(jīng)網(wǎng)絡(luò)對黑子群磁類型的分類準(zhǔn)確率高于卷積神經(jīng)網(wǎng)絡(luò)對單一白光圖或磁圖的分類。

1 數(shù)據(jù)集與預(yù)處理

本文使用的數(shù)據(jù)集為SOLAR-STORM1[8]，它由空間環(huán)境人工智能預(yù)警創(chuàng)新工坊整理提供，可以在天池實(shí)驗(yàn)室(https://tianchi.aliyun.com/dataset/)公開下載。該數(shù)據(jù)集基于威爾遜山黑子群磁類型分類方案，分為白光圖和磁圖兩部分，由于同一時刻的同一觀測對象有白光圖和磁圖兩類圖像，所以兩者是一一對應(yīng)的，每個白光圖部分或磁圖部分含Alpha，Beta和Betax 3個類型。

我們將Alpha，Beta和Betax中6205號、6207號和6206號之后的劃歸至測試集，其余作為訓(xùn)練集，具體分布情況如表1。

原始數(shù)據(jù)集是FITS(Flexible Image Transport System)格式，其中白光圖像素范圍為[200, 74 000]，磁圖像素范圍為[-5 000, 5 000]。我們將白光圖值域壓縮至[0, 255]轉(zhuǎn)換為JPEG(Joint Photographic Experts Group)格式，將磁圖[-800, 800]內(nèi)的像素壓縮至[0, 255]以加強(qiáng)特征。圖1分別為Alpha，Beta和Betax的白光圖和磁圖。從圖1可以看出，Alpha類為單極黑子群，Beta類為極性相反的雙極黑子群，Betax類為復(fù)雜的多極黑子群。

表1 數(shù)據(jù)集分布情況Table 1 Data set distribution

圖1 Alpha，Beta和Betax的白光圖和磁圖Fig.1 Continuum and magnetogram of Alpha, Beta and Betax

由于拍攝太陽黑子的時間間隔為96 min，短時間內(nèi)黑子群演化并不明顯，導(dǎo)致一定時段內(nèi)，觀測對象的圖像之間相似度很高。如圖2，Beta類中26號在一天內(nèi)不同時刻拍攝的白光圖和磁圖幾乎看不出變化。

為了避免數(shù)據(jù)切分時訓(xùn)練集和驗(yàn)證集有相似圖像，造成準(zhǔn)確率虛高，我們將數(shù)據(jù)按對象進(jìn)行子類歸集，之后按對象劃分訓(xùn)練集和驗(yàn)證集并以十折交叉驗(yàn)證的方式訓(xùn)練和測試。

圖2 26號對象不同時刻的白光圖和磁圖Fig.2 Continuum and magnetogram of object 26 at different times

2 實(shí)驗(yàn)方案

2.1 雙流卷積神經(jīng)網(wǎng)絡(luò)分類方法

本文首先建立兩條不同的卷積神經(jīng)網(wǎng)絡(luò)，以殘差網(wǎng)絡(luò)50(Residual Network 50, ResNet50)為骨干網(wǎng)；接著將白光圖和磁圖分別輸入，由于圖像從不同分支進(jìn)入，所以卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重不存在共享。兩類圖經(jīng)過網(wǎng)絡(luò)提取特征后形成特征向量，然后將特征向量進(jìn)行拼接，之后進(jìn)入全連接層，以Softmax進(jìn)行分類。網(wǎng)絡(luò)結(jié)構(gòu)如圖3。

圖3 雙流卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.3 Structure diagram of dual-stream CNN

2.1.1 ResNet

ResNet由文[9]為解決深層網(wǎng)絡(luò)的退化現(xiàn)象提出，基本思想是在ResNet單元內(nèi)設(shè)置跳躍鏈接，這樣原始信息能夠直接傳遞至后面的層。常見的ResNet網(wǎng)絡(luò)層數(shù)有18,34,50和101等。ResNet基本結(jié)構(gòu)如圖4，其中，x為輸入；f(x)為映射函數(shù)；H(x)為輸出。

由ResNet模塊可知，f(x)=H(x)-x，即ResNet模塊學(xué)習(xí)的是輸入和輸出之間的差值。當(dāng)網(wǎng)絡(luò)到達(dá)某層為最優(yōu)狀態(tài)時，卷積神經(jīng)網(wǎng)絡(luò)需要進(jìn)一步更新權(quán)重，而ResNet模塊只需做恒等映射，避免了網(wǎng)絡(luò)退化。

2.1.2 防止過擬合的措施

為了避免模型過擬合，實(shí)驗(yàn)中進(jìn)行了數(shù)據(jù)增強(qiáng)，添加Dropout，L2和標(biāo)簽平滑3種正則化方法。數(shù)據(jù)增強(qiáng)使用旋轉(zhuǎn)、水平鏡像、放縮來豐富數(shù)據(jù)分布，以提高模型的泛化能力。

Dropout值設(shè)為0.5，即隨機(jī)設(shè)定特征向量中的一半為0，本質(zhì)是在該層引入噪聲，避免因?yàn)槟承┎伙@著的偶然性獲得正確的結(jié)果。

L2正則化可以強(qiáng)制使權(quán)重參數(shù)取較小的值，以防止過擬合，實(shí)現(xiàn)方法是在損失函數(shù)(Loss)中添加權(quán)重系數(shù)的平方。交叉熵?fù)p失函數(shù)為

(1)

其中，n為樣本總量；i為類別序數(shù)；q為樣本實(shí)際標(biāo)簽；p為樣本預(yù)測標(biāo)簽。添加L2正則化后

(2)

其中，λ為正則化參數(shù)，設(shè)為0.001；w為權(quán)重。

圖4 ResNet模塊Fig.4 ResNet module

由(2)式可知，如果權(quán)重值變大，損失函數(shù)值就會增大，所以為了降低損失函數(shù)值，模型會逐步調(diào)低w的值，這樣即使輸入值差異很大，模型的預(yù)測變化也不會很大。

標(biāo)簽平滑調(diào)整(1)式的q，當(dāng)樣本標(biāo)簽轉(zhuǎn)換為獨(dú)熱編碼的形式后，真值為1，其他為0，而由Softmax計(jì)算得到的p在訓(xùn)練過程中需逐步逼近q，Softmax計(jì)算公式為

(3)

其中，i為類別序數(shù)；j為類別總數(shù)。通過(3)式的計(jì)算，模型的輸出變?yōu)楦怕史植?，再結(jié)合(2)式可知，由于樣本標(biāo)簽非0即1，分類正確時的損失函數(shù)值趨近0，分類錯誤時的損失函數(shù)值趨近-∞。這種激勵懲罰機(jī)制過于極端，只適用于數(shù)據(jù)集能夠覆蓋所有可能性或數(shù)據(jù)集標(biāo)注完全正確的情況。為了緩和這種極端的激勵懲罰機(jī)制，標(biāo)簽獨(dú)熱編碼的形式改為

(4)

其中，ε為超參數(shù)，設(shè)為0.1；k為類別標(biāo)簽；y為樣本真實(shí)標(biāo)簽。由(4)式可知，由于拉近了類間距離，減小類內(nèi)距離，模型的泛化能力得到進(jìn)一步提高。

2.2 實(shí)驗(yàn)對比組方法

為了形成實(shí)驗(yàn)對比，另設(shè)ResNet50和文[6]使用的卷積神經(jīng)網(wǎng)絡(luò)模型，所有模型除網(wǎng)絡(luò)結(jié)構(gòu)外數(shù)據(jù)劃分、超參數(shù)、防過擬合措施等均采用相同配置。本文采用的卷積神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖5。該結(jié)構(gòu)具有3個卷積層，卷積核尺寸均為5 × 5，每層卷積核數(shù)量均為上一層的兩倍，以達(dá)到提取圖像特征的目的，特征提取后形成特征向量輸入全連接層，隨后以Softmax分類器進(jìn)行分類。輸入層將白光圖、磁圖以及兩者構(gòu)成的雙通道圖分別輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終獲得7組數(shù)據(jù)。

圖5 對比組采用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 CNN structure diagram used by the comparison group

2.3 模型評價指標(biāo)

實(shí)驗(yàn)以各模型的準(zhǔn)確率(Accuracy)、精確率(Precision)、召回率(Recall)、F1分?jǐn)?shù)(F1-score)和混淆矩陣評估模型的分類性能。以Alpha為例，上述指標(biāo)計(jì)算公式為

(5)

(6)

(7)

(8)

其中，TA是正確將Alpha類識別為Alpha類；TB是正確將Beta類識別為Beta類；TX是正確將Betax類識別為Betax類；AB是錯誤將Alpha類識別為Beta類；AX是錯誤將Alpha類識別為Betax類；BA是錯誤將Beta類識別為Alpha類；BX是錯誤將Beta類識別為Betax類；XA是錯誤將Betax類識別為Alpha類；XB是錯誤將Betax類識別為Beta類。3類別的混淆矩陣如表2。

3 實(shí)驗(yàn)結(jié)果與分析

由于實(shí)驗(yàn)采用十折交叉驗(yàn)證，實(shí)驗(yàn)中用StratifiedKFold將訓(xùn)練集切分為10份，每次選1份作為驗(yàn)證集，其余的作為訓(xùn)練集，最后統(tǒng)計(jì)模型在測試集的分類情況。評價指標(biāo)取加權(quán)均值，混淆矩陣按模型對應(yīng)的混淆矩陣的和計(jì)算。各模型實(shí)驗(yàn)結(jié)果如表3。

表2 3種類別的混淆矩陣Table 2 Confusion matrix of three classes

表3 各模型實(shí)驗(yàn)結(jié)果Table 3 Experimental results of each model

從表3可以看出，雙流ResNet50的各項(xiàng)指標(biāo)都最高，即使有映射尋優(yōu)能力的ResNet50，在缺失部分?jǐn)?shù)據(jù)的情況下也不及雙流ResNet50。這表明對同一測試集，雙流ResNet50有更好的分類能力。

由于實(shí)驗(yàn)測試集類別不平衡，模型指標(biāo)以加權(quán)F1分?jǐn)?shù)為主要參考，其他指標(biāo)為輔助參考。通過對比相同數(shù)據(jù)源、不同模型之間的實(shí)驗(yàn)結(jié)果可知，ResNet50的F1分?jǐn)?shù)相比卷積神經(jīng)網(wǎng)絡(luò)有較大提高，當(dāng)數(shù)據(jù)為白光圖、磁圖、雙通道圖時，加權(quán)F1分?jǐn)?shù)提高了6.41%，9.41%和7.97%，準(zhǔn)確率提高了6.48%，9.29%和7.71%。這表明ResNet50的特征提取能力比卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)，能夠提取更有用的特征。

通過對比相同模型、不同數(shù)據(jù)源之間的實(shí)驗(yàn)結(jié)果可知，當(dāng)模型使用卷積神經(jīng)網(wǎng)絡(luò)時，白光圖F1分?jǐn)?shù)最高，雙通道圖次之，磁圖最低；當(dāng)模型使用ResNet50時，磁圖F1分?jǐn)?shù)最高，雙通道圖次之，白光圖最低。在不同模型下白光圖和磁圖呈現(xiàn)不同的分類優(yōu)勢，可能的原因是卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)簡單、深度較淺，ResNet50架構(gòu)復(fù)雜、深度較深，而白光圖結(jié)構(gòu)簡單，磁圖結(jié)構(gòu)復(fù)雜，所以當(dāng)磁圖進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)后，卷積神經(jīng)網(wǎng)絡(luò)不能提取有利于分類的特征；當(dāng)白光圖進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)后，所提取的特征相較于磁圖對分類更有利。而ResNet50的分類能力較卷積神經(jīng)網(wǎng)絡(luò)更強(qiáng)，所以當(dāng)磁圖進(jìn)入ResNet50時，其復(fù)雜的結(jié)構(gòu)得以提供更多有利于分類的信息；當(dāng)白光圖進(jìn)入ResNet50時，由于結(jié)構(gòu)簡單，提供給分類的信息相對于磁圖較少。

由于ResNet50分類較強(qiáng)，比較ResNet50和雙流ResNet50的實(shí)驗(yàn)結(jié)果可知，使用雙通道圖的模型的分類能力相比磁圖模型有所下降，這說明白光圖和磁圖形成的雙通道圖輸入模型后，互相之間有影響，對形成分類所需的特征向量有負(fù)面作用。最后以使用磁圖的ResNet50為基線，對比雙通道圖ResNet50和雙流ResNet50的實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)，兩者都有白光圖的加入，但使用雙通道圖的模型F1分?jǐn)?shù)下降，雙流ResNet50的F1分?jǐn)?shù)上升，說明雙流ResNet50在使用數(shù)據(jù)的總和及提取數(shù)據(jù)特征方面相對其他模型更有優(yōu)勢。

根據(jù)文[6]的結(jié)果可知，模型使用白光圖、磁圖和雙通道圖的F1分?jǐn)?shù)分別為94.20%，87.22%和88.61%，結(jié)果均優(yōu)于雙流ResNet50。造成這種情況的可能原因有：(1)數(shù)據(jù)質(zhì)量有差異，文[6]采用的數(shù)據(jù)集是在太陽盤中心±75°經(jīng)度以內(nèi)且背景噪聲較小的黑子群圖像，而SOLAR-STORM1數(shù)據(jù)集中存在部分臨邊的黑子群和噪聲大的圖像。(2)數(shù)據(jù)集的切分方式不同，文[6]采用隨機(jī)切分方式，同一黑子群在短時間內(nèi)演化不明顯時，可能導(dǎo)致訓(xùn)練集和測試集中存在相似度較高的圖像。本文按照黑子群對象切分，同一黑子群的圖像不會在訓(xùn)練集和測試集同時出現(xiàn)。(3)訓(xùn)練方式不同，文[6]對數(shù)據(jù)集做一次切分，本文采用十折交叉驗(yàn)證計(jì)算平均值。

雙流ResNet50的混淆矩陣見表4。從表4可以看出，Alpha和Betax誤判為Beta的幾率較高，Beta誤判為Alpha的幾率相比誤判為Betax的幾率高出一倍。

表4 雙流ResNet50的混淆矩陣Table 4 Confusion matrix of dual-stream ResNet50

以Alpha類7169號對象為例，如圖6，該對象在10月27日和29日顯示為一個單極黑子群，此時模型分類正確，而在28日黑子群右上方，出現(xiàn)了另一個黑子，該黑子特征被模型提取后，整幅圖分類為Beta。所以演化過程中短暫性出現(xiàn)的黑子可能是模型誤判的原因之一。

以Beta類6242號對象為例，如圖7。初期黑子群雙極清晰，但在演化過程中右方黑子逐漸消散，而左方黑子依舊存在，所以當(dāng)末期黑子群的圖像進(jìn)入模型后容易誤判為Alpha。這種由于演化形成了模糊的類型特征可能是模型分類精度不佳的主要原因之一。

圖6 7169號對象2017年10月的白光圖和磁圖Fig.6 Continuum and magnetogram of object 7169 in Oct. 2017

圖7 6242號對象初期和末期的白光圖和磁圖Fig.7 Continuum and magnetogram of the early and late stages of object 6242

另以Betax類6975號對象為例，如圖8。該對象末期逐漸向日面邊緣靠近，由于投影效應(yīng)和臨邊昏暗效應(yīng)，黑子群白光圖特征模糊，磁場測量的精度下降。所以當(dāng)黑子群接近日面邊緣時，圖像質(zhì)量降低可能也是模型分類精度不佳的原因。

圖8 6975號對象末期的白光圖和磁圖Fig.8 Continuum and magnetogram of the late stages of object 6975

SOLAR-STORM1數(shù)據(jù)集為FITS格式，文件大小為7 GB，體積較大，讀取速度較慢，轉(zhuǎn)換為JPG格式后，文件大小為600 M，讀取速度較快，并且保留了黑子群的特征，所以在實(shí)驗(yàn)中采用轉(zhuǎn)換為JPG格式的數(shù)據(jù)集。

4 結(jié) 論

本文針對SOLAR-STORM1數(shù)據(jù)集的特點(diǎn)，采用雙流卷積神經(jīng)網(wǎng)絡(luò)方法開展黑子群磁類型分類研究，并與其他方法進(jìn)行了對比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，雙流卷積神經(jīng)網(wǎng)絡(luò)對黑子群磁類型分類效果更好。與使用單通道的方法相比，雙流卷積神經(jīng)網(wǎng)絡(luò)避免僅使用一種圖像造成的數(shù)據(jù)缺失，實(shí)現(xiàn)了數(shù)據(jù)利用最大化；與使用雙通道的方法相比，雙流卷積神經(jīng)網(wǎng)絡(luò)避免圖像特征提取過程中，白光圖和磁圖的互相影響。在相同數(shù)據(jù)源的情況下，深層模型的特征提取能力比淺層模型要強(qiáng)。在算法特征提取能力強(qiáng)的情況下，僅使用磁圖比僅使用白光圖的分類精度要高，而使用雙通道圖像的精度介于兩者之間。

盡管雙流卷積神經(jīng)網(wǎng)絡(luò)表現(xiàn)了較好的分類性能，但由于部分對象在演化過程中特征逐漸消散，部分圖像有臨邊昏暗現(xiàn)象，雙流卷積神經(jīng)網(wǎng)絡(luò)出現(xiàn)誤判情況。接下來的工作將針對這兩方面的原因?qū)﹄p流卷積神經(jīng)網(wǎng)絡(luò)做進(jìn)一步的優(yōu)化。