何發(fā)山

(華中科技大學(xué) 人工智能與自動(dòng)化學(xué)院， 湖北 武漢 430070)

不孕和亞生育在全球范圍內(nèi)影響著很大一部分人.根據(jù)世界衛(wèi)生組織(WHO)的估計(jì)，穩(wěn)定關(guān)系中超過(guò)五年或以上10%的女性會(huì)遭遇不孕.由于不孕的增多和晚婚晚育的流行，估計(jì)不孕治療的需求在亞太地區(qū)增速最快.一般被選用IVF移植的胚胎是由胚胎專家目測(cè)形態(tài)良好的個(gè)體，這個(gè)方法存在主觀性的缺點(diǎn)，不同胚胎學(xué)家間的評(píng)價(jià)結(jié)論區(qū)別很大，在某些情況下可能無(wú)法準(zhǔn)確預(yù)測(cè)胚胎的活產(chǎn)潛力.近年來(lái)，通過(guò)深度學(xué)習(xí)方法對(duì)囊胚篩選分級(jí)，選擇最好的囊胚能使嬰兒出生的成功率提高25%，并最大限度地降低多胎妊娠的風(fēng)險(xiǎn). Khan等[1]提出了一個(gè)方法用于自動(dòng)計(jì)數(shù)正在發(fā)育的人類胚胎中的細(xì)胞數(shù)量.該方法采用了深度卷積神經(jīng)網(wǎng)絡(luò)模型，并用條件隨機(jī)場(chǎng)(CRF)平滑CNN的結(jié)果，該模型經(jīng)過(guò)訓(xùn)練可以對(duì)來(lái)自原始顯微鏡圖像的細(xì)胞進(jìn)行計(jì)數(shù)，并在含有265個(gè)人類胚胎的數(shù)據(jù)集上證明了方法的有效性.結(jié)果表明，提出的框架能對(duì)發(fā)育中的胚胎直至5細(xì)胞階段的細(xì)胞數(shù)量進(jìn)行可靠估計(jì)，準(zhǔn)確率達(dá)到平均90%以上，Chen等[2]提出了一種遷移學(xué)習(xí)深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)，應(yīng)用于定位胎兒腹部標(biāo)準(zhǔn)平面(FASP).相較于之前的使用低級(jí)特征的算法，此辦法可以描繪FASP的繁復(fù)外表，進(jìn)而達(dá)到比較好的分類表現(xiàn).充足的實(shí)驗(yàn)證明，該方法比訓(xùn)練數(shù)據(jù)不足條件下訓(xùn)練的CNN網(wǎng)絡(luò)更好.

本研究采用一種基于模型遷移的方法，預(yù)訓(xùn)練模型包括InceptionV3、VGG19及ResNet50，這三個(gè)模型均經(jīng)過(guò)ImageNet圖像訓(xùn)練，用微調(diào)的方法將它們?cè)贗VF胚胎圖像樣本量不足的條件下進(jìn)行遷移再訓(xùn)練，并通過(guò)實(shí)驗(yàn)比較模型的優(yōu)劣，分析不同條件下的模型表現(xiàn).

1 卷積網(wǎng)絡(luò)和遷移學(xué)習(xí)

1.1 卷積神經(jīng)網(wǎng)絡(luò)

一般圖像識(shí)別方法中，大部分靠人為開(kāi)發(fā)的提取器抽取特征，必須具備專業(yè)知識(shí)及繁瑣的調(diào)試改進(jìn)，另外，每個(gè)算法均局限于具體應(yīng)用，通用性和可靠性差.數(shù)據(jù)科學(xué)家們?cè)O(shè)計(jì)了許多不同的特征和分類器，其中，較典型的特征有 SIFT(Scale-Invariant Feature Transform，SIFT)[3]、Haar[4]、HOG(Histogram of Oriented Gradient,HOG)[5]等.具有代表意義的分類器有 AdaBoost[6]、SVM(Support Vector Machine,SVM)[7]、RF(Random Forest,RF)[8]等.支持向量機(jī)(SVM)經(jīng)過(guò)多年的研究雖然性能不斷提升，但依然難以高效處理圖像的特征，從而得到令人滿意的準(zhǔn)確率.

卷積神經(jīng)網(wǎng)絡(luò)是生物學(xué)家休博爾及維瑟爾在初期對(duì)貓視覺(jué)皮層的研究中獲得啟發(fā)而提出的，與多層感知機(jī)(MLP)類似.Lecun等[9]于1998年提出了神經(jīng)網(wǎng)絡(luò)的模型 LeNet,并將其運(yùn)用在手寫字體的識(shí)別中.Krizhevsky等[10]在圖像分類任務(wù)中運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)Alex-Net，并在 ImageNet[11]大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽(ILSVRC)上取得了第一名的成績(jī)，讓Top-5錯(cuò)誤率減少到了15.3%.這次比賽的第二名使用的是老式的DPM算法，其Top-5錯(cuò)誤率較第一名差距高達(dá)26.2%.ILSVRC促使學(xué)術(shù)界重新激起了研究深度學(xué)習(xí)的興趣.目前，微軟開(kāi)發(fā)的ResNet[12]和谷歌研發(fā)的InceptionV4[13]都將Top-5錯(cuò)誤率減少到了4%以內(nèi).這種方法模擬生物神經(jīng)網(wǎng)絡(luò)的層次結(jié)構(gòu)，低層表示具體細(xì)節(jié)，高層表示抽象特征，通過(guò)層層處理來(lái)抽取圖像的本質(zhì)特征，進(jìn)而完成圖像的識(shí)別和分類，而且此過(guò)程無(wú)需人工干預(yù)，這個(gè)特點(diǎn)是其應(yīng)用價(jià)值的最大優(yōu)勢(shì).

卷積神經(jīng)網(wǎng)絡(luò)采用卷積和池化層的交替組合抽取目標(biāo)圖像的特征，獲得圖像的通用抽象特征，然后用分類器進(jìn)行處理得到分類類別[14]，過(guò)程的表達(dá)式如式(1)所示：

(1)

其中，L代表網(wǎng)絡(luò)層數(shù)，K代表卷積核，Mj為輸入特征圖的組合選項(xiàng)，每一層輸出特征圖都有相對(duì)應(yīng)偏置項(xiàng)b.卷積操作是將相應(yīng)像素上點(diǎn)的數(shù)值相乘，而后再相加，接著池化層將生成的特征圖縮小，計(jì)算方法為池化濾波器映射區(qū)域內(nèi)的像素點(diǎn)取平均值或最大值，共享權(quán)值原理決定了在某一層可以有多個(gè)卷積核共同發(fā)生作用，這一層有幾個(gè)濾波器就會(huì)得出幾個(gè)特征圖，但濾波器的種類決定了參數(shù)量，這樣不僅提升了特征提取效率，而且降低了網(wǎng)絡(luò)復(fù)雜度.每個(gè)卷積核擔(dān)任抽取輸入圖像上相應(yīng)特征的任務(wù)，且每次只處理圖像的一部分，再輸出給下一層，因此，底層輸出偏簡(jiǎn)單、局部，比如邊和棱.隨著網(wǎng)絡(luò)變深，高層表達(dá)由低層表達(dá)組合而成，輸出結(jié)果變得具體、復(fù)雜，最后幾層高層輸出人類可以理解的代表所處理圖像意義的特征，如由邊組成的眼睛或嘴.

函數(shù)f(x)表示非線性激活函數(shù)，一般為sigmoid函數(shù)，具體表達(dá)式如下:

(2)

式(2)展示了每個(gè)卷積層的計(jì)算方式共有三個(gè)步驟:①本層卷積核與上一層的輸出進(jìn)行運(yùn)算;②將相關(guān)的卷積結(jié)果和偏移量相加;③ 非線性激活函數(shù)將輸出結(jié)果激活得到一層卷積層的特征圖.

VGG19為牛津大學(xué)Visual Geometry Group設(shè)計(jì)的卷積網(wǎng)絡(luò)架構(gòu)[15]，作為經(jīng)典模型，其簡(jiǎn)單的結(jié)構(gòu)和容易實(shí)現(xiàn)的特點(diǎn)吸引著眾多學(xué)者研究，但VGG具有過(guò)多參數(shù)，易耗費(fèi)較多計(jì)算資源.VGG19在AlexNet的基礎(chǔ)上創(chuàng)造性地使用堆疊相同的3*3的卷積核替換大卷積核，如11*11.連續(xù)小卷積核在一定感受野上的表現(xiàn)比大卷積核好，這是由于多層卷積核能增多網(wǎng)絡(luò)深度和非線性，從而學(xué)習(xí)較豐富的特征，且參數(shù)較少.總的來(lái)說(shuō)，在VGG中7*7卷積核采用3個(gè)3*3卷積核替換，5*5卷積核采用2個(gè)3*3卷積核替換，好處是在保持感知野不變的前提下，網(wǎng)絡(luò)變得更深，從而提升了神經(jīng)網(wǎng)絡(luò)的性能.

InceptionV3[16]中采用了將二維卷積用兩個(gè)一維卷積替換的做法.比如7*7 用1*7和7*1卷積替換，類似的3*3卷積也能用1*3和3*1卷積替換.這種非對(duì)稱的卷積替換在計(jì)算空間特征及提升特征多元化等方面能達(dá)到比對(duì)稱的卷積替換更好的效果，并且可以降低計(jì)算時(shí)間.引入附加分類器的目的是提升收斂速度，附加分類器有一定正則化的效果，主分類器性能會(huì)隨著輔助分類器使用批量歸一化而變好.Inception網(wǎng)絡(luò)也采用了1*1卷積核，1*1卷積核在對(duì)模型精度無(wú)影響的同時(shí)提升訓(xùn)練的收斂速度.由于后期較小尺度的特征圖上的相鄰?fù)ǖ佬畔⑷哂啵虼?，可以減少輸出通道，使信息更清晰、有效.

ResNet 隨著網(wǎng)絡(luò)的加深，網(wǎng)絡(luò)的反向傳播性能會(huì)受影響.反向傳播過(guò)程中下一層的梯度是基于上一層的結(jié)果來(lái)運(yùn)算的，網(wǎng)絡(luò)變深會(huì)引起梯度在反向傳播中逐漸變小甚至消失，最終結(jié)果就是隨著層數(shù)增加，訓(xùn)練集準(zhǔn)確率反而下降.ResNet網(wǎng)絡(luò)建議了一個(gè)改進(jìn)的殘差結(jié)構(gòu)，在一般的卷積模塊中添加了一個(gè)x的恒等映射，由擬合目標(biāo)網(wǎng)絡(luò)輸出H(x)改為試圖擬合其他輸出：F(x)=H(x)-x，則原來(lái)的期望輸出變?yōu)镕(x)+x.在深層網(wǎng)絡(luò)上堆疊這種卷積層，假如出現(xiàn)了梯度消失，最少輸入特征能完整地輸出到下一層，最終模型性能不會(huì)低于淺層網(wǎng)絡(luò)，由于堆疊很多恒等映射，所以模型學(xué)習(xí)到新特征的概率很大.

1.2 遷移學(xué)習(xí)

一般機(jī)器學(xué)習(xí)算法中，為了確保訓(xùn)練后的分類模型具有不錯(cuò)的性能表現(xiàn)，均有兩個(gè)根本的假設(shè)：①用于訓(xùn)練樣本與驗(yàn)證樣本在統(tǒng)計(jì)意義上獨(dú)立同分布；②需要有充足的訓(xùn)練樣本才能訓(xùn)練出一個(gè)好的分類器．但是，在實(shí)際使用中，這兩個(gè)假設(shè)經(jīng)常沒(méi)辦法滿足．遷移學(xué)習(xí)可以從源數(shù)據(jù)中提取并遷移特征，進(jìn)行新的模型訓(xùn)練.領(lǐng)域(Domain)是實(shí)行訓(xùn)練的主體.領(lǐng)域主要包含兩部分：訓(xùn)練數(shù)據(jù)和遵從的統(tǒng)計(jì)分布.領(lǐng)域通常用D表示，用P表示統(tǒng)計(jì)分布.遷移策略一般與兩個(gè)根本的領(lǐng)域相關(guān)，即源域和目標(biāo)域.源領(lǐng)域指有訓(xùn)練樣本并且有標(biāo)注的領(lǐng)域，這是進(jìn)行遷移的對(duì)象；目標(biāo)領(lǐng)域是最后要賦予知識(shí)、標(biāo)注的對(duì)象.遷移的過(guò)程就是把從源域?qū)W到的知識(shí)轉(zhuǎn)移到目標(biāo)域[17].

近些年，遷移學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)結(jié)合得越來(lái)越多，得益于深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，其資源重復(fù)使用和成本低廉的優(yōu)點(diǎn)使得在學(xué)術(shù)界和工業(yè)界掀起了一波研究熱潮.當(dāng)前，遷移學(xué)習(xí)在實(shí)用方面的研究主要包括：目標(biāo)檢測(cè)、語(yǔ)音識(shí)別、情感分類、圖像分類、自然語(yǔ)言學(xué)習(xí)和計(jì)算機(jī)視覺(jué)等.比如DeepMind設(shè)計(jì)的Progress Neural Network[18]算法，采用橫向連接方式，在學(xué)習(xí)源域知識(shí)之后進(jìn)行遷移，仍然保留網(wǎng)絡(luò)在源域上的訓(xùn)練結(jié)果，從而聯(lián)合源域和目標(biāo)域的知識(shí)表示.圖像處理領(lǐng)域，Dai等[19]建議了一個(gè)翻譯遷移學(xué)習(xí)算法，用文本信息來(lái)協(xié)助圖像聚類．Raina等[20]建議了一種從未標(biāo)記數(shù)據(jù)進(jìn)行自學(xué)習(xí)的新方法，此方法采用系數(shù)編碼技術(shù)，從大量未標(biāo)記的數(shù)據(jù)構(gòu)建高級(jí)特征，用來(lái)提升圖像分類能力.

遷移學(xué)習(xí)分別有特征、樣本和模型的遷移.特征遷移一般解析源域與目標(biāo)域之間的相似知識(shí)，然后使用解析出的共有知識(shí)在所有層級(jí)的知識(shí)間進(jìn)行遷移.在同一個(gè)特征空間中,映射源域和目標(biāo)域的知識(shí)叫作特征空間中的遷移；樣本遷移采用的具體方法是計(jì)算源域樣本的權(quán)重來(lái)完成源域和目標(biāo)域知識(shí)的遷移.大權(quán)重被加到源域和目標(biāo)域類似的數(shù)據(jù)，低權(quán)重被加到不同的數(shù)據(jù).如Dai等[21]開(kāi)發(fā)的Tradaboosting方法，借鑒了AdaBoost方法，數(shù)據(jù)中源域與目標(biāo)域相似性大的才能在新的訓(xùn)練過(guò)程中使用，忽略其余的數(shù)據(jù)；模型遷移是在源域和目標(biāo)域有類似概率分布的前提下，在新的訓(xùn)練任務(wù)中才能使用源域的模型和權(quán)重,如Tommasi等[22]在新的分類任務(wù)中使用預(yù)訓(xùn)練層替換支持向量機(jī)中的正則項(xiàng)提升性能.

在圖像分類實(shí)踐中，盡管不同圖像有很大區(qū)別，在卷積網(wǎng)絡(luò)的底層特征圖中都只含有邊、棱和像素等內(nèi)容，因此,網(wǎng)絡(luò)底層的特征抽取能力在圖像分類中是通用的.本方法的模型遷移是在新的訓(xùn)練任務(wù)中借用源模型的低層網(wǎng)絡(luò)，新模型就直接具有抽取底層特征的功能，然后調(diào)整高層的訓(xùn)練權(quán)重，以實(shí)現(xiàn)在目標(biāo)域完成圖像的識(shí)別和分類.

1.3 微調(diào)模型

一般模型遷移方法只對(duì)最高層分類層進(jìn)行替換和訓(xùn)練，并隨機(jī)初始化該層模型參數(shù)，而保留源模型前面層的特征抽取能力，當(dāng)目標(biāo)域與源域數(shù)據(jù)概率分布差異較大時(shí)，通常分類準(zhǔn)確率較低.因?yàn)榈讓犹卣鞒槿〗Y(jié)果類似，所以凍結(jié)模型遷移中卷積層的低層參數(shù)，同時(shí)允許靠近最后一層的高層卷積層權(quán)重和偏置能夠被訓(xùn)練.用訓(xùn)練集對(duì)模型再訓(xùn)練，由于權(quán)值參數(shù)來(lái)源于源模型，所以在訓(xùn)練時(shí)是從源模型參數(shù)值開(kāi)始訓(xùn)練的，通常底層的權(quán)重只需要微調(diào)就能獲得最小損失，從而模型能采用訓(xùn)練集訓(xùn)練高層卷積權(quán)值來(lái)提升分類性能.

例如在VGG19模型中，用適合本實(shí)驗(yàn)分類任務(wù)的三分類層將它的最后分類層進(jìn)行替代.因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)的串聯(lián)結(jié)構(gòu)，只能訓(xùn)練連續(xù)幾層卷積層的參數(shù)，不能隨意選擇任意層進(jìn)行調(diào)整，所以將卷積層1～L-1層的權(quán)重設(shè)置為可訓(xùn)練，或者凍結(jié)1～N-1層卷積層以減少訓(xùn)練時(shí)間，使用源模型的底層特征抽取功能，微調(diào)模型如圖1所示.

圖1 微調(diào)模型Fig.1 Fine-tune model

2 實(shí)驗(yàn)設(shè)計(jì)與分析

2.1 實(shí)驗(yàn)設(shè)置

本文采用的實(shí)驗(yàn)環(huán)境為Windows 10專業(yè)版，使用一塊GTX1080顯卡在TensorFlow+Keras框架下完成實(shí)驗(yàn).

為評(píng)估微調(diào)在遷移源模型時(shí)對(duì)性能的提升效果，實(shí)驗(yàn)設(shè)計(jì)為首先不使用微調(diào)，直接替換分類器，檢驗(yàn)其準(zhǔn)確率作為對(duì)照組，隨后再應(yīng)用微調(diào)方式修改模型，并進(jìn)行同樣的訓(xùn)練過(guò)程來(lái)觀察結(jié)果.

2.2 圖像歸一化與增強(qiáng)

研究包括來(lái)自kaggle比賽數(shù)據(jù)庫(kù)中的胚胎數(shù)據(jù)集，共分為1，2，3三個(gè)等級(jí)，胚胎質(zhì)量依次遞減.圖像由倒置顯微鏡和USB 2.0彩色工業(yè)相機(jī)(DFK 21AU04)在受精后112～116 h(第5天)或136～140 h(第6天)采集.

胚胎分級(jí)系統(tǒng)基于Gardner方法(1999，2004). 根據(jù)胚泡發(fā)育對(duì)胚胎進(jìn)行分類為3到6，內(nèi)部細(xì)胞質(zhì)量(ICM)分為A，B或C；滋養(yǎng)外胚層(TE)分為A，B或C；根據(jù)Gardner胚胎評(píng)價(jià)方法對(duì)采集的囊胚圖像進(jìn)行評(píng)分，優(yōu)質(zhì)囊胚的標(biāo)簽為4AA、4AB、4BA.本實(shí)驗(yàn)的胚胎圖像由受過(guò)訓(xùn)練的胚胎學(xué)家根據(jù)評(píng)分標(biāo)準(zhǔn)標(biāo)注.

圖2列出了其中一部分訓(xùn)練樣本，根據(jù)要求先將圖片進(jìn)行歸一化處理，根據(jù)不同模型要求裁剪為224*224或299*299像素.

圖2 胚胎延時(shí)拍攝圖像Fig.2 Time lapse image of embryo

在卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練中，過(guò)擬合是常見(jiàn)問(wèn)題，特別在數(shù)據(jù)集較小的情況下很容易出現(xiàn)這種問(wèn)題，本實(shí)驗(yàn)為降低過(guò)擬合的問(wèn)題，在訓(xùn)練前對(duì)數(shù)據(jù)集進(jìn)行增強(qiáng)，采用旋轉(zhuǎn)、平移、鏡像、增加噪聲等操作將每張?jiān)瓐D擴(kuò)充成52個(gè)新圖，如圖3所示.

圖3 數(shù)據(jù)增強(qiáng)示例Fig.3 Examples of data enhancement

2.3 實(shí)驗(yàn)與分析

2.3.1 替換分類器

首先,觀察只進(jìn)行模型遷移的分類結(jié)果，分別將三種源模型的最后輸出層替換為三分類Softmax分類器，前面的卷積層參數(shù)進(jìn)行凍結(jié)，這樣繼承了基礎(chǔ)模型的特征抽取能力和泛化能力，使用訓(xùn)練集對(duì)修改后的模型進(jìn)行訓(xùn)練.

訓(xùn)練的普通參數(shù)分別為迭代次數(shù)10，批處理量為32，其余超參數(shù)都相同，均為ImageNet比賽中采用的配置，詳見(jiàn)表1.其中，Momentum為梯度下降算法中的歷史梯度參數(shù)系數(shù)；BN表示卷積網(wǎng)絡(luò)采用批歸一化，相當(dāng)于其中幾層非線性激活后再使用歸一化處理；Input-tensor代表模型允許輸入圖像的像素大小.

表1 模型超參數(shù)設(shè)置Table 1 Model hyper-parameters setting

每次訓(xùn)練結(jié)束后都在驗(yàn)證集上進(jìn)行一次測(cè)試，驗(yàn)證數(shù)據(jù)也經(jīng)過(guò)上述的歸一化和數(shù)據(jù)增強(qiáng)處理，選取每一輪迭代后驗(yàn)證集準(zhǔn)確率的最優(yōu)數(shù)據(jù)作為模型性能的結(jié)果，不進(jìn)行微調(diào)時(shí)，驗(yàn)證準(zhǔn)確率低可能因?yàn)轭愰g差異小，三個(gè)類別圖形特征都為橢圓形，所以抽取到的特征相似度很大，結(jié)果如表2所示.

表2 替換分類器后的模型性能Table 2 Model performance after replacing classifier

2.3.2 通過(guò)fine-tune微調(diào)

為達(dá)到提升網(wǎng)絡(luò)性能的目的，微調(diào)三個(gè)模型，并凍結(jié)它們的低層，使可調(diào)參數(shù)減少為75%左右，再進(jìn)行100次迭代，并記錄微調(diào)所用的時(shí)間作對(duì)比，結(jié)果如表3所示.

表3 經(jīng)過(guò)微調(diào)后的模型性能Table 3 Model performance after fine-tune

實(shí)驗(yàn)結(jié)果說(shuō)明，使用微調(diào)處理可以顯著提高模型性能，三個(gè)模型提升幅度接近20個(gè)百分點(diǎn)，原因是目標(biāo)域樣本與源域樣本分布差異較大時(shí)，模型準(zhǔn)確率不高，因此，在微調(diào)后模型識(shí)別能力的提升明顯.ResNet50在三個(gè)模型中準(zhǔn)確率最高，訓(xùn)練時(shí)間最短，正確率高達(dá)96.93%，訓(xùn)練時(shí)間為30 min.InceptionV3的參數(shù)量比ResNet50略少，但ResNet50具有訓(xùn)練速度較快的優(yōu)點(diǎn)，符合Szegedy等[23]給出的結(jié)論，即殘差設(shè)計(jì)并不一定能提升卷積神經(jīng)網(wǎng)絡(luò)的性能，可是使用這個(gè)結(jié)構(gòu)能使訓(xùn)練速度大幅提升，最終防止了梯度消失并減少訓(xùn)練成本，這些優(yōu)點(diǎn)為卷積網(wǎng)絡(luò)變得更深奠定了基礎(chǔ).InceptionV3和ResNet50訓(xùn)練過(guò)程分別見(jiàn)圖4、圖5.

圖4 InceptionV3訓(xùn)練過(guò)程Fig.4 Training process of InceptionV3 model

圖5 ResNet50訓(xùn)練過(guò)程Fig.5 Training process of ResNet50 model

由圖4、圖5可以看出，兩個(gè)模型都在30次迭代后逐漸收斂.ResNet50和InceptionV3網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證集曲線未完全重合，即便增加迭代次數(shù)仍然未優(yōu)化，故判斷發(fā)生了過(guò)擬合.InceptionV3模型訓(xùn)練集的準(zhǔn)確率比ResNet50更快趨于穩(wěn)定，即收斂速度更快，驗(yàn)證了1*1 卷積核的使用不僅不會(huì)影響模型精度，反而還能使其收斂速度加快；ResNet50在20次迭代后，訓(xùn)練集準(zhǔn)確率仍然存在振蕩，但ResNet50訓(xùn)練速度更快，殘差結(jié)構(gòu)把原來(lái)的特征恒等映射了過(guò)去,不但解決了梯度越傳越小的問(wèn)題，而且把網(wǎng)絡(luò)變成一個(gè)并行模型，就算構(gòu)建很深的網(wǎng)絡(luò)也不會(huì)出現(xiàn)梯度消失，在擴(kuò)大數(shù)據(jù)集后可以改善過(guò)擬合現(xiàn)象.

3 討 論

不孕癥已成為全球性的健康問(wèn)題.盡管大規(guī)模全球推廣人類輔助生殖技術(shù)的研究已取得可觀的成就，但全球不孕率仍然較高.據(jù)報(bào)道，近年來(lái)亞太地區(qū)不孕治療的需求增長(zhǎng)最快.隨著人們對(duì)輔助生殖技術(shù)和IVF治療認(rèn)識(shí)的提高，由于壓力和晚孕導(dǎo)致的不孕案例增加，人們可支配收入的增加，疾病治療方式的進(jìn)步，以及政府不斷增加的干預(yù)和支持下，亞太試管嬰兒市場(chǎng)估計(jì)從2018年到2028年復(fù)合年增長(zhǎng)率將約為12.4%.

胚胎形態(tài)是IVF是否成功可靠預(yù)后的重要因素，多種評(píng)分系統(tǒng)檢查胚胎形態(tài)特征從而進(jìn)行胚胎可行性評(píng)估已被提出.但是，大多數(shù)評(píng)分系統(tǒng)依靠視覺(jué)和主觀檢查進(jìn)行定性評(píng)估.自動(dòng)分級(jí)系統(tǒng)將更加客觀準(zhǔn)確，并可以協(xié)助胚胎學(xué)家做出決策.