鄧建國(guó)，張素蘭

(太原科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，太原 030024)

有監(jiān)督學(xué)習(xí)利用有標(biāo)記的樣本調(diào)整模型參數(shù)，使模型具有正確預(yù)測(cè)未知數(shù)據(jù)的能力，其目的是通過讓計(jì)算機(jī)學(xué)習(xí)一組有標(biāo)記的訓(xùn)練數(shù)據(jù)集，進(jìn)而獲得新的知識(shí)或技能，這就要求計(jì)算機(jī)不斷學(xué)習(xí)樣本數(shù)據(jù)，并依據(jù)樣本真實(shí)值與預(yù)測(cè)值之間的損失調(diào)整模型參數(shù)，提升模型的判別能力。因此，損失函數(shù)的合適選取影響著有監(jiān)督學(xué)習(xí)的廣泛應(yīng)用。

圖像標(biāo)注是有監(jiān)督學(xué)習(xí)中的一個(gè)典型應(yīng)用，已廣泛應(yīng)用于圖像檢索、圖像分割和目標(biāo)檢測(cè)等領(lǐng)域。圖像標(biāo)注根據(jù)圖像獲得的標(biāo)簽數(shù)量，大致分為單標(biāo)簽圖像標(biāo)注和多標(biāo)簽圖像標(biāo)注?；谟斜O(jiān)督學(xué)習(xí)的單標(biāo)簽圖像標(biāo)注方法是根據(jù)標(biāo)注規(guī)則，利用損失函數(shù)值調(diào)整模型參數(shù)為圖像分配唯一的預(yù)定義標(biāo)簽。與多標(biāo)簽圖像標(biāo)注相比，單標(biāo)簽圖像標(biāo)注模型分配的標(biāo)簽數(shù)量更少，算法更簡(jiǎn)單，模型對(duì)損失函數(shù)的影響更小，更適合研究損失函數(shù)的特性以及不同損失函數(shù)在度量數(shù)據(jù)樣本上的差異。單標(biāo)簽圖像標(biāo)注或分類中常使用MNIST數(shù)據(jù)集驗(yàn)證算法的有效性，Gu等人[1]使用MNIST驗(yàn)證了同時(shí)學(xué)習(xí)一個(gè)合成字典和一個(gè)解析字典的方法，高子翔等[2]使用MNIST驗(yàn)證了基于自適應(yīng)池化的雙路卷積神經(jīng)網(wǎng)絡(luò)。本文基于神經(jīng)網(wǎng)絡(luò)模型，在MNIST數(shù)據(jù)集上構(gòu)建單標(biāo)簽圖像標(biāo)注方法對(duì)比研究有監(jiān)督學(xué)習(xí)的常用損失函數(shù)。

有監(jiān)督學(xué)習(xí)算法使用的損失函數(shù)比較多，典型的損失函數(shù)包括平方損失[3]、絕對(duì)損失[4]、0-1損失[5]、hinge[6]、余弦損失、對(duì)數(shù)損失[7]和交叉熵?fù)p失[8]以及它們的演化形式等。本文依次選用均方誤差(Mean Squared Error，MSE)、平均絕對(duì)誤差(Mean Absolute Error，MAE)、均方對(duì)數(shù)誤差(Mean Squared Logarithmic Error，MSLE)、鉸鏈損失(hinge)、二分類交叉熵?fù)p失、多分類交叉熵?fù)p失、余弦損失中的一個(gè)作為神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù)構(gòu)建7個(gè)圖像標(biāo)注子實(shí)驗(yàn)，每個(gè)子實(shí)驗(yàn)除損失函數(shù)不同外，其他的實(shí)驗(yàn)環(huán)境完全相同。通過實(shí)驗(yàn)結(jié)果分析，探索損失函數(shù)與數(shù)據(jù)集的內(nèi)在聯(lián)系，在實(shí)驗(yàn)的基礎(chǔ)上，提出新的組合損失函數(shù)，并利用單標(biāo)簽圖像標(biāo)注方法驗(yàn)證了提出的組合損失函數(shù)的有效性。

1 神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)模型是由大量的神經(jīng)元互相聯(lián)接形成的復(fù)雜網(wǎng)絡(luò)系統(tǒng)，具有大規(guī)模并行、分布式存儲(chǔ)、自組織、自適應(yīng)和自學(xué)習(xí)能力。本文以神經(jīng)網(wǎng)絡(luò)模型為基本模型，使用圖像研究領(lǐng)域的通用數(shù)據(jù)集MNIST研究損失函數(shù)的特性。目前在機(jī)器學(xué)習(xí)領(lǐng)域流行的神經(jīng)網(wǎng)絡(luò)算法框架主要有caffe、keras和tensorflow等。其中keras具有易用理解、操作簡(jiǎn)單等優(yōu)點(diǎn)已廣泛應(yīng)用于圖像處理領(lǐng)域。

2 基于單標(biāo)簽圖像標(biāo)注的損失函數(shù)分析

基于神經(jīng)網(wǎng)絡(luò)構(gòu)建的單標(biāo)簽圖像標(biāo)注方法是利用圖像底層特征相似性，采用損失函數(shù)度量模型的預(yù)測(cè)值與樣本真實(shí)值之間的誤差，進(jìn)而為未知圖像標(biāo)注一個(gè)預(yù)定義標(biāo)簽。算法的構(gòu)建過程包括圖像預(yù)處理、模型構(gòu)建和模型訓(xùn)練與評(píng)估。在構(gòu)建的單標(biāo)簽圖像標(biāo)注算法中，損失函數(shù)作為算法的一個(gè)輸入?yún)?shù)，通過更換損失函數(shù)，對(duì)比研究常用損失函數(shù)的性能差異。

2.1 圖像預(yù)處理

在使用神經(jīng)網(wǎng)絡(luò)模型的算法中，對(duì)圖像進(jìn)行預(yù)處理不僅能加快神經(jīng)網(wǎng)絡(luò)的收斂速度、防止梯度爆炸，而且能提高神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)準(zhǔn)確度。本文算法使用keras的數(shù)據(jù)讀取工具將MNIST數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集、訓(xùn)練標(biāo)簽集、測(cè)試數(shù)據(jù)集和測(cè)試標(biāo)簽集，其中訓(xùn)練數(shù)據(jù)集、測(cè)試數(shù)據(jù)集中的圖像向量需降維和歸一化，訓(xùn)練標(biāo)簽集和測(cè)試標(biāo)簽集中的標(biāo)簽向量需轉(zhuǎn)換為獨(dú)熱編碼。圖像向量降維和標(biāo)簽向量轉(zhuǎn)獨(dú)熱編碼采用python函數(shù)實(shí)現(xiàn)，降維后的圖像向量除以255實(shí)現(xiàn)歸一化。

2.2 模型構(gòu)建

算法使用keras的序列化模型構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，模型結(jié)構(gòu)如圖1所示。模型構(gòu)成為：輸入層由dense_1和dropout_1組成，該層有784維輸入，512維輸出，共有401 920個(gè)參數(shù)；隱層由dense_2和dropout_2組成，該層有512維輸入，512維輸出，共有262 656個(gè)參數(shù)；輸出層為dense_3，該層有512維輸入，10維輸出，共有5 130個(gè)參數(shù)。

圖1 本文構(gòu)建的模型結(jié)構(gòu)Fig.1 Model structure

模型的損失函數(shù)、優(yōu)化器以及模型的性能評(píng)價(jià)指標(biāo)采用keras庫(kù)函數(shù)實(shí)現(xiàn)。模型的優(yōu)化器使用RMSProp、性能評(píng)價(jià)指標(biāo)使用準(zhǔn)確率和損失值。在每個(gè)子實(shí)驗(yàn)結(jié)束后，將實(shí)驗(yàn)結(jié)果寫入對(duì)應(yīng)的文件中。模型的參數(shù)設(shè)置見表1.

表1 模型參數(shù)設(shè)置Tab.1 Model parameter setting

2.3 訓(xùn)練與評(píng)估

實(shí)驗(yàn)由7 個(gè)子實(shí)驗(yàn)構(gòu)成，每個(gè)子實(shí)驗(yàn)都是一個(gè)獨(dú)立的圖像標(biāo)注算法。每個(gè)子實(shí)驗(yàn)都進(jìn)行50次迭代訓(xùn)練，在每次迭代過程中，算法批量選取樣本，每批次樣本個(gè)數(shù)為128，每批次訓(xùn)練結(jié)束后計(jì)算一次訓(xùn)練準(zhǔn)確率和訓(xùn)練損失值，共需195個(gè)批次；在每次迭代結(jié)束后，計(jì)算并保存本次迭代的訓(xùn)練準(zhǔn)確率、訓(xùn)練損失值、驗(yàn)證準(zhǔn)確率和驗(yàn)證損失值。在全部迭代結(jié)束后，算法生成每個(gè)子實(shí)驗(yàn)的準(zhǔn)確率和損失值曲線圖。在每個(gè)子實(shí)驗(yàn)訓(xùn)練結(jié)束后，使用測(cè)試集評(píng)估模型的預(yù)測(cè)性能，匯總每個(gè)子實(shí)驗(yàn)評(píng)估模型算法輸出的準(zhǔn)確率和損失值，進(jìn)一步研究損失函數(shù)度量樣本的性能差異。

3 構(gòu)建組合損失函數(shù)

目前有監(jiān)督學(xué)習(xí)應(yīng)用推廣中損失函數(shù)的使用大致分為三種情況，一是使用模型默認(rèn)的損失函數(shù)，二是在實(shí)驗(yàn)的基礎(chǔ)上選擇與求解問題相匹配的現(xiàn)有損失函數(shù)，三是構(gòu)建新的損失函數(shù)。第一種情況的不足是算法選用的損失函數(shù)往往是針對(duì)原有問題的，如果仍使用默認(rèn)損失函數(shù)度量新問題，可能會(huì)因損失函數(shù)不適合度量新問題而降低模型的性能；第二種情況的不足是盡管現(xiàn)有損失函數(shù)非常多，但相對(duì)于應(yīng)用推廣中的待求解問題而言就少的多，也就是說，現(xiàn)有損失函數(shù)還不能完全準(zhǔn)確地度量待求解問題的數(shù)據(jù)樣本。與前兩種情況相比，發(fā)揮每個(gè)損失函數(shù)度量數(shù)據(jù)的優(yōu)勢(shì)共同度量待求解問題，不僅實(shí)驗(yàn)過程簡(jiǎn)單，而且往往能取得很好的預(yù)測(cè)效果。通常情況下，構(gòu)建損失函數(shù)的方法是選擇與求解問題相匹配的一個(gè)或多個(gè)損失函數(shù)，改進(jìn)現(xiàn)有損失函數(shù)演化為新的損失函數(shù)或組合現(xiàn)有損失函數(shù)構(gòu)成新的損失函數(shù)。與演化損失函數(shù)相比，組合損失函數(shù)更容易實(shí)現(xiàn)，更適合有監(jiān)督學(xué)習(xí)算法的快速推廣。

組合損失函數(shù)的組成原則一般是根據(jù)求解問題的性質(zhì)，利用損失函數(shù)的優(yōu)點(diǎn)，將現(xiàn)有的損失函數(shù)采用四則運(yùn)算方式組合，然后在實(shí)驗(yàn)的基礎(chǔ)上調(diào)整權(quán)重，提高模型的預(yù)測(cè)準(zhǔn)確率。本文從單標(biāo)簽圖像標(biāo)注實(shí)驗(yàn)中選擇預(yù)測(cè)率高的二分類交叉熵、多分類交叉熵、MSLE和MSE構(gòu)建組合損失函數(shù)，并利用單標(biāo)簽圖像標(biāo)注實(shí)驗(yàn)驗(yàn)證組合損失函數(shù)的可行性，構(gòu)造的損失函數(shù)權(quán)重α和β的值都設(shè)置為1，見表2.

表2 組合的損失函數(shù)Tab.2 Combined loss function

4 實(shí)驗(yàn)結(jié)果與分析

4.1 數(shù)據(jù)集與參數(shù)設(shè)置

MNIST是圖像處理領(lǐng)域的一個(gè)通用數(shù)據(jù)集，它由訓(xùn)練集和測(cè)試集兩部分組成，其中訓(xùn)練數(shù)據(jù)集包含60 000個(gè)樣本，測(cè)試數(shù)據(jù)集包括10 000個(gè)樣本。交叉驗(yàn)證(cross-validation)是一種評(píng)價(jià)模型分析結(jié)果是否可推廣到一個(gè)獨(dú)立的數(shù)據(jù)集上的方法。本文的單標(biāo)簽圖像標(biāo)注方法采用留出法(holdout cross validation)將MNIST數(shù)據(jù)集中的60 000個(gè)訓(xùn)練樣本劃分為訓(xùn)練集和驗(yàn)證集，其中訓(xùn)練集包括55 000個(gè)樣本，驗(yàn)證集包括5 000個(gè)樣本。

基于神經(jīng)網(wǎng)絡(luò)的算法一般通過優(yōu)化由損失函數(shù)構(gòu)成的代價(jià)函數(shù)進(jìn)行訓(xùn)練，在不影響訓(xùn)練效果的前提下，通常要求模型必須在最短的時(shí)間內(nèi)收斂，即通過優(yōu)化算法更新參數(shù)值，使代價(jià)函數(shù)最小化。本文模型的優(yōu)化算法采用RMSProp，其參數(shù)設(shè)置見表3.

表3 RMSProp算法參數(shù)設(shè)置Tab.3 Rmsprop algorithm parameter setting

4.2 性能評(píng)估指標(biāo)

性能評(píng)估指標(biāo)常用于評(píng)估模型性能的優(yōu)劣，一般情況下，模型性能的評(píng)估主要包括訓(xùn)練過程中對(duì)模型性能的評(píng)估和預(yù)測(cè)過程中對(duì)模型性能的評(píng)估。實(shí)驗(yàn)使用有監(jiān)督學(xué)習(xí)領(lǐng)域廣泛使用的精確率(Precision，P)、召回率(Recall，R)、準(zhǔn)確率(Accuracy,acc)和損失函數(shù)值(loss)作為評(píng)價(jià)指標(biāo)。

4.3 基于單標(biāo)簽圖像標(biāo)注的損失函數(shù)對(duì)比分析

每個(gè)子實(shí)驗(yàn)中，神經(jīng)網(wǎng)絡(luò)模型依次選用MSE、MAE、MSLE、hinge、二分類交叉熵?fù)p失、多分類交叉熵?fù)p失和余弦損失中的一個(gè)作為損失函數(shù)進(jìn)行訓(xùn)練，每個(gè)子實(shí)驗(yàn)都生成一個(gè)準(zhǔn)確率和損失值曲線圖，最后匯總多個(gè)子實(shí)驗(yàn)的預(yù)測(cè)結(jié)果形成模型預(yù)測(cè)的準(zhǔn)確率和損失值匯總圖。

4.3.1 準(zhǔn)確率和損失值

1)MSE的準(zhǔn)確率和損失值如圖2所示，經(jīng)過50次迭代后，訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為：99.02%、98.23%、0.001 6和0.003 0.

圖2 MSE的準(zhǔn)確率損失值曲線圖Fig.2 MSE accuracy loss curve

2)MAE的準(zhǔn)確率和損失值如圖3所示，經(jīng)過50次迭代后，訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為：98.30%、97.86%、0.003 5和0.004 3.

圖3 MAE的準(zhǔn)確率損失值曲線圖Fig.3 Mae accuracy loss curve

3)MSLE的準(zhǔn)確率和損失值如圖4所示，經(jīng)過50次迭代后，訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為：99.06%、98.23%、0.000 7和0.001 4.

圖4 MSLE的準(zhǔn)確率損失值曲線圖Fig.4 MSLE accuracy loss curve

4)hinge的準(zhǔn)確率和損失值如圖5所示，經(jīng)過50次迭代后，訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為：98.21%、97.78%、0.90和0.90.

圖5 hinge的準(zhǔn)確率損失值曲線圖Fig.5 Hinge accuracy loss curve

5)余弦損失的準(zhǔn)確率和損失值如圖6所示，經(jīng)過50次迭代后，訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為：98.84%、98.13%、-0.989 6和-0.982 8.

圖6 余弦損失的準(zhǔn)確率損失值曲線圖Fig.6 Accuracy loss curve of cosine loss

6)二分類交叉熵?fù)p失的準(zhǔn)確率和損失值如圖7所示，經(jīng)過50次迭代后，訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為：99.86%、99.66%、0.004 8和0.02.

圖7 二分類交叉熵?fù)p失的準(zhǔn)確率損失值曲線圖Fig.7 Accuracy loss curve of cross entropy loss in binary classification

7)多分類交叉熵?fù)p失的準(zhǔn)確率和損失值如圖8所示，經(jīng)過50次迭代后，訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值分別為：99.25%、98.22%、0.0276和0.119 0.

圖8 多分類交叉熵?fù)p失的準(zhǔn)確率損失值曲線圖Fig.8 Accuracy loss curve of cross entropy loss of multi-classification

每個(gè)對(duì)比子實(shí)驗(yàn)經(jīng)50次迭代訓(xùn)練后生成的準(zhǔn)確率和損失值如圖2-圖8所示。從整體上分析實(shí)驗(yàn)獲得的曲線圖可知，模型的準(zhǔn)確率和損失值隨迭代次數(shù)的增加分別呈上升和下降趨勢(shì)，最終都處于穩(wěn)定狀態(tài)。但是，在相同的迭代次數(shù)處，每個(gè)子實(shí)驗(yàn)的準(zhǔn)確率、損失值卻不同，甚至差異比較大。在實(shí)驗(yàn)結(jié)果中，出現(xiàn)準(zhǔn)確率損失值曲線整體趨勢(shì)相同的原因是在訓(xùn)練、驗(yàn)證過程中，模型的損失函數(shù)都能正確度量樣本的真實(shí)值與預(yù)測(cè)值的差異，并且模型依據(jù)損失值不斷調(diào)整模型參數(shù)，使模型逐漸穩(wěn)定。在每個(gè)子實(shí)驗(yàn)中，除模型的損失函數(shù)不同外，其它實(shí)驗(yàn)環(huán)境完全相同，但每個(gè)實(shí)驗(yàn)的結(jié)果卻不同，可知在相同實(shí)驗(yàn)環(huán)境下，不同損失函數(shù)由于其本身特性不同，導(dǎo)致其度量同一數(shù)據(jù)集中的同一樣本的性能存在差異，這就直接導(dǎo)致每個(gè)子實(shí)驗(yàn)的準(zhǔn)確率和損失值不同。

4.3.2 準(zhǔn)確率和損失值匯總表

經(jīng)過50次迭代后，匯總7個(gè)子實(shí)驗(yàn)的訓(xùn)練準(zhǔn)確率、驗(yàn)證準(zhǔn)確率、訓(xùn)練損失值和驗(yàn)證損失值形成匯總表,見表4。在表4中余弦損失的數(shù)據(jù)與其它數(shù)據(jù)差異較大，余弦損失的損失值出現(xiàn)負(fù)數(shù)的原因是余弦損失在度量樣本時(shí)更注重兩個(gè)向量在方向上的差異，而對(duì)具體距離數(shù)值不敏感，可見余弦損失不適合度量圖像的像素特征。從表4可知，對(duì)于灰度圖像數(shù)據(jù)集更為合適的損失函數(shù)為二分類交叉熵和多分類交叉熵。

表4 準(zhǔn)確率和損失值匯總表Tab.4 Summary of average accuracy and loss

4.3.3 模型預(yù)測(cè)的準(zhǔn)確率和損失值匯總圖

為檢驗(yàn)各個(gè)子實(shí)驗(yàn)訓(xùn)練的模型在灰度圖像上的預(yù)測(cè)性能，在每個(gè)子實(shí)驗(yàn)訓(xùn)練結(jié)束后，將測(cè)試數(shù)據(jù)輸入到模型評(píng)估算法上，評(píng)估算法計(jì)算后輸出模型預(yù)測(cè)的準(zhǔn)確率和損失值，匯總結(jié)果如圖9，其中cosine的值同樣出現(xiàn)異常，為了能直觀觀察數(shù)據(jù)，圖中cosine的值已做了相應(yīng)的處理。從圖9可知，適合神經(jīng)網(wǎng)絡(luò)解決圖像標(biāo)注問題的損失函數(shù)為二分類交叉熵和多分類交叉熵，這與前面的實(shí)驗(yàn)結(jié)果相匹配。

圖9 預(yù)測(cè)準(zhǔn)確率損失值匯總圖Fig.9 Summary chart of predicted accuracy loss value

4.4 不同模型實(shí)驗(yàn)結(jié)果對(duì)比

針對(duì)MNIST數(shù)據(jù)集，本文選用預(yù)測(cè)準(zhǔn)確率最高的二分類交叉熵?fù)p失函數(shù)構(gòu)建的圖像標(biāo)注方法，與DPL(Dictionary Pair Learning)、DDCCNN(dual-channel convolutional neural net)和CNN[9]算法的準(zhǔn)確率進(jìn)行對(duì)比，驗(yàn)證本文構(gòu)建的模型的有效性，對(duì)比結(jié)果見表5.通過表5可以看出，與傳統(tǒng)方法相比，本文構(gòu)建的算法在MNIST上的預(yù)測(cè)精確率最高，性能有較大的提升。

表5 不同模型實(shí)驗(yàn)結(jié)果對(duì)比Tab.5 Comparison of experimental results of different models

4.5 組合損失函數(shù)的有效性分析

4.5.1 篩選最優(yōu)組合損失函數(shù)

組合損失函數(shù)的有效性驗(yàn)證實(shí)驗(yàn)由6個(gè)子實(shí)驗(yàn)構(gòu)成，每個(gè)子實(shí)驗(yàn)除損失函數(shù)不同外，其它的實(shí)驗(yàn)環(huán)境完全相同，實(shí)驗(yàn)中權(quán)重α、β的值均為1.經(jīng)過50次迭代訓(xùn)練后，每個(gè)子實(shí)驗(yàn)的最終預(yù)測(cè)匯總結(jié)果見表6.從實(shí)驗(yàn)結(jié)果可知，組合損失函數(shù)都能對(duì)圖像樣本進(jìn)行度量，并且預(yù)測(cè)效果很好，可見組合損失函數(shù)能有效提升模型的預(yù)測(cè)準(zhǔn)確率，可作為有監(jiān)督學(xué)習(xí)推廣過程中解決特定實(shí)際問題的有效手段。

4.5.2 最優(yōu)組合損失函數(shù)的權(quán)重調(diào)優(yōu)

本實(shí)驗(yàn)為二分類交叉熵+MSE損失函數(shù)進(jìn)一步選擇最優(yōu)權(quán)重參數(shù)。實(shí)驗(yàn)中α和β的權(quán)重依次選擇(0.05,0.95)、(0.2,0.8)、(0.4,0.6)、(0.6,0.4)、(0.8,0.2)和(0.95,0.05)進(jìn)行6次實(shí)驗(yàn)，最終的預(yù)測(cè)結(jié)果見表7，從實(shí)驗(yàn)結(jié)果可知，二分類交叉熵+ MSE的最優(yōu)權(quán)重α=0.95和β=0.05.

表7 組合損失函數(shù)的權(quán)重調(diào)優(yōu)結(jié)果Tab.7 results of weight optimization of combined loss function

5 結(jié)束語(yǔ)

本文主要工作包括兩個(gè)方面： 1)基于神經(jīng)網(wǎng)絡(luò)構(gòu)建單標(biāo)簽圖像標(biāo)注方法，在MNIST數(shù)據(jù)集上驗(yàn)證了算法的有效性。2)通過更換單標(biāo)簽圖像標(biāo)注算法中的損失函數(shù)，研究常用損失函數(shù)的特性，以及損失函數(shù)度量圖像的性能差異，在實(shí)驗(yàn)的基礎(chǔ)上，提出了新的組合損失函數(shù)，并通過實(shí)驗(yàn)驗(yàn)證了組合損失函數(shù)的可行性。下一步，論文的工作將重點(diǎn)研究組合損失函數(shù)的組合方法和權(quán)重調(diào)優(yōu)方法。