鄒子安，何儒漢

（1.武漢紡織大學(xué) 計(jì)算機(jī)與人工智能學(xué)院；2.紡織服裝智能化湖北省工程研究中心，湖北 武漢 430200）

0 引言

隨著人們需求的進(jìn)一步精細(xì)化，圖片檢索技術(shù)逐漸向細(xì)粒度方向深入發(fā)展。細(xì)粒度服裝圖片檢索主要通過對(duì)圖像的相似度進(jìn)行比較實(shí)現(xiàn)［1-4］，該類方法在服裝圖片像素層面構(gòu)建檢索模型提取全局或局部特征進(jìn)行相似度的排序比較。然而，細(xì)粒度服裝圖片檢索中廣泛存在類別不平衡問題，即當(dāng)部分類別數(shù)量遠(yuǎn)高于其他類別數(shù)量時(shí)，在學(xué)習(xí)過程中通常會(huì)導(dǎo)入有利于數(shù)量占比多類別的分布偏差，導(dǎo)致數(shù)量少類別的條件概率被低估，從而影響分類和檢索結(jié)果。

由于相同類別服裝圖片之間高度相似，以及部分服裝圖片數(shù)據(jù)集存在類別不平衡現(xiàn)象，面向服裝圖像的細(xì)粒度檢索是一個(gè)具有挑戰(zhàn)性的課題。對(duì)于非平衡問題，目前算法層面的解決方案主要是優(yōu)化損失函數(shù)。該領(lǐng)域最常使用的損失函數(shù)為交叉熵（Cross Entropy，CE）損失函數(shù)。經(jīng)典的交叉熵?fù)p失函數(shù)對(duì)每個(gè)數(shù)據(jù)實(shí)例具有同等的重要性，這導(dǎo)致網(wǎng)絡(luò)對(duì)較少數(shù)量的類別缺少優(yōu)化監(jiān)督。因此，在類別不平衡情況下的分類、分割和檢索等任務(wù)中，CE 損失函數(shù)是不適用的。另一種簡(jiǎn)單固定權(quán)重交叉熵（weighted CE）損失函數(shù)被廣泛用于類別不平衡時(shí)的檢索任務(wù)，其設(shè)置類權(quán)重與類頻率成反比［5-6］，然而這種策略在大規(guī)模真實(shí)數(shù)據(jù)集中存在困難樣本時(shí)性能很差。Focal 損失函數(shù)采用動(dòng)態(tài)策略分配類的權(quán)重，重點(diǎn)關(guān)注難以訓(xùn)練的實(shí)例，但如果某個(gè)樣本標(biāo)注錯(cuò)誤，會(huì)導(dǎo)致模型訓(xùn)練效果越來越差［7］。

針對(duì)細(xì)粒度服裝圖像檢索任務(wù)中存在的不平衡數(shù)據(jù)集問題，本文提出基于代價(jià)敏感的細(xì)粒度服裝圖片檢索模型。該模型通過聯(lián)合預(yù)測(cè)服裝屬性和關(guān)鍵點(diǎn)學(xué)習(xí)服裝特征，采用基于代價(jià)敏感的損失函數(shù)處理細(xì)粒度服裝類數(shù)據(jù)集的不平衡問題，對(duì)模型中的關(guān)鍵點(diǎn)檢測(cè)模塊進(jìn)行改進(jìn)，提升模型提取特征的性能。為證明該模型的有效性，在DeepFashion 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，與文獻(xiàn)［2，8］中的細(xì)粒度圖片檢索方法進(jìn)行比較，與文獻(xiàn)［9］中的方法進(jìn)行服裝類別、屬性識(shí)別性能比較。

1 相關(guān)研究

1.1 細(xì)粒度圖像檢索

在計(jì)算機(jī)視覺中，細(xì)粒度圖像檢索比基于內(nèi)容的圖像檢索更為困難，這是由于類別之間的差異較大，但同一類別內(nèi)的差異很小。目前關(guān)于細(xì)粒度圖像檢索技術(shù)的研究有很多，例如Sathit［8］提出基于自適應(yīng)深度學(xué)習(xí)的細(xì)粒度文化遺產(chǎn)圖像檢索方法，該模型可以處理新類別的增量流，同時(shí)保持其過去在舊類別中的性能，不丟失文化遺產(chǎn)圖像的舊分類。該方法的目標(biāo)是執(zhí)行類別檢索任務(wù)，同時(shí)對(duì)新類別進(jìn)行增量學(xué)習(xí)以減少重新訓(xùn)練的過程；Liu 等［9］通過聯(lián)合預(yù)測(cè)服裝屬性和關(guān)鍵點(diǎn)學(xué)習(xí)服裝特征來進(jìn)行服裝分類和檢索；Zeng 等［10］采用分段交叉熵?fù)p失函數(shù)增強(qiáng)模型的泛化能力并提高檢索性能；Xu 等［11］提出一個(gè)視覺—語義嵌入模型，該模型使用知識(shí)庫(kù)和文本研究語義嵌入；然后訓(xùn)練一個(gè)端到端卷積神經(jīng)網(wǎng)絡(luò)框架，將圖片線性地映射到豐富的語義嵌入空間中；Liu 等［12］提出一種基于圖嵌入的方法學(xué)習(xí)圖像與場(chǎng)景草圖之間的相似性度量，該方法對(duì)多模態(tài)信息（包括對(duì)象的大小、外觀以及布局信息）進(jìn)行建模，在細(xì)粒度圖像檢索中有應(yīng)用潛力；Zhang 等［13］提出一種自動(dòng)細(xì)粒度識(shí)別方法，通過匯集深度卷積核空間響應(yīng)向量并加權(quán)組合，從而使訓(xùn)練和測(cè)試階段均不需要任何對(duì)象/部件注釋；Xie 等［14］引入一個(gè)基線系統(tǒng)，使用細(xì)粒度的分類分?jǐn)?shù)表示和共享索引圖像，將語義屬性更好地納入在線查詢階段，并在合理的時(shí)間和內(nèi)存消耗下獲得了良好的搜索結(jié)果；Kumar 等［15］提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的內(nèi)容細(xì)粒度圖像檢索框架；Cui 等［16］提出一個(gè)端到端可訓(xùn)練網(wǎng)絡(luò)ExchNet，基于注意力機(jī)制和注意力約束分別獲得局部和全局特征，并為細(xì)粒度圖像生成緊湊的二進(jìn)制代碼以改善查詢速度慢和冗余存儲(chǔ)成本問題；Wang 等［17］提出一種三向增強(qiáng)的部分感知網(wǎng)絡(luò)，該網(wǎng)絡(luò)在中層特征空間后加入一個(gè)混合的高階注意力模塊，以生成各種高階注意力圖，捕捉中層卷積層中包含的豐富特征。雖然以上研究在細(xì)粒度服裝圖像檢索方面取得了一定進(jìn)展，但在處理數(shù)據(jù)集類別不平衡問題時(shí)仍存在困難。

1.2 數(shù)據(jù)層面非平衡學(xué)習(xí)

數(shù)據(jù)層面的非平衡學(xué)習(xí)方法采用重新取樣策略改變?cè)紨?shù)據(jù)中的類分布，以達(dá)到平衡數(shù)據(jù)集的目的［18-20］。最簡(jiǎn)單的重抽樣形式包括隨機(jī)過量取樣和隨機(jī)欠量取樣，前者處理類的不平衡是通過重復(fù)少數(shù)類中的實(shí)例實(shí)現(xiàn)的，而后者是隨機(jī)從多數(shù)類中刪除實(shí)例，以便與少數(shù)類的數(shù)量相匹配。研究表明，數(shù)據(jù)抽樣策略對(duì)分類性能影響不大［19］。雖然抽樣策略被廣泛采用，但這些方法操縱了給定領(lǐng)域的原始類表示，并引入了一些缺點(diǎn)，例如過度采樣有可能會(huì)導(dǎo)致過度擬合并加重計(jì)算負(fù)擔(dān)，而欠抽樣則可能消除對(duì)歸納過程至關(guān)重要的信息。此外，采用抽樣方法人為地平衡數(shù)據(jù)可能不適用于具有很大差異的數(shù)據(jù)集［20］。

1.3 算法層面非平衡學(xué)習(xí)

算法層面的非平衡學(xué)習(xí)方法可分為集合方法和對(duì)成本敏感的方法兩類［21-22］。例如，Liu 等［23］提出一種成本敏感的變分自動(dòng)編碼分類器，通過引入成本敏感因素將高成本分配給少數(shù)群體數(shù)據(jù)的錯(cuò)誤分類，從而使分類器偏向少數(shù)群體數(shù)據(jù)以解決不平衡數(shù)據(jù)分類問題；Wang 等［24］提出一種基于信息熵的兩類成本敏感矩陣化分類模型，將信息熵引入到矩陣化學(xué)習(xí)框架中以降低錯(cuò)誤分類成本；An等［25］提出一個(gè)基于深度學(xué)習(xí)的模型，通過強(qiáng)化學(xué)習(xí)代理指導(dǎo)成本敏感的特征獲取過程，以自適應(yīng)地為每個(gè)實(shí)例選擇信息豐富且成本較低的特征；Aram 等［26］引入一種基于支持向量機(jī)的濾波方法，通過選取模型對(duì)二次最大邊緣特征進(jìn)行線性化，提高了支持向量機(jī)特征選擇的泛化能力，使其適用于各種代價(jià)錯(cuò)誤情況；Losifidis 等［27］針對(duì)不平衡數(shù)據(jù)提出一種成本敏感的提升模型AdaCC，在提升過程中根據(jù)模型表現(xiàn)動(dòng)態(tài)地調(diào)整錯(cuò)誤分類成本，而不是使用固定的錯(cuò)誤分類成本矩陣。

以上研究主要通過引入深度神經(jīng)網(wǎng)絡(luò)模型、修改損失函數(shù)或修改原始數(shù)據(jù)集的方式處理數(shù)據(jù)不平衡問題。本文在參考以上研究成果的基礎(chǔ)上引入聯(lián)合預(yù)測(cè)服裝屬性與關(guān)鍵點(diǎn)的深度網(wǎng)絡(luò)模型，通過代價(jià)敏感損失函數(shù)處理服裝類別、屬性不平衡等問題。主要?jiǎng)?chuàng)新點(diǎn)為：①與固定權(quán)重相比，所提出的代價(jià)敏感損失函數(shù)既采用固定的權(quán)重方案，又根據(jù)數(shù)據(jù)實(shí)例的預(yù)測(cè)難度自適應(yīng)增加動(dòng)態(tài)權(quán)重；②動(dòng)態(tài)權(quán)重對(duì)實(shí)例的錯(cuò)誤預(yù)測(cè)結(jié)果進(jìn)行懲罰，提高困難樣本的參數(shù)優(yōu)化程度；③優(yōu)化了服裝關(guān)鍵檢測(cè)模塊，使得模型保留了特征的空間對(duì)應(yīng)關(guān)系，提升了服裝特征提取性能。

2 檢索模型構(gòu)建

誤差的反向傳播算法通常用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)，其根據(jù)訓(xùn)練過程中產(chǎn)生的誤差更新模型權(quán)重，來自每個(gè)類的數(shù)據(jù)實(shí)例錯(cuò)誤分類具有相同的重要性。本文基于該算法建立基于代價(jià)敏感的細(xì)粒度服裝圖片檢索模型。

2.1 細(xì)粒度服裝圖片檢索模型結(jié)構(gòu)

細(xì)粒度服裝圖片檢索模型依靠大量圖片和細(xì)粒度標(biāo)簽等數(shù)據(jù)進(jìn)行訓(xùn)練，通過損失函數(shù)誤差反向傳播優(yōu)化模型參數(shù)以學(xué)習(xí)圖片包含的細(xì)粒度服裝屬性。然而，細(xì)粒度服裝圖片數(shù)據(jù)集中的類別不平衡對(duì)訓(xùn)練模型性能有很大影響。數(shù)據(jù)集類別不平衡的解決方法有數(shù)據(jù)層面和算法層面兩種，由于本文數(shù)據(jù)集類別分布過于極端，圖片屬性存在各種復(fù)雜的包含關(guān)系，采用數(shù)據(jù)集重組方法存在過擬合和加重計(jì)算負(fù)擔(dān)等缺點(diǎn)，不適合使用數(shù)據(jù)層面的方法。因此，本文設(shè)計(jì)了算法層面基于代價(jià)敏感的方法解決數(shù)據(jù)集類別不平衡問題。

聯(lián)合預(yù)測(cè)服裝屬性與關(guān)鍵點(diǎn)的細(xì)粒度服裝圖片檢索模型結(jié)構(gòu)如圖1 所示。該模型將關(guān)鍵點(diǎn)坐標(biāo)變?yōu)闊釄D的形式，不破壞卷積網(wǎng)絡(luò)與標(biāo)簽的對(duì)應(yīng)空間關(guān)系，有利于服裝特征提取。該模型由4 個(gè)部分組成：①主干網(wǎng)絡(luò)模塊。用于提取28×28×512 維度的圖片特征；②服裝關(guān)鍵點(diǎn)檢測(cè)模塊。通過Roi-pooling 層切割圖片關(guān)鍵點(diǎn)位置特征，組合成4×4×4 096 維度的卷積層；③服裝類別、屬性分類模塊。服裝類別分類模塊通過下采樣卷積壓縮主干網(wǎng)絡(luò)的圖片特征維度至7×7×512，通過全連接分類網(wǎng)絡(luò)區(qū)分服裝的類別信息；服裝屬性分類模塊壓縮第②部分網(wǎng)絡(luò)輸出信息，通過全連接屬性分類網(wǎng)絡(luò)識(shí)別出服裝屬性；④服裝圖片檢索模塊。該模塊通過深度網(wǎng)絡(luò)模型輸出的特征信息建立特征索引庫(kù)，實(shí)現(xiàn)服裝的檢索查詢。

Fig.1 Fine-grained apparel image retrieval model structure圖1 細(xì)粒度服裝圖片檢索模型結(jié)構(gòu)

2.2 代價(jià)敏感學(xué)習(xí)

分類損失函數(shù)設(shè)定包含n 個(gè)樣本的數(shù)據(jù)集表示為D=，其中X?表示圖片的特征空間域，Y?表示標(biāo)簽的空間域。對(duì)于每個(gè)數(shù)據(jù)實(shí)例i，xi?X為輸入特征向量，yi?Y={1，2，...，c}為真實(shí)的類標(biāo) 簽。分類器的訓(xùn)練參數(shù)表示為F：=，其將輸入的特征向量映射到標(biāo)簽空間向量f ：X→Y，并通過最小化損失函數(shù)學(xué)習(xí)L(f(x；θ)，y)。定義1 個(gè)損失函數(shù)L：R×Y→R+和1 個(gè)分類器F，模型誤差均值被定義為RL(f)=ED[f (x；θ)，y]，其中期望值與數(shù)據(jù)集D有關(guān)。

模型的細(xì)粒度屬性為多標(biāo)簽性分類，其最后一層為sigmoid激活函數(shù)，那么細(xì)粒度屬性損失函數(shù)的平均誤差可表示為：

式中：θ 為模型的參數(shù)集，yij為實(shí)例xi的編碼標(biāo)簽中第j個(gè)元素，yi=∈{0，1}c；fj(x；θ)∈Rc為模型輸出，fj為f的第j個(gè)元素。

代價(jià)敏感損失函數(shù)在原分類損失函數(shù)的基礎(chǔ)上引入一個(gè)代價(jià)矩陣的加權(quán)分類目標(biāo)函數(shù)，為少數(shù)類和難以訓(xùn)練的實(shí)例分配更高權(quán)值，表示為：

式中：cost(fj(xi：θ)，yij)用于計(jì)算模型輸出fj(xi：θ)與真實(shí)標(biāo)簽yij對(duì)應(yīng)的代價(jià)權(quán)重wij。將代價(jià)權(quán)重wij作為一個(gè)超參數(shù)來處理，設(shè)置其與該類出現(xiàn)的類頻率成反比，其所有的值表示為一個(gè)代價(jià)矩陣。

令pj=fj(xi：θ)，則代價(jià)矩陣定義為：

式中：py表示數(shù)據(jù)集中真實(shí)標(biāo)簽yij的頻率。

代價(jià)權(quán)重既有數(shù)據(jù)集樣本類別不平衡的權(quán)重w1=(1-py)，又增加了模型預(yù)測(cè)錯(cuò)誤的懲罰項(xiàng)其中因此，代價(jià)權(quán)重函數(shù)可簡(jiǎn)化為wij=w1+w2，其中w1的特點(diǎn)為數(shù)據(jù)樣本越小，其權(quán)重越大；w2表示模型輸出結(jié)果在向量中與正確標(biāo)簽的距離，作用為控制困難樣本的權(quán)重。該代價(jià)損失函數(shù)有兩個(gè)優(yōu)點(diǎn)：①當(dāng)一個(gè)訓(xùn)練實(shí)例被錯(cuò)誤分類時(shí)，懲罰項(xiàng)w2能起到修正作用；②當(dāng)一個(gè)訓(xùn)練實(shí)例所屬類的數(shù)量占比很低時(shí)，權(quán)重w1能減小其帶來的負(fù)面影響。

3 實(shí)驗(yàn)方法與結(jié)果分析

3.1 實(shí)驗(yàn)設(shè)置

在最新DeepFashion 數(shù)據(jù)集中選取209 222 個(gè)樣本用于訓(xùn)練，4 萬個(gè)樣本用于驗(yàn)證，4 萬個(gè)樣本用于測(cè)試。數(shù)據(jù)集中服裝圖片的類別標(biāo)簽有50 種，細(xì)粒度屬性標(biāo)簽有1 000種。

進(jìn)行以下比較實(shí)驗(yàn)：①以使用損失函數(shù)（1）為基線；②使用代價(jià)敏感損失函數(shù)，僅使用平衡加權(quán)項(xiàng)w1；③使用代價(jià)敏感損失函數(shù)，僅使用錯(cuò)誤懲罰項(xiàng)w2；④使用代價(jià)敏感損失函數(shù)，采用平衡加權(quán)項(xiàng)w1和錯(cuò)誤懲罰項(xiàng)w2。

3.2 實(shí)驗(yàn)評(píng)價(jià)

采用3 種指標(biāo)評(píng)估模型性能，分別為：①精度（Precision，Pr）。表示正確預(yù)測(cè)的正例占所有預(yù)測(cè)為正例的比例；②召回率（Recall，Re）。表示預(yù)測(cè)屬于某類，且真正屬于該類的比例；③F1-分?jǐn)?shù)（F1-score）。其為精確和召回率的加權(quán)調(diào)和平均值。將指定的類j定義為一個(gè)正實(shí)例，所有其他類定義為負(fù)實(shí)例，則指定類標(biāo)簽j的性能指標(biāo)分別表示為：

式中：TP表示正樣本且預(yù)測(cè)正確，TN表示負(fù)樣本且預(yù)測(cè)正確，F(xiàn)P表示負(fù)樣本但預(yù)測(cè)為正樣本，F(xiàn)N表示正樣本但預(yù)測(cè)為負(fù)樣本。

3.3 代價(jià)敏感損失函數(shù)的消融實(shí)驗(yàn)

細(xì)粒度服裝共有50 類。如圖2 所示，各類別分布非常不平衡，圖片數(shù)量為10 000 張以上的類別有6 個(gè)，由少到多分別為第33、17、32、3、18、41 類，其中第41 類圖片有5萬多張；有15 個(gè)類別的圖片數(shù)量為1 000-10 000 等級(jí)；有14 個(gè)類別的圖片數(shù)量為100-1 000 等級(jí)；有15 個(gè)類別的圖片數(shù)量為0-100 等級(jí)。細(xì)粒度服裝圖片屬性有1 000 個(gè)，而且一個(gè)圖片可以有多個(gè)細(xì)粒度屬性。由于數(shù)據(jù)集類別不平衡，細(xì)粒度的屬性也分布極不平衡。此外，細(xì)粒度屬性數(shù)量比服裝類別數(shù)量更多且為多標(biāo)簽，因此細(xì)粒度服裝屬性的檢索更加困難。

Fig.2 Fine-grained apparel category distribution圖2 細(xì)粒度服裝類別分布

代價(jià)敏感損失函數(shù)固定權(quán)重和動(dòng)態(tài)權(quán)重的消融實(shí)驗(yàn)結(jié)果如表1 所示，其中Category-Average 表示服裝類別的平均性能指標(biāo)，Attribute-Average 表示服裝屬性的平均性能指標(biāo)。實(shí)驗(yàn)結(jié)果表明，不論是使用w1加權(quán)、w2加權(quán)還是w1+w2加權(quán)，均比使用原損失函數(shù)效果好。此外，w1權(quán)重的作用大于w2權(quán)重，w1和w2權(quán)重聯(lián)合使用有相互加強(qiáng)的作用。

Table 1 Ablation experiment of fixed weight and dynamic weight of cost-sensitive loss function表1 代價(jià)敏感損失函數(shù)固定權(quán)重和動(dòng)態(tài)權(quán)重的消融實(shí)驗(yàn)（%）

3.4 代價(jià)敏感損失函數(shù)性能

細(xì)粒度服裝圖片檢索模型使用不同損失函數(shù)進(jìn)行實(shí)驗(yàn)得到的精確率、召回率、F1-分?jǐn)?shù)性能指標(biāo)結(jié)果如表2所示。使用到的比較損失函數(shù)包括：①二分類交叉熵?fù)p失函數(shù)（Binary Cross-Entropy Loss，BCE Loss），其特點(diǎn)為優(yōu)化整個(gè)模型，最小化代價(jià)函數(shù)。當(dāng)數(shù)據(jù)集分布不平衡時(shí)，其優(yōu)化結(jié)果偏向于數(shù)量更多的類別，因此其實(shí)驗(yàn)結(jié)果最差；②固定權(quán)重二分類交叉熵?fù)p失函數(shù)（Weighted Binary Cross-Entropy Loss，Weighted CE），其對(duì)不平衡數(shù)據(jù)進(jìn)行加權(quán)處理，與BCE loss 相比能提升數(shù)量少的類別性能；③Focal Loss 與前兩個(gè)損失函數(shù)相比不僅對(duì)不平衡數(shù)據(jù)進(jìn)行加權(quán)處理，還針對(duì)樣本難易增加了權(quán)重控制；④本文損失函數(shù)除對(duì)不平衡數(shù)據(jù)進(jìn)行加權(quán)處理外，還增加了錯(cuò)誤懲罰項(xiàng)，對(duì)分類錯(cuò)誤的樣本進(jìn)行動(dòng)態(tài)加權(quán)，使得損失函數(shù)優(yōu)化偏向于分類困難的類別。代價(jià)敏感損失函數(shù)使用固定權(quán)重和動(dòng)態(tài)權(quán)重的方法處理數(shù)據(jù)集的非平衡問題，在關(guān)鍵點(diǎn)檢測(cè)中通過將坐標(biāo)轉(zhuǎn)換為熱圖的方式保留圖像空間特征的對(duì)應(yīng)關(guān)系。因此，本文損失函數(shù)檢索性能優(yōu)于其他3個(gè)損失函數(shù)。

Table 2 Experimental results of using different loss functions for clothing categories and attributes表2 模型使用不同損失函數(shù)的實(shí)驗(yàn)結(jié)果 （%）

3.5 服裝類別和屬性識(shí)別性能

模型檢索性能與其區(qū)分服裝屬性的能力有關(guān)，因此本文選擇與文獻(xiàn)［18］中的FashionNet（FN）及其相似版本進(jìn)行服裝屬性識(shí)別比較實(shí)驗(yàn)，比較模型包括使用Joints 的關(guān)鍵點(diǎn)檢測(cè)方法（Joints、Poselets）［28］代替FN 模型關(guān)鍵點(diǎn)檢測(cè)部分模塊 的FN+Joints 和FN+Poselets；使用VGG-16 與ResNet50 等替換FN 主干網(wǎng)絡(luò)的FN-VGG16 和FNResNet50。評(píng)價(jià)指標(biāo)包括服裝類別、紋理、布料、形狀、組件、風(fēng)格等屬性的預(yù)測(cè)準(zhǔn)確率和平均準(zhǔn)確率，結(jié)果如表3所示?？梢钥闯?，在使用top-3、top-5 準(zhǔn)確性進(jìn)行評(píng)估時(shí)，本文模型表現(xiàn)優(yōu)于其他比較模型。

Table 3 Experimental results of models for recognizing clothing categories and attributes表3 模型識(shí)別服裝類別和屬性實(shí)驗(yàn)結(jié)果（%）

3.6 細(xì)粒度服裝檢索性能

將本文方法與以下細(xì)粒度檢索方法進(jìn)行比較：①基于局部化三聯(lián)體損失的細(xì)粒度時(shí)尚圖像檢索（Localized Triplet Loss for Fine-grained Fashion Image Retrieval，Localized Triplet）［2］；②基于自適應(yīng)深度學(xué)習(xí)的細(xì)粒度文化遺產(chǎn)圖像檢索（Adaptive Deep Learning for Cultural Heritage Image，ADLCHI）［8］；③三向增強(qiáng)的部分感知網(wǎng)絡(luò)模型（Three-way Enhanced Part-aware Network，TEPN）［17］。表4 實(shí)驗(yàn)結(jié)果表明，本文方法的評(píng)價(jià)指標(biāo)優(yōu)于3種比較方法。

Table 4 Retrieval performance comparison of different methods表4 不同方法檢索性能比較 （%)

4 結(jié)語

為提高服裝圖片檢索效果，本文提出一種代價(jià)敏感適應(yīng)加權(quán)方法，并引入代價(jià)敏感損失函數(shù)，其中加權(quán)方案基于訓(xùn)練數(shù)據(jù)的類頻率和單個(gè)數(shù)據(jù)實(shí)例的預(yù)測(cè)難度實(shí)施，動(dòng)態(tài)權(quán)重由神經(jīng)網(wǎng)絡(luò)產(chǎn)生的輸出結(jié)果分?jǐn)?shù)決定。本文損失函數(shù)在細(xì)粒度服裝類別和多標(biāo)簽細(xì)粒度服裝屬性檢索中展示出一致結(jié)果，表明代價(jià)敏感損失函數(shù)提升了模型性能，能有效處理數(shù)據(jù)集類別不平衡問題。如果能獲取更多數(shù)據(jù)集，模型的檢索準(zhǔn)確率可能會(huì)更高。目前模型使用K-means 分類的方式加速檢索過程，比傳統(tǒng)窮舉方法速度提升了許多，但檢索準(zhǔn)確率有所下降。未來可構(gòu)建一個(gè)分布式檢索系統(tǒng)，以應(yīng)對(duì)大規(guī)模檢索數(shù)據(jù)時(shí)速度變慢的問題。