朱海龍，徐 聰，曲媛媛，賀 維，3，楊文佳

1(哈爾濱師范大學(xué) 計(jì)算機(jī)科學(xué)與信息工程學(xué)院，哈爾濱 150500)

2(黑龍江農(nóng)業(yè)工程職業(yè)學(xué)院，哈爾濱 150500)

3(中國(guó)人民解放軍火箭軍工程大學(xué)，西安 710025)

1 引 言

深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的一個(gè)分支，在數(shù)據(jù)挖掘、自然語(yǔ)言處理、推薦系統(tǒng)、目標(biāo)追蹤、圖像識(shí)別等多個(gè)領(lǐng)域都取得了顯著的成果，成為目前人工智能領(lǐng)域最受關(guān)注的技術(shù).然而深層神經(jīng)網(wǎng)絡(luò)算法(Deep neural network algorithm，DNN)、卷積神經(jīng)網(wǎng)絡(luò)算法(Convolutional neural network algorithm，CNN)、遞歸神經(jīng)網(wǎng)絡(luò)算法(Recursive neural network algorithm，RNN)等深度學(xué)習(xí)領(lǐng)域的典型算法，在實(shí)際運(yùn)用時(shí)受限于數(shù)據(jù)集的規(guī)模，有時(shí)難以提取到高精度的特征，使得模型無(wú)法達(dá)到預(yù)期效果.這時(shí)便需要對(duì)模型進(jìn)行優(yōu)化，當(dāng)數(shù)據(jù)擴(kuò)充等方式達(dá)到優(yōu)化的瓶頸時(shí)，人們經(jīng)常采用集成學(xué)習(xí)算法合并多個(gè)分類(lèi)器的結(jié)果，降低泛化誤差，提高最終模型的準(zhǔn)確率.

集成學(xué)習(xí)由于其良好的泛化性能，一直以來(lái)都是學(xué)者研究的熱點(diǎn)方向.文獻(xiàn)[1]提出Bagging算法，該方法先采用有放回抽樣的方式，產(chǎn)生多個(gè)數(shù)據(jù)集，之后通過(guò)基分類(lèi)器訓(xùn)練模型，以簡(jiǎn)單多數(shù)投票法作為結(jié)合策略，將多個(gè)模型集成得到最終結(jié)果，該方法作為集成學(xué)習(xí)領(lǐng)域的典型算法，為集成學(xué)習(xí)后續(xù)的發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ).文獻(xiàn)[2]提出一種基于支持向量機(jī)的集成學(xué)習(xí)方法，該方法使用隨機(jī)欠抽樣與合成少數(shù)類(lèi)過(guò)抽樣技術(shù)結(jié)合的方式對(duì)數(shù)據(jù)集進(jìn)行處理，形成多個(gè)數(shù)據(jù)子集，之后使用Boosting算法訓(xùn)練出多個(gè)基支持向量機(jī)的強(qiáng)分類(lèi)器模型，通過(guò)投票法集成得到最終結(jié)果，該方法具有良好的檢測(cè)性能.文獻(xiàn)[3]提出了一種用于軟件知識(shí)庫(kù)挖掘的，基于進(jìn)化規(guī)劃的非對(duì)稱(chēng)加權(quán)最小二乘支持向量機(jī)集成學(xué)習(xí)方法，相比于其他分類(lèi)算法可以有效提高精度.文獻(xiàn)[4]提出了漸進(jìn)式半監(jiān)督集成學(xué)習(xí)方法，該方法在大多數(shù)數(shù)據(jù)集上都可以取得良好的表現(xiàn)，并在部分?jǐn)?shù)據(jù)集上表現(xiàn)優(yōu)越.文獻(xiàn)[5]針對(duì)不同的標(biāo)記源和非標(biāo)記源，提出了一種集成學(xué)習(xí)算法，這種算法對(duì)于大型信息源具有更強(qiáng)的可擴(kuò)展性，對(duì)于帶噪聲數(shù)據(jù)的標(biāo)記源具有更強(qiáng)的魯棒性.文獻(xiàn)[6]在Bagging算法、AdaBoost算法、BRB(Belief Rule-Base)3者結(jié)合的基礎(chǔ)上提出了基于梯度下降法的BRB系統(tǒng)的集成學(xué)習(xí)方法，該算法比單個(gè)BRB系統(tǒng)更為合理有效.文獻(xiàn)[7]提出一種個(gè)性化加權(quán)的在線集成算法，該方法先將基分類(lèi)器的權(quán)重與樣本集的相似性進(jìn)行關(guān)聯(lián)，計(jì)算數(shù)據(jù)塊之間的相似度，以該相似度為指標(biāo)確定數(shù)據(jù)塊對(duì)應(yīng)基分類(lèi)器的投票權(quán)重，再進(jìn)行集成，該方法以在線的形式與無(wú)線傳感器網(wǎng)絡(luò)數(shù)據(jù)流進(jìn)行了響應(yīng)，相比傳統(tǒng)的在線學(xué)習(xí)算法有更高的預(yù)測(cè)精度.以上文獻(xiàn)都是近年來(lái)較為新穎的集成學(xué)習(xí)方法，然而這些方法在集成時(shí)大多采用平均法、投票法等表決融合方式作為結(jié)合策略，無(wú)法有效挖掘分類(lèi)器的內(nèi)部信息，不能明確地體現(xiàn)出各個(gè)分類(lèi)器之間存在的關(guān)系，在多種分類(lèi)器集成時(shí)無(wú)法將融合效果最大化.這種現(xiàn)象就像一個(gè)只能認(rèn)知世界的嬰兒，在擁有很多玩具時(shí)，無(wú)法通過(guò)自己的判斷獲得最好的搭配方案，需要大人的幫助進(jìn)行決策.

人工智能是在研究模擬人類(lèi)智能的基礎(chǔ)上，衍生出的一門(mén)新的技術(shù)學(xué)科，集成學(xué)習(xí)作為該學(xué)科中重要的一個(gè)分支，也是在模擬人類(lèi)思維方式的基礎(chǔ)上建立起來(lái)的，它的集成過(guò)程便相當(dāng)于人類(lèi)的決策過(guò)程，因此也可以從決策的角度對(duì)集成學(xué)習(xí)的集成過(guò)程進(jìn)行優(yōu)化.Dempster-Shafer(D-S)證據(jù)理論作為智能決策領(lǐng)域的重要組成部分，利用Dempster規(guī)則進(jìn)行證據(jù)融合，實(shí)現(xiàn)不確定性推理，具有很強(qiáng)的靈活性.然而該算法無(wú)法解決沖突證據(jù)，且存在指數(shù)爆炸等問(wèn)題[8-10].

2013年，Yang等人建立了考慮證據(jù)權(quán)重和證據(jù)可靠度的ER規(guī)則，它明確區(qū)分了證據(jù)的可靠性和重要性，構(gòu)成了一個(gè)通用的聯(lián)合概率推理過(guò)程，可以有效地解決D-S證據(jù)推理中存在的問(wèn)題[11,12].ER規(guī)則作為D-S理論的進(jìn)一步發(fā)展，已經(jīng)成為非經(jīng)典推理領(lǐng)域的重要組成元素，并被成功應(yīng)用于現(xiàn)代社會(huì)的各個(gè)行業(yè)中.文獻(xiàn)[13]給出了基于ER規(guī)則的故障診斷方法，并使用該方法來(lái)解決不確定性故障特征信息的融合決策問(wèn)題，該方法繼承了D-S證據(jù)理論的優(yōu)點(diǎn)，并克服了其無(wú)法區(qū)分證據(jù)可靠性和重要性的不足，可以使獲得的診斷證據(jù)更為客觀.文獻(xiàn)[14]通過(guò)研究ER規(guī)則中證據(jù)權(quán)重歸一化對(duì)合成結(jié)果的影響及ER規(guī)則與證據(jù)折扣方法之間的聯(lián)系，在證據(jù)的重要性與可靠性表示上提出了一種改進(jìn)方法.文獻(xiàn)[15]提出了一種應(yīng)用ER推理規(guī)則的多指標(biāo)醫(yī)學(xué)質(zhì)量評(píng)價(jià)框架，將數(shù)據(jù)指標(biāo)轉(zhuǎn)換為定性等級(jí)，提高了不確定性條件下模型的魯棒性.文獻(xiàn)[16]提出一種基于數(shù)據(jù)可靠性和區(qū)間證據(jù)推理的故障檢測(cè)方法，將專(zhuān)家知識(shí)與考慮可靠性的監(jiān)測(cè)數(shù)據(jù)進(jìn)行融合，提高了故障檢測(cè)的準(zhǔn)確性.文獻(xiàn)[17]提出了一種擾動(dòng)系數(shù)來(lái)表征ER規(guī)則的性能指標(biāo)，分析了ER規(guī)則的魯棒性和穩(wěn)定性，為ER規(guī)則的研究運(yùn)用提供理論依據(jù)和技術(shù)支持.

本文從智能決策的角度，采用ER規(guī)則作為集成學(xué)習(xí)中集成多種分類(lèi)器時(shí)的結(jié)合策略，在集成過(guò)程中考慮了各個(gè)分類(lèi)器之間實(shí)際存在的關(guān)聯(lián)，克服了只考慮分類(lèi)器數(shù)據(jù)間數(shù)值關(guān)系的集成學(xué)習(xí)算法的不足，并進(jìn)一步提高了模型的準(zhǔn)確率.在模型建模過(guò)程中，將分類(lèi)器的預(yù)測(cè)結(jié)果視做ER規(guī)則中的證據(jù)，利用統(tǒng)計(jì)分析的方法設(shè)置證據(jù)的可靠度，運(yùn)用熵權(quán)法代替專(zhuān)家知識(shí)來(lái)確定證據(jù)的權(quán)重，進(jìn)一步增強(qiáng)模型參數(shù)設(shè)置的科學(xué)性.

文章結(jié)構(gòu)如下：第1章對(duì)文章所解決問(wèn)題的背景進(jìn)行了概況描述;第2章從人的思維角度對(duì)集成學(xué)習(xí)的過(guò)程進(jìn)行了分析與描述;第3章構(gòu)建基于ER規(guī)則的集成學(xué)習(xí)模型，給出模型中證據(jù)的權(quán)重和可靠度的計(jì)算方法，并定義了模型的集成學(xué)習(xí)過(guò)程;第4章通過(guò)案例分析，驗(yàn)證了模型的有效性：第5章對(duì)全文進(jìn)行了總結(jié)并提出今后工作的展望.

2 問(wèn)題描述

人工智能是對(duì)人的意識(shí)、思維的一種延伸，它通過(guò)模擬人類(lèi)基于智能創(chuàng)造出的理論、方法、技術(shù)，使得機(jī)器可以對(duì)客觀世界產(chǎn)生類(lèi)似于人類(lèi)智能的反應(yīng)，并對(duì)這種反應(yīng)進(jìn)行進(jìn)一步的擴(kuò)展[18].人工智能模擬人類(lèi)行為的過(guò)程主要包括以下3個(gè)階段：感知，認(rèn)知，決策[19].具體實(shí)現(xiàn)如下：

1)智能感知階段：機(jī)器設(shè)備智能感知外界事物，形成可以被算法處理的數(shù)據(jù)，將數(shù)據(jù)進(jìn)行整理，形成數(shù)據(jù)集.假設(shè)v表示外界事物信息轉(zhuǎn)換形成的數(shù)據(jù)集，例如圖像、文本等類(lèi)型數(shù)據(jù).

2)智能認(rèn)知階段：數(shù)據(jù)集通過(guò)K種深度學(xué)習(xí)算法，形成K種分類(lèi)器，稱(chēng)為智能認(rèn)知模型.假設(shè)u(k)表示第k(k=1，…，K)種智能認(rèn)知模型的認(rèn)知結(jié)果.這個(gè)過(guò)程能夠被描述為：

u(k)=fk(v，α)

(1)

其中，fk(·)表示第k種深度學(xué)習(xí)算法的認(rèn)知過(guò)程，α表示認(rèn)知過(guò)程中的參數(shù)集合.

3)智能決策階段：將智能認(rèn)知模型的認(rèn)知結(jié)果通過(guò)相關(guān)策略進(jìn)行集成，得到智能決策結(jié)果.假設(shè)u表示智能決策結(jié)果.這個(gè)過(guò)程能夠被描述為：

u=g(u(k)，β)

(2)

其中，g(·)表示智能決策的過(guò)程，β表示在決策過(guò)程中的參數(shù)集合.

集成學(xué)習(xí)可以認(rèn)為是對(duì)問(wèn)題的決策，通過(guò)對(duì)不同分類(lèi)器的輸出進(jìn)行分析，獲取最優(yōu)輸出結(jié)果.基于以上思想，通過(guò)人工智能模擬人類(lèi)行為的過(guò)程來(lái)構(gòu)建集成學(xué)習(xí)模型需要解決以下問(wèn)題：

問(wèn)題1.在構(gòu)建集成學(xué)習(xí)方法時(shí)，從人類(lèi)智能的角度描述集成學(xué)習(xí)過(guò)程.

問(wèn)題2.在構(gòu)建集成學(xué)習(xí)方法時(shí)，有效挖掘分類(lèi)器內(nèi)部和分類(lèi)器之間的有效信息，進(jìn)一步提高集成學(xué)習(xí)模型效果.

基于以上挑戰(zhàn)，本文提出一種基于ER規(guī)則的集成學(xué)習(xí)方法.如圖1所示.

圖1 基于證據(jù)推理的集成學(xué)習(xí)模型

3 基于ER規(guī)則的集成學(xué)習(xí)模型

ER規(guī)則作為一種優(yōu)秀的智能決策算法，在ER算法的基礎(chǔ)上，新增了證據(jù)的可靠度屬性，并融合到證據(jù)的置信分布中，通過(guò)ER規(guī)則可以更好地解決實(shí)際工程問(wèn)題.

本文通過(guò)深度學(xué)習(xí)算法對(duì)機(jī)器感知世界形成的數(shù)據(jù)集進(jìn)行處理，建立智能認(rèn)知模型.將智能認(rèn)知模型對(duì)于數(shù)據(jù)認(rèn)知的結(jié)果作為證據(jù)，運(yùn)用ER規(guī)則進(jìn)行證據(jù)融合，構(gòu)建智能決策模型，得到智能決策結(jié)果.在構(gòu)建過(guò)程中，利用熵權(quán)法確定不同證據(jù)的權(quán)重，利用數(shù)理統(tǒng)計(jì)確定不同證據(jù)的可靠度.建模過(guò)程如圖2所示.

圖2 集成學(xué)習(xí)模型的建模過(guò)程

3.1 集成模型的前期準(zhǔn)備

通過(guò)傳感器、攝像頭等智能認(rèn)知設(shè)備，將客觀世界的信息轉(zhuǎn)換成圖片、文本等計(jì)算機(jī)可以處理的數(shù)據(jù)，將數(shù)據(jù)整理作為輸入數(shù)據(jù)集，通過(guò)不同的深度學(xué)習(xí)算法提取數(shù)據(jù)的特征，經(jīng)過(guò)訓(xùn)練得到智能認(rèn)知模型.在訓(xùn)練過(guò)程中不斷調(diào)整所使用的深度學(xué)習(xí)算法參數(shù)，提高智能認(rèn)知模型的能力.

3.2 集成模型的構(gòu)建

以智能認(rèn)知結(jié)果為輸入證據(jù)，通過(guò)ER規(guī)則進(jìn)行融合，建立智能決策模型，在融合過(guò)程中通過(guò)熵權(quán)法等客觀方法確定證據(jù)權(quán)重和證據(jù)可靠度，提高模型的決策能力.

3.2.1 證據(jù)權(quán)重

在傳統(tǒng)的ER規(guī)則中，證據(jù)權(quán)重的設(shè)定通常由專(zhuān)家知識(shí)直接給出，然而專(zhuān)家知識(shí)具有主觀性，且系統(tǒng)結(jié)構(gòu)復(fù)雜時(shí)，無(wú)法給出精確的結(jié)果，這些問(wèn)題同時(shí)也限制了ER規(guī)則在一些場(chǎng)景中的使用.

為提高決策模型的科學(xué)性，擴(kuò)大其使用范圍，本文采用熵權(quán)法代替專(zhuān)家知識(shí)來(lái)確定權(quán)重，熵權(quán)法作為一種基于數(shù)據(jù)的客觀賦值方法，在系統(tǒng)情況復(fù)雜時(shí)，仍然可以通過(guò)數(shù)理分析的方法確定出精準(zhǔn)的權(quán)重結(jié)果[20]，已經(jīng)被廣泛運(yùn)用于各個(gè)領(lǐng)域.在熵權(quán)法中，某個(gè)指標(biāo)的信息熵EJ越大，它的離散程度越小，在綜合評(píng)價(jià)中所起到的作用也越小，權(quán)重也越小[21].確定證據(jù)權(quán)重的過(guò)程如圖3所示，步驟如下：

圖3 證據(jù)權(quán)重計(jì)算過(guò)程

1)數(shù)據(jù)標(biāo)準(zhǔn)化

將機(jī)器感知信息形成的數(shù)據(jù)集v劃分為訓(xùn)練集、測(cè)試集、預(yù)測(cè)集3部分.

以訓(xùn)練集與測(cè)試集為輸入數(shù)據(jù)，通過(guò)深度學(xué)習(xí)算法建立智能認(rèn)知模型u(k)，以預(yù)測(cè)集為輸入數(shù)據(jù)，通過(guò)智能認(rèn)知模型得到智能認(rèn)知結(jié)果x，作為原始指標(biāo)矩陣中各個(gè)指標(biāo)的數(shù)據(jù)，并進(jìn)行標(biāo)準(zhǔn)化處理.假設(shè)有p個(gè)樣本，K個(gè)智能認(rèn)知模型，T種情況，則存在KT個(gè)指標(biāo)X1，X2，…，XKT，其中Xj={x1j，x2j，……，xPj}，xij為第i個(gè)樣本的第j個(gè)指標(biāo)數(shù)值(i=1，…，p;j=1，…，KT);本文中所使用的指標(biāo)均為正向指標(biāo)，通過(guò)Min-Max標(biāo)準(zhǔn)化得到：

(3)

2)計(jì)算上述正向指標(biāo)的信息熵

第j個(gè)指標(biāo)的信息熵為：

(4)

其中，

(5)

3)歸一化確定上述正向指標(biāo)的權(quán)重

由式(4)計(jì)算得出各組數(shù)據(jù)的信息熵為：

E1，E2，…，EKT

通過(guò)信息熵計(jì)算得：

(6)

(7)

其中，wkt為第kt個(gè)指標(biāo)的權(quán)重，wk為第k個(gè)智能認(rèn)知模型認(rèn)知結(jié)果的權(quán)重，即ER規(guī)則中第k個(gè)證據(jù)的權(quán)重.

3.2.2 證據(jù)可靠度

證據(jù)可靠度由智能認(rèn)知結(jié)果對(duì)應(yīng)給出，如圖4所示，流程如下：

圖4 證據(jù)可靠度計(jì)算過(guò)程

以數(shù)據(jù)集v中的訓(xùn)練集與測(cè)試集為輸入數(shù)據(jù)，通過(guò)深度學(xué)習(xí)算法建立智能認(rèn)知模型u(k)，以預(yù)測(cè)集為輸入數(shù)據(jù)，通過(guò)智能認(rèn)知模型得到智能認(rèn)知結(jié)果，最終通過(guò)數(shù)理統(tǒng)計(jì)將智能認(rèn)知結(jié)果轉(zhuǎn)化為概率形式，作為該認(rèn)知結(jié)果的證據(jù)可靠度，即ER規(guī)則中第k個(gè)證據(jù)的可靠度.

3.2.3 證據(jù)推理過(guò)程

1)假設(shè)集成過(guò)程中每個(gè)智能認(rèn)知模型的認(rèn)知結(jié)果為一個(gè)獨(dú)立的證據(jù)，則共有K條獨(dú)立證據(jù)ek(k=1，…，K).證據(jù)推理過(guò)程如圖5所示.

圖5 證據(jù)推理過(guò)程

先將證據(jù)表示為置信分布，即第k個(gè)智能認(rèn)知模型的認(rèn)知結(jié)果ek可以被表示為：

ek={(θn，pn，k)，n=1，…，N;(Θ，pΘ，k)}

(8)

其中θn(n=1，…，N)是評(píng)估等級(jí).pn，k表示該評(píng)估方案在證據(jù)ek下被評(píng)估為θn的置信度，N為評(píng)估等級(jí)的個(gè)數(shù).Θ={θ1，…，θN}為辨識(shí)框架，pΘ，k表示全局無(wú)知.

2)獨(dú)立證據(jù)ek的權(quán)重為wk由3.2.1得出，可靠度為rk由3.2.2得出.帶有可靠性的第k條證據(jù)的加權(quán)置信分布為：

(9)

其中，

(10)

(11)

3)K條獨(dú)立證據(jù)ek(k=1，…，K)，對(duì)命題θ的Pθ，e(b)可以通過(guò)迭代下式得到：

∑A∩B=θmA，e(b-1)mB，b，?θ?Θ

(12)

(13)

(14)

(15)

其中，k=1，…，L，mθ，e(1)=mθ，1，mP(Θ)，e(1)=mP(Θ)，1，mθ，e(b)為b條證據(jù)的聯(lián)合概率密度，pθ，e(b)為b條證據(jù)的聯(lián)合置信度.

4)設(shè)評(píng)估等級(jí)θn的效用為u(θn)，決策模型的期望效用為：

(16)

4 案例分析

4.1 基于氣象識(shí)別數(shù)據(jù)集的實(shí)驗(yàn)

本次實(shí)驗(yàn)所使用的數(shù)據(jù)集為GitHub平臺(tái)上提供的天氣圖像公共數(shù)據(jù)包，內(nèi)容為智能交通領(lǐng)域中某道路在不同天氣情況下拍攝到的圖片，按天氣分為clear(484張)、cloudy(816張)、rain(648張)、snow(90張)4種情況，總計(jì)2038張圖片.對(duì)于數(shù)據(jù)集中的每張圖片采用Densenet、InceptionV3、Vgg16、Alexnet 4種深度學(xué)習(xí)算法進(jìn)行預(yù)測(cè)分類(lèi)，建立智能認(rèn)知模型與智能決策模型，通過(guò)不同模型之間準(zhǔn)確率的比較，驗(yàn)證該集成學(xué)習(xí)方法的有效性.具體實(shí)驗(yàn)步驟如下：

1)將數(shù)據(jù)集按6∶2∶2的比例劃分為訓(xùn)練集、測(cè)試集、預(yù)測(cè)集，以訓(xùn)練集、測(cè)試集為輸入數(shù)據(jù)導(dǎo)入到4種深度學(xué)習(xí)算法中，迭代優(yōu)化產(chǎn)生4種智能認(rèn)知模型.

2)將預(yù)測(cè)集導(dǎo)入到4種建立好的智能認(rèn)知模型中，得出預(yù)測(cè)集中每張圖片分別屬于4種天氣情況的概率，作為各智能認(rèn)知模型的智能認(rèn)知結(jié)果.

3)標(biāo)準(zhǔn)化智能認(rèn)知結(jié)果，形成原始指標(biāo)矩陣，通過(guò)熵權(quán)法計(jì)算得出證據(jù)權(quán)重.

4)對(duì)智能認(rèn)知結(jié)果進(jìn)行統(tǒng)計(jì)分析，得到各個(gè)智能認(rèn)知模型的認(rèn)知準(zhǔn)確率，將準(zhǔn)確率作為證據(jù)可靠度.

5)以智能認(rèn)知結(jié)果為證據(jù)，以ER規(guī)則為結(jié)合策略，將4種智能認(rèn)知模型的智能認(rèn)知結(jié)果進(jìn)行融合，形成決策模型，通過(guò)效用轉(zhuǎn)換，計(jì)算準(zhǔn)確率，即為智能決策結(jié)果.

本次實(shí)驗(yàn)所使用的4種深度學(xué)習(xí)算法在卷積層均采用RELU激活函數(shù)，并以全連接層接softmax函數(shù)作為輸出層，在訓(xùn)練過(guò)程的超參數(shù)設(shè)置如表1所示.

表1 各模型的超參數(shù)

將預(yù)測(cè)集按clear、cloudy、rain、snow4種天氣情況分類(lèi)后，作為輸入數(shù)據(jù)導(dǎo)入到智能認(rèn)知模型與智能決策模型中，分別計(jì)算模型對(duì)不同天氣情況下數(shù)據(jù)的預(yù)測(cè)準(zhǔn)確率.

如表2及圖6所示.基于ER規(guī)則的集成學(xué)習(xí)模型相比于單一的深度學(xué)習(xí)算法，在準(zhǔn)確率方面有了明顯的提升.

表2 不同天氣情況下各模型準(zhǔn)確率結(jié)果

圖6 不同天氣情況下各模型準(zhǔn)確率對(duì)比

將數(shù)據(jù)集直接導(dǎo)入到不同模型中，得到總情況下各模型的準(zhǔn)確率，如表3所示.在總體情況下，由ER規(guī)則進(jìn)行集成后的集成模型比效果最好的深度學(xué)習(xí)算法在準(zhǔn)確率方面依舊有2%-3%的有效提升.

表3 總情況下各模型準(zhǔn)確率結(jié)果

仍以Densenet、InceptionV3、Alexnet、Vgg16這4種深度學(xué)習(xí)算法作為基分類(lèi)器，采用不同的結(jié)合策略，對(duì)其形成的智能認(rèn)知模型進(jìn)行集成，準(zhǔn)確率對(duì)比結(jié)果如表5所示.由ER規(guī)則作為結(jié)合策略的集成學(xué)習(xí)模型相比于其它集成學(xué)習(xí)模型有更高的準(zhǔn)確率，基于熵權(quán)法的ER集成模型與基于專(zhuān)家知識(shí)的ER集成模型在準(zhǔn)確率方面相近，但基于樣本確定權(quán)重的熵權(quán)ER規(guī)則在融合多種分類(lèi)器時(shí)，所設(shè)置的權(quán)重(如表4所示)更具科學(xué)性.

表4 不同ER規(guī)則的權(quán)重對(duì)比

表5 總情況下不同結(jié)合策略的集成模型準(zhǔn)確率結(jié)果

4.2 基于花卉識(shí)別數(shù)據(jù)集的實(shí)驗(yàn)

本次實(shí)驗(yàn)所使用的數(shù)據(jù)集為百度AI Studio平臺(tái)提供的公開(kāi)數(shù)據(jù)集Flower中的部分?jǐn)?shù)據(jù)集，包括daisy(633張)、dandelion(898張)、roses(641)、sunflowers(699張)4種，共計(jì)2871張圖片，按訓(xùn)練集、測(cè)試集、預(yù)測(cè)集按6：2：2的比例進(jìn)行劃分.

將劃分好的預(yù)測(cè)集作為輸入數(shù)據(jù)，導(dǎo)入到InceptionV2、InceptionV3、Alexnet、Vgg16這4種深度學(xué)習(xí)算法建立的智能認(rèn)知模型與ER集成模型中，預(yù)測(cè)準(zhǔn)確率如表6所示.經(jīng)過(guò)集成后的ER決策模型，相比單個(gè)模型，在準(zhǔn)確率方面，有了一定的提高.

表6 各模型準(zhǔn)確率結(jié)果

采用不同的結(jié)合策略對(duì)上述4種模型進(jìn)行集成，集成后模型的準(zhǔn)確率如表7所示，以ER規(guī)則為結(jié)合策略的集成模型相較其他方法效果更為優(yōu)秀.

表7 不同結(jié)合策略的集成模型準(zhǔn)確率結(jié)果

本文所用的方法，首先通過(guò)不同的深度學(xué)習(xí)算法分析訓(xùn)練數(shù)據(jù)，建立對(duì)應(yīng)的智能認(rèn)知模型，然后通過(guò)基于熵權(quán)法的ER規(guī)則將不同的智能認(rèn)知模型進(jìn)行集成形成智能決策模型，該方法符合人對(duì)事物的認(rèn)知過(guò)程，最后將該方法分別運(yùn)用于智能交通領(lǐng)域的氣象識(shí)別及經(jīng)典花卉識(shí)別任務(wù)中，通過(guò)準(zhǔn)確率的提升證明了實(shí)驗(yàn)方法的有效性，并證明了該方法的泛化性能.

5 總結(jié)及展望

本文提出了一種基于ER規(guī)則的集成學(xué)習(xí)方法，豐富了集成學(xué)習(xí)領(lǐng)域的結(jié)合策略，并得到以下結(jié)論：

1)以ER規(guī)則作為結(jié)合策略的集成學(xué)習(xí)方法相比于使用其它結(jié)合策略的集成學(xué)習(xí)方法，其集成過(guò)程清晰透明，結(jié)果可追溯，并在準(zhǔn)確率方面有了一定的提升.但該方法在基分類(lèi)器為抽象級(jí)或排序級(jí)輸出時(shí)，實(shí)用性還有待論證.

2)由熵權(quán)法設(shè)定權(quán)重的ER規(guī)則與由專(zhuān)家知識(shí)設(shè)定權(quán)重的ER規(guī)則相比，提供了精確的權(quán)重，不僅可以從統(tǒng)計(jì)分析的角度解釋權(quán)重設(shè)立的合理性，提高模型的科學(xué)性，還可以應(yīng)用于一些復(fù)雜情況中.此外，對(duì)于證據(jù)權(quán)重的設(shè)置還存在許多可以優(yōu)化的地方，使其更為合理.

3)該方法適用于多種領(lǐng)域的分類(lèi)任務(wù)，但在回歸任務(wù)、目標(biāo)追蹤等方面的效果還有待驗(yàn)證.