張 睿,宋思琪,胡 靜,張永梅,柴艷峰
(1.太原科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院,太原 030024;2.北方工業(yè)大學(xué) 信息學(xué)院,北京 100144)
教育部辦公廳于2020 年印發(fā)的《教育部產(chǎn)學(xué)合作協(xié)同育人項(xiàng)目管理辦法》中明確指出,“積極支持第三方機(jī)構(gòu)開(kāi)展項(xiàng)目評(píng)價(jià),健全統(tǒng)計(jì)評(píng)價(jià)體系。強(qiáng)化監(jiān)測(cè)評(píng)價(jià)結(jié)果運(yùn)用,作為試點(diǎn)開(kāi)展、激勵(lì)約束的重要依據(jù)”[1]??梢?jiàn),構(gòu)建完整、科學(xué)的績(jī)效智能評(píng)價(jià)體系和方法、開(kāi)展科學(xué)合理的產(chǎn)學(xué)研績(jī)效智能化評(píng)價(jià)非常必要。在評(píng)價(jià)體系方面,Wang[2]圍繞產(chǎn)學(xué)研合作中有關(guān)知識(shí)共享的特征、目標(biāo)和影響因素,設(shè)計(jì)出績(jī)效評(píng)價(jià)指標(biāo)體系;常潔等[3]基于資源、知識(shí)、技術(shù)、風(fēng)險(xiǎn)四個(gè)協(xié)同要素提出的假設(shè),總結(jié)了影響中小科技企業(yè)協(xié)同創(chuàng)新績(jī)效的因素;周廣亮等[4]以我國(guó)不同地區(qū)的30 個(gè)省份為研究對(duì)象,構(gòu)建出分為科技成果產(chǎn)出和科技成果轉(zhuǎn)化兩階段的創(chuàng)新績(jī)效評(píng)價(jià)體系。綜上所述,現(xiàn)有產(chǎn)學(xué)研績(jī)效評(píng)價(jià)體系仍存在評(píng)價(jià)主體及評(píng)價(jià)角度單一、指標(biāo)涵蓋范圍不夠全面的問(wèn)題。在評(píng)價(jià)方法方面,由于評(píng)價(jià)樣本屬于非線性的一維離散序列,傳統(tǒng)的機(jī)器學(xué)習(xí)方法很難充分挖掘樣本非線性特征及指標(biāo)間的關(guān)聯(lián)性特征,導(dǎo)致評(píng)價(jià)效果難以保障。
隨著深度學(xué)習(xí)技術(shù)的發(fā)展,深度分類模型為離散序列的分類決策提供了新的技術(shù)支持和新視野[5]。近年來(lái),許多學(xué)者將深層神經(jīng)網(wǎng)絡(luò)與績(jī)效評(píng)價(jià)進(jìn)行了有效的組合創(chuàng)新,并利用神經(jīng)網(wǎng)絡(luò)模型驗(yàn)證評(píng)價(jià)系統(tǒng)的有效性,如:Li[6]以現(xiàn)有創(chuàng)業(yè)網(wǎng)絡(luò)研究為基礎(chǔ),分析新公司之間的網(wǎng)絡(luò)關(guān)系,提出基于自組織映射神經(jīng)網(wǎng)絡(luò)算法的社會(huì)創(chuàng)業(yè)能力和新公司績(jī)效,進(jìn)而建立創(chuàng)業(yè)網(wǎng)絡(luò)和新的業(yè)務(wù)績(jī)效模型;Shen[7]以跨境電子商務(wù)國(guó)際貿(mào)易績(jī)效為研究對(duì)象,開(kāi)發(fā)基于深度神經(jīng)網(wǎng)絡(luò)的跨境國(guó)際貿(mào)易績(jī)效分類模型。通過(guò)分析上述研究,現(xiàn)階段基于評(píng)價(jià)指標(biāo)的深度學(xué)習(xí)分類方法主要通過(guò)離散序列各點(diǎn)直連的方式構(gòu)成一維連續(xù)序列,然后直接輸入深度分類模型中進(jìn)行決策,這類方法存在很多局限性:1)一維序列所能表達(dá)的特征有限;2)深度卷積模型更貼合對(duì)高維樣本的特征提取,雖也有一維卷積神經(jīng)網(wǎng)絡(luò),但已被證實(shí)效果不如二維卷積神經(jīng)網(wǎng)絡(luò)。因此,如何充分挖掘離散評(píng)價(jià)樣本特征的同時(shí)科學(xué)提高評(píng)價(jià)模型的準(zhǔn)確率仍需進(jìn)一步研究。
此外,深度分類模型中包含學(xué)習(xí)率、迭代次數(shù)、網(wǎng)絡(luò)層數(shù)等在內(nèi)的超參數(shù)多依賴人工主觀性設(shè)定,通常存在模型冗余度較高且自適應(yīng)能力弱的問(wèn)題。針對(duì)這些問(wèn)題,很多學(xué)者進(jìn)一步探索基于智能優(yōu)化算法的模型自優(yōu)化策略,以提高模型自適應(yīng)性,同時(shí)降低研究和時(shí)間成本。Yang 等[8]提出了基于集體引導(dǎo)因子[9]的探路者算法,以改善霍普菲爾德神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu);Sadeghi 等[10]提出了一種新的多目標(biāo)二元黑猩猩優(yōu)化算法和深度卷積神經(jīng)網(wǎng)絡(luò)的混合方法,以實(shí)現(xiàn)最優(yōu)特征選擇,并利用所提方法對(duì)極化合成孔徑雷達(dá)(POLarimetric Synthetic Aperture Radar,POLSAR)圖像進(jìn)行分類;Naveena等[11]設(shè)計(jì)了一種融合飛蛾火焰優(yōu)化(Moth-Flame Optimization,MFO)算法和烏鴉搜索算法(Crow Search Algorithm,CSA)的新型算法,并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行最優(yōu)特征選擇,提出的模型可以有效提高血糖水平預(yù)測(cè)性能;梁軍等[12]提出了一種基于改進(jìn)粒子群優(yōu)化算法和遺傳變異的圖像分割模型,首先對(duì)粒子群優(yōu)化算法進(jìn)行改進(jìn),增加了隨機(jī)鄰居粒子位置對(duì)自身位置的影響,擴(kuò)大了算法的搜索空間;其次結(jié)合遺傳算法的變異操作來(lái)提高模型的泛化能力。劉威等[13]提出融合混沌優(yōu)化、振幅隨機(jī)補(bǔ)償和步長(zhǎng)演變機(jī)制改進(jìn)的原子搜索優(yōu)化(Improved Atom Search Optimization,IASO)算法,優(yōu)化了BP 神經(jīng)網(wǎng)絡(luò)(Back Propagation Neural Network)參數(shù),成功應(yīng)用于任務(wù)分類。上述模型優(yōu)化策略均在實(shí)際應(yīng)用中取得成效,但仍然存在一些不足,如:1)種群初始化時(shí),個(gè)體分布不夠廣泛、均勻,不利于算法收斂;且普通個(gè)體攜帶有效信息較少,其他個(gè)體若盲目向當(dāng)前個(gè)體學(xué)習(xí)則會(huì)導(dǎo)致算法難以快速搜索到最優(yōu)解;2)算法迭代至后期,容易陷入局部最優(yōu),進(jìn)而影響算法的尋優(yōu)效果;3)現(xiàn)有算法的研究多集中在對(duì)淺層低維(2~3 個(gè))超參數(shù)模型的優(yōu)化設(shè)計(jì),并不適用于含有高維超參數(shù)的深度卷積模型的快速自適應(yīng)尋優(yōu)。
針對(duì)上述問(wèn)題,本文開(kāi)展了基于統(tǒng)計(jì)和自適應(yīng)ParNet(Adaptive Parallel Network,AParNet)的產(chǎn)學(xué)研績(jī)效評(píng)價(jià)研究,主要工作如下:
1)設(shè)計(jì)包括產(chǎn)學(xué)研合作中學(xué)校、企業(yè)與學(xué)生三方合作主體的貢獻(xiàn)、相關(guān)研究成果產(chǎn)出及各方對(duì)于其他合作主體的主觀評(píng)價(jià)等關(guān)鍵要素在內(nèi)的產(chǎn)學(xué)研績(jī)效評(píng)價(jià)指標(biāo),并通過(guò)主客觀綜合賦權(quán)求出各指標(biāo)權(quán)重,最終構(gòu)建產(chǎn)學(xué)研績(jī)效三級(jí)評(píng)價(jià)體系,為績(jī)效評(píng)價(jià)提供充足的數(shù)據(jù)保障。
2)為豐富產(chǎn)學(xué)研績(jī)效評(píng)價(jià)中離散樣本自身的特征表達(dá),將量化后的離散數(shù)據(jù)通過(guò)映射到極坐標(biāo)空間、馬爾可夫轉(zhuǎn)移矩陣等不同高維空間域,轉(zhuǎn)化為不同的二維空間域映射數(shù)據(jù)集,以提高離散數(shù)據(jù)特征挖掘的豐富度。
3)為進(jìn)一步實(shí)現(xiàn)深度分類模型輕量化壓縮及高維超參數(shù)的自適應(yīng)優(yōu)化,提出一種基于精英反向翻筋斗覓食的混沌算術(shù)優(yōu)化算法,以豐富種群多樣性、提高算法尋優(yōu)效率,最終面向評(píng)價(jià)應(yīng)用實(shí)現(xiàn)AParNet模型高效全局壓縮與超參數(shù)優(yōu)化。
科學(xué)合理的評(píng)價(jià)體系是實(shí)現(xiàn)精準(zhǔn)智能評(píng)價(jià)的前提保證,因此構(gòu)建評(píng)價(jià)體系為后期的評(píng)價(jià)算法提供有效的數(shù)據(jù)依據(jù)。分析現(xiàn)有研究發(fā)現(xiàn),在產(chǎn)學(xué)研合作績(jī)效評(píng)價(jià)體系中,對(duì)于評(píng)價(jià)指標(biāo)賦權(quán)方法的研究大多集中于層次分析法、熵權(quán)法、專家經(jīng)驗(yàn)判定法等主觀賦權(quán)方法,評(píng)價(jià)指標(biāo)的賦權(quán)相對(duì)主觀,影響最終評(píng)價(jià)效果。為解決這一問(wèn)題,本文構(gòu)建一個(gè)主客觀綜合賦權(quán)的產(chǎn)學(xué)研績(jī)效評(píng)價(jià)體系,大致流程是:先設(shè)置三級(jí)評(píng)價(jià)指標(biāo),再對(duì)各指標(biāo)進(jìn)行主、客觀綜合賦權(quán),最后以模糊數(shù)學(xué)理論為基礎(chǔ),對(duì)評(píng)價(jià)結(jié)果進(jìn)行量化[14],得出適用于產(chǎn)學(xué)研績(jī)效智能評(píng)價(jià)模型的數(shù)據(jù)集。構(gòu)建產(chǎn)學(xué)研合作績(jī)效評(píng)價(jià)體系流程如圖1 所示。
以往的產(chǎn)學(xué)研績(jī)效評(píng)價(jià)指標(biāo)主要存在指標(biāo)覆蓋范圍較小、指標(biāo)不夠細(xì)化、評(píng)價(jià)主體單一等問(wèn)題,本文通過(guò)對(duì)產(chǎn)學(xué)研合作過(guò)程各環(huán)節(jié)中績(jī)效產(chǎn)出影響因素的深入分析,篩選歸納出不同評(píng)價(jià)主體、評(píng)價(jià)方法在“輸入-過(guò)程-輸出-發(fā)展”各關(guān)鍵環(huán)節(jié)中信息、資源、規(guī)則等要素。主要圍繞參與產(chǎn)學(xué)研合作的校方、企業(yè)以及學(xué)生三方評(píng)價(jià)主體,具體將各方的貢獻(xiàn)以及合作質(zhì)量?jī)煞矫孀鳛橐患?jí)評(píng)價(jià)指標(biāo),并基于此逐級(jí)細(xì)化出二級(jí)指標(biāo)和三級(jí)指標(biāo),再基于模糊數(shù)學(xué)的數(shù)理統(tǒng)計(jì)方法,并結(jié)合主、客觀綜合賦權(quán),進(jìn)一步構(gòu)建出高理論飽和度的產(chǎn)學(xué)研績(jī)效評(píng)價(jià)體系,具體評(píng)價(jià)指標(biāo)及權(quán)重可見(jiàn)4.2 節(jié)。
基于上述指標(biāo)體系,對(duì)各指標(biāo)進(jìn)行主客觀綜合賦權(quán),以進(jìn)一步完成績(jī)效評(píng)價(jià),具體的權(quán)重計(jì)算分以下3 個(gè)步驟:
步驟1 優(yōu)序圖法[15]是將多個(gè)指標(biāo)進(jìn)行兩兩對(duì)比,最終按重要程度給出排序。該方法應(yīng)用比較簡(jiǎn)單,且既能處理定性問(wèn)題,又能處理定量問(wèn)題,故本文采用優(yōu)序圖法求出每個(gè)評(píng)價(jià)指標(biāo)的主觀權(quán)重,具體請(qǐng)多位領(lǐng)域?qū)<腋鶕?jù)指標(biāo)的相對(duì)重要性,對(duì)優(yōu)序圖上的指標(biāo)進(jìn)行兩兩對(duì)比打分,分?jǐn)?shù)范圍為1 到5 分,然后對(duì)優(yōu)序圖中的分?jǐn)?shù)按行求和,并分別與優(yōu)序圖中的總分相除,得出各指標(biāo)的主觀權(quán)重ηj(j=1,2,…,n)。
步驟2 CRITIC(CRiteria Importance Through Intercriteria Correlation)權(quán)重法[16]是一種基于數(shù)據(jù)波動(dòng)性的客觀賦權(quán)法,它的思想在于通過(guò)對(duì)比強(qiáng)度和沖突性兩項(xiàng)指標(biāo)綜合衡量評(píng)價(jià)指標(biāo)的客觀權(quán)重。為減少相關(guān)性較強(qiáng)的指標(biāo)之間的信息重疊,本文利用CRITIC 法計(jì)算各評(píng)價(jià)指標(biāo)的客觀權(quán)重,具體計(jì)算步驟為:
1)收集產(chǎn)學(xué)研績(jī)效評(píng)價(jià)體系中各評(píng)價(jià)指標(biāo)對(duì)應(yīng)的初始數(shù)據(jù),組成原始指標(biāo)數(shù)據(jù)矩陣,如式(1)所示:
其中:n為樣本數(shù),p代表評(píng)價(jià)指標(biāo)。再由式(2)對(duì)矩陣中的數(shù)據(jù)做無(wú)量綱化處理:
式中:xij表示第i個(gè)樣本中第j項(xiàng)指標(biāo)的數(shù)值,xj、xmin和xmax分別代表對(duì)應(yīng)第j項(xiàng)評(píng)價(jià)指標(biāo)下,所有樣本的數(shù)據(jù)之和、數(shù)據(jù)的最小值與最大值;
2)由式(3)~(5)依次計(jì)算各指標(biāo)間的標(biāo)準(zhǔn)差Sj、相關(guān)系數(shù)Rj及信息量Cj:
其中:rij表示第i個(gè)樣本中,j個(gè)評(píng)價(jià)指標(biāo)之間的相關(guān)系數(shù)。
最終由式(6)計(jì)算出各評(píng)價(jià)指標(biāo)的客觀權(quán)重βj(j=1,2,…,n)。
步驟3 為縮小綜合權(quán)重與主、客觀權(quán)重間的離散程度,本文利用最小鑒別信息原理[17]對(duì)各指標(biāo)主、客觀權(quán)重進(jìn)行綜合處理。由拉格朗日乘數(shù)法計(jì)算得出各指標(biāo)的主客觀綜合權(quán)重Wj(j=1,2,…,n),見(jiàn)式(7)~(8):
式中:minF為目標(biāo)函數(shù),βj和ηj分別表示指標(biāo)的客觀權(quán)重和主觀權(quán)重。
為提供后續(xù)產(chǎn)學(xué)研績(jī)效智能評(píng)價(jià)的數(shù)據(jù)集,現(xiàn)以模糊數(shù)學(xué)理論為基礎(chǔ),對(duì)評(píng)價(jià)結(jié)果進(jìn)行量化體現(xiàn)。步驟如下:
步驟1 根據(jù)設(shè)置的評(píng)價(jià)指標(biāo)確定評(píng)價(jià)因素集,如U={u1,u2,…,un},其中u1,u2,…,un可繼續(xù)細(xì)化為二級(jí)指標(biāo)和三級(jí)指標(biāo);再建立評(píng)語(yǔ)集V={優(yōu)秀,良好,合格,不合格,異常};將評(píng)價(jià)體系中最終求出的綜合權(quán)重Wj作為權(quán)重向量P。
步驟2 評(píng)價(jià)指標(biāo)包含定性與定量?jī)煞N類型,分別使用模糊統(tǒng)計(jì)法和指派法計(jì)算它們的隸屬度矩陣。
1)對(duì)定性指標(biāo):邀請(qǐng)學(xué)校、企業(yè)和學(xué)生三方評(píng)價(jià)主體共m名代表,按評(píng)語(yǔ)集中的評(píng)價(jià)等級(jí)對(duì)各主觀指標(biāo)進(jìn)行評(píng)定,統(tǒng)計(jì)結(jié)果后,由式(9)計(jì)算得出各定性指標(biāo)從因素集U對(duì)應(yīng)到評(píng)語(yǔ)集V的模糊映射矩陣R'ij=(ri1,ri2,…,rie)。
2)對(duì)定量指標(biāo):本文根據(jù)指標(biāo)特點(diǎn)選擇極大型梯形分布隸屬度函數(shù)[18],如式(10)所示;再將各項(xiàng)指標(biāo)得分歸一化后得出評(píng)價(jià)標(biāo)準(zhǔn)參數(shù):a1=0.14,a2=0.2,a3=0.25,a4=0.3,a5=0.35,a6=0.4,a7=0.5,a8=0.52;將實(shí)際值代入式(10)中求出指標(biāo)隸屬度αi,得到各定量指標(biāo)從因素集U到評(píng)語(yǔ)集V的模糊映射矩陣R″ij=(ri1,ri2,…,ri(n-e));聯(lián)立定性與定量?jī)深愔笜?biāo)的模糊映射矩陣,構(gòu)造綜合的產(chǎn)學(xué)研績(jī)效評(píng)價(jià)指標(biāo)隸屬度矩陣R。
步驟3 由式(11)計(jì)算得出模糊評(píng)價(jià)結(jié)果矩陣B'j;再進(jìn)一步量化分析,本文先給評(píng)語(yǔ)集中各評(píng)價(jià)等級(jí)賦予分值,如{優(yōu)秀=90,良好=65,合格=55,不合格=50,異常=45},然后根據(jù)式(12)計(jì)算各評(píng)價(jià)樣本的綜合得分G。最終本文將綜合得分在分?jǐn)?shù)區(qū)間[65,90]內(nèi)的數(shù)據(jù)設(shè)置為A 類、在[55,65)內(nèi)的數(shù)據(jù)為B 類、在[50,55)內(nèi)的數(shù)據(jù)為C 類、在[45,50)內(nèi)的數(shù)據(jù)為D 類。
式中:b'j為評(píng)價(jià)樣本隸屬于各評(píng)價(jià)等級(jí)的程度;pi和rij分別表示各指標(biāo)權(quán)重和指標(biāo)隸屬度,由它們分別組成指標(biāo)綜合權(quán)重向量P和指標(biāo)隸屬度矩陣R;gj代表對(duì)評(píng)語(yǔ)集中第j個(gè)評(píng)價(jià)等級(jí)所設(shè)定的分?jǐn)?shù)。
科學(xué)的評(píng)價(jià)方法是實(shí)現(xiàn)產(chǎn)學(xué)研績(jī)效智能化評(píng)價(jià)的有力保障。因此,本文設(shè)計(jì)出基于AParNet 的產(chǎn)學(xué)研績(jī)效智能評(píng)價(jià)方法,整體評(píng)價(jià)流程如圖2 所示。
圖2 基于AParNet的產(chǎn)學(xué)研績(jī)效智能評(píng)價(jià)流程Fig.2 Flow of performance evaluation of industry-university-research cooperation based on AParNet
由于量化后的產(chǎn)學(xué)研合作績(jī)效樣本是離散數(shù)據(jù),包含的特征信息有限,為豐富評(píng)價(jià)樣本的特征表達(dá),本文對(duì)樣本數(shù)據(jù)進(jìn)行多空間域轉(zhuǎn)換,通過(guò)構(gòu)建馬爾可夫轉(zhuǎn)移矩陣及極坐標(biāo)轉(zhuǎn)換的方式,分別將一維離散數(shù)據(jù)映射至:馬爾可夫轉(zhuǎn)移場(chǎng)域(Markov Transition Field,MTF)[19]、格拉姆角差場(chǎng)域(Gramain Angular Difference Field,GADF)、格拉姆角和場(chǎng)域(Gramain Angular Summation Field,GASF)中,將得到的二維圖像作為輸入分類模型的數(shù)據(jù)集:一方面契合卷積神經(jīng)網(wǎng)絡(luò)對(duì)二維圖像的特征提取優(yōu)勢(shì),另一方面更豐富地表征出樣本特征及評(píng)價(jià)指標(biāo)間的關(guān)聯(lián)性特征。
MTF 將序列數(shù)據(jù)映射到對(duì)應(yīng)的值域區(qū)間后,基于一階馬爾可夫鏈,結(jié)合相鄰樣本間馬爾可夫轉(zhuǎn)移概率,構(gòu)建出馬爾可夫轉(zhuǎn)移矩陣,如式(13)所示,進(jìn)而拓展為馬爾可夫轉(zhuǎn)移場(chǎng),實(shí)現(xiàn)圖像編碼,以充分挖掘序列數(shù)據(jù)的位置分布關(guān)系。
式中:x(t)表示一維離散序列,n為樣本數(shù),ωij為相鄰樣本間由區(qū)間qi到qj的轉(zhuǎn)移概率。
格拉姆角場(chǎng)域(Gramain Angular Field,GAF)[20]將直角坐標(biāo)系下的離散數(shù)據(jù)轉(zhuǎn)化為極坐標(biāo)表示,再通過(guò)計(jì)算各角度對(duì)應(yīng)的三角函數(shù)值,生成GAF 矩陣,GAF 在使用兩角差或兩角和的三角函數(shù)時(shí),分別會(huì)得到GADF 與GASF,式(14)、(15)為具體變換表達(dá)式。格拉姆角場(chǎng)域的優(yōu)勢(shì)在于能通過(guò)對(duì)不同點(diǎn)間角度和或角度差的處理方式來(lái)挖掘不同數(shù)據(jù)間的相關(guān)性。
為了更好地挖掘離散數(shù)據(jù)特征和特征之間的關(guān)聯(lián)性,本文選擇分類準(zhǔn)確率較高且模型深度只有12 層的ParNet(Parallel Network)神經(jīng)網(wǎng)絡(luò)作為產(chǎn)學(xué)研績(jī)效評(píng)價(jià)的基礎(chǔ)網(wǎng)絡(luò)。ParNet 模型[21]的優(yōu)勢(shì)在于采用并行結(jié)構(gòu),具有多尺度多分辨率的特征提取方式,有利于充分挖掘樣本特征表征及特征間的關(guān)聯(lián)性,可以進(jìn)行快速、低延遲的推理。此外,相較于一些現(xiàn)有的輕量級(jí)網(wǎng)絡(luò),ParNet 更貼合產(chǎn)學(xué)研績(jī)效評(píng)價(jià)的樣本特點(diǎn)(具體驗(yàn)證見(jiàn)4.4 節(jié))。
而深度分類模型在面向不同數(shù)據(jù)集時(shí)對(duì)模型結(jié)構(gòu)的設(shè)計(jì)以及模型中包括學(xué)習(xí)速率、迭代次數(shù)、層數(shù)、每層神經(jīng)元數(shù)和批大小等在內(nèi)的超參數(shù)的設(shè)定,仍需依靠研究人員大量的主觀經(jīng)驗(yàn)進(jìn)行決策,模型自適應(yīng)能力較弱,且結(jié)構(gòu)冗余度較高。針對(duì)這些問(wèn)題,本文探索基于智能優(yōu)化算法的模型自優(yōu)化策略,對(duì)模型內(nèi)部超參數(shù)進(jìn)行自適應(yīng)尋優(yōu),提高模型自適應(yīng)性,降低研究和時(shí)間成本。
算術(shù)優(yōu)化算法(Arithmetic Optimization Algorithm,AOA)是Abualigah 等[22]提出的一種根據(jù)四則運(yùn)算思想設(shè)計(jì)出的元啟發(fā)式算法。AOA 利用乘除運(yùn)算進(jìn)行全局搜索,使解的分布更加分散,增強(qiáng)算法的全局尋優(yōu)能力;利用加減運(yùn)算則有利于種群在局部范圍內(nèi)充分開(kāi)發(fā),加強(qiáng)算法的局部尋優(yōu)能力。算法主要分為初始化階段、探索階段和開(kāi)發(fā)階段三個(gè)階段。為更好地貼合對(duì)評(píng)價(jià)模型中多維超參數(shù)的自適應(yīng)優(yōu)化,本文在原AOA 的基礎(chǔ)上,引入精英反向解的概念,同時(shí)融合多策略優(yōu)化,提出一種基于精英反向翻筋斗覓食的混沌算術(shù)優(yōu)化算法(improved Arithmetic Optimization Algorithm based on Elite opposition-based,EAOA)。
為快速實(shí)現(xiàn)對(duì)用于績(jī)效評(píng)價(jià)的深度模型中的超參數(shù)的全局搜索,有效避免對(duì)模型超參數(shù)搜索過(guò)程中種群多樣性隨算法迭代而降低、影響搜索效率的問(wèn)題,本文用Piecewise 混沌映射取代隨機(jī)初始化種群?;煦缬成洌?3]是生成混沌序列的一種方法,具有非周期、收斂快等優(yōu)點(diǎn)。本文將4 種常見(jiàn)的混沌映射迭代105次后得到各自取值的分布曲線,如圖3所示。從圖3 中可以看出,Piecewise 映射、Logistic 映射、Cubic 映射與Gussian 映射均分布于[0,1]。其中,經(jīng) 過(guò)Piecewise 混沌映射迭代后的取值分布更加均勻,它的表達(dá)式見(jiàn)式(16),再將混沌個(gè)體經(jīng)式(17)轉(zhuǎn)換到相應(yīng)的搜索空間中。
圖3 四種常見(jiàn)混沌映射的直方圖分布曲線Fig.3 Histogram distribution curves of four common chaotic maps
式(16)中P為控制參數(shù)。式(17)中:Xub,d、Xlb,d分別是個(gè)體的上、下邊界。
同時(shí)為避免對(duì)ParNet 中超參數(shù)進(jìn)行自適應(yīng)尋優(yōu)時(shí),個(gè)體盲目地向附近普通個(gè)體學(xué)習(xí)而忽視精英個(gè)體所攜帶的有效信息,導(dǎo)致算法陷入局部最優(yōu),從而影響搜索到最適合于ParNet 的超參數(shù)的概率,本文在AOA 搜索階段加入了精英反向?qū)W習(xí)策略,思路是先求出當(dāng)前可行解的反向解,從當(dāng)前解及它的反向解中選取較優(yōu)解作為下一代。具體步驟為選取普通個(gè)體對(duì)應(yīng)的極值點(diǎn)作為攜帶更多有效信息的精英個(gè)體[24],再根據(jù)式(18)求出精英個(gè)體的反向解,并在精英反向解及當(dāng)前種群中選出優(yōu)秀個(gè)體。
在AOA 中,數(shù)學(xué)優(yōu)化器加速函數(shù)(Math Optimizer Accelerated,MOA)是協(xié)調(diào)算法全局與局部搜索的關(guān)鍵數(shù)學(xué)模型,表達(dá)式如式(20)所示。開(kāi)始尋優(yōu)前,在[0,1]內(nèi)取隨機(jī)數(shù)r1,若r1>MOA,算法進(jìn)入探索階段;否則進(jìn)入開(kāi)發(fā)階段。
式中:max和min分別代表加速函數(shù)的最大值和最小值,n、NMax分別表示當(dāng)前迭代次數(shù)和最大迭代次數(shù)。
算法進(jìn)入探索階段時(shí),主要利用除法策略和乘法策略使算子進(jìn)行全局搜索;算法進(jìn)入開(kāi)發(fā)階段時(shí),基于加法策略和減法策略使算子在搜索空間中個(gè)體較密集的區(qū)域中進(jìn)行局部搜索。AOA 在搜索階段與開(kāi)發(fā)階段上的位置更新公式如式(21)、(22)所示。其中,數(shù)學(xué)優(yōu)化器概率(Math Optimizer Probability,MOP)的表達(dá)式如式(23)所示,式中敏感參數(shù)α取值為5。
為提高對(duì)ParNet 中超參數(shù)的全局搜索能力,避免算法迭代至后期,個(gè)體均聚集于當(dāng)前最優(yōu)個(gè)體周圍,導(dǎo)致種群多樣性迅速下降,從而降低搜索到模型最優(yōu)超參數(shù)的概率,本文在開(kāi)發(fā)階段引入翻筋斗覓食策略,表達(dá)式如式(24)所示。翻筋斗覓食策略靈感來(lái)源于Zhao 等[25]受蝠鲼捕食方式啟發(fā)提出的蝠鲼覓食優(yōu)化算法。在此策略中,由當(dāng)前位置出發(fā),以最優(yōu)解位置為中心點(diǎn),個(gè)體在它的周圍以翻筋斗的方式尋找新的位置。算術(shù)優(yōu)化算法中個(gè)體翻筋斗示意圖如圖4 所示。
圖4 算術(shù)優(yōu)化算法中個(gè)體翻筋斗示意圖Fig.4 Individual somersault diagram in arithmetic optimization algorithm
利用改進(jìn)后的EAOA 對(duì)ParNet 模型從全局及局部?jī)煞矫嬲归_(kāi)自適應(yīng)尋優(yōu),優(yōu)化步驟如算法1 所示。全局方面,通過(guò)將模型中相鄰且重復(fù)出現(xiàn)的相同模塊個(gè)數(shù)作為決策變量,對(duì)模型做輕量化壓縮,去掉其中冗余的結(jié)構(gòu)模塊,減少模型參數(shù);局部方面,對(duì)模型內(nèi)部的超參數(shù)做自尋優(yōu),進(jìn)一步提高模型的自適應(yīng)能力,從而有效降低研究和時(shí)間成本。本文具體以模型內(nèi)部3 個(gè)并行的流結(jié)構(gòu)中的注意力機(jī)制RepVGGSSE(RepVGG-Skip-Squeeze-and-Excitation)模塊數(shù)為決策變量,對(duì)ParNet 進(jìn)行輕量化壓縮,同時(shí)對(duì)學(xué)習(xí)率、批量大小、激活函數(shù)、迭代次數(shù)和優(yōu)化器這些超參數(shù)進(jìn)行自尋優(yōu)。測(cè)試訓(xùn)練好的模型效果時(shí),由式(25)計(jì)算種群中個(gè)體i的適應(yīng)度函數(shù)值[26]fit(i),再根據(jù)fit(i)動(dòng)態(tài)更新種群并選出最優(yōu)個(gè)體,最終得到優(yōu)化后的自適應(yīng)分類模型AParNet。
式中:N代表迭代次數(shù),t(i)和p(i)分別表示類別預(yù)測(cè)正確的樣本數(shù)和類別預(yù)測(cè)錯(cuò)誤的樣本數(shù)。
算法1 EAOA 的偽代碼。
輸入 初始化算法參數(shù)α,η;
輸出 網(wǎng)絡(luò)架構(gòu)的最佳值Ybest、最佳適應(yīng)度值Fg。
本文實(shí)驗(yàn)在Intel Core CPU I5-10400F、GIGABYTE RTX 3060 顯卡、16 GB 內(nèi)存、64 位Windows 操作系統(tǒng)、Matlab R2020b、PyCharm2021.3.3 中進(jìn)行。本研究收集了2009—2019 年各省專業(yè)學(xué)位碩士招生數(shù)和在校生數(shù)、各學(xué)科專業(yè)的招生數(shù)以及人力資本積累等相關(guān)數(shù)據(jù)。其中,研究生就業(yè)數(shù)據(jù)來(lái)源于2009 — 2019 年《中國(guó)學(xué)位與研究生教育發(fā)展年度報(bào)告》系列書籍;人力資本積累相關(guān)數(shù)據(jù)來(lái)源于中央財(cái)經(jīng)大學(xué)中國(guó)人力資本與勞動(dòng)經(jīng)濟(jì)研究中心項(xiàng)目數(shù)據(jù);其他數(shù)據(jù)根據(jù)教育部、國(guó)家統(tǒng)計(jì)局官方發(fā)布的2010—2020 年的《中國(guó)統(tǒng)計(jì)年鑒》《中國(guó)教育統(tǒng)計(jì)年鑒》中的數(shù)據(jù)計(jì)算所得。
針對(duì)目前產(chǎn)學(xué)研績(jī)效評(píng)價(jià)指標(biāo)涵蓋面較為單一,且依據(jù)傳統(tǒng)方法構(gòu)建的評(píng)價(jià)體系,難免會(huì)帶有主觀性和片面性的問(wèn)題,本文提出面向三方合作主體,基于模糊數(shù)學(xué)的數(shù)理統(tǒng)計(jì)方法并結(jié)合主客觀綜合賦權(quán)的產(chǎn)學(xué)研績(jī)效三級(jí)評(píng)價(jià)體系,具體指標(biāo)及權(quán)重如表1 所示。
表1 產(chǎn)學(xué)研績(jī)效評(píng)價(jià)體系及指標(biāo)權(quán)重Tab.1 Performance evaluation system and indicators for industry-university-research
量化處理后的評(píng)價(jià)結(jié)果仍是離散序列數(shù)據(jù),其中收集到39 條A 類樣本、44 條B 類樣本、106 條C 類樣本和11 條D 類樣本,共計(jì)200 條樣本。
為更充分地挖掘樣本特征,本文對(duì)量化后的樣本數(shù)據(jù)進(jìn)行多域轉(zhuǎn)換,將離散數(shù)據(jù)轉(zhuǎn)換為連續(xù)序列形式,同時(shí),將離散數(shù)據(jù)映射到MTF、GADF 和GASF 四種空間域中。多空間域轉(zhuǎn)換對(duì)各類樣本的特征增強(qiáng)效果如圖5 所示。
圖5 各類評(píng)價(jià)樣本的多域處理效果Fig.5 Multi-domain processing effect of various evaluation samples
同時(shí),為避免在訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合現(xiàn)象,本文通過(guò)調(diào)用Python 中的OpenCV 計(jì)算機(jī)視覺(jué)庫(kù),對(duì)映射到各空間域中所得到的二維圖像做旋轉(zhuǎn)、鏡像及平移等數(shù)據(jù)增強(qiáng)操作,將各空間域數(shù)據(jù)集中的A、B、C、D 四類數(shù)據(jù)都擴(kuò)充至680、960、1 280、880,共3 800,并按4∶1 劃分成訓(xùn)練集和測(cè)試集。
為驗(yàn)證本文所選的基礎(chǔ)網(wǎng)絡(luò)ParNet 在產(chǎn)學(xué)研績(jī)效智能評(píng)價(jià)領(lǐng)域的有效性,并選取出在產(chǎn)學(xué)研績(jī)效評(píng)價(jià)中能夠達(dá)到更好分類效果的高維空間域,對(duì)RegNet、ShuffleNetV1、ShuffleNetV2、EfficientNetV1、EfficientNetV2、ParNet 這6 種卷積神經(jīng)網(wǎng)絡(luò)的分類效果進(jìn)行比較,記錄在不同空間域下這6種網(wǎng)絡(luò)的分類準(zhǔn)確率,對(duì)比結(jié)果如表2 所示。
表2 多空間域在不同網(wǎng)絡(luò)下分類準(zhǔn)確率對(duì)比 單位:%Tab.2 Comparison of classification accuracy for multiple spatial domains under different networks unit:%
分析實(shí)驗(yàn)數(shù)據(jù),首先對(duì)表格中的數(shù)據(jù)按列進(jìn)行比較,ParNet 在四種空間域數(shù)據(jù)集上的分類準(zhǔn)確率在不同的網(wǎng)絡(luò)模型中總是最高的;此外,各模型在GASF 數(shù)據(jù)集上訓(xùn)練的分類準(zhǔn)確率均高于其他空間域數(shù)據(jù)集上的準(zhǔn)確率。說(shuō)明在產(chǎn)學(xué)研績(jī)效智能評(píng)價(jià)中,ParNet 與績(jī)效評(píng)價(jià)的GASF 數(shù)據(jù)集間具有更好的契合度,能達(dá)到更好的分類效果。因此本文將ParNet 作為基礎(chǔ)網(wǎng)絡(luò),同時(shí)在GASF 空間域中處理數(shù)據(jù)。
為驗(yàn)證EAOA 的性能,本文在10 個(gè)標(biāo)準(zhǔn)測(cè)試函數(shù)上對(duì)海洋捕食者算法(Marine Predators Algorithm,MPA)[27]、鯨魚(yú)優(yōu)化算法(Whale Optimization Algorithm,WOA)[28]、麻雀搜索算法(Sparrow Search Algorithm,SSA)[29]、灰狼優(yōu)化(Grey Wolf Optimizer,GWO)算法[30]和AOA 五種對(duì)比算法做仿真實(shí)驗(yàn)。這10 個(gè)標(biāo)準(zhǔn)測(cè)試函數(shù)包括:Sphere(F1)、SchwefelN2.22(F2)、SchwefelN1.2(F3)、SchwefelN2.21(F4)、Rosenborck(F5)、Step(F6)這6 個(gè)單峰測(cè)試函數(shù),以及Schwefe(lF7)、Rastrigin(F8)、Ackley(F9)、Griewank(F10)這4個(gè)多峰測(cè)試函數(shù)。
統(tǒng)一設(shè)置算法參數(shù)如下:種群規(guī)模為500,維度為7,最大迭代次數(shù)為500。為避免尋優(yōu)結(jié)果的偶然性,將各算法在10 個(gè)測(cè)試函數(shù)上獨(dú)立運(yùn)行30 次,選取30 次結(jié)果的平均值(Mean)和標(biāo)準(zhǔn)差(Std)作為算法最終評(píng)價(jià)指標(biāo),各算法的尋優(yōu)結(jié)果如表3、4 所示,其中最優(yōu)結(jié)果被加粗標(biāo)出。
表3 單峰測(cè)試函數(shù)實(shí)驗(yàn)結(jié)果Tab.3 Experimental results of unimodal test functions
從表3 可以看出,EAOA 在6 個(gè)單峰測(cè)試函數(shù)上獨(dú)立運(yùn)行30 次,均能得到理想的目標(biāo)函數(shù)值,且所求解的平均值與標(biāo)準(zhǔn)差都優(yōu)于其他5 種對(duì)比算法。證明在單峰測(cè)試函數(shù)上,EAOA 尋優(yōu)能力高于其他對(duì)比算法,穩(wěn)定性也最好。
從表4 可以看出,與其他5 種智能優(yōu)化算法相比,EAOA在求解4 個(gè)多峰測(cè)試函數(shù)時(shí)均能得到最優(yōu)解,因此,EAOA 穩(wěn)定性更高且在尋優(yōu)過(guò)程中具有相對(duì)更強(qiáng)的全局性和收斂性。
表4 多峰測(cè)試函數(shù)實(shí)驗(yàn)結(jié)果Tab.4 Experimental results of multimodal test functions
本文將ParNet 三個(gè)流結(jié)構(gòu)中各自所含的RepVGG-SSE模塊個(gè)數(shù)作為3 個(gè)待尋優(yōu)變量,與其余4 個(gè)待優(yōu)化參數(shù):批量大小、學(xué)習(xí)率、優(yōu)化器、RepVGG-SSE 模塊內(nèi)部激活函數(shù),分別作為EAOA 中個(gè)體的7 個(gè)維度進(jìn)行自適應(yīng)尋優(yōu),各參數(shù)的搜索范圍如表5 所示。尋優(yōu)時(shí)設(shè)置初始化種群數(shù)為10,最大迭代次數(shù)為5。經(jīng)EAOA 迭代找到最佳模塊數(shù)及最優(yōu)參數(shù),在不降低準(zhǔn)確率的前提下,構(gòu)建出優(yōu)化后的AParNet 模型,以實(shí)現(xiàn)模型輕量化壓縮和參數(shù)自尋優(yōu),模型優(yōu)化后獲得的最優(yōu)組件如表6 所示。
表5 ParNet模型待優(yōu)化參數(shù)及搜索范圍Tab.5 Parameters to be optimized and search ranges of ParNet model
表6 利用EAOA優(yōu)化后的ParNet最優(yōu)模型組件Tab.6 ParNet optimal model components optimized by EAOA
為驗(yàn)證本文方法的有效性,對(duì)原ParNet 模型和經(jīng)模型自優(yōu)化后的AParNet 模型進(jìn)行性能對(duì)比實(shí)驗(yàn),將預(yù)處理后劃分好的測(cè)試集分別輸入原ParNet 和AParNet 中,對(duì)其中A、B、C、D 四類共760 張圖像進(jìn)行分類驗(yàn)證,結(jié)果如表7 所示。
表7 網(wǎng)絡(luò)模型性能對(duì)比實(shí)驗(yàn)結(jié)果Tab.7 Comparison experiment results of network model performance
實(shí)驗(yàn)證明,與原ParNet 相比,本文提出的AParNet 在參數(shù)量減少10.8%的情況下,準(zhǔn)確率提高到98.6%,且單幅圖像測(cè)試時(shí)間減少了34.8%,模型分類效果更好,且模型深度及測(cè)試用時(shí)均有所下降。實(shí)驗(yàn)結(jié)果驗(yàn)證了EAOA 在評(píng)價(jià)模型自適應(yīng)尋優(yōu)方面具備可行性和有效性。
同時(shí),抽取由訓(xùn)練后的AParNet 全連接層輸出的特征放入t-SNE 中,得到對(duì)分類結(jié)果進(jìn)行可視化的t-SNE 圖,如圖6所示。根據(jù)本文設(shè)定的評(píng)價(jià)結(jié)果量化準(zhǔn)則,圖中的分類結(jié)果即對(duì)應(yīng)產(chǎn)學(xué)研績(jī)效的4 種評(píng)價(jià)類型。
圖6 產(chǎn)學(xué)研績(jī)效評(píng)價(jià)結(jié)果的t-SNE圖Fig.6 t-SNE map of performance evaluation results of industry-university-research
由圖6 所示的分類情況可以看出AParNet 的t-SNE 圖有很大的類間距離,這代表模型能夠以較高的準(zhǔn)確率實(shí)現(xiàn)分類,即本文提出的AParNet 能夠以較高的準(zhǔn)確率實(shí)現(xiàn)對(duì)產(chǎn)學(xué)研績(jī)效的智能評(píng)價(jià)。
本文提出了一種基于統(tǒng)計(jì)和自適應(yīng)ParNet 的產(chǎn)學(xué)研績(jī)效三級(jí)評(píng)價(jià)體系及智能評(píng)價(jià)方法。在評(píng)價(jià)體系方面:分析產(chǎn)學(xué)研合作過(guò)程中影響績(jī)效的評(píng)價(jià)要素,設(shè)計(jì)圍繞三方合作主體的評(píng)價(jià)指標(biāo),構(gòu)建基于模糊數(shù)學(xué)的數(shù)理統(tǒng)計(jì)方法且結(jié)合主客觀綜合賦權(quán)的產(chǎn)學(xué)研績(jī)效三級(jí)評(píng)價(jià)體系,克服了傳統(tǒng)產(chǎn)學(xué)研績(jī)效評(píng)價(jià)體系指標(biāo)涵蓋范圍較為單一且賦權(quán)不夠客觀的缺點(diǎn)。評(píng)價(jià)方法方面:首先,為提高離散樣本特征表達(dá)的豐富度,將離散序列映射至MTF、GADF、GASF 等不同空間域中。實(shí)驗(yàn)結(jié)果證明,經(jīng)過(guò)多域處理的數(shù)據(jù)有利于提高深度分類模型的分類精度。其次,設(shè)計(jì)出面向離散序列深度分類模型高效自適應(yīng)全局壓縮和調(diào)參的基于精英反向翻筋斗覓食的混沌優(yōu)化策略,并結(jié)合多分辨率多尺度ParNet 模型構(gòu)建出AParNet 深度分類模型。最后將AParNet 應(yīng)用于產(chǎn)學(xué)研績(jī)效評(píng)價(jià)中,在有效壓縮模型冗余10.8%的同時(shí),提高分類精度達(dá)98.6%,驗(yàn)證了本文方法的有效性。在未來(lái)的研究中,為了更深層地把握各指標(biāo)間的關(guān)聯(lián)性,將引入圖結(jié)構(gòu),以獲得更好的評(píng)價(jià)性能。