張 迪,丁 箐
(中國(guó)科學(xué)技術(shù)大學(xué) 軟件學(xué)院,安徽 合肥 230051)
近年來,云環(huán)境的信任問題一直是學(xué)術(shù)界和工業(yè)界討論的熱點(diǎn)問題[1-4]。由于云環(huán)境的安全性無法得到保障,許多用戶仍然不敢將自己的產(chǎn)品部署在云平臺(tái)上。當(dāng)用戶將自己的產(chǎn)品部署到云上時(shí),CSP需要確保自己提供的服務(wù)是可信賴的,即具有穩(wěn)定性、安全性和可伸縮性。然而現(xiàn)今用戶與CSP之間的信任關(guān)系主要是CSP單方面對(duì)用戶做出的承諾,沒有一種機(jī)制可以確保這種承諾一定會(huì)按照約定執(zhí)行。另外用戶在選擇CSP時(shí),主要是根據(jù)以往用過此CSP的客戶的反饋評(píng)價(jià)來進(jìn)行選擇,其中不可避免會(huì)出現(xiàn)不公正的評(píng)價(jià)。
為了解決云環(huán)境的信任問題并提高用戶對(duì)云環(huán)境的信任度,需要建立完善的第三方云服務(wù)信任評(píng)估系統(tǒng),同時(shí)對(duì)CSP和用戶建立信任評(píng)估體系,實(shí)時(shí)收集并計(jì)算CSP和用戶的信任值,在此信任評(píng)估系統(tǒng)作用下,用戶可以根據(jù)自身需求選擇值得信任的CSP,同時(shí)信任評(píng)估系統(tǒng)也能保證CSP按約提供服務(wù)。
本文提出了云環(huán)境下主客觀協(xié)同的信任模型SOCTM。該模型提取了主觀與客觀特征屬性,使用模糊集將特征屬性中的語(yǔ)言術(shù)語(yǔ)描述轉(zhuǎn)化為具體的數(shù)值,并構(gòu)建特征矩陣。通過應(yīng)用TOPSIS,計(jì)算信任值向量。SOCTM使用用戶主觀賦權(quán)重的方法,可以根據(jù)不同用戶需求,構(gòu)建合適的特征矩陣,從而選擇出符合用戶需求的CSP。
近年來,學(xué)術(shù)界提出了多種可信計(jì)算模型,并嘗試將可信計(jì)算模型應(yīng)用到實(shí)際工業(yè)中。但由于提出的可信計(jì)算模型都有某些方面的缺陷,因而在實(shí)際工業(yè)中的應(yīng)用非常少。本節(jié)將討論幾種典型的可信計(jì)算模型,總結(jié)它們的優(yōu)點(diǎn)與不足。
Li Xiaoyong和Du Junping[7]提出了一種自適應(yīng)的可信計(jì)算模型。該模型在SLA的基礎(chǔ)上考慮了時(shí)間和權(quán)重問題。模型以一個(gè)時(shí)間槽為測(cè)量單位,在n個(gè)時(shí)間槽內(nèi)測(cè)量m個(gè)SLA屬性值,首先假定m個(gè)屬性的權(quán)重為(w1,w2,…,wn),n個(gè)時(shí)間槽的權(quán)重為(a1,a2,…,an)。通過矩陣向量相乘得出最后的信任值。模型使用了粗糙集理論和IOWA算子的方法自適應(yīng)的計(jì)算權(quán)重,使得最終的信任結(jié)果更加準(zhǔn)確。但是該模型僅僅計(jì)算了客觀信任值,沒有結(jié)合用戶的主觀信任值,使得信任值的表達(dá)不夠全面。
MUCHAHARI M K和SINHA S K[8]使用用戶反饋的方法來建立信任模型。服務(wù)提供商的信任值由3部分組成:歷史信任值、其他服務(wù)提供商對(duì)其評(píng)價(jià)得出的信任值以及當(dāng)前用戶反饋得出的信任值。取這三個(gè)值的平均值得出最終的信任值。能夠?qū)υ摲?wù)提供商進(jìn)行評(píng)價(jià)的其他服務(wù)提供商和用戶都必須是可信的,也即其可信值在平均值之上。該模型每計(jì)算一次信任值,需要系統(tǒng)中所有服務(wù)提供商和用戶對(duì)其進(jìn)行評(píng)價(jià),代價(jià)太高。
Zhao Kang和Pan Li[9]提出了一種基于機(jī)器學(xué)習(xí)的方式計(jì)算信任值的方法并將其應(yīng)用在社交網(wǎng)絡(luò)領(lǐng)域。他們使用SVM方法對(duì)節(jié)點(diǎn)進(jìn)行分類,將其分為可信和不可信。該模型對(duì)應(yīng)于云計(jì)算領(lǐng)域還是有一些不足:僅僅將節(jié)點(diǎn)分為可信和不可信只能提供給用戶一個(gè)參考依據(jù),不能幫助用戶進(jìn)行選擇;由于模型需要大量的訓(xùn)練數(shù)據(jù),在初期是不適用的。
本文提出的模型綜合了客觀和主觀信任值??陀^信任通過機(jī)器監(jiān)測(cè)而得,主觀信任通過用戶反饋而得。將這兩者結(jié)合在一起可以彌補(bǔ)主觀或客觀單一描述信任值不夠準(zhǔn)確的問題。下面具體介紹模型的計(jì)算機(jī)制。
將屬性值分為兩類,分別為客觀特征屬性和主觀特征屬性??陀^特征屬性反映了CSP在與用戶交互過程中SLA協(xié)議的完成程度,屬性值由機(jī)器監(jiān)測(cè)得到;主觀特征屬性反映了用戶在使用CSP提供的服務(wù)過程中的滿意程度,屬性值由用戶反饋得到。下面分別介紹這兩部分的特征屬性。
客觀特征屬性:根據(jù)SLA協(xié)議的相關(guān)[6]概念,本文主要關(guān)心服務(wù)的可靠性、安全性和可獲得性??煽啃源砹薈SP提供穩(wěn)定服務(wù)的能力,使用用戶請(qǐng)求成功率來表示CSP的這一能力。CSP的安全直接關(guān)系到用戶部署在其上的數(shù)據(jù)是否能夠穩(wěn)定存儲(chǔ)或者是否被第三方竊取。因而CSP的安全性對(duì)用戶來說是至關(guān)重要的。使用單位時(shí)間內(nèi)非法請(qǐng)求數(shù)和數(shù)據(jù)加密等級(jí)來衡量CSP的這一特征。可獲得性表示用戶在使用CSP提供的服務(wù)時(shí)CSP的整體性能,用CSP平均響應(yīng)時(shí)間來衡量這一特征。綜上,使用4個(gè)屬性來描述CSP的客觀信任值,分別為:用戶請(qǐng)求成功率、單位時(shí)間非法請(qǐng)求數(shù)、數(shù)據(jù)加密等級(jí)和平均響應(yīng)時(shí)間。將測(cè)量的時(shí)間單位設(shè)為t,CSP與用戶交互的總時(shí)間為m,對(duì)于第i個(gè)特征屬性,我們?nèi)∑湓趍個(gè)時(shí)間單位內(nèi)測(cè)量值的平均值作為最終的屬性測(cè)量值。
主觀特征屬性:用戶在使用CSP的過程中主要關(guān)心CSP的性價(jià)比和穩(wěn)定性,因而這兩個(gè)屬性可以用來刻畫CSP的主觀信任值。另外,CSP是否為用戶提供了滿意的服務(wù)也是一個(gè)重要的衡量指標(biāo)。綜上,使用3個(gè)屬性來描述CSP的客觀信任值,分別為:性價(jià)比、穩(wěn)定性和滿意度。用戶在完成與CSP的交互后需要填寫一份滿意度調(diào)查,用于收集主觀信任部分的信任值。
一共提取了7個(gè)特征屬性,其中客觀特征屬性有4個(gè),主觀特征屬性有3個(gè)。其中用戶請(qǐng)求成功率、單位時(shí)間非法請(qǐng)求數(shù)和平均響應(yīng)時(shí)間這3個(gè)屬性可以用數(shù)值來表示,記為X1,X2和X3;其余4個(gè)屬性需要用語(yǔ)言術(shù)語(yǔ)來表示,分別是數(shù)據(jù)加密等級(jí)、性價(jià)比、穩(wěn)定性和滿意度,記為X4,X5,X6和X7。表1總結(jié)了這4個(gè)屬性的描述術(shù)語(yǔ)。
從表1中可以看出數(shù)據(jù)加密等級(jí)有4個(gè)術(shù)語(yǔ)等級(jí),性價(jià)比和穩(wěn)定性有3個(gè)術(shù)語(yǔ)等級(jí),滿意度有5個(gè)術(shù)語(yǔ)等級(jí)。使用語(yǔ)言術(shù)語(yǔ)描述屬性值,雖然表達(dá)了用戶的主觀感受,但具有很強(qiáng)的模糊性,也不能將語(yǔ)言術(shù)語(yǔ)應(yīng)用到具體的公式進(jìn)行計(jì)算,因而需要將語(yǔ)言術(shù)語(yǔ)轉(zhuǎn)化為模糊數(shù)[10],最終轉(zhuǎn)化為具體的數(shù)值。文獻(xiàn)[11]中介紹了一種將語(yǔ)言術(shù)語(yǔ)轉(zhuǎn)化為模糊數(shù)的方法。該文獻(xiàn)中定義了8個(gè)等級(jí)轉(zhuǎn)換表,本文選取其中第三等級(jí)轉(zhuǎn)換表。該等級(jí)轉(zhuǎn)換表有5個(gè)等級(jí)尺度,分別為差、很差、中等、好、非常好。將屬性和對(duì)應(yīng)的語(yǔ)言描述術(shù)語(yǔ)轉(zhuǎn)化為相應(yīng)等級(jí)尺度,如表2所示。第三等級(jí)轉(zhuǎn)化表對(duì)應(yīng)的模糊數(shù)如圖1所示。
圖1 第三等級(jí)轉(zhuǎn)化表
X4(數(shù)據(jù)加密等級(jí))一級(jí)、二級(jí)、三級(jí)、四級(jí)X5(性價(jià)比)高、一般、低X6(穩(wěn)定性)高、一般、低X7(滿意度)非常滿意、滿意、一般、不滿意、非常不滿意
表2 語(yǔ)言術(shù)語(yǔ)與等級(jí)尺度轉(zhuǎn)化表
接下來將模糊數(shù)轉(zhuǎn)化為具體的數(shù)值。我們使用文獻(xiàn) [12]提出的左右分值法來確定模糊數(shù)的數(shù)值。具體步驟如下:
有n個(gè)模糊數(shù),每個(gè)模糊數(shù)表示為Mi,i=1,2,…,n。分別定義模糊數(shù)的最大值和最小值:
(1)
(2)
對(duì)于模糊數(shù)Mi其左右分?jǐn)?shù)值的計(jì)算方法如下:
μL(i)=supx[μmin(x)ΛμMi(x)]
(3)
μR(i)=supx[μmax(x)ΛμMi(x)]
(4)
那么,μL(i)和μR(i)都是在[0,1]之間的具體數(shù)值。
獲得了左右分?jǐn)?shù)值后,使用公式(5)計(jì)算模糊數(shù)Mi的具體數(shù)值:
根據(jù)上述步驟計(jì)算出了X4,X5,X6和X7各個(gè)等級(jí)尺度所表示的具體數(shù)值,如表3所示。
對(duì)于有多個(gè)用戶評(píng)價(jià)同一CSP的情況,取多個(gè)評(píng)價(jià)值得平均值(評(píng)價(jià)值均轉(zhuǎn)換成具體的數(shù)值)。
表3 等級(jí)尺度與數(shù)值轉(zhuǎn)化表
使用TOPSIS來計(jì)算CSP的信任值。假設(shè)系統(tǒng)中有m個(gè)CSP,每個(gè)CSP提取出了n個(gè)特征屬性。我們需要根據(jù)特征屬性的數(shù)值計(jì)算m個(gè)CSP的信任值。假設(shè)第i個(gè)CSP的第j個(gè)屬性的測(cè)量值為rij,則可用如下數(shù)值矩陣表示m個(gè)CSP的屬性值:
(6)
由于每個(gè)屬性值的維度不同,需要將其歸一化到同一個(gè)維度上,使用公式(7)進(jìn)行歸一化處理:
(7)
新的數(shù)值矩陣表示為:
(8)
對(duì)于n個(gè)屬性,設(shè)其權(quán)重為w=(w1,w2,…,wn),其中wi(i=1,2,…,n)表示第i個(gè)屬性的權(quán)重。那么每個(gè)屬性值乘以權(quán)重后的值表示為:
(9)
其中vij=Xij*wj,i=1,2,…,m;j=1,2,…,n。
w1,w2,…,wn反映了每個(gè)屬性對(duì)最終信任值的影響程度。傳統(tǒng)方法一般使用計(jì)算者主觀賦權(quán)重的方法,這種方法由于計(jì)算者的主觀性太強(qiáng),并不能準(zhǔn)確表示CSP實(shí)際屬性間的權(quán)重關(guān)系。為了改進(jìn)這一問題,將權(quán)重的指定權(quán)交給用戶,用戶在選擇CSP時(shí)可以根據(jù)自身需求,賦予特征矩陣合適的權(quán)重值。
根據(jù)TOPSIS,需要確定每個(gè)屬性在m個(gè)CSP中對(duì)應(yīng)的理想值和最不理想值。
理想值和最不理想值的定義為:
A*= {(maxivij|j∈J),(minivij|j∈J′)
|i=1,2,…,m}={v1*,v2*,…,vn*}
(10)
A-= {(minivij|j∈J),(maxivij|j∈J′)
|i=1,2,…,m}= {v1-,v2-,…,vn-}
(11)
其中J表示正向?qū)傩缘募?,正向?qū)傩允侵笇傩灾翟酱笮Ч胶玫膶傩裕籎′是負(fù)向?qū)傩缘募?,?fù)向?qū)傩允侵笇傩灾翟叫⌒Ч胶玫膶傩浴?/p>
下面計(jì)算m個(gè)CSP到其理想值和最不理想值的歐幾里得距離:
(12)
(13)
最后根據(jù)如下公式計(jì)算每個(gè)CSP的信任值:
(14)
對(duì)于m個(gè)CSP的信任值,選擇信任值最大的CSP作為最優(yōu)CSP。
為了模擬云計(jì)算環(huán)境,使用云計(jì)算仿真工具CloudSim[13]進(jìn)行模擬實(shí)驗(yàn),下面具體介紹實(shí)驗(yàn)設(shè)置。
使用平均絕對(duì)百分誤差(MAPE)[14]來衡量計(jì)算結(jié)果的準(zhǔn)確度。MAPE的定義為:
(15)
其中,M表示信任值計(jì)算的準(zhǔn)確度,Ti+1表示第i+1個(gè)時(shí)間窗內(nèi)測(cè)得的信任值,Ti表示第i個(gè)時(shí)間窗內(nèi)測(cè)得的信任值,n表示總的測(cè)量次數(shù)。
在本次實(shí)驗(yàn)中,一個(gè)時(shí)間窗表示用戶與CSP的一次交互,將時(shí)間設(shè)定為20 min,總共進(jìn)行20次交互。同時(shí)請(qǐng)來4人作為用戶,每人檢測(cè)與CSP的5次交互,給出主觀反饋值,特征屬性的屬性權(quán)重也由用戶給出。設(shè)置3組對(duì)比實(shí)驗(yàn):第一組實(shí)驗(yàn)中,CSP性能優(yōu)秀,CPU、RAM和帶寬都較高,同時(shí)數(shù)據(jù)加密等級(jí)也達(dá)到了四級(jí),但是價(jià)格較貴;第二組實(shí)驗(yàn)中,CPU、RAM和帶寬在三組實(shí)驗(yàn)中處于中等配置,數(shù)據(jù)加密等級(jí)為三級(jí),但是性價(jià)比高;第三組實(shí)驗(yàn)中,CPU、RAM和帶寬配置都較低,數(shù)據(jù)加密等級(jí)也較低。每組實(shí)驗(yàn)中有30%的CSP不能提供承諾的服務(wù),也就是說達(dá)不到承諾的服務(wù)標(biāo)準(zhǔn),其余70%的CSP可達(dá)到承諾的服務(wù)標(biāo)準(zhǔn)。實(shí)驗(yàn)配置如表4所示。
表4 實(shí)驗(yàn)參數(shù)配置表
另外在每組實(shí)驗(yàn)中設(shè)置了3組對(duì)比條件,分別為只計(jì)算客觀信任值、只計(jì)算主觀信任值、主客觀結(jié)合方式計(jì)算信任值。圖2顯示了3組實(shí)驗(yàn)的實(shí)驗(yàn)結(jié)果。第一組實(shí)驗(yàn)CSP的配置最高,性能最好,測(cè)得的MAPE最低;第三組實(shí)驗(yàn)CSP的配置最低,性能最差,測(cè)得的MAPE最高;第二組介于第一和第三組實(shí)驗(yàn)之間。CSP的配置高、性能好時(shí),用戶給出的反饋值也會(huì)較好,但由于配置高必然會(huì)使價(jià)格高,因而性價(jià)比不會(huì)很高,這導(dǎo)致第一組實(shí)驗(yàn)中客觀信任值高于主觀信任值,而主客觀結(jié)合的信任值介于兩者之間,因而更真實(shí)地反映了CSP的信任情況。注意到第三組實(shí)驗(yàn)中,主觀信任值測(cè)得的結(jié)果是在客觀信任值之上的,這是因?yàn)楫?dāng)CSP的配置較低時(shí),其性價(jià)比相對(duì)來說是較高的,使得測(cè)得的主觀信任值高于客觀信任值。
圖2 實(shí)驗(yàn)準(zhǔn)確度分析
綜上,可以得出使用主客觀結(jié)合的信任模型比單獨(dú)使用主觀或客觀信任模型計(jì)算出的信任值更加準(zhǔn)確、可靠。
在2.3小節(jié)中指出SOCTM是通過用戶主觀賦權(quán)重的方式確定各個(gè)特征屬性的重要程度的。本小節(jié)通過實(shí)驗(yàn)驗(yàn)證該方法能否幫助用戶選擇符合自身需求的CSP。
實(shí)驗(yàn)中設(shè)置4個(gè)CSP,每個(gè)CSP都有一個(gè)特征屬性值高于其他組,其余特征屬性值相同。CSP1性價(jià)比較高,CSP2數(shù)據(jù)加密等級(jí)較高,CSP3用戶請(qǐng)求成功率較高,CSP4平均響應(yīng)時(shí)間短(更好)。設(shè)置4組屬性權(quán)重,代表用戶的主觀偏好,如表5所示。
表5 屬性權(quán)重表
將4組屬性權(quán)重分別應(yīng)用到CSP的信任值計(jì)算中,結(jié)果如圖3所示。
圖3 不同屬性權(quán)重對(duì)應(yīng)的信任值
從圖3可以看出,當(dāng)某一特征屬性的權(quán)重較大時(shí),本文的計(jì)算模型會(huì)將該特征屬性值較大的CSP挑選出來。如第一組實(shí)驗(yàn),特征屬性的權(quán)重值為0.1,0.1,0.1,0.1,0.3,0.1,0.1,也就是說用戶比較關(guān)心性價(jià)比這一特征,從實(shí)驗(yàn)結(jié)果可以看出,計(jì)算出CSP1的信任值最高,而CSP1的性價(jià)比是在4個(gè)CSP中最高的,因而挑選出了符合用戶需求的CSP。
將SOCTM(模型1)與文獻(xiàn)[5]中提出的基于SLA的信任模型(模型2)進(jìn)行比較。為了公平起見,將各個(gè)特征屬性權(quán)重都設(shè)為相等的值,則模型1每個(gè)特征屬性的權(quán)重為0.142,模型2每個(gè)特征屬性的權(quán)重為0.25。模型1中主觀信任值由5名用戶給出;模型2中不包含主觀信任值。實(shí)驗(yàn)均在5個(gè)CSP,20個(gè)時(shí)間窗內(nèi)進(jìn)行。圖4是實(shí)驗(yàn)結(jié)果。從圖中可以看出模型1的準(zhǔn)確性要高于模型2。這也說明了本文的模型要優(yōu)于模型2。
圖4 兩種模型對(duì)比
SOCTM可應(yīng)用在實(shí)際的云環(huán)境中,應(yīng)用場(chǎng)景如圖5所示。典型的云環(huán)境會(huì)有多個(gè)CSP,用戶需要從多個(gè)CSP中選取符合自己需求的CSP。傳統(tǒng)的選擇方法是根據(jù)以往的口碑、價(jià)格、服務(wù)類型等因素,用戶自己去判斷哪一個(gè)CSP更好,這種判斷帶有很強(qiáng)的主觀性。另外,影響用戶判斷的因素往往不是公正、客觀的。圖5中使用信任服務(wù)提供商(Trust Service Provider, TSP)作為中間信任代理,用戶在選取CSP時(shí)將直接與TSP進(jìn)行溝通,根據(jù)TSP提供的信任數(shù)據(jù),選取合適的CSP。SLA Monitor Module 和 User Feedback Module用于收集用戶數(shù)據(jù),Trust Value Computing Module用于計(jì)算CSP的信任值,信任值計(jì)算使用了SOCTM提出的計(jì)算方法。其余模塊負(fù)責(zé)數(shù)據(jù)存儲(chǔ)、CSP注冊(cè)、用戶協(xié)商與推薦等相關(guān)工作。
SOCTM在云環(huán)境中的應(yīng)用將提高用戶選擇CSP的效率,使用戶選擇出性價(jià)比更高、更符合自身需求的CSP。
圖5 SOCTM模型應(yīng)用場(chǎng)景示意圖
本文提出了主客觀協(xié)同的信任模型。該模型選取了4個(gè)客觀特征屬性以及3個(gè)主觀特征屬性來計(jì)算信任值。在信任值的計(jì)算中,將主客觀特征屬性結(jié)合在一起,使用TOPSIS計(jì)算多個(gè)CSP的信任值。同時(shí),應(yīng)用模糊集將語(yǔ)言術(shù)語(yǔ)轉(zhuǎn)化為具體的數(shù)值,方便了信任值的計(jì)算。在特征屬性權(quán)重方面,使用用戶賦權(quán)重的方法,可以滿足不同用戶的特殊需求。從實(shí)驗(yàn)結(jié)果可以看出本文提出的模型可以挑選出符合用戶需求的CSP,同時(shí)在準(zhǔn)確性方面,本文的模型也要優(yōu)于其他模型。
雖然本文的模型取得了不錯(cuò)的效果,但仍然有許多需要改進(jìn)的地方??陀^特征屬性的選取過程中只選取了4個(gè)關(guān)鍵屬性,在實(shí)際應(yīng)用中,可能不能完全描述CSP的服務(wù)情況。另外,可以將CSP的歷史信任值作為用戶選擇CSP時(shí)的參考值,如果計(jì)算CSP信任值時(shí)的屬性權(quán)重符合用戶需求,那么用戶在選擇CSP時(shí),系統(tǒng)就不必重新計(jì)算信任值了,這樣可以大大提升模型的效率。
[1] KAPIL D, TYAGI P, KUMAR S, TAMTA V P. Cloud computing: overview and research issues[J]. 2017 International Conference on Green Informatics,ICGI, Fuzhou, China, 2017:71-76.
[2] HARBAJANKA S, SAXENA P. Survey paper on trust management and security issues in cloud computing[J]. 2016 CDAN, Indore, 2016:1-3.
[3] 沈昌祥,張煥國(guó).可信計(jì)算的研究與發(fā)展[J].中國(guó)科學(xué),2010,40(2):139-166.
[4] 丁滟,王懷民. 可信云服務(wù)[J].計(jì)算機(jī)學(xué)報(bào),2005,38(1):133-149.
[5] CHAKRABORTY S, ROY K. An SLA-based Framework for Estimating Trustworthiness of a Cloud[J]. 2012 IEEE 11th International Conference on Trust, Security and Privacy in Computing and Communications, Liverpool, 2012:937-942.
[6] ALHAMAD M, DILLON T, CHANG E. Conceptual SLA framework for cloud computing[J]. 4th IEEE International Conference on Digital Ecosystems and Technologies, Dubai, 2010:606-610.
[7] Li Xiaoyong,Du Junping. Adaptive and attribute-based trust model for service level agreement guarantee in cloud computing[J]. IET Information Security, v2013,7(1):39-50.
[8] MUCHAHARI M K, SINHA S K.A new trust management architecture for Cloud computing environment[J]. 2012 International Symposium on Cloud and Services Computing, Mangalore, 2012:136-140.
[9] Zhao Kang, Pan Li. A machine learning based trust evaluation framework for online social networks[J].2014 IEEE 13th International Conference on Trust, Security and Privacy in Computing and Communications, Beijing, 2014: 69-74.
[10] DUBOIS D, PRADE H. Fuzzy sets and systems: theory and applications[M]. New York:Academic Press, 1980.
[11] CHEN S J, HWANG C L. Fuzzy multiple attribute decision making[M]. Lecture Notes in Economics and Mathematical Systems,Springer, 1992,375 (1) :289-486.
[12] Chen Shanhuo. Ranking fuzzy numbers with maximizing set and minimizing set[J]. Fuzzy Sets and Systems, 1985,17(2):113-129.
[13] CALHEIROS R N, RANJAN R, BELOGLAZOV A, et al. CloudSim: a toolkit for modeling and simulation of cloud computing environments and evaluation of resource provisioning algorithms[J]. Software: Practice and Experience, 2011,41 (1) :23-50.
[14] SWANSON D A, TAYMAN J, BRYAN T M. MAPE-R: a rescaled measure of accuracy for cross-sectional subnational population forecasts[J]. Journal of Population Research, 2011,28(2-3):225-243.