摘 要：近年來，我國經(jīng)濟(jì)水平突飛猛進(jìn)，IT行業(yè)也隨之迅速發(fā)展，IT技術(shù)在人們?nèi)粘Ｉ钪械倪\用也越來越廣泛，如何最大限度地發(fā)揮計算機(jī)的作用和效能，是如今計算機(jī)發(fā)展所需解決的問題之一。因此，對計算機(jī)系統(tǒng)以及計算機(jī)網(wǎng)路進(jìn)行優(yōu)化是十分有必要的。而動態(tài)優(yōu)化則是對計算機(jī)系統(tǒng)網(wǎng)絡(luò)進(jìn)行一系列配置、資源合理分配以及任務(wù)科學(xué)調(diào)度的理論性手段。本文章則正是對馬爾可夫決策從模型、決策再到具體應(yīng)用層面對計算機(jī)系統(tǒng)和計算機(jī)網(wǎng)絡(luò)如何動態(tài)優(yōu)化進(jìn)行相關(guān)探討研究。

關(guān)鍵詞：計算機(jī)系統(tǒng)；計算機(jī)網(wǎng)絡(luò)；動態(tài)規(guī)劃

如今，計算機(jī)系統(tǒng)和計算機(jī)網(wǎng)絡(luò)被世界上的各行各業(yè)所廣泛運用，計算機(jī)的廣泛運用導(dǎo)致計算機(jī)所需處理的業(yè)務(wù)數(shù)量和業(yè)務(wù)種類迅速激增。隨之而來的則正是如何在這種不斷增加的業(yè)務(wù)及處理問題的基礎(chǔ)上對計算機(jī)系統(tǒng)和計算機(jī)網(wǎng)絡(luò)進(jìn)行合理優(yōu)化的問題也逐漸開始凸顯。人們開始尋求各種對計算機(jī)資源和計算機(jī)系統(tǒng)進(jìn)行合理分配的手段方法，以達(dá)到提高計算機(jī)效率的目的。在實際優(yōu)化過程中，相比靜態(tài)優(yōu)化理論，使用較為廣泛的則是動態(tài)優(yōu)化理論。而馬爾可夫的決策過程則正是動態(tài)優(yōu)化理論所使用的基本模型。它的出現(xiàn)有效避免了計算機(jī)網(wǎng)絡(luò)出現(xiàn)狀態(tài)空間爆炸等負(fù)面情況的發(fā)生。對有效降低計算機(jī)系統(tǒng)的系統(tǒng)維護(hù)成本并有效提高計算機(jī)系統(tǒng)的運行效率具有十分重要的意義。

一、決策過程中動態(tài)模型的建立

馬爾可夫決策動態(tài)模型在對決策的系統(tǒng)過程進(jìn)行分析的時候采用的是將時間進(jìn)行離散分析的方法，也就是當(dāng)計算機(jī)系統(tǒng)處于T+1刻的移動狀態(tài)、時間t的要素主要取決于系統(tǒng)的狀態(tài)以及主要決策者的行為。在這個過程中，不管是政策制定者對于時間系統(tǒng)的狀態(tài)或者行為還是馬爾可夫決策動態(tài)模型的操作時間所具備的狀態(tài)，轉(zhuǎn)移時間關(guān)系的連續(xù)性都要求計算機(jī)使用者，也就是首要決策者具有良好的分析能力，能夠及時觀測出不確定傳遞的狀態(tài)、能否對計算機(jī)系統(tǒng)以及計算機(jī)網(wǎng)絡(luò)采取一些必要的限制性措施。這些分析過程都需要決策者從決策分類的角度對目標(biāo)數(shù)進(jìn)行處理。

（一）馬爾可夫的具體決策步驟

馬爾可夫動態(tài)決策模型對所采用的近似算法、相關(guān)求解方法、具體應(yīng)用手段等都進(jìn)行了一些的分析研究。它要求計算機(jī)能夠在復(fù)雜的計算機(jī)網(wǎng)絡(luò)環(huán)境中對資源進(jìn)行合理分配，同時還必須對計算機(jī)網(wǎng)絡(luò)的實際運營效果進(jìn)行有效提升。這不僅是馬爾可夫動態(tài)模型的目標(biāo)，也是計算機(jī)系統(tǒng)與計算機(jī)網(wǎng)絡(luò)發(fā)展的必然要求。馬爾可夫動態(tài)決策模型的具體步驟：首先，國家對其制定一個模糊的相關(guān)的描述性的概念，并對計算機(jī)網(wǎng)絡(luò)運行過程中可能出現(xiàn)的問題進(jìn)行分析記錄，然后對實際問題所涉及到的具體行為進(jìn)行闡述。其次，在動態(tài)狀態(tài)空間中將主要決策者的一系列行為分為行為集，并對行為中對決策者的利益相關(guān)的行為進(jìn)行標(biāo)注。最后，決策者再開展一系列與系統(tǒng)轉(zhuǎn)換以及優(yōu)化相關(guān)的決策及行為，并對以上步驟進(jìn)行重復(fù)，這樣就是一個典型的馬爾可夫動態(tài)模型的建立過程。如果對馬爾可夫的模型建立得完備有效，還可以將其進(jìn)一步發(fā)展為目標(biāo)函數(shù)。

（二）馬爾可夫動態(tài)決策模型的具體分析

在利用馬爾可夫動態(tài)決策模型對計算機(jī)系統(tǒng)進(jìn)行建模分析時，首先要明確計算機(jī)系統(tǒng)的重要運行目標(biāo)，然后確定收益函數(shù)與目標(biāo)函數(shù)之間的函數(shù)關(guān)系。在這個過程中，由于不同的計算機(jī)系統(tǒng)的運行目標(biāo)可能會存在差異，以及對于同一個計算機(jī)系統(tǒng)，由于研究的切入點不一樣也會使得收益函數(shù)與目標(biāo)函數(shù)之間的關(guān)系差異較大。其次，建立馬爾可夫決策動態(tài)模型表格，并在操作過程中逐漸完備馬爾可夫決策模型決策形式。并且根據(jù)目標(biāo)函數(shù)的具體要求對目標(biāo)函數(shù)進(jìn)行相應(yīng)的最大化和最小化的改變。再加上那個計算機(jī)系統(tǒng)在運行的過程中狀態(tài)也會隨之發(fā)生改變，所以還應(yīng)該根據(jù)相應(yīng)的狀態(tài)空間進(jìn)一步對決策的行為進(jìn)行確定。并且由于在馬爾可夫決策的過程中計算機(jī)系統(tǒng)可以處于游離的狀態(tài)，在這種狀態(tài)之下將會在一定的范圍上使用無線電系統(tǒng)的空間，因此計算機(jī)系統(tǒng)的空間將會隨之減少。在對馬爾可夫決策進(jìn)行分析研究的過程時，還可以根據(jù)不同的依據(jù)將其分為幾種不同的類型。

二、馬爾可夫決策動態(tài)模型的求解及運用

可以運用精確求解算法以及近似求解算法這兩種算法對馬爾可夫決策進(jìn)行求解。精確求解算法則可以根據(jù)用戶不同的優(yōu)化目標(biāo)對計算機(jī)系統(tǒng)進(jìn)行優(yōu)化，從而在擇優(yōu)情況下求得最優(yōu)解。而近似求解算法則是在一個計算機(jī)系統(tǒng)中對相關(guān)的資源和數(shù)據(jù)進(jìn)行調(diào)整整理以建立一個滿足用戶需求的數(shù)據(jù)庫。這兩種算法對不同的用戶有著不一樣的優(yōu)勢之處，用戶在實際選擇的過程中可以根據(jù)自己的需要進(jìn)行相應(yīng)算法的選擇。

在對計算機(jī)系統(tǒng)以及計算機(jī)網(wǎng)絡(luò)進(jìn)行動態(tài)優(yōu)化的過程中應(yīng)該首先對馬爾可夫的相關(guān)理論進(jìn)行研究，這不僅會有利于計算機(jī)網(wǎng)絡(luò)以及計算機(jī)系統(tǒng)的發(fā)展，如果在實際操作的過程中能夠?qū)ⅠR爾可夫決策的相關(guān)理論進(jìn)行科學(xué)有效的利用，能夠有效地解決計算機(jī)使用過程中有關(guān)資源優(yōu)化的一系列問題。

三、總結(jié)

本文首先介紹了決策過程中動態(tài)模型的建立，其中包括馬爾可夫的具體決策步驟以及馬爾可夫動態(tài)決策模型的具體分析。然后介紹了馬爾可夫決策動態(tài)模型的求解及運用。根據(jù)馬爾可夫決策過程中的模型進(jìn)行分析、求解以及具體分析，可以在很大程度上深化對于計算機(jī)系統(tǒng)以及計算機(jī)網(wǎng)絡(luò)的動態(tài)優(yōu)化的理解，能夠在日常工作以及生活中學(xué)會自我有效管理計算機(jī)網(wǎng)絡(luò)資源，以此達(dá)到實現(xiàn)計算機(jī)網(wǎng)絡(luò)的最優(yōu)效率。

參考文獻(xiàn)：

[1]林闖，萬劍雄，向旭東，孟坤，王元卓.計算機(jī)系統(tǒng)與計算機(jī)網(wǎng)絡(luò)中的動態(tài)優(yōu)化：模型、求解與應(yīng)用[J].計算機(jī)學(xué)報，2012，35（07）：1339-1357.

[2]楊曉慶. 計算機(jī)系統(tǒng)與計算機(jī)網(wǎng)絡(luò)中的動態(tài)優(yōu)化：模型、求解與應(yīng)用[J].計算機(jī)光盤軟件與應(yīng)用，2014，17（09）：108+110.

[3]楊鴻華.計算機(jī)系統(tǒng)與計算機(jī)網(wǎng)絡(luò)中的動態(tài)優(yōu)化：模型、求解與應(yīng)用[J].科技展望，2015，25（29）：11.

作者簡介：羅春蘭（1977-），女，漢族，重慶人，碩士，講師，主要從事計算機(jī)應(yīng)用基礎(chǔ)教學(xué)。