吳克宇 黃金才 馮旸赫

（國(guó)防科技大學(xué)系統(tǒng)工程學(xué)院 湖南長(zhǎng)沙 410073）

經(jīng)典的博弈論發(fā)源于經(jīng)濟(jì)學(xué)[1]，主要通過(guò)嚴(yán)格的數(shù)學(xué)證明和推理對(duì)多主體競(jìng)爭(zhēng)/協(xié)作條件下的各方策略和收益進(jìn)行預(yù)測(cè)評(píng)估。雖然經(jīng)典的博弈論在經(jīng)濟(jì)、金融、證券學(xué)、國(guó)際關(guān)系等領(lǐng)域中取得了廣泛的應(yīng)用，但是難以有效地解決復(fù)雜大規(guī)模的社會(huì)和工程問(wèn)題時(shí)。近年來(lái)，隨著人工智能技術(shù)的快速發(fā)展，以機(jī)器自博弈訓(xùn)練學(xué)習(xí)為特征的智能博弈技術(shù)在解決復(fù)雜大規(guī)模問(wèn)題中取得了前所未有的突破。最具有代表性的成果包括“Google DeepMind”研發(fā)的“AlphaGo”“AlphaZero”“AlphaStar”[2]等決策智能體在棋類和游戲等領(lǐng)域超越了人類智能，展現(xiàn)了智能博弈技術(shù)解決復(fù)雜問(wèn)題的強(qiáng)大能力?？梢灶A(yù)期，在不遠(yuǎn)的將來(lái)智能博弈技術(shù)驅(qū)動(dòng)的優(yōu)化決策系統(tǒng)將在金融、交通、物流、供應(yīng)鏈、國(guó)防軍事等領(lǐng)域發(fā)揮重要作用。與此同時(shí)，這也對(duì)具備智能博弈技術(shù)相關(guān)基礎(chǔ)知識(shí)結(jié)構(gòu)和思維方式的人才儲(chǔ)備和培養(yǎng)方式提出了巨大需求和挑戰(zhàn)。

目前智能博弈相關(guān)的本科課程仍處于空白，難以滿足學(xué)術(shù)界和工業(yè)界對(duì)本科人才的相關(guān)基礎(chǔ)知識(shí)體系和實(shí)踐能力培養(yǎng)的要求，亟須建設(shè)相關(guān)的課程內(nèi)容、創(chuàng)新相關(guān)教學(xué)方法，以適應(yīng)智能化時(shí)代的需求[3]。本文總結(jié)了科研工作和研究生教育工作中的經(jīng)驗(yàn)，梳理了智能博弈技術(shù)相關(guān)知識(shí)體系，提出了包含“探索與利用”“馬爾科夫決策過(guò)程”“數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)評(píng)估”“數(shù)據(jù)驅(qū)動(dòng)的最優(yōu)控制”以及“博弈搜索與學(xué)習(xí)”為主要內(nèi)容的課程體系和配套課程實(shí)踐，探討了相關(guān)的教學(xué)建議和教學(xué)方法，建議引導(dǎo)學(xué)生通過(guò)如全國(guó)兵棋推演大賽等學(xué)科競(jìng)賽活動(dòng)提升解決實(shí)際問(wèn)題的能力，希望能為相關(guān)領(lǐng)域人員提供參考。

一、課程目標(biāo)

智能博弈技術(shù)導(dǎo)論的主要目標(biāo)是，使高年級(jí)本科生在已有概率論和計(jì)算機(jī)知識(shí)基礎(chǔ)上，對(duì)智能博弈技術(shù)從整體上形成較全面和系統(tǒng)的認(rèn)識(shí)，從機(jī)器博弈、動(dòng)態(tài)規(guī)劃、強(qiáng)化學(xué)習(xí)等知識(shí)的基本概念和相互關(guān)系入手，使學(xué)生掌握智能博弈技術(shù)的基本概念、基本原理和基本方法，同時(shí)結(jié)合前沿技術(shù)研究開闊學(xué)生知識(shí)視野，使學(xué)生了解相關(guān)研究與應(yīng)用的新方向和新進(jìn)展，通過(guò)配套的課程實(shí)踐和編程練習(xí)提高學(xué)生解決問(wèn)題的能力，為將來(lái)更加深入地學(xué)習(xí)和運(yùn)用智能博弈技術(shù)相關(guān)理論和方法解決實(shí)際問(wèn)題奠定初步基礎(chǔ)。

二、課題體系

智能博弈技術(shù)導(dǎo)論的課程體系共包含六個(gè)章節(jié)，課程體系結(jié)構(gòu)如下。

（一）簡(jiǎn)述

本章首先以“AlphaGo”“AlphaZero”“AlphaStar”等近年來(lái)著名的智能博弈決策智能體作為導(dǎo)入，調(diào)動(dòng)學(xué)生的相關(guān)知識(shí)的學(xué)習(xí)興趣和積極性。同時(shí)回顧基于機(jī)器計(jì)算的博弈發(fā)展歷史和技術(shù)路徑，闡述機(jī)器博弈和學(xué)習(xí)算法在跳棋、象棋、紅白機(jī)、圍棋、星際爭(zhēng)霸等典型博弈場(chǎng)景中算法技術(shù)和里程碑意義。最后，結(jié)合“DeepMind”的“AlphaGo”“AlphaZero”“AlphaStar”等智能系統(tǒng)，簡(jiǎn)要說(shuō)明現(xiàn)代智能博弈技術(shù)的技術(shù)架構(gòu)，進(jìn)而引出本課程的主要內(nèi)容。

（二）探索與利用

本章闡述探索和利用問(wèn)題（Exploitation and Exploration Dilemma）背景和典型的算法[4]，涵蓋探索和利用問(wèn)題背景、多臂賭博機(jī)（Multi-armed Bandit）建模方法和基于“Upper-Confidence-Bound（UCB）”算法的最優(yōu)決策方法。

本章內(nèi)容作為無(wú)狀態(tài)（Stateless）隨機(jī)場(chǎng)景中的最優(yōu)決策問(wèn)題建模和算法求解，將為學(xué)生認(rèn)識(shí)和理解數(shù)據(jù)驅(qū)動(dòng)的決策方法奠定基礎(chǔ)，同時(shí)對(duì)探索和利用問(wèn)題和算法的掌握還將為學(xué)生理解后續(xù)章節(jié)中關(guān)于強(qiáng)化學(xué)習(xí)方法中的 -greedy 算法和蒙特卡洛搜索樹中的UCT 算法奠定基礎(chǔ)。

（三）馬爾科夫決策過(guò)程

本章闡述馬爾科夫決策過(guò)程（Markov Decision Process，MDP）[5]相關(guān)概念和方法，涵蓋：①M(fèi)DP 的定義和概念：序貫決策問(wèn)題、MDP 的定義、策略的概念；②價(jià)值函數(shù)和Bellman方程：價(jià)值函數(shù)的定義（V 函數(shù)和Q 函數(shù)）、Bellman 方程；③值迭代方法：壓縮映射、值迭代方法；④策略迭代方法：策略優(yōu)化（Policy Improvement）原理、策略迭代方法。

本章內(nèi)容將使用數(shù)學(xué)語(yǔ)言正式地引入狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)函數(shù)、策略、價(jià)值函數(shù)、最優(yōu)策略、Bellman 方程等主要概念，并通過(guò)值迭代和策略迭代等動(dòng)態(tài)規(guī)劃對(duì)最優(yōu)策略進(jìn)行求解。通過(guò)本章內(nèi)容的學(xué)習(xí)，學(xué)生將對(duì)隨機(jī)動(dòng)態(tài)優(yōu)化問(wèn)題的建模和求解有較深入的理解，同時(shí)為更好地理解和掌握策略評(píng)估TD 算法、最策略優(yōu)化Q-learning 和SARSA 算法奠定基礎(chǔ)。

（四）數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)評(píng)估

本章節(jié)將講解模型未知（Model-free）場(chǎng)景中基于數(shù)據(jù)驅(qū)動(dòng)的策略評(píng)估方法[6]，涵蓋1.蒙特卡洛估計(jì)：模型未知場(chǎng)景的估計(jì)問(wèn)題建模、蒙特卡洛估計(jì)方法；2.時(shí)間差分（Time-difference，TD）估計(jì)算法：TD 估計(jì)的概念引入、TD的定義和方法，基于TD 的價(jià)值函數(shù)估計(jì)；3.Multi-step TD：TD 和蒙特卡洛估計(jì)方法的對(duì)比，基于Multi-step 視角對(duì)預(yù)測(cè)評(píng)估算法的統(tǒng)一認(rèn)識(shí)。

本章節(jié)將通過(guò)理論與案例相結(jié)合的方法對(duì)相關(guān)概念和算法進(jìn)行闡述，使學(xué)生能夠針對(duì)典型的問(wèn)題，設(shè)計(jì)自己的TD 學(xué)習(xí)算法進(jìn)行求解。通過(guò)本章節(jié)內(nèi)容將建立數(shù)據(jù)增量學(xué)習(xí)與價(jià)值函數(shù)估計(jì)的關(guān)系，是學(xué)生理解后續(xù)章節(jié)中強(qiáng)化學(xué)習(xí)和博弈樹搜索算法設(shè)計(jì)的基礎(chǔ)。

（五）數(shù)據(jù)驅(qū)動(dòng)的最優(yōu)控制

本章節(jié)將講解模型未知場(chǎng)景中基于數(shù)據(jù)驅(qū)動(dòng)的最優(yōu)控制方法[7]，涵蓋1.單主體決策問(wèn)題概述：闡述模型未知場(chǎng)景中的最優(yōu)控制問(wèn)題的設(shè)定，回顧和對(duì)比Q 函數(shù)和V 函數(shù)；2.“On-policy TD Control”：講解“On-policy TD”和“SARSA”算法；3.“Off-policy TD Control”：講解“On-policy TD”和“Q-learning”算法；4.函數(shù)近似與深度強(qiáng)化學(xué)習(xí)：概述函數(shù)近似方法和深度強(qiáng)化學(xué)習(xí)方法。

本章節(jié)將系統(tǒng)地講解兩類基于價(jià)值函數(shù)的經(jīng)典強(qiáng)化學(xué)習(xí)算法（即“SARSA”和“Q-learning”算法），并通過(guò)回顧并對(duì)比地講解值迭代和策略迭代方法，加深對(duì)強(qiáng)化學(xué)習(xí)算法的理解。同時(shí)，進(jìn)一步說(shuō)明在解決復(fù)雜問(wèn)題中函數(shù)近似的必要性，并簡(jiǎn)要闡述融合深度神經(jīng)網(wǎng)絡(luò)進(jìn)行函數(shù)近似的強(qiáng)化學(xué)習(xí)方法和典型應(yīng)用，可以使學(xué)生對(duì)當(dāng)前的研究熱點(diǎn)，深度強(qiáng)化學(xué)習(xí)，有較直觀的理解和認(rèn)識(shí)，為學(xué)生在后續(xù)的研究和工作更深入地理解先進(jìn)強(qiáng)化學(xué)習(xí)方法奠定基礎(chǔ)。

（六）博弈搜索與學(xué)習(xí)

本章節(jié)將講解基于計(jì)算搜索和數(shù)據(jù)學(xué)習(xí)的博弈方法[8]，涵蓋1.多主體決策問(wèn)題概述：博弈問(wèn)題和場(chǎng)景，博弈樹建模方法；2.“Minimax”搜索：“Minimax”搜索方法，相關(guān)案例；3.“Alpha-beta”剪枝：“Alpha-beta”剪枝算法，相關(guān)案例；4.蒙特卡洛樹搜索：蒙特卡洛搜索樹（Monte Carlo Tree Search，MCTS）的一般原理（Selection，Expansion，Simulation，Back Propagation），UCT 算法和案例講解，MCTS 算法整體流程；4.“MCTS”與學(xué)習(xí)結(jié)合：概述“MCTS”與學(xué)習(xí)方法的結(jié)合點(diǎn)，并以此為基礎(chǔ)概述“AlphaGo”“AlphaGo Zero”“AlphaZero”的技術(shù)架構(gòu)；⑤智能博弈算法的發(fā)展與應(yīng)用：概述以現(xiàn)代蒙特卡洛樹搜索為代表的技術(shù)發(fā)展和典型應(yīng)用。

本章節(jié)將講解經(jīng)典的博弈樹搜索算法（Minimax 搜索和Alpha-beta 剪枝）和融合學(xué)習(xí)機(jī)制的啟發(fā)式博弈搜索算法（MCTS 算法），并結(jié)合“AlphaGo”“AlphaGo Zero”“AlphaZero”等系列智能系統(tǒng)對(duì)相關(guān)概念進(jìn)行進(jìn)一步的闡述，最后簡(jiǎn)要地闡述智能博弈技術(shù)的未來(lái)發(fā)展和可能應(yīng)用。本章節(jié)內(nèi)容融合前序章節(jié)中關(guān)于Bandit、蒙特卡洛估計(jì)、強(qiáng)化學(xué)習(xí)等概念，使學(xué)生對(duì)現(xiàn)代智能博弈技術(shù)的相關(guān)概念、理論方法和前沿方向有較系統(tǒng)的理解。

（七）實(shí)踐內(nèi)容

課程將針對(duì)第二章“探索與利用”、第三章“馬爾科夫決策過(guò)程”、第五章“數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)評(píng)估”、第六章“博弈搜索與學(xué)習(xí)”分別各設(shè)置2 個(gè)學(xué)時(shí)的編程實(shí)踐課程，旨在加深學(xué)生對(duì)概念和算法的理解，初步培養(yǎng)學(xué)生使用相關(guān)方法解決簡(jiǎn)單問(wèn)題的能力。

針對(duì)第二章“探索與利用”，將學(xué)生的任務(wù)分成兩個(gè)部分，即建模部分和決策部分。建模部分是編程實(shí)現(xiàn)一個(gè)基本的Multi-armedBandit（多臂賭博機(jī)）的環(huán)境，即通過(guò)生成N 個(gè)均值不同的隨機(jī)變量。決策部分則是實(shí)現(xiàn)UCB 算法，能夠找到一個(gè)Multi-armedBandit（多臂賭博機(jī)）的環(huán)境中的最優(yōu)選項(xiàng)。最后，課程將讓學(xué)生使用自己決策部分的代碼去尋找同伴建模部分環(huán)境中的最優(yōu)選項(xiàng)，以此來(lái)增加學(xué)生實(shí)踐的趣味性和動(dòng)力。

針對(duì)第三章“馬爾科夫決策過(guò)程”，以“GridWorld”中的最優(yōu)路徑探索作為實(shí)踐案例，讓學(xué)生確定并編寫該環(huán)境中狀態(tài)、動(dòng)作、獎(jiǎng)勵(lì)和轉(zhuǎn)移函數(shù)等要素，加深對(duì)馬爾科夫過(guò)程建模方法的認(rèn)識(shí)和理解。同時(shí)，基于該環(huán)境，讓學(xué)生分別使用值迭代和策略迭代兩種方法對(duì)問(wèn)題進(jìn)行求解，以此增強(qiáng)學(xué)生對(duì)這兩動(dòng)態(tài)規(guī)劃求解方法的概念和算法的熟悉。

針對(duì)第五章“數(shù)據(jù)驅(qū)動(dòng)的預(yù)測(cè)評(píng)估”，以“MountainCar”作為例子進(jìn)行編程實(shí)踐。這個(gè)部分由老師準(zhǔn)備好環(huán)境、接口、數(shù)據(jù)預(yù)處理和算法性能評(píng)估展示部分，學(xué)生負(fù)責(zé)編寫核心的學(xué)習(xí)算法部分。為了讓學(xué)生理解表格型強(qiáng)化學(xué)習(xí)和基于函數(shù)近似強(qiáng)化學(xué)習(xí)算法的區(qū)別，將讓學(xué)生分別實(shí)現(xiàn)表格型Q-Learning 和基于神經(jīng)網(wǎng)絡(luò)近似的Q-Learning 算法，并對(duì)比算法達(dá)到相似性能所需要的數(shù)據(jù)量，讓學(xué)生更直觀地理解函數(shù)近似方法在強(qiáng)化學(xué)習(xí)中的重要性。

針對(duì)第六章“博弈搜索與學(xué)習(xí)”，以“tic-tac-toe”這一最簡(jiǎn)單的博弈場(chǎng)景作為例子進(jìn)行MCTS 的編程實(shí)踐。這個(gè)部分由老師準(zhǔn)備好具備可視化、交互式的棋盤，并進(jìn)行接口準(zhǔn)備和MCTS 算法的架構(gòu)搭建。學(xué)生負(fù)責(zé)理解程序結(jié)構(gòu)，并編寫MCTS 算法的核心部分。為了提高學(xué)生的參與感和學(xué)習(xí)興趣，可以設(shè)置人-機(jī)，機(jī)-機(jī)的對(duì)抗博弈環(huán)境，讓學(xué)生與自己編寫的博弈智能體下棋，或者讓博弈智能體之間進(jìn)行對(duì)弈。

（八）教學(xué)建議

智能博弈技術(shù)是作為一個(gè)交叉學(xué)科，涉及博弈論、機(jī)器學(xué)習(xí)、優(yōu)化理論等眾多知識(shí)點(diǎn)，對(duì)數(shù)學(xué)基礎(chǔ)和編程能力有相當(dāng)?shù)囊螅瑢?duì)于本科生具有一定的學(xué)習(xí)難度，如何有效地利用課堂課后時(shí)間讓學(xué)生掌握智能博弈技術(shù)的核心和理論，熟悉學(xué)科的相關(guān)前沿方向和思維方式，了解智能博弈技術(shù)的典型應(yīng)用和發(fā)展趨勢(shì)是課程的重點(diǎn)目標(biāo)。智能博弈技術(shù)需要在教學(xué)過(guò)程注意平衡知識(shí)傳授過(guò)程中的深度和廣度，盡量避免過(guò)于深入知識(shí)細(xì)節(jié)而使學(xué)生難以掌握技術(shù)全貌，同時(shí)又要介紹的背景和案例過(guò)多，而使得學(xué)生走馬觀花，不能真正掌握智能博弈技術(shù)的思維方式和解決問(wèn)題的途徑方法。通過(guò)對(duì)前期教學(xué)科研中的經(jīng)驗(yàn)和實(shí)踐進(jìn)行總結(jié)，我們得出了以下建議，僅供參考。

1.課堂授課聚焦主要理論方法，典型案例貫穿始終

智能博弈技術(shù)包含的概念眾多、知識(shí)點(diǎn)龐雜，授課過(guò)程中教師應(yīng)圍繞背景的引入、基本概念的闡述、關(guān)鍵算法的講解進(jìn)行深入展開。同時(shí)，教師應(yīng)理清和概述與課堂中講解的核心知識(shí)點(diǎn)相關(guān)的其他的重要概念和方法的聯(lián)系，使學(xué)生對(duì)整體知識(shí)體系有較清晰的理解。與此同時(shí)，由于相關(guān)的理論和算法中往往涉及數(shù)學(xué)理論和公式，會(huì)對(duì)本科生的理解帶來(lái)不小的挑戰(zhàn)，因此教師應(yīng)針對(duì)問(wèn)題背景和算法理論精選案例，并在知識(shí)講授過(guò)程中以該案例貫徹始終，方便學(xué)生形象直觀地理解相關(guān)內(nèi)容。

2.實(shí)踐課程引入?yún)f(xié)作與競(jìng)爭(zhēng)，使學(xué)生“通過(guò)博弈學(xué)習(xí)博弈”

由于智能博弈技術(shù)主要依賴于機(jī)器迭代搜索和學(xué)習(xí)，學(xué)生需要通過(guò)編程實(shí)踐才能更好地掌握和理解相關(guān)思想，提高解決問(wèn)題的能力。為了增加實(shí)踐課程的趣味性，提高學(xué)生學(xué)習(xí)的主動(dòng)性，可以在實(shí)踐課程中將學(xué)生分成多組，分別完成算法中的不同部分，并進(jìn)行競(jìng)爭(zhēng)博弈。例如，在Bandit 問(wèn)題中，可以使學(xué)生分別完成環(huán)境和Bandit 算法，并比較算法在不同環(huán)境下的能力；在MCTS 問(wèn)題中，可以使學(xué)生分別編寫不同的決策智能體，并進(jìn)行對(duì)抗博弈。教師在評(píng)價(jià)學(xué)生算法的基本完成度的基礎(chǔ)上，可以給獲得競(jìng)爭(zhēng)優(yōu)勢(shì)的組以額外的獎(jiǎng)勵(lì)以激發(fā)學(xué)生深入思考問(wèn)題、設(shè)計(jì)完成算法、協(xié)作完成任務(wù)，從而提高學(xué)生的學(xué)習(xí)效果。

3.引導(dǎo)學(xué)生課后主動(dòng)學(xué)習(xí)，多種方式探索求真

智能博弈技術(shù)的相關(guān)研究當(dāng)前正處于快速發(fā)展的階段，前沿理論和應(yīng)用層出不窮，教師應(yīng)引導(dǎo)學(xué)習(xí)主動(dòng)學(xué)習(xí)。例如，可通過(guò)鼓勵(lì)學(xué)生在各種國(guó)內(nèi)外相關(guān)論壇和社區(qū)提問(wèn)、發(fā)言，使用和參與開源項(xiàng)目，不斷加深對(duì)掌握知識(shí)的理解和運(yùn)用、補(bǔ)充學(xué)習(xí)新的知識(shí)和方法。同時(shí)，還可以引導(dǎo)學(xué)有余力的學(xué)生參加智能博弈相關(guān)的學(xué)科競(jìng)賽，如每年一度的全國(guó)兵棋推演競(jìng)賽，讓學(xué)生結(jié)合具體的場(chǎng)景和應(yīng)用，進(jìn)一步探索新的技術(shù)和方法，提升解決實(shí)際問(wèn)題的能力?？傊處煈?yīng)鼓勵(lì)學(xué)生通過(guò)多種方式進(jìn)行主動(dòng)探索和學(xué)習(xí)，不斷開闊視野，為以后相關(guān)工作和深入研究奠定良好的基礎(chǔ)。

4.結(jié)合課程思政設(shè)計(jì)增加學(xué)生的職業(yè)使命感

結(jié)合智能博弈技術(shù)的相關(guān)技術(shù)發(fā)展，使學(xué)生能夠了解相關(guān)技術(shù)在發(fā)明研究和改進(jìn)完善過(guò)程的歷史背景、里程碑事件和重要意義，使學(xué)生能夠更好地理解和體會(huì)課程的歷史厚度和人文溫度，更好地感受認(rèn)知科研工作者數(shù)十年如一日、孜孜不倦的求真探索精神，更好地培養(yǎng)學(xué)生在未來(lái)工作和學(xué)習(xí)中的鉆研精神。同時(shí)，在課程中穿插介紹相關(guān)領(lǐng)域的當(dāng)前困境和短板，從而使學(xué)生認(rèn)識(shí)所學(xué)知識(shí)和未來(lái)可能從事工作的重要性，著重培養(yǎng)學(xué)思結(jié)合、知行統(tǒng)一，增強(qiáng)學(xué)生勇于探索的創(chuàng)新精神、善于解決問(wèn)題的實(shí)踐能力，逐步養(yǎng)成在實(shí)踐中增長(zhǎng)智慧才干，在艱苦奮斗中錘煉意志品質(zhì)。

結(jié)語(yǔ)

智能博弈技術(shù)在未來(lái)的發(fā)展中將扮演越來(lái)越重要的作用，也是各國(guó)競(jìng)相發(fā)展的重點(diǎn)，如何做好智能博弈技術(shù)相關(guān)知識(shí)體系的梳理和課程建設(shè)是目前亟待解決的重要課題。我們根據(jù)智能博弈技術(shù)的基礎(chǔ)知識(shí)體系，面向高年級(jí)本科生設(shè)計(jì)了智能博弈技術(shù)入門課程，兼顧知識(shí)深度和廣度，最后根據(jù)前期對(duì)科研工作和研究生的教學(xué)實(shí)踐，提出了四點(diǎn)課程建議。由于智能博弈技術(shù)是一個(gè)新興的研究方向，相關(guān)技術(shù)仍在不斷的發(fā)展和完善，課程的建設(shè)需要不斷從最新的研究和應(yīng)用中吸取經(jīng)驗(yàn)，使教學(xué)平臺(tái)及課程體系不斷改進(jìn)完善。