周 明

（北京瀾舟科技有限公司 北京 100081）

人工智能（AI）的發(fā)展經(jīng)歷了符號系統(tǒng)、基于統(tǒng)計的機器學(xué)習(xí)之后，進入了深度學(xué)習(xí)階段.在2017 年Transformer 出現(xiàn)之后進入了快速發(fā)展期，先后出現(xiàn)了GPT、BERT、T5 等基于自監(jiān)督學(xué)習(xí)的預(yù)訓(xùn)練模型，并興起了預(yù)訓(xùn)練模型基礎(chǔ)上的微調(diào)范式.隨后以ChatGPT 為標(biāo)志，在預(yù)訓(xùn)練模型中加入了有監(jiān)督的微調(diào)和基于人類反饋的強化學(xué)習(xí)，AI 進入了大模型時代.AI 模型和系統(tǒng)在參數(shù)量、任務(wù)性能、應(yīng)用場景等方面都實現(xiàn)了飛躍式的突破.在海量數(shù)據(jù)上訓(xùn)練的百億、千億乃至萬億參數(shù)規(guī)模的大模型，具備了少樣本學(xué)習(xí)、推理解釋和對話式交互的能力，在多任務(wù)上展現(xiàn)了接近甚至超過人類水平的通用能力，向著通用AI 邁出了第一步.

技術(shù)的發(fā)展總是具有雙面性，劃時代的突破也帶來了對少數(shù)群體的歧視、隱私泄露、版權(quán)侵害、誤導(dǎo)性信息、惡意濫用等問題，并可能對用戶乃至整個社會造成偏見、不平等等深遠的負面影響.在大模型的快速發(fā)展過程中，我們不僅要不斷推動基礎(chǔ)技術(shù)的進步，而且必須考慮到對社會可能帶來的風(fēng)險和潛在的負面影響，引導(dǎo)AI 的發(fā)展遵循負責(zé)任和守道德的準則，使得AI 技術(shù)真正成為人類社會可持續(xù)發(fā)展的助力.

基于大模型的能力和風(fēng)險，有必要重新梳理和審視這些模型，尤其是與大模型結(jié)合的對齊技術(shù)如何能夠?qū)崿F(xiàn)負責(zé)任的發(fā)展.當(dāng)下國內(nèi)針對大模型的研究還處于基礎(chǔ)技術(shù)快速發(fā)展和追趕的階段，對大模型的風(fēng)險和道德問題重視不夠.難能可貴的是，微軟亞洲研究院謝幸團隊注意到了大模型潛在的道德問題，并向大模型的道德價值觀對齊的研究邁出了重要一步.該團隊撰寫的文章“大模型道德價值觀對齊問題剖析”作為一篇綜述性和展望性的文章，介紹了目前大模型，尤其是大語言模型發(fā)展過程中面臨的道德風(fēng)險與挑戰(zhàn)，梳理了當(dāng)下大模型對齊方法的特點與不足，并提出了一種新的針對道德對齊的概念性框架.該文的貢獻與亮點主要有以下4 點：

1.大模型的特點與風(fēng)險梳理.文章全面概述了大模型的特點，強調(diào)了伴隨尺度定律和能力涌現(xiàn)而來的反尺度現(xiàn)象和風(fēng)險涌現(xiàn)，這將會放大模型帶來的安全和道德問題.隨后文章詳細梳理了模型面臨的風(fēng)險挑戰(zhàn)，有助于理解和分析大模型可能對社會產(chǎn)生的潛在影響和后果.

2.AI 倫理準則調(diào)研和評估.文章調(diào)研了現(xiàn)有的AI 倫理準則，批判性地評估了它們解決大模型倫理影響方面的適用性.通過審視現(xiàn)有的規(guī)范準則，文章基于康德的規(guī)范倫理學(xué)理論，提出了“AI 絕對命令”框架用以重新評估各項準則，并強調(diào)了學(xué)術(shù)界合作建立統(tǒng)一普適的AI 倫理框架方面的重要性.

3.大模型道德傾向分析及對齊方法綜述.文章運用道德基礎(chǔ)理論測試了主流大語言模型的道德傾向，提供了關(guān)于模型中編碼的道德觀的洞察，突顯了潛在的偏見與不足.隨后，文章系統(tǒng)性地介紹了現(xiàn)有大模型對齊算法，總結(jié)了道德價值觀對齊所面臨的獨特問題.

4.倫理對齊的新范式.文章基于道德學(xué)理論引入了一個新穎的概念性范式，用于對齊大模型的道德觀.從大模型對齊的維度、對齊的評測以及對齊的方法等3 個方面為解決道德對齊所帶來的挑戰(zhàn)提供了新的方法，為進一步的跨學(xué)科研究開辟了道路.

我認為這篇展望性文章不僅體現(xiàn)了對AI 大模型研究前沿全面的了解和深入的思考，而且具備了很強的交叉學(xué)科特征.該文詳細介紹并充分借鑒了社會科學(xué)和道德學(xué)等領(lǐng)域的理論基礎(chǔ)，彌補了計算機領(lǐng)域?qū)W者在這方面的不足，為大模型的道德對齊打開了一個全新的視角.相信這篇文章既能為AI 領(lǐng)域的研究者，又能為交叉學(xué)科領(lǐng)域的學(xué)者乃至政策制定者提供有益的參考.希望有關(guān)方面更多地關(guān)注這一重要的問題，重視大模型的倫理和道德風(fēng)險并與技術(shù)發(fā)展相匹配.

亮點論文

矣曉沅，謝幸.大模型道德價值觀對齊問題剖析 [J].計算機研究與發(fā)展，2023,60（9）:1926-1945.DOI:10.7544/issn1000-1239.202330553