劉剛 李響 李沁倩 劉捷
摘要:人工智能屬于通用目的技術(shù),不僅能夠引發(fā)產(chǎn)業(yè)變革,而且能夠催生新科學(xué)研究范式。隨著以生成式人工智能為代表的通用人工智能的發(fā)展,人工智能的應(yīng)用成為社會科學(xué)研究范式創(chuàng)新的前沿。數(shù)據(jù)的高維度、編程語言的強結(jié)構(gòu)性和長程關(guān)聯(lián)性、以參數(shù)形式表征的隱式知識庫和預(yù)訓(xùn)練的結(jié)構(gòu)重整帶來新知識和模式發(fā)現(xiàn),為社會科學(xué)研究創(chuàng)造出新的發(fā)展空間。同時,數(shù)據(jù)隱私、價值觀和研究結(jié)論的“黑箱”化帶來了人工智能在社會科學(xué)應(yīng)用中的新挑戰(zhàn)。如何把大模型的知識發(fā)現(xiàn)和基于研究者實踐經(jīng)驗的探索式研究相結(jié)合,形成人機共生演進的知識生產(chǎn)方式,是社會科學(xué)研究中人工智能應(yīng)用的方向。
關(guān)鍵詞:人工智能;大模型;社會科學(xué);對齊問題;隱私安全
中圖分類號:TP18???? 文獻標(biāo)識碼:A???? 文章編號:1003-1502(2024)02-0080-12
基金項目:2023年中國工程院戰(zhàn)略研究與咨詢項目“場景創(chuàng)新驅(qū)動的人工智能技術(shù)升級和產(chǎn)業(yè)發(fā)展”,項目編號:2023-HY-11;教育部哲學(xué)社會科學(xué)實驗室專項基金研究項目,項目編號:H0122702。
作者簡介:劉?? 剛(1965—),男,南開大學(xué)經(jīng)濟學(xué)院教授、博士生導(dǎo)師。
李?? 響(1996—),男,南開大學(xué)經(jīng)濟研究所博士研究生。
李沁倩(1998—),女,南開大學(xué)經(jīng)濟研究所博士研究生。
劉?? 捷(1992—),女,中國新一代人工智能發(fā)展戰(zhàn)略研究院研究員。
一、引言
近年來,生成式人工智能的興起和發(fā)展,使人們看到了通用人工智能(AGI,Artificial General Intelligence)的火花[1]。隨著多模態(tài)大模型的開發(fā)和輕量化部署技術(shù)的發(fā)展,生成式人工智能成為人工智能技術(shù)創(chuàng)新和商業(yè)化落地的前沿。與傳統(tǒng)的機器學(xué)習(xí)相比,生成式人工智能大模型具有強大的學(xué)習(xí)和推理能力,不僅能夠提高人們獲取、處理信息和數(shù)據(jù)的能力,而且能夠廣泛運用于包括智能制造、智慧城市、智能醫(yī)療和智慧教育在內(nèi)的經(jīng)濟社會領(lǐng)域,加速了人工智能和實體經(jīng)濟深度融合的進程。
科學(xué)技術(shù)是第一生產(chǎn)力,創(chuàng)新是第一動力。人工智能在科學(xué)研究和技術(shù)服務(wù)領(lǐng)域的應(yīng)用,為科技創(chuàng)新注入了新的活力。中國新一代人工智能發(fā)展戰(zhàn)略研究院發(fā)布的《中國新一代人工智能科技產(chǎn)業(yè)發(fā)展 2023報告》顯示,人工智能在三次產(chǎn)業(yè)中的應(yīng)用最廣泛的是第三產(chǎn)業(yè),其中科學(xué)研究和技術(shù)服務(wù)業(yè)在第三產(chǎn)業(yè)人工智能應(yīng)用細(xì)分行業(yè)中排名第二。隨著生成式人工智能的發(fā)展,人工智能和科學(xué)(AI for Science)成為人工智能創(chuàng)新應(yīng)用的關(guān)鍵領(lǐng)域。例如,在生命科學(xué)領(lǐng)域,人工智能參與分子生物學(xué)研究的范圍覆蓋從基因到表型的關(guān)鍵過程與機制研究[2];在材料科學(xué)領(lǐng)域,通過對已知化合物和材料數(shù)據(jù)庫的學(xué)習(xí),人工智能被用于預(yù)測新材料特征和探索聚合物材料結(jié)構(gòu),成為獲得材料成分——結(jié)構(gòu)——工藝——性能關(guān)系的關(guān)鍵工具[2]。除此之外,人工智能在包括粒子物理學(xué)、核物理學(xué)、凝聚態(tài)物理學(xué)、宇宙物理學(xué)、地球演化史、氣候變化評估、災(zāi)害事件預(yù)測、自然資源計算和環(huán)境治理等在內(nèi)的物理科學(xué)和地球科學(xué)領(lǐng)域的科學(xué)研究中,發(fā)揮著日益重要的作用[3]。
人工智能不僅適用于自然科學(xué)研究,而且同樣適用于社會科學(xué)研究。人工智能的應(yīng)用能夠提高社會科學(xué)研究工作的效率。尤其是借助人工智能強大的搜索、分類和信息處理能力,可為研究者提供更加可靠的數(shù)據(jù)。同時,依托文本加工和生成能力,人工智能能夠減少知識生產(chǎn)過程中的重復(fù)性工作。更加重要的是,大模型的應(yīng)用能夠加速社會科學(xué)研究中新知識的發(fā)現(xiàn)和新模式的識別。在人工智能的幫助下,社會科學(xué)研究者能夠快速掌握不同學(xué)科的海量知識,有利于突破研究領(lǐng)域壁壘,推動學(xué)科交叉研究和新知識的發(fā)現(xiàn)。同時,通過知識生產(chǎn)過程中的相互反饋和驗證,人與機器之間的協(xié)同演進能夠創(chuàng)造新的知識生產(chǎn)方式。
與自然科學(xué)研究不同,無論研究數(shù)據(jù)、方法還是研究過程,社會科學(xué)研究都深受隱藏其中的社會價值觀影響。人工智能在社會科學(xué)研究領(lǐng)域的應(yīng)用可能面臨嚴(yán)重的社會倫理風(fēng)險。例如,訓(xùn)練數(shù)據(jù)中存在的固有偏見和歧視會影響模型的內(nèi)容生成。同時,在研究者價值傾向誘導(dǎo)下,人工智能可能生成不符合人類社會倫理道德規(guī)范的內(nèi)容等等。隨著生成式人工智能的快速發(fā)展和更新迭代,如何把大模型的知識發(fā)現(xiàn)和基于實踐經(jīng)驗的人類研究者的獨立研究相結(jié)合,形成人機共生演化的社會科學(xué)研究范式,是人工智能在社會科學(xué)研究中應(yīng)用的方向。
人工智能尤其是生成式人工智能在社會科學(xué)研究領(lǐng)域的應(yīng)用剛剛開始。本文首先在文獻梳理的基礎(chǔ)上介紹生成式人工智能知識學(xué)習(xí)、輸出和創(chuàng)造的基本原理,進而探討人工智能在社會科學(xué)研究中的應(yīng)用前景及其可能存在的問題與挑戰(zhàn)。
二、人工智能的知識生成原理
與1.0階段人工智能不同,2.0階段的人工智能是基于網(wǎng)絡(luò)空間、物理空間和社會空間互動的數(shù)據(jù)智能。在數(shù)據(jù)智能發(fā)展中,以ChatGPT-4為代表的大語言模型已展現(xiàn)出令人驚嘆的文本生成能力,但其背后的運行原理和邏輯卻并不復(fù)雜。大語言模型只是通過新的神經(jīng)網(wǎng)絡(luò)算法根據(jù)用戶的輸入文本預(yù)測接下來的詞元(token),讓輸出文本看起來完整且通順。算法模型既不關(guān)心輸入內(nèi)容,也無意解答人們提出的問題。
(一) Transformer——簡單的架構(gòu)
循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)在處理序列數(shù)據(jù)和自然語言任務(wù)中取得了顯著的成效。它通常沿輸入和輸出序列符號的位置進行計算和預(yù)測,順序的固化阻礙了樣例內(nèi)訓(xùn)練的并行化,限制了樣例之間的批處理,難以捕捉到長距離依存關(guān)系。2017年,谷歌大腦團隊和多倫多大學(xué)提出了一種新的簡單神經(jīng)網(wǎng)絡(luò)架構(gòu)——Transformer,允許模型在處理每個元素時,能夠關(guān)注序列中的其他元素,進而捕捉全局性上下文信息,展現(xiàn)出并行計算方面的巨大潛能[4]。自注意力機制和位置編碼與解碼是新神經(jīng)網(wǎng)絡(luò)架構(gòu)的兩大創(chuàng)新。
1.自注意力機制
Transformer架構(gòu)摒棄了循環(huán)遞歸和卷積神經(jīng)網(wǎng)絡(luò)算法,完全依賴自注意力機制繪制輸入和輸出之間的全局依存關(guān)系,無須考慮它們在輸入或輸出序列中的距離[5]。Transformer在處理較長文本輸入時,不僅注意關(guān)鍵詞本身及其周邊詞匯,還會注意輸入序列里其他單詞與關(guān)鍵詞之間的相關(guān)關(guān)系并給予每個詞不一樣的注意力權(quán)重①。因此,Transformer能夠理解當(dāng)前詞和其他詞之間的相關(guān)性強度,能夠關(guān)注到輸入序列中真正重要的部分。
2.位置編碼與解碼
除了自注意力機制,Transformer的另一項關(guān)鍵創(chuàng)新是位置編碼與解碼。在自然語言處理中,即使輸入序列中所包含文字相同,順序上的差異也可能導(dǎo)致意思大相徑庭,因此在對文本序列建模時,單詞的順序很重要[6]。Transformer在處理輸入序列時,除對詞匯進行嵌入轉(zhuǎn)換成向量外,還會對詞在句中位置進行編碼并添加到輸入序列的向量表示。詞匯向量組成維度數(shù)以億計的向量空間,經(jīng)過多層神經(jīng)網(wǎng)絡(luò)處理,模型可以更好地理解詞義和不同詞之間的順序關(guān)系②。
位置編碼與解碼的另一個作用是使模型具有并行計算能力。過去RNN對輸入序列按順序依次處理,串行結(jié)構(gòu)造成訓(xùn)練速度瓶頸,無法同時學(xué)習(xí)到所有信息。借助位置編碼,Transformer可以同時處理輸入序列里的所有詞元,而不需要像RNN那樣依次處理,大大提高了訓(xùn)練速度,為訓(xùn)練出具有“大參數(shù)”和“大數(shù)據(jù)”特征的生成式人工智能模型奠定了基礎(chǔ)。
自注意力和位置編碼機制使得Transfomer能夠?qū)⑤^長文本輸入轉(zhuǎn)換成高維度數(shù)據(jù)集來理解詞元本身與詞元之間的關(guān)系。兩大創(chuàng)新使大模型表現(xiàn)出數(shù)據(jù)的高維度、編程語言的強結(jié)構(gòu)性和長程關(guān)聯(lián)性特征。
(二) Pre-trained——從簡單到復(fù)雜
自注意力機制和位置編碼與解碼技術(shù)只是人工智能內(nèi)容生成能力的基礎(chǔ),復(fù)雜預(yù)訓(xùn)練過程是模型結(jié)構(gòu)從簡單到復(fù)雜,進而具有超強內(nèi)容生成能力的真正原因。
1.學(xué)習(xí)文本——無監(jiān)督學(xué)習(xí)
生成式人工智能亮點之一是可以理解人類的自然語言。人類自然語言非常復(fù)雜,在許多情況下,一種意思可用多種形式表達,即使同一個表達方式在不同語境中也可能存在不同含義。為使機器理解人類語言,需要通過預(yù)訓(xùn)練讓模型看到盡可能多和豐富的語言樣例,進而掌握語言規(guī)律。
2.模板規(guī)范——監(jiān)督學(xué)習(xí)
模型通過對大量語料的學(xué)習(xí)可以理解各種詞語搭配和語法規(guī)則,能夠?qū)W會自然語言和編程語言,甚至是不同語言之間的關(guān)系。但是完全基于自發(fā)學(xué)習(xí)過程的能力增強卻可能導(dǎo)致大模型的回答形式和內(nèi)容不受約束。
與人類思維的成熟依賴長期學(xué)習(xí)類似,大模型同樣需要用優(yōu)質(zhì)的對話范例和對話模板不斷修正在自然學(xué)習(xí)過程中形成的不良“習(xí)慣”。例如,當(dāng)被要求回答涉及種族和性別歧視方面的內(nèi)容時,通過模板規(guī)范大模型應(yīng)當(dāng)拒絕回答或者給出正確的答案。
3.創(chuàng)意引導(dǎo)——強化學(xué)習(xí)
經(jīng)過上述兩個階段的訓(xùn)練之后,結(jié)構(gòu)“簡單”的模型能力因參數(shù)持續(xù)增加開始變得強大。模板式規(guī)范訓(xùn)練可能導(dǎo)致機器回答問題時過于模板化,缺乏創(chuàng)造力。在這種情況下,需要在創(chuàng)意引導(dǎo)階段通過強化學(xué)習(xí)使模型提供某些超越模板且符合人類對話模式和價值取向的創(chuàng)造性回答。強化學(xué)習(xí)強調(diào)不通過現(xiàn)有模板限制模型內(nèi)容生成,允許模型自由回答,依據(jù)回答效果給予獎勵或懲罰,從而反饋和調(diào)整模型的回答能力。
通過預(yù)訓(xùn)練階段的學(xué)習(xí)文本、模板規(guī)范和創(chuàng)意引導(dǎo)階段,大模型理解自然語言表達和內(nèi)容生成的能力得以實現(xiàn),參數(shù)得以確定,能夠?qū)崿F(xiàn)優(yōu)質(zhì)且穩(wěn)定的輸出[7]。以參數(shù)形式存在的隱式知識庫,預(yù)訓(xùn)練的結(jié)構(gòu)重整為新知識和新模式的發(fā)現(xiàn)及社會科學(xué)研究發(fā)展新空間提供可能。
(三) Generative——創(chuàng)意的輸出
Generative是指人工智能大模型能夠創(chuàng)造出原本不存在的全新內(nèi)容,從而賦予人工智能一定的創(chuàng)造性。如Adobe推出的通過文字描述就能自動生成和修圖的AI模型集Firefly,Runway發(fā)布的視頻生成模型Gen-2,微軟推出的能在Word、Excel、PPT之間隨意切換生成的Microsoft 365 Copilot等等。
1.大模型的涌現(xiàn)能力
所謂“涌現(xiàn)”,是指當(dāng)一個系統(tǒng)的復(fù)雜性達到一定程度時會產(chǎn)生超越系統(tǒng)元素簡單疊加的整體特征。例如,大量無生命的原子組合可以產(chǎn)生活細(xì)胞;大量功能單一的免疫細(xì)胞組合可以形成智能的免疫系統(tǒng);大量結(jié)構(gòu)簡單的神經(jīng)元組合可以形成能夠產(chǎn)生意識的人腦。大模型之所以具備類腦的強大推理和知識創(chuàng)造能力,可能的原因之一是它是一個參數(shù)規(guī)模足夠大的復(fù)雜神經(jīng)網(wǎng)絡(luò)系統(tǒng)。
表1列出了ChatGPT參數(shù)規(guī)模的變化情況。GPT-3之前的GPT系列大模型尚未展現(xiàn)出足夠強大的學(xué)習(xí)和推理能力。在模型參數(shù)足夠大和訓(xùn)練數(shù)據(jù)足夠多的情況下,大模型的涌現(xiàn)能力開始出現(xiàn)。例如,能夠理解人類的情感變化。谷歌的研究表明,只有當(dāng)模型參數(shù)超過大約1000億個時,創(chuàng)造能力才會出現(xiàn)。但是大模型如何完成推理過程及其機制,目前尚無法做出科學(xué)的解釋。
2.語境內(nèi)學(xué)習(xí)和思維鏈
在超大模型使用中,除了涌現(xiàn)能力,研究者還發(fā)現(xiàn)大模型的另外兩種重要能力:
第一,思維鏈(CoT)。當(dāng)生成式人工智能模型無法答對一個綜合問題時,如果分步提問,它可以通過一步步連續(xù)推理使最終答對的可能性大幅提升,即“思維鏈”能力[8]?!八季S鏈”能力存在的可能性解釋是,模型通過對編程代碼的學(xué)習(xí)和理解產(chǎn)生了鏈?zhǔn)酵评砟芰Α?/p>
第二,語境內(nèi)學(xué)習(xí)(IcL)。生成式人工智能模型掌握了如何通過例子進行學(xué)習(xí)的能力。例如,通過學(xué)習(xí)數(shù)個英文轉(zhuǎn)換成中文的例子,大模型能夠理解“翻譯”這一指令的具體含義。這種自我更新進化的能力被稱為“語境內(nèi)學(xué)習(xí)”[9]。
正是因為涌現(xiàn)、語境內(nèi)學(xué)習(xí)和思維鏈3種能力的疊加,生成式人工智能模型能夠表現(xiàn)出驚人的推理和編程能力。隨著算力提升和大模型復(fù)雜度的進一步增加,可以預(yù)期人工智能將具有更加強大的創(chuàng)造性,從而助力科學(xué)研究的發(fā)展。
三、人工智能在社會科學(xué)中的應(yīng)用
每一次重大科技創(chuàng)新都會帶來科學(xué)研究范式的變革。自1956年達特茅斯會議提出人工智能概念以來,把人工智能應(yīng)用于科學(xué)研究一直是學(xué)術(shù)界努力的方向。早在2007年,圖靈獎得主吉姆·格雷(Jim Gray)發(fā)表了題為“第四范式:數(shù)據(jù)密集型科學(xué)發(fā)現(xiàn)”(The Fourth Paradigm: Data-Intensive Scientific Discovery)的演講。在他看來,科學(xué)研究的范式分為4類:實驗范式、理論范式、計算范式和數(shù)據(jù)密集型范式。其中,第四范式是指數(shù)據(jù)密集型范式。與前三種研究范式不同,數(shù)據(jù)密集型研究范式從海量數(shù)據(jù)計算中得出未知的理論。
生成式人工智能為數(shù)據(jù)密集型研究范式的發(fā)展奠定了基礎(chǔ)。一方面,人工智能大模型不僅可以把研究人員從煩瑣的計算、模擬和測試活動中解放出來,而且能夠化解因數(shù)據(jù)維度增加帶來的維數(shù)計算的災(zāi)難;另一方面,通過密集數(shù)據(jù)的計算能夠發(fā)展新的理論和識別出新的研究問題。尤其是生成式人工智能可以幫助研究者學(xué)習(xí)和掌握不同學(xué)科的知識,能夠從整體視角探索新的問題解決方案。
首先,以大模型為代表的人工智能本身正在成為社會科學(xué)研究的重要對象。大模型應(yīng)用帶來的社會影響越來越顯著,對生成式人工智能本身的研究和評估變得越來越重要。作為社會科學(xué)新的研究對象,識別和研究大模型的能力、行為、決策、推理機制和倫理道德的“機器心理學(xué)”“機器行為學(xué)”和“機器倫理學(xué)”等應(yīng)運而生[10]。同時,可交互大模型模糊了虛擬和現(xiàn)實世界的邊界,導(dǎo)致網(wǎng)絡(luò)空間、物理空間和社會空間的交叉融合,新的社會形態(tài)催生新的社會科學(xué)研究內(nèi)容和方法。例如,以研究人工智能對社會影響的“智能社會科學(xué)”正在興起為一門新的學(xué)科。
其次,人工智能大模型正在改變數(shù)據(jù)的收集和處理方式[11]。人工智能大模型已被應(yīng)用于調(diào)查數(shù)據(jù)、文本數(shù)據(jù)和關(guān)系數(shù)據(jù)的采集和分析,促進了包括社會學(xué)、經(jīng)濟學(xué)、政治學(xué)和新聞傳播學(xué)在內(nèi)的社會科學(xué)研究領(lǐng)域的數(shù)據(jù)密集型研究范式的出現(xiàn)。例如,人工智能大模型可以在研究者的引導(dǎo)和提示下,扮演人類研究者的角色與研究對象進行交流以獲取研究數(shù)據(jù);人工智能大模型能夠模擬生成社會科學(xué)研究數(shù)據(jù),這些數(shù)據(jù)經(jīng)過校正后可以成為開展研究的有效數(shù)據(jù)集,成為社科研究的重要數(shù)據(jù)來源。在執(zhí)行信息提取任務(wù)時,大模型可從互聯(lián)網(wǎng)文本數(shù)據(jù)集中學(xué)習(xí)語言模式和風(fēng)格,同時大模型還能進行關(guān)系提取、文本摘要、命名實體識別、事件提取等信息提取任務(wù)。
再次,人工智能大模型正在改變社會科學(xué)的研究方法。大模型在經(jīng)濟學(xué)中的應(yīng)用使基于人工智能輔助的經(jīng)濟決策更加貼近傳統(tǒng)經(jīng)濟學(xué)中的完全理性假設(shè),彌補了人類經(jīng)濟行為的有限理性甚至預(yù)期偏差的后果[12]。同時,大模型支撐的數(shù)據(jù)密集型科學(xué)研究能夠從高維數(shù)據(jù)中發(fā)現(xiàn)新理論。面對“大數(shù)據(jù)”及其研究方法帶來的挑戰(zhàn),經(jīng)濟學(xué)需要方法論變革[13]。
最后,大模型的應(yīng)用支撐新的理論體系的形成和發(fā)展。隨著經(jīng)濟全球化,尤其是新技術(shù)革命的快速發(fā)展,科技驅(qū)動的經(jīng)濟社會發(fā)展日益呈現(xiàn)出高度復(fù)雜性和不確定性。大量的資訊、廣泛的鏈接、海量數(shù)據(jù)和持續(xù)更新的知識使得傳統(tǒng)經(jīng)濟理論中的市場和政府配置資源的理論框架難以解釋新的經(jīng)濟發(fā)展規(guī)律。例如,具有廣泛技術(shù)供給能力的新型平臺正在成為人工智能時代新的資源配置方式。在大模型協(xié)助下,創(chuàng)建新的理論范式解釋正在變革中的經(jīng)濟和社會,將成為社會科學(xué)研究新的發(fā)展方向。
四、人工智能大模型在社會科學(xué)研究應(yīng)用中可能帶來的挑戰(zhàn)
人工智能具有技術(shù)和社會“雙重”屬性。人工智能在社會科學(xué)中的應(yīng)用同樣面臨嚴(yán)峻的挑戰(zhàn)。例如,數(shù)據(jù)質(zhì)量、隱私安全、倫理道德和價值對齊等問題。厘清這些問題是應(yīng)對挑戰(zhàn)、保證人工智能在社會科學(xué)研究中發(fā)揮積極作用的必要條件。
人工智能大模型在社會科學(xué)研究應(yīng)用中的首要問題是數(shù)據(jù)質(zhì)量問題。首先,人工智能大模型內(nèi)容生成的質(zhì)量和能力取決于訓(xùn)練數(shù)據(jù)的質(zhì)量[14-16]。以ChatGPT3為例,基礎(chǔ)模型的參數(shù)達到1750億,訓(xùn)練模型包含45TB的文本數(shù)據(jù),接近8000億個單詞。質(zhì)量較差的訓(xùn)練數(shù)據(jù),例如不完整的數(shù)據(jù)、錯誤的或不平衡的數(shù)據(jù)、陳舊的數(shù)據(jù)等,能夠限制系統(tǒng)的學(xué)習(xí)能力、增加系統(tǒng)錯誤率。其次,由于現(xiàn)有的人工智能大模型均屬于基礎(chǔ)模型或通用模型,應(yīng)用到社會科學(xué)研究中時需要進一步專用化,而專用化的水平取決于相關(guān)領(lǐng)域與知識圖譜關(guān)聯(lián)的高質(zhì)量數(shù)據(jù)。
人工智能大模型在社會科學(xué)研究領(lǐng)域應(yīng)用面臨的另一突出挑戰(zhàn)涉及隱私、安全和知識產(chǎn)權(quán)問題。研究者在使用大模型開展社會科學(xué)研究的過程中,通常依賴包含個人信息及其行為偏好的數(shù)據(jù),數(shù)據(jù)采集、存儲和使用過程往往涉及個人隱私[17]。同時,研究中使用的數(shù)據(jù)可能涉及個人和公共安全問題,當(dāng)我們使用這些數(shù)據(jù)進行研究時,可能妨害個人隱私和公共安全。此外,社會科學(xué)研究者引用生成式人工智能的創(chuàng)作內(nèi)容可能會引起版權(quán)糾紛[18-19]。例如,在使用ChatGPT從大型語料庫識別模式生成論文[18]的過程中,可能涉及對別人知識成果的侵權(quán)。
與自然科學(xué)研究不同,社會科學(xué)研究存在立場和價值觀念問題,而具有立場和社會價值觀的數(shù)據(jù)同樣是人工智能大模型的基礎(chǔ)。大模型可以生成虛假內(nèi)容[15]或者有害內(nèi)容,缺乏辨識能力的使用者常常受到人工智能生成的錯誤內(nèi)容潛移默化的影響[20]。因此,如何分辨大模型的生成內(nèi)容,避免形成錯誤的認(rèn)知是研究者需要關(guān)注的問題[21]。
人工智能大模型的內(nèi)容生成存在“黑箱”問題。人工智能依賴復(fù)雜的算法,這些算法以人類不易審查或理解的方式內(nèi)化數(shù)據(jù),缺乏足夠的透明度和可解釋性[22]。其中的主要原因包括:一是算法結(jié)構(gòu)的復(fù)雜性。例如,深度神經(jīng)網(wǎng)絡(luò)中數(shù)千個人工神經(jīng)元以分散的方式對從數(shù)據(jù)中提取的多樣特征進行編碼,編碼內(nèi)容常常是人類無法理解的。二是數(shù)據(jù)的高維性。人工智能正在使用的深度學(xué)習(xí)、強化學(xué)習(xí)算法可能依賴于人類無法可視化的幾何關(guān)系,如計算機使用向量機(SVM)來區(qū)分?jǐn)?shù)據(jù)時可以理解超多維的空間及其分割“線”,而人腦卻難以想象和理解人工智能構(gòu)建的多維空間和分割“線”是什么樣子,無法根據(jù)眾多特征來區(qū)分?jǐn)?shù)據(jù)和樣本??紤]到并非所有SVM都使用直線來劃分?jǐn)?shù)據(jù)——即SVM使用的數(shù)學(xué)方法允許非線性(即曲線)劃分,人與人工智能在空間理解上的鴻溝就更難跨越。
正是由于這種人類不能理解的抽象思維能力,人們在使用大模型處理數(shù)據(jù)時無法確定大模型是如何處理數(shù)據(jù)的。用戶難以解釋和理解大模型的輸出結(jié)果[15],也很難發(fā)現(xiàn)輸出中的潛在錯誤[23]。它使用的數(shù)據(jù)來自哪里?網(wǎng)絡(luò)上的數(shù)據(jù)是真實的還是虛假的?它刪除了哪些數(shù)據(jù)?它為什么如此理解文本?這種不透明和不可解釋性就導(dǎo)致了大模型“黑箱”屬性。
人工智能大模型的輸出結(jié)果可能存在倫理道德問題。大模型依賴算法設(shè)計和數(shù)據(jù)訓(xùn)練,可能包含性別、種族或宗教等偏見。研究者在使用大模型時有可能重復(fù)這些偏見,從而影響結(jié)論的公正性。例如,由于訓(xùn)練數(shù)據(jù)的不平衡③導(dǎo)致ChatGPT繪制的英美人物圖像更加細(xì)致、富有美感和形象正面,而繪制的亞洲人圖像則相對粗糙和怪誕。語料信息的不均衡同樣導(dǎo)致ChatGPT對英文語料理解程度強于中文語料[24]。在社會科學(xué)研究領(lǐng)域,由于訓(xùn)練數(shù)據(jù)的不均衡和算法設(shè)計的不完備,ChatGPT對不同國家或者不同法系的法律條文、不同地區(qū)不同民族的文化[15]、不同宗教不同派別、不同國家的哲學(xué)社會科學(xué)以及不同社會體制下的社會經(jīng)濟運行情況等有著不同的理解和認(rèn)可程度。
此外,倫理歧視問題還來源于日益嚴(yán)重和擴展的“數(shù)字難民”或“數(shù)字鴻溝”問題[25]。一方面,大模型的訓(xùn)練和推理所需的算力成本非常高,好的大模型如ChatGPT-4和Claude-2收費標(biāo)準(zhǔn)較高;另一方面,大量圍繞著大模型衍生出的相關(guān)應(yīng)用需要復(fù)雜的操作才能部署到個人電腦上并需要配置高級的硬件才能使用,較高的技術(shù)門檻和設(shè)備條件阻礙了人們對大模型的應(yīng)用。
人工智能大模型的發(fā)展帶來的“價值對齊”問題受到前所未有的關(guān)注。在人工智能系統(tǒng)的目標(biāo)與人類價值觀存在偏差的條件下,大模型可能作出與人類價值觀相違背的決策。隨著人工智能能力的不斷增強,如何評估或者監(jiān)管人工智能系統(tǒng),避免因“人工智能價值觀與人類價值觀未對齊”帶來的風(fēng)險正變得日益困難和急迫[26]。其中的主要原因包括:一是評估需要花費大量時間和專業(yè)知識。想要評估人工智能撰寫的文章質(zhì)量,需要聘請相關(guān)專業(yè)的審稿人;想要評估人工智能起草的法律文件,需要聘請律師和社會學(xué)家。隨著人工智能系統(tǒng)執(zhí)行更復(fù)雜的任務(wù),這個問題會變得更加難以實現(xiàn)。二是人類評估者難以避免地產(chǎn)生錯誤反饋,將激化人工智能系統(tǒng)“價值未對齊”問題。ChatGPT的輸出經(jīng)??瓷先I(yè)且自信,因此人們可能會被“欺騙”去選擇看上去正確但實際上錯誤的輸出,如果直接使用錯誤或有偏見的人類反饋來“優(yōu)化”人工智能系統(tǒng),最終會使模型更具“欺騙性”。
令人高興的事情是上述問題正逐步被研究者的最新成果解決。例如,用于解決數(shù)學(xué)和計算機科學(xué)問題的FunSearch模型,通過迭代程序和進化算法發(fā)展和保留最優(yōu)秀的創(chuàng)意想法,在上限集問題和裝箱問題上做出了新發(fā)現(xiàn)[27]。FunSearch將一個預(yù)訓(xùn)練語言模型與自動“評估器”結(jié)合,實現(xiàn)了既能提出創(chuàng)造性代碼解決方案,又能過濾錯誤輸出、防止大模型的幻覺風(fēng)險。此外,F(xiàn)unSearch還揭示了解決方案的構(gòu)建過程和代碼,簡潔可解釋的程序有利于研究者更好地復(fù)現(xiàn)、驗證和解釋新發(fā)現(xiàn)過程,同時也為研究人員提供可操作的程序,有利于其產(chǎn)生新啟發(fā)和新想法,進入“改進—發(fā)現(xiàn)”的良性循環(huán)。
盡管現(xiàn)有技術(shù)在規(guī)避和解決上述風(fēng)險領(lǐng)域展現(xiàn)出了深厚潛力④,但在社會科學(xué)領(lǐng)域上述風(fēng)險和挑戰(zhàn)尚未得到很好解決,如何克服可能存在的風(fēng)險和取得更大的成功需要多學(xué)科交叉和共同努力。例如,在社會科學(xué)研究過程中,研究者需要與大模型之間進行有效協(xié)作,持續(xù)推動一項社會問題的研究。同時,大模型在參與社會科學(xué)研究的過程中,得出的結(jié)論需要人類研究者進行評估和驗證[21]。因而,人工智能時代社會科學(xué)研究的重要方式是人類研究者與機器的相互比較和驗證。一方面,通過人類基于實踐經(jīng)驗的獨立研究使人工智能生成和創(chuàng)造的知識被實證;另一方面,人類基于實踐經(jīng)驗的獨立研究成果由人工智能大模型進行驗證。人工智能和人類知識生成創(chuàng)造的內(nèi)容和知識的相互比較和驗證,將成為智能時代社會科學(xué)研究的常態(tài);人機相互依賴共同演進的知識生產(chǎn)和創(chuàng)新方式,將帶來社會科學(xué)研究的新范式。
五、結(jié)論和建議
隨著生成式人工智能的創(chuàng)新應(yīng)用,人工智能正在變革科學(xué)研究范式。其中,人工智能在社會科學(xué)研究領(lǐng)域的應(yīng)用在引發(fā)研究方法變革的同時也帶來了挑戰(zhàn)??傮w上看,大模型的應(yīng)用能夠提高社會科學(xué)研究的效率和水平,尤其是數(shù)據(jù)的高維度和算法的復(fù)雜化能夠使社會科學(xué)更深入地研究復(fù)雜社會現(xiàn)象和問題,屬于數(shù)據(jù)驅(qū)動的研究范式。同時,如何克服人工智能在社會科學(xué)研究應(yīng)用中存在的數(shù)據(jù)隱私安全、倫理道德和價值觀對齊等問題,需要我們做出深入思考。
需要強調(diào)的是,盡管人工智能已經(jīng)具備強大的推理能力甚至是知識創(chuàng)造能力,但是仍然難以替代人類的獨立探索性研究。人類的知識生產(chǎn)和創(chuàng)新來自對自然和社會現(xiàn)象的有目的編程。同時在長期積累過程中形成的人類常識性知識是人類認(rèn)識和解釋世界的前提和基礎(chǔ)。由于與人類知識生產(chǎn)和創(chuàng)造機制存在差異,人工智能可能創(chuàng)造出新的知識和模式。通過比較和驗證,機器和人類的知識生產(chǎn)和創(chuàng)造的共生演進,將成為人工智能時代社會科學(xué)研究的新范式。
大模型的創(chuàng)新應(yīng)用將帶來社會科學(xué)研究范式的創(chuàng)新。人機協(xié)同的知識生產(chǎn)方式,將使人類對經(jīng)濟社會運行規(guī)律的認(rèn)識達到新的高度。同時,鑒于大模型在社會科學(xué)研究中運用的特殊性和潛在網(wǎng)絡(luò),需要對此加強評估和監(jiān)管。
第一,鼓勵支持大模型在社會科學(xué)研究領(lǐng)域的廣泛應(yīng)用。只有在社會科學(xué)研究領(lǐng)域廣泛應(yīng)用,才能真正了解大模型的原理、使用方式和可能存在的風(fēng)險。當(dāng)我們充分掌握了大模型的重大風(fēng)險點時,才能通過技術(shù)創(chuàng)新和治理進行有效控制和防范。到目前為止,大模型在社會科學(xué)領(lǐng)域的研究尚未全面展開,缺乏如何有效使用大模型進行科學(xué)研究的指南、教材和課程。通過教材編寫和課程開發(fā)加快大模型在社會科學(xué)研究中的應(yīng)用,是當(dāng)前需要開展的重要工作。
第二,鼓勵對大模型“黑箱”問題的可解釋性研究??山忉屝允侵溉祟惸軌蚶斫饽P驮跊Q策過程中做出選擇的過程、機制和因果關(guān)系?,F(xiàn)有大模型的訓(xùn)練方式主要分為兩種:一種是傳統(tǒng)fine-tuning范式;另一種是基于prompting的范式[28]。
基于傳統(tǒng)fine-tuning范式的模型解釋包括對單個預(yù)測的解釋(局部解釋)和對模型結(jié)構(gòu)級別組分如神經(jīng)元、網(wǎng)絡(luò)層等的解釋(全局解釋)?;趐rompting范式的模型解釋,需要對基礎(chǔ)模型和助手模型分別解釋以區(qū)別兩種模型的能力,從而探究模型學(xué)習(xí)的路徑和方法。這些研究工作的開展將為模型少樣本學(xué)習(xí)(few-shot learning)甚至是無樣本學(xué)習(xí)(zero-shot learning)能力提供解釋,有利于理解涌現(xiàn)現(xiàn)象的根源和思維鏈能力的來源。同時,利用專用化數(shù)據(jù)語料庫訓(xùn)練出可輸出推理結(jié)果和推理過程的專用大模型,將有利于研究者的驗證和復(fù)現(xiàn)工作的展開,進而降低模型“黑箱”屬性帶來的風(fēng)險。
第三,推進人工智能大模型價值對齊工作。通過人類反饋的強化學(xué)習(xí)(RLHF)已被證明是一個有效推進人工智能大模型價值對齊的方法,它包括指令微調(diào)(SFT)、獎勵模型訓(xùn)練(RW)、人類反饋強化學(xué)習(xí)(PPO)三個過程[29]。雖然RLHF原理清晰,但是由于眾多開源框架處于持續(xù)更新迭代之中,如何利用有限的計算資源訓(xùn)練強化學(xué)習(xí)模型是未來努力的方向。
為促進價值對齊從低效的“人類監(jiān)督”轉(zhuǎn)向更高效的“規(guī)?;O(jiān)督”(scalable oversight),美國Anthropic公司提出了“憲法性AI”(constitutional AI)的方法,即研發(fā)主要用于評估主模型輸出是否遵循特定“憲法性”原則的從屬模型,根據(jù)評估結(jié)果來優(yōu)化主模型。
第四,通過評估劃分大模型的風(fēng)險等級。一方面,對大模型的應(yīng)用領(lǐng)域進行風(fēng)險評估,將涉及國家安全和社會歧視方面的研究劃分為高風(fēng)險領(lǐng)域,實施更加嚴(yán)格的管控;另一方面,通過對大模型涉及的研究問題和對象進行風(fēng)險評估,進行分類管控和治理。在兩個方面的風(fēng)險評估和分類管控的條件下,積極推動人工智能在社會科學(xué)研究領(lǐng)域的應(yīng)用,為繁榮社會科學(xué)研究作出貢獻。
注釋:
①注意力權(quán)重來自大模型訓(xùn)練過程中大量文本無監(jiān)督學(xué)習(xí)。
②如理解男孩和女孩、男人和女人、國王和女王這幾組詞,不僅需要指出性別、年齡、地位信息,還需要描述男孩與男人、男人與國王的關(guān)系類似于女孩和女人、女人與女王的關(guān)系。這很難用一個數(shù)字表示,但在多維度的向量空間里,向量距離可以清晰描述這些信息。
③訓(xùn)練數(shù)據(jù)中不同類型的樣本占比不合理,如訓(xùn)練數(shù)據(jù)僅代表總體的一小部分時,易出現(xiàn)模型錯誤歸納規(guī)律和錯誤輸出。
④在社會科學(xué)領(lǐng)域,尚未出現(xiàn)可避免大模型幻覺或“黑箱”問題的模型,但根據(jù)這一思路對應(yīng)用于社科領(lǐng)域的大模型進行改造是可能且有益的。
參考文獻:
[1]《GPT-4,通用人工智能的火花》論文內(nèi)容精選與翻譯[EB/OL].[2023-12-20]. https://orangeblog.notion.site/GPT-4-8fc50010291d47efb92 cbbd668c8c893.
[2]CAUDAI CLAUDIA,GALIZIA ANTONELLA,GERACI FILIPPO, et al. AI Applications in Functional Genomics[J]. Computational and Structural Biotechnology Journal, 2021, 19.
[3]POLLICE ROBERT,DOS PASSOS GOMES GABRIEL,ALDEGHI MATTEO, et al. Data-driven Strategies for Accelerated Materials Design[J].Accounts of Chemical Research, 2021(4).
[4]李建會,楊寧. AI for Science:科學(xué)研究范式的新革命[J]. 廣東社會科學(xué),2023(6).
[5]ASHISH VASWANI, NOAM SHAZEER, NIKI PARMAR, et al. Attention is All You Need[EB/OL].[2023-10-20].http://arxiv.org/1706.03762.pdf.
[6]LIN TIANYANG, WANG YUXIN, LIU XIANGYANG, et al.A Survey of Transformers[J]. AI Open,2021,3.
[7]OUYANG LONG, WU JEFF, JIANG XU, et al. Training Language Models to Follow Instructions with Human Feedback[J]. Neural Information Processing Systems, 2022, 35.
[8]WEI JASON, WANG XUEZHI, SCHUURMANS DALE, et al. Chain-of-thought Prompting Elicits Reasoning in Large Language Models[J].Neural Information Processing Systems, 2022, 35.
[9]DONG QINGXIU, LI LEI, DAI DAMAI,et al. A Survey for In-context Learning[J].arXiv:2301.00234v3, 2022.
[10]RAHWAN IYAD, CEBRIAN MANUEL, OBRADOVICH NICK, et al. Machine Behaviour[J]. Nature,2019,568.
[11]政光景,呂鵬. 生成式人工智能與哲學(xué)社會科學(xué)新范式的涌現(xiàn) [J]. 江海學(xué)刊,2023 (4).
[12]杜麗群,程俊霞. “經(jīng)濟人”假設(shè)與人工智能時代[J].北京大學(xué)學(xué)報(哲學(xué)社會科學(xué)版),2021(6).
[13]崔俊富,鄒一南,陳金偉.大數(shù)據(jù)時代的經(jīng)濟學(xué)研究:數(shù)據(jù)驅(qū)動范式[J].廣東財經(jīng)大學(xué)學(xué)報,2016(1).
[14]SU JIANHONG,YANG WEIPENG. Unlocking the Power of ChatGPT:A Framework for Applying Generative AI in Education[J].ECNU Review of Education,2023(3).
[15]DWIVEDI YOGESH, KSHETRI NIR, HUGHES LAURIE, et al. "So What if ChatGPT Wrote It?" Multidisciplinary Perspectives on Opportunities, Challenges and Implications of Generative Conversational AI for Research, Practice and Policy[J]. International Journal of Information Management, 2023(5).
[16]GOZALO-BRIZUELA? ROBERTO, GARRIDO- MERCH?魣N EDUARDO C. ChatGPT is Not All You Need. A State of the Art Review of? Large Generative AI Models[J]. arXiv:2301.04655v1, 2023.
[17]FANG WEI,WEN XUEZHI, ZHENG YU,et al. A Survey of Big Data Security and Privacy Preserving[J]. IETE Technical Review, 2017(5).
[18]DAVID GEFEN,ORAKWUE(BAY) ARINZE. ChatGPT and Usurping Academic Authority[J]. Journal of Information Technology Case and Application Research, 2023(1).
[19]ISKENDER ALI. Holy or Unholy? Interview with Open AI's ChatGPT[J]. European Journal of Tourism Research, 2023(34).
[20]ANJANA SUSARLA,RAM GOPAL,JASON BENNETT THATCHER,et al. The Janus Effect of Generative AI:Charting the Path for Responsible Conduct of Scholarly Activities in Information Systems [J].Information Systems Research, 2023(2).
[21]VAN DIS EVA A M,BOLLEN JOHAN,ZUIDEMA WILLEM,et al. ChatGPT: Five Priorities for Research[J]. Nature, 2023(7947).
[22]ASHLEY DEEKS.The Judicial Demand for Explainable Artificial Intelligence[J].Columbia Law Review, 2019(7).
[23]CYNTHIA RUDIN. Stop Explaining Black Box Machine Learning Models for High Stakes Decisions and Use Interpretable Models Instead[J]. Nature machine intelligence, 2019(5).
[24]LAURA WEIDINGER, JOHN MELLOR, MARIBETH RAUH, et al. Ethical and Social Risks of Harm from Language Models[J].arXiv:2112.04359v1, 2021.
[25]BOZKURT ARAS, SHARMA RAMESH C. Challenging the Status Quo and Exploring the New Boundaries in the Age of Algorithms: Reimagining the Role of Generative AI in Distance Education and Online Learning[J]. Asian Journal of Distance Education, 2023(1).
[26]JI JIAMING, QIU TIANYI, CHEN BOYUAN, et al. AI Alignment: A Comprehensive Survey[J]. arXiv:2310.19852v3, 2023.
[27]BERNARDINO ROMERA PAREDES,
MOHAMMADAMIN BAREKATAIN,ALEXANDER NOVIKOV,et al. Mathematical Discoveries from Program Search with Large Language Models[J]. Nature, 2023(7995).
[28]LIU XIAO, JI KAIXUAN, FU YICHENG, et al. P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks[J]. arXiv: 2110.07602v3, 2021.
[29]SONG FEIFAN, YU BOWEN, LI MINGHAO, et al. Preference Ranking Optimization for Human Alignment[J]. ariXiv:2306.17492v1, 2023.
Artificial Intelligence and Social Science Research
LIU Gang, LI Xiang, LI Qinqian, LIU Jie
Abstract: Artificial Intelligence (AI) is a general-purpose technology, not only sparking off industrial transformation, but also ushering in a new paradigm in scientific research. With the development of general AI, represented by generative artificial intelligence, the application of AI has become the forefront of innovation in the paradigm of social science research. The high dimensionality of data, the strong structural nature and long-range correlations of programming languages, the implicitly existing knowledge repository in parameterized form, and the structural reorganization through pre-training bring novel insights and pattern discoveries, thereby creating new developmental dimensions for social science research. Concurrently, the application of AI in social science encounters a series of challenges arising from data intricacies, value perspectives and the "black box" nature of research findings. How to address the amalgamation of data mining with large models and exploratory research grounded in practitioners' experiences, and establish a knowledge production mechanism for symbiotic human-machine evolution is the direction of AI application in social science research.
Key words: artificial intelligence; big models; social sciences; alignment issues; privacy security
責(zé)任編輯:鄧?? 喆