沈苑 汪瓊

[摘? ?要] 在倡導(dǎo)教育包容與公平的時代背景下，教育面臨著以個性化、自適應(yīng)為特征的智能技術(shù)所帶來的偏見風(fēng)險。在智能教育產(chǎn)品的研發(fā)過程中，潛在的設(shè)計偏見、數(shù)據(jù)偏見和算法偏見會使教育領(lǐng)域面臨多重風(fēng)險，如教育活動的公平性受阻、教育系統(tǒng)內(nèi)部的歧視加劇、教育中的多元化特質(zhì)消解和學(xué)生思想窄化。學(xué)校、科技公司、監(jiān)管機構(gòu)等組織應(yīng)當(dāng)攜手共進，提前偵測偏見風(fēng)險并加強治理，包括：提升研發(fā)團隊的教育理解和多元眼光，讓師生成為產(chǎn)品的合作創(chuàng)造者，加強偏見檢測和道德評估過程，建立可解釋、可審查、可糾正的系統(tǒng)優(yōu)化機制，開展面向師生的人工智能素養(yǎng)教育，確立人工智能在教育中的應(yīng)用范圍和倫理規(guī)范，從而爭取實現(xiàn)人機良性互動，打造多元包容的智能教育環(huán)境。

[關(guān)鍵詞] 人工智能教育應(yīng)用; 人工智能倫理; 教育包容; 算法偏見; 數(shù)據(jù)偏見

[中圖分類號] G434? ? ? ? ? ? [文獻標(biāo)志碼] A

[作者簡介] 沈苑（1996—），女，江蘇蘇州人。博士研究生，主要從事人工智能教育應(yīng)用倫理研究。E-mail：shenyuan@pku.edu.cn。

一、引? ?言

當(dāng)前，關(guān)于人工智能教育應(yīng)用（Artificial Intelligence in Education，簡稱AIED）的討論非常熱烈。無論是作為輔助教學(xué)、校園管理的工具，還是學(xué)科教育的重要內(nèi)容，人工智能都為教育發(fā)展注入了新動力。有支持者主張，AI是基于真實教育數(shù)據(jù)做出決策的，較之人類決策更加客觀、公正和權(quán)威。然而，真的是這樣嗎？普林斯頓大學(xué)的一項研究發(fā)現(xiàn)，AI和人類一樣帶有偏見，它們會將女性群體與“家庭”“藝術(shù)”掛鉤，將男性群體與“事業(yè)”“野心”掛鉤，將有色人種群體與一些令人不悅的詞語掛鉤[1]。隨著AI在各行業(yè)中承擔(dān)起愈發(fā)重要的決策角色，諸如此類的偏見足以對我們的真實世界產(chǎn)生影響，教育領(lǐng)域也不例外。

社會心理學(xué)家將“偏見”定義為對某一社會群體及其成員的一種不公正態(tài)度，是一種事先或預(yù)先就有的判斷[2]。如果教育決策含有偏見，可能會阻礙學(xué)生的自由發(fā)展，加劇學(xué)生之間的差距，不利于教育公平和包容的發(fā)展。20世紀(jì)的美國曾經(jīng)一度施行“紅線政策（Redlining）”——依據(jù)居民的職業(yè)、種族、地區(qū)、房屋狀況等指標(biāo)劃分居民區(qū)等級，被劃入紅線區(qū)就意味著無法獲得住房貸款，有色人種和貧困人群絕大多數(shù)都在紅線區(qū)內(nèi)[3]。此政策原本是為了高效分配社會資源，卻導(dǎo)致了更加嚴(yán)重的歧視。在教育中，學(xué)生性別、健康狀況、年齡層次、經(jīng)濟條件、家庭住址等都是隱形的“紅線”，可能導(dǎo)致優(yōu)勢學(xué)生和弱勢學(xué)生這兩個群體的固化甚至相互隔離。

本研究基于真實案例對AIED偏見研究的背景展開討論，結(jié)合智能技術(shù)和教育場景的特點分析偏見的生成機制和面臨的風(fēng)險挑戰(zhàn)。本研究結(jié)合當(dāng)前已有實踐所提出的風(fēng)險治理的具體策略，對于推動AI賦能教育、提升教育包容、促進教育公平具有重要意義。

二、研究背景

有學(xué)者指出：“‘適應(yīng)與個性和‘包容與公平都是現(xiàn)代教育技術(shù)發(fā)展的重要范疇，但令人驚訝的是，卻鮮有這兩個領(lǐng)域交匯處的研究?！盵4]AIED及相應(yīng)的創(chuàng)新教育模式一方面能夠促進優(yōu)質(zhì)資源共享，彌合教育鴻溝，推動教育公平進程;但另一方面，因社會權(quán)力結(jié)構(gòu)分布帶來的偏見，可能會因為對適應(yīng)性教學(xué)和個性化學(xué)習(xí)的追求而被鞏固和加劇。如今，我們站在這個十字路口，應(yīng)當(dāng)厘清教育包容與公平和適應(yīng)與個性之間的關(guān)系，充分認識研究AIED中所存在的偏見問題的意義。

（一）智能時代下教育包容與公平的新局面

包容與公平始終是教育的核心主題。聯(lián)合國教科文組織（UNESCO）將“確保包容和公平的優(yōu)質(zhì)教育，讓全民終身享有學(xué)習(xí)機會”作為2030年教育分支的可持續(xù)發(fā)展目標(biāo)之一[5]。經(jīng)濟合作與發(fā)展組織（OECD）將教育公平和教育包容作為衡量教育成功的兩項標(biāo)準(zhǔn)[6]。當(dāng)AI進入教育場景，教育包容與公平的內(nèi)涵也必將迎來新的變化。只有在確保AIED不會阻礙教育包容與公平的前提條件下，才能真正可持續(xù)性地為教育賦能。

包容與公平不僅意味著使用AI時要涵蓋有特殊需求的學(xué)生，還意味著為所有學(xué)生群體提供平等的、可獲取的、高質(zhì)量的智能教育支持。AI使用是否會導(dǎo)致受教育機會不均等，AI能否為教育環(huán)境中的所有主體提供服務(wù)，AI是否根據(jù)用戶的健康狀況、性別、年齡、家庭社會經(jīng)濟地位、文化背景等因素提供有差異的服務(wù)，AI是否會給某些學(xué)生群體貼上污名化標(biāo)簽，學(xué)生是否會因為AI的介入而感到不被重視和不被尊重？種種問題亟須明晰的答案。

（二）個性化支持與教育歧視的一線之隔

實現(xiàn)個性化學(xué)習(xí)基本上是教育領(lǐng)域終極追求的目標(biāo)[7]。過去數(shù)十年，教育技術(shù)越來越強調(diào)以學(xué)生為導(dǎo)向，推動個性化自適應(yīng)學(xué)習(xí)的發(fā)展[8]，如智能導(dǎo)師系統(tǒng)、教學(xué)機器人、智能學(xué)習(xí)伙伴、自動化評估系統(tǒng)、虛擬現(xiàn)實技術(shù)教育應(yīng)用、個性化慕課等[9]。但是，當(dāng)偏見悄悄潛入其中，“因材施教”可能因此變味，與“教育歧視”僅是一線之隔。

美國公立學(xué)校選擇創(chuàng)新機構(gòu)（Institute for Innovation in Public School Choice，IIPSC）開發(fā)出一套高中入學(xué)推薦系統(tǒng)，通過收集分析三類數(shù)據(jù)：父母希望孩子去什么學(xué)校、每所學(xué)校和每個年級的名額以及學(xué)校的錄取要求和規(guī)定，從而為紐約、波士頓、丹佛等地區(qū)的學(xué)生推薦高中[10]。研究發(fā)現(xiàn)，此系統(tǒng)會迫使家長和學(xué)生在信息不透明、不全面的情況下做選擇，而且弱勢學(xué)生群體處境并沒有因此而改善，他們大多被推薦去往外地或較差的高中[11]。而且，由于算法的“黑箱”特質(zhì)，缺乏專業(yè)技術(shù)知識的學(xué)生、教師、家長和管理者難以對系統(tǒng)輸出的結(jié)果進行審查。

三、AIED的偏見生成機制

有學(xué)者指出，社會不公是由社會結(jié)構(gòu)性壁壘和個人認知性壁壘構(gòu)成的[12]。前者是指歷史上的不公在政策、實踐、價值觀中的滲透;后者是指用于維持社會不公結(jié)構(gòu)的個人層面的思考活動會潛在地加深理解、行為、決策中的刻板印象。這兩層壁壘作用于AIED，使之沿襲甚至強化帶有偏見的社會思考模式，導(dǎo)致學(xué)習(xí)者被無限循環(huán)的偏見所包圍。偏見會貫穿于AIED的生命周期——從系統(tǒng)的初步設(shè)計、收集數(shù)據(jù)、建立數(shù)據(jù)庫、算法編寫、模型訓(xùn)練，直至應(yīng)用落地，可歸納為以下三種生成機制：

（一）設(shè)計偏見：特定群體被排除在目標(biāo)受眾之外

有報道稱，尼康某型號的相機在拍攝亞洲人時總是會彈出“是否有人眨眼？”的提示。加納裔美國研究員喬伊·布拉姆維尼（Joy Buolawini）在使用實驗室設(shè)備的時候，屢次遭到人臉識別系統(tǒng)的“無視”，某天她帶上了一張白色面具，系統(tǒng)居然成功識別了她的“面部信息”[13]。有些產(chǎn)品在設(shè)計之初就忽略了某些特殊群體的存在，致使某些特定學(xué)習(xí)者群體無法與其他學(xué)生同等獲取系統(tǒng)的服務(wù)。有研究者指出，這是一個教育發(fā)展至今都未曾面臨過的、全新的歧視維度[4]。

從理論上來說，隨著AI的發(fā)展，學(xué)生在認知能力、文化背景、身心健康等方面的不同需求能夠獲得更充分的個性化支持。但目前絕大多數(shù)AIED系統(tǒng)面向的仍是一般學(xué)生群體，鮮有涵蓋特殊學(xué)生群體的特定需求。某些基于眼動追蹤技術(shù)的智能系統(tǒng)，無法準(zhǔn)確分析視力障礙、閱讀障礙、注意力集中障礙學(xué)生的眼動模式。雖然使用開放學(xué)習(xí)者模型來提升個性化教學(xué)質(zhì)量的做法日漸普遍，但學(xué)習(xí)者要有一定的認知和技術(shù)能力，才能有效參與這類復(fù)雜模型的構(gòu)建與控制[14]，患有認知障礙的學(xué)生將會面臨巨大的困難。如果產(chǎn)品設(shè)計初期就未將特定群體的需求納入考量范圍內(nèi)，在后續(xù)數(shù)據(jù)收集和模型建構(gòu)過程中，他們很可能會被邊緣化甚至被徹底無視。

（二）數(shù)據(jù)偏見：社會結(jié)構(gòu)性壁壘的復(fù)制與重現(xiàn)

數(shù)據(jù)正在重塑著我們的教育，從課堂分析到成績預(yù)測，從招生入學(xué)到生涯規(guī)劃等，越來越多的教育活動在不斷被數(shù)據(jù)化。數(shù)據(jù)科學(xué)家維克托·邁爾-舍恩伯格（Viktor Mayer-Sch？觟nberger）指出，大數(shù)據(jù)和教育的結(jié)合將超越過去那些“力量甚微的創(chuàng)新”而創(chuàng)造真正的變革[15]。用于訓(xùn)練、學(xué)習(xí)、挖掘的原始數(shù)據(jù)是AI系統(tǒng)的基石，其中立程度直接影響系統(tǒng)輸出的結(jié)果[16]。

技術(shù)哲學(xué)家指出，人們對于技術(shù)經(jīng)常會產(chǎn)生正向偏見（Positivity Bias）[17]，即在沒有足夠信息的情況下，默認信賴技術(shù)，對其客觀程度過分樂觀?！叭祟悮v史被隱藏在數(shù)據(jù)集里，如果我們要用數(shù)據(jù)集來訓(xùn)練系統(tǒng)做出自動決策，需要深刻意識到這種歷史的存在。”[18]因此，如果未經(jīng)過嚴(yán)格審查和測試，AI不能充當(dāng)客觀公正的決策者角色，而是會重現(xiàn)隱藏在數(shù)據(jù)集中的人類偏見[19]。如果數(shù)據(jù)樣本不全、邊緣化某些群體或隱含某種偏見，將會導(dǎo)致數(shù)據(jù)庫被污染，無限循環(huán)與強化社會的結(jié)構(gòu)性偏見[15]。

雖然絕大多數(shù)工程師都希望在系統(tǒng)設(shè)計時盡量避免嵌入偏見，但很多看似中立的數(shù)據(jù)其實已經(jīng)受到了影響。如監(jiān)督學(xué)習(xí)算法訓(xùn)練出的模型會反映出打標(biāo)簽者的偏見[20]。如某些貧困地區(qū)學(xué)生的郵編、電話、學(xué)校都會潛在反映出“貧困”特征。數(shù)據(jù)的類型也會影響客觀性，如美國某些州用智能系統(tǒng)篩選需要社會救助的兒童，用到大量田野調(diào)查和自我陳述報告的數(shù)據(jù)，其中包含大量社會情感因素，依據(jù)目前技術(shù)發(fā)展水平，難以排除所有主觀內(nèi)容[12]。AI與用戶互動時還會習(xí)得人類偏見，如模擬19歲少女的微軟聊天機器人Tay，不到一天時間Tay就被“教壞”了，不但辱罵用戶，還發(fā)表帶有種族主義、煽動性和攻擊性的言論[21]。

（三）算法偏見：認知性壁壘滲透于算法模型中

算法偏見意味著工程師在編寫算法過程中將自身偏見滲透其中，導(dǎo)致程序會輸出帶有偏見的決策[22]。當(dāng)我們希望通過算法模型來進行客觀決策的時候，其實我們的價值觀、信仰和偏見都已經(jīng)滲透其中，算法就是“鑲嵌于數(shù)學(xué)中的人類觀念”[23]。

受新冠肺炎疫情影響，2020年的英國高考無法如期舉行，英國資歷及考試評審局（The Office of Qualifications and Examinations Regulation，OFQUAL）采用了智能評分系統(tǒng)為考生打分。此算法模型將考生以往的個人成績、排名以及教師對學(xué)生今年成績的預(yù)測、考生所在考區(qū)三年來的綜合成績水平作為重點指標(biāo)。如果某個考區(qū)三年內(nèi)總體表現(xiàn)不佳，系統(tǒng)會“無視”此考區(qū)學(xué)生當(dāng)年的努力，默認他們當(dāng)年也會表現(xiàn)不佳。即使這個較差考區(qū)中有一位非常優(yōu)秀的考生，他也很可能會受到算法偏見的影響，得不到自己應(yīng)有的高分。雖然研發(fā)此系統(tǒng)的初衷是希望避免教師打分的主觀性，但此模型將“考生所在考區(qū)的水平”作為重要變量，導(dǎo)致最終輸出的結(jié)果帶有嚴(yán)重偏見——經(jīng)統(tǒng)計發(fā)現(xiàn)，全國39.1%的考生的系統(tǒng)得分低于教師估分，尤其是位于較差考區(qū)的弱勢學(xué)生群體被系統(tǒng)“打壓”得最厲害。在私立學(xué)校就讀的學(xué)生成績卻沒有受到太大的影響，拿到A等級及以上的學(xué)生甚至比之前多了4.7%[24]。

四、AIED的偏見風(fēng)險分析

隨著AI逐步深入教育場景，背后的偏見問題在應(yīng)用過程中漸漸暴露和發(fā)酵，社會爭議性事件屢有發(fā)生。如果缺乏對偏見問題的敏感度，事前疏于評估偏見風(fēng)險，可能導(dǎo)致出現(xiàn)范圍更廣、程度更深的負面影響事件。

（一）教育活動的公平性受到阻礙

隨著AI在教育中的全方位應(yīng)用，偏見風(fēng)險會滲透在各類教育活動中。例如：在預(yù)測學(xué)生下一次統(tǒng)考成績時，某些學(xué)生可能因為所在學(xué)區(qū)的成績差而被系統(tǒng)認定將會表現(xiàn)不佳;一位學(xué)生正在回答簡答題時，智能系統(tǒng)的自動糾正功能改變了她的遣詞造句，甚至違背了她原本想表達的意思;AI在與某學(xué)生交流時習(xí)得了性別歧視并在和其他學(xué)生的交流時復(fù)制重現(xiàn)……雖然上述情況也許尚未出現(xiàn)，但在未來一旦發(fā)生，就很可能引發(fā)社會關(guān)注，有損教育公平。

教師智能評估模型曾在美國引起風(fēng)波。教師謝里·萊德曼（Sheri Lederman）教學(xué)能力出色，但紐約州所用的教師增量評價模型（Value-added Model，VAM）卻為她2013—2014年的工作打上“無效”的標(biāo)簽，使她面臨著被開除的風(fēng)險，她也因此提起訴訟[25]。此模型會比較學(xué)生在中等水平教師指導(dǎo)下可能會取得的成績和學(xué)生在某個教師指導(dǎo)下實際取得的成績。前者是系統(tǒng)給出的預(yù)測成績，后者是學(xué)生的實際成績[26]。通過比較，系統(tǒng)會自動為教師打上“高效”“有效”“發(fā)展中”“無效”的標(biāo)簽。這些標(biāo)簽會影響教師的聲譽、薪資和去留。關(guān)于這類智能評估系統(tǒng)的一大爭議就是：教師評級是否應(yīng)該取決于學(xué)生考試成績的進步？如果某學(xué)生上一次考試已經(jīng)取得高分，他在下一次考試中就幾乎沒有進步的余地。雖然萊德曼的學(xué)生在2014年的進步并不顯著，但他們在2013年成績優(yōu)異，因此，不能武斷地判定她的教學(xué)是“無效”的。技術(shù)開發(fā)者帶有“教師付出和學(xué)生進步具有因果關(guān)系”的認知偏見，對教師工作的評估過度倚重于學(xué)生進步情況，致使一位優(yōu)秀的教師險些被學(xué)校開除。

（二）教育系統(tǒng)內(nèi)部的歧視加劇

以學(xué)生為中心的智能學(xué)習(xí)環(huán)境中，偏見可能會導(dǎo)致特定學(xué)生群體遭到排斥，在性別、文化、地域、知識水平、家庭經(jīng)濟水平等方面加劇群體之間的歧視和隔離。如果說，不透明的全方位數(shù)據(jù)采集是對學(xué)生隱私權(quán)的“一次傷害”，那在此基礎(chǔ)上形成帶有偏見的決策和歧視性干預(yù)，對學(xué)生所造成“二次傷害”的影響則更深更廣。在“算法中立”的幌子下，雖然我們并非有意制造歧視，但是最脆弱的社會階層很可能會受到不公平的對待[27]。有學(xué)者發(fā)現(xiàn)了針對特定學(xué)生群體的價格歧視——在報名某權(quán)威的SAT在線輔導(dǎo)服務(wù)時，輸入亞洲人社區(qū)的郵編，將會被收取更高的費用，高達其他地區(qū)學(xué)生的兩倍[28]。

目前教育系統(tǒng)中存在的各種刻板印象，比如“女生不擅長STEM學(xué)習(xí)”“來自貧困家庭的學(xué)生成績差”，可能會經(jīng)過算法模型而進一步加劇，導(dǎo)致現(xiàn)實中歧視現(xiàn)象愈發(fā)嚴(yán)重。而且，目前大多數(shù)系統(tǒng)并沒有考慮到殘障學(xué)生的特定需求，其語言、表情、行為可能無法被正確識別。這些學(xué)生原本就缺少強有力的支持和發(fā)展機會，處在成長時期的他們還會遭遇被智能系統(tǒng)邊緣化的孤獨無助。并且，算法具有復(fù)雜性、隱蔽性和不透明性，他們甚至可能全然不知自己遭受歧視。如果這些學(xué)生持續(xù)受到系統(tǒng)“懲罰”，這個過程中會產(chǎn)生更多的帶有偏見的新數(shù)據(jù)，進而加劇教育中的“馬太效應(yīng)”。

（三）教育中的多元化特質(zhì)消解

教育是一個充滿未知的過程，不同學(xué)生做出某種行為可能都有不同原因。如果技術(shù)開發(fā)者難以洞察學(xué)生行為背后的真正含義，僅憑自己對于教育的理解，帶有偏見地將學(xué)生行為解釋為現(xiàn)有模式的某種子集或變體，不僅會得出錯誤的分析結(jié)果，更會阻礙教育環(huán)境下的多元發(fā)展。每個學(xué)習(xí)者的知識背景、思考方式、學(xué)習(xí)風(fēng)格、興趣愛好和行為習(xí)慣都有自己的特點，AIED的目的是達到“因材施教”，為不同的學(xué)習(xí)者提供適應(yīng)化和個性化的學(xué)習(xí)內(nèi)容和策略。然而，當(dāng)算法模型誤判了學(xué)習(xí)者的行為，無法正確理解和包容每個學(xué)生的特點，無法準(zhǔn)確提供學(xué)生所需要的針對性支持，很可能造成教師理解狹隘化、學(xué)習(xí)內(nèi)容同質(zhì)化、教學(xué)策略單一化等問題。上述這一切都有悖于AIED的初衷。

（四）“過濾氣泡”窄化學(xué)生思想

算法模型具有滲透性，“就像流行病學(xué)模型可以用來預(yù)測票房，垃圾郵件過濾器被用作檢測AIDS病毒的工具”，社交媒體中常用的精準(zhǔn)推薦算法也會被應(yīng)用在個性化學(xué)習(xí)領(lǐng)域[22]。這種應(yīng)用盡管可以為學(xué)生提供針對性支持，但很可能會形成“過濾氣泡（Filter Bubble）”——以大數(shù)據(jù)和算法推薦為底層架構(gòu)，根據(jù)學(xué)生的搜索結(jié)果或使用習(xí)慣進行紀(jì)錄與分析，過濾掉與學(xué)生觀點相左的或?qū)W生不感興趣的內(nèi)容，只給學(xué)生提供他們想看的內(nèi)容，導(dǎo)致學(xué)生接收到的資訊被局限于某個范圍內(nèi)，造成認知上和意識形態(tài)上的分化與隔離。

“過濾氣泡”概念的提出者伊萊·帕雷澤（Eli Pariser）察覺到自己在臉書（Facebook）上見到的與他政治立場不同的言論越來越少的情況。臉書所采用的推薦機制是會給用戶推薦其好友所點贊過、分享過的類似內(nèi)容，這致使用戶被包裹在狹小的信息空間里，聽不見異質(zhì)的聲音[29]。而且精準(zhǔn)推薦機制恰好符合了人本身所具有的驗證性偏見（Confirmation Bias），即在面臨眾多選擇的時候，人們大多傾向于聽取與自身觀點一致的觀點。當(dāng)AI在教育中成了“回音壁（Echo Chamber）”般的存在，學(xué)生的驗證性偏見將會被不斷地印證和加劇，導(dǎo)致視野和思想不斷窄化，價值觀和言行舉止可能會變得偏激甚至極端[30]。

五、AIED的風(fēng)險防治策略

智能教育產(chǎn)品的每個發(fā)展環(huán)節(jié)都需要關(guān)注偏見問題，組建團隊、確定用戶需求、產(chǎn)品設(shè)計開發(fā)、宣傳推廣、應(yīng)用落地都須嚴(yán)格把關(guān)?？缥幕椒☉?yīng)該被納入政策制定、產(chǎn)品研發(fā)、團隊建設(shè)等環(huán)節(jié)中。學(xué)校管理者和決策者、產(chǎn)品設(shè)計者和開發(fā)者、學(xué)生、教師、家長、科研工作者應(yīng)當(dāng)攜手推進教育環(huán)境包容性和多元化的建設(shè)。

（一）提升研發(fā)團隊的教育理解與多元眼光

如果技術(shù)人員對于教育過程不夠熟悉，對于教育本質(zhì)理解不足，缺乏情境體驗和背景知識，就很可能基于錯誤或片面的教育認識在系統(tǒng)開發(fā)過程中嵌入自己的偏見，導(dǎo)致算法模型與教學(xué)實踐脫節(jié)。首先，應(yīng)該提升研發(fā)團隊的教育理解力。智能教育企業(yè)應(yīng)當(dāng)注重培養(yǎng)員工對教育的正確認識，比如可以邀請教育學(xué)領(lǐng)域?qū)＜议_展面向企業(yè)管理者和工程師的講座、工作坊等培訓(xùn)活動，修正他們在教育方面的認知偏見。其次，研發(fā)團隊同質(zhì)化也是導(dǎo)致偏見的重要原因。因為人們往往難以察覺自身的內(nèi)隱偏見，對于他人利益敏感度不足，同質(zhì)化的研發(fā)團隊更容易忽視與自身不同的群體需求，收集的數(shù)據(jù)也更多是來自同群體的樣本。如開發(fā)圖像識別系統(tǒng)時，非洲程序員的訓(xùn)練集里黑人照片更多，而亞洲程序員更多用黃種人的照片。因此，不少倫理專家都提出，組建研發(fā)團隊時要關(guān)注成員在社會屬性上的異質(zhì)程度[4]。最后，還應(yīng)該關(guān)注成員之間的學(xué)科異質(zhì)性，構(gòu)建問題解決的多元眼光。如地域偏見可能不會因為團隊里增加了幾位偏遠地區(qū)的成員就被消除，但當(dāng)團隊中有計算機專家、數(shù)據(jù)科學(xué)家、教育專家、倫理學(xué)家等一系列技術(shù)和非技術(shù)角色時，就能夠更全面地理解教育中的地域偏見問題，從而為尋找創(chuàng)新解決方案提供多元視角。

（二）讓師生成為智能教育產(chǎn)品的合作創(chuàng)造者

互聯(lián)網(wǎng)時代下“共同創(chuàng)造”成為匯聚各方力量的創(chuàng)新模式，師生無疑是教育技術(shù)重要的合作創(chuàng)造者[31]。智能教育產(chǎn)品的最終目標(biāo)是幫助解決教育領(lǐng)域的問題。因此，企業(yè)應(yīng)鼓勵師生群體充分參與產(chǎn)品研發(fā)，積極與企業(yè)人員對話，清楚地傳達需求和困惑。企業(yè)應(yīng)對典型群體或特殊群體的需求展開充分的調(diào)研，邀請具有典型性或者特殊性的教師代表和學(xué)生代表，通過問卷、訪談、課堂觀察等方式洞察用戶行為，建立起鮮明的、動態(tài)的師生用戶畫像，在此基礎(chǔ)上推進研發(fā)進程。

在AI全生命周期中，師生與企業(yè)應(yīng)該始終保持互助互惠的關(guān)系，師生代表可以參與產(chǎn)品測試和試點使用，提出反饋建議幫助企業(yè)改進優(yōu)化產(chǎn)品，使研發(fā)出的智能教育產(chǎn)品能直擊教育中的痛點問題，為更廣大的教師和學(xué)生群體提供有效支持。

（三）加強偏見檢測和道德評估過程

改善AIED的偏見問題，需加強對數(shù)據(jù)集、算法和模型的偏見檢測。檢查用于訓(xùn)練系統(tǒng)的數(shù)據(jù)集是否包含了足夠多的樣本量，是否同質(zhì)化過于嚴(yán)重，是否存在類別不平衡的現(xiàn)象，是否缺少某特定群體的數(shù)據(jù)樣本，是否呈現(xiàn)出某種傾向性……如果偵測到了數(shù)據(jù)集存在著偏見傾向，要及時加以干預(yù)，比如重新選取分布更合理的數(shù)據(jù)源、修正數(shù)據(jù)比例、調(diào)整數(shù)據(jù)精度。同時，也要檢查算法是否在設(shè)計之初就包含著某種特定偏見，是否會系統(tǒng)性地忽視或低估某些學(xué)生，模型是否通過了某些沒被包含在訓(xùn)練樣本里的特定學(xué)生群體的測試。谷歌開發(fā)的What-If、IBM開發(fā)的AI Fairness 360、芝加哥大學(xué)數(shù)據(jù)科學(xué)和公共政策中心開發(fā)的Aequitas、微軟開發(fā)的InterpretML等偏見檢測工具都可以被整合至模型開發(fā)過程中，幫助規(guī)避系統(tǒng)正式運行過程中的偏見與歧視。

同時，也需要加強道德評估過程。由數(shù)據(jù)科學(xué)家、教育家、技術(shù)專家、教師和學(xué)生等共同組成道德評估小組，對技術(shù)開發(fā)、試用、研究過程中可能存在的道德問題開展評估工作，幫助發(fā)現(xiàn)隱藏的錯誤認識或者偏見傾向。道德評估小組可以標(biāo)記出數(shù)據(jù)抓取、轉(zhuǎn)化、訓(xùn)練、預(yù)測、呈現(xiàn)決策等每個環(huán)節(jié)可能存在的偏見隱患。

（四）建立可解釋、可審查、可糾正的優(yōu)化機制

由于系統(tǒng)訓(xùn)練和驗證數(shù)據(jù)集的過程往往是不可見的，最終產(chǎn)生的數(shù)據(jù)模型常常缺乏可解釋性。如果要讓帶有風(fēng)險的技術(shù)工具參與教育決策，應(yīng)當(dāng)建立起可解釋、可審查、可糾正的系統(tǒng)優(yōu)化機制，允許用戶預(yù)覽和更正決策。讓教師和學(xué)生參與算法的形成、修改過程以及決策過程，是提高算法透明性和可解釋性的重要途徑[28]。

假設(shè)某學(xué)校采用智能分班系統(tǒng)對全年級學(xué)生進行分班，每個學(xué)生應(yīng)該對自己的數(shù)據(jù)隱私和身份標(biāo)簽有較清晰的了解，他們有權(quán)利知道數(shù)據(jù)收集的范圍和進行學(xué)生畫像的要素，知道為什么自己會被分到這個班，并且他們應(yīng)該有途徑可以反對或糾正這項決策[32]。參考垃圾郵件篩選器，用戶可以自主檢查郵件過濾是否準(zhǔn)確，也可以將被系統(tǒng)誤判的郵件重新歸類。由于師生不是專業(yè)的技術(shù)人員，應(yīng)該為他們提供最為方便快捷的反饋路徑，比如在AIED產(chǎn)品外形上或屏幕界面上設(shè)置清晰可見的撤回、預(yù)覽、標(biāo)記錯誤等功能按鈕。

（五）開展面向師生的人工智能素養(yǎng)教育

當(dāng)AI進入教育場景，如果教師不了解其特征和工作原理，可能會對技術(shù)產(chǎn)生過度依賴，盲目相信運算結(jié)果。當(dāng)不透明的智能算法取代了教師對教學(xué)過程的自主判斷，教師也許會面臨著教學(xué)技能的退化和因材施教能力的喪失。如果學(xué)生不了解AI，不熟悉和AI的相處模式，很可能會對他們的學(xué)習(xí)產(chǎn)生負面影響，阻礙學(xué)生的技術(shù)觀和親社會行為的發(fā)展，某些學(xué)生甚至?xí)馐蹵I的歧視。通過開展AI素養(yǎng)教育，幫助師生意識到AI并不是絕對正確的，它也像人一樣存在著種種偏見，需要始終保持警惕，始終保留自己獨立思考和自主判斷的能力。引導(dǎo)師生不盲目迷信和依賴AI，理解AI是為教育賦能的一種可選擇的方法，并不是唯一路徑。

（六）確立人工智能在教育中的應(yīng)用范圍與倫理規(guī)范

AI Now組織曾建議：“‘高風(fēng)險的核心公共機構(gòu)，如司法機構(gòu)、醫(yī)療機構(gòu)、教育機構(gòu)不應(yīng)該使用不透明的AI算法?！盵33]相較于徹底禁止教育中應(yīng)用AI，我們更應(yīng)該限制AI在教育中的應(yīng)用范圍。我們不應(yīng)在教育中模糊AI和人類的邊界，不能任由AI一步步擴大它的控制范圍。AI滲透教育場景的深度、運算結(jié)果對決策制定的影響程度、在支持學(xué)生學(xué)習(xí)中扮演的角色，都需要明確規(guī)定和審慎決策。雖然對于應(yīng)用范圍的限制并不能完全消除偏見，但至少能夠減少偏見對教育活動的滲透，避免社會偏見在技術(shù)中無限循環(huán)和放大。

嚴(yán)格的監(jiān)督機制和明確的倫理規(guī)范也應(yīng)當(dāng)建立起來。學(xué)校、企業(yè)、科研機構(gòu)、監(jiān)管部門以及第三方組織應(yīng)當(dāng)商討各方都接受且受益的監(jiān)管途徑，在已有的AI倫理準(zhǔn)則基礎(chǔ)上，建立起可信賴的AIED的具體原則規(guī)范，樹立嚴(yán)格的規(guī)章制度以懲處應(yīng)用中的偏見和歧視現(xiàn)象。

六、結(jié)? ?語

迄今為止，國內(nèi)AI在教學(xué)中的應(yīng)用還沒有達到“廣泛”的水平，絕大多數(shù)智能教育產(chǎn)品都還處于弱AI的范疇，其中的偏見傾向尚不足以造成嚴(yán)重后果。但也許在不遠的未來，AI將會獲得更大的能力，足以左右孩子的教育和成長，控制人類的生活與思想。在感嘆著AI為教育帶來深刻變革與全新機遇，享受著智能化的服務(wù)與支持的同時，我們應(yīng)當(dāng)時刻保持著對于潛在“紅線”的敏感和警惕。正如哲學(xué)家羅伯特·所羅門（Robert Solomon）所說：“我們曾經(jīng)建立起來的那些關(guān)系，最終將會被用來塑造我們?！盵34]

[參考文獻]

[1] CALISKANA， BRYSON J J， NARAYANAN A. Semantics derived automatically from language corpora contain human-like biases[J]. Science， 2017， 356（6334）： 183-186.

[2] 張中學(xué)，宋娟.偏見研究的進展[J].心理與行為研究，2007（2）：150-155.

[3] 王旭.“紅線政策”與美國住房市場的反歧視立法[J].社會科學(xué)戰(zhàn)線，2016（5）：89-98.

[4] KNOX J， WANG Y， GALLAGHER M. Artificial intelligence and inclusive education[M]. Singapore： Springer， 2019.

[5] World Educators Forum. Education 2030： incheon declaration and framework for action towards inclusive and equitable quality education and lifelong learning for all[M]. Paris： United Nations Educational， Scientific and Cultural Organization， 2015.

[6] 劉寶存，屈廖健.PISA 2012教育成功國家和地區(qū)的基本經(jīng)驗[J].比較教育研究，2015，37（6）：14-20，29.

[7] 肖睿，肖海明，尚俊杰.人工智能與教育變革：前景、困難和策略[J].中國電化教育，2020（4）：75-86.

[8] 祝智庭，魏非.教育信息化2.0：智能教育啟程，智慧教育領(lǐng)航[J].電化教育研究，2018，39（9）：5-16.

[9] YU H， MIAO C， LEUNG C， et al. Towards AI-powered personalization in MOOC learning[J]. （npj） Science of learning， 2017，2（1）： 1-5.

[10] HEROLD B. Custom software helps cities manage school choice[EB/OL].（2013-11-03）[2021-01-26]. https：//www.edweek.org/ew/articles/2013/12/04/13algorithm_ep.h33.html.

[11] NATHANSON L， COTCORAN S， BAKER-SMITH C. High school choice in New York city： a report on the school choices and placements of low-achieving students[R]. New York： Research Alliance for New York City Schools， 2013.

[12] CAPATOSTO K. Foretelling the future： a critical perspective on the use of predictive analytics in child welfare[R]. Columbus： Ohio State University， 2017.

[13] ROSE A. Are face-detection cameras racist？[EB/OL].（2010-01-22）[2021-01-26]. http：//content.time.com/time/business/article/0，8599，1954643，00.html.

[14] 危怡，胡夢華，胡藝齡，顧小清.開放學(xué)習(xí)者模型：讓學(xué)習(xí)者參與構(gòu)建——訪國際知名教育人工智能專家朱迪·凱教授[J].開放教育研究，2018，24（3）：4-11.

[15] 維克托·邁爾-舍恩伯格.與大數(shù)據(jù)同行——學(xué)習(xí)和教育的未來[M].趙中建，張燕南，譯.上海：華東師范大學(xué)出版社，2015.

[16] 郭小平，秦藝軒.解構(gòu)智能傳播的數(shù)據(jù)神話：算法偏見的成因與風(fēng)險治理路徑[J].現(xiàn)代傳播（中國傳媒大學(xué)學(xué)報），2019，41（9）：19-24.

[17] LIN P， ABNEY K， JENKINS R. Robot ethics 2.0： from autonomous cars to artificial intelligence[M]. New York： Oxford University Press， 2017.

[18] ROSENBERG S. Why AI is still waiting for its ethics transplant[EB/OL]. （2017-01-11）[2021-01-26]. https：//www.wired.com/story/why-ai-is-still-waiting-for-its-ethics-transplant/.

[19] MARCINKOWSKI F， KIESLICH K， STARKE C， et al. Implications of AI （un-） fairness in higher education admissions： the effects of perceived AI （un-） fairness on exit， voice and organizational reputation[C]//Proceedings of the 2020 Conference on Fairness， Accountability， and Transparency. New York： ACM， 2020： 122-130.

[20] MITTELSTADT B D， ALLO P， TADDEO M， et al. The ethics of algorithms： mapping the debate[J]. Big data & society， 2016， 3（2）： 2053951716679679.

[21] LEE D. Tay： microsoft issues apology over racist chatbot fiasco[EB/OL]. （2016-03-25）[2021-01-26]. https：//www.bbc.com/news/technology-35902104.

[22] 楊慶峰.數(shù)據(jù)偏見是否可以消除？[J].自然辯證法研究，2019，35（8）：109-113.

[23] O'NEIL C. Weapons of math destruction： how big data increases inequality and threatens democracy[M]. New York： Crown Publisher， 2016.

[24] COUGHLAN S， SELLGREN K， BURNS J. A-levels： anger over 'unfair' results this year[EB/OL].（2020-08-13）[2021-01-26].https：//www.bbc.com/news/education-53759832.

[25] HARRIS E. Court vacates Long Island teacher's evaluation tied to test scores[EB/OL].（2016-05-10）[2021-01-26]. https：//www.nytimes.com/2016/05/11/nyregion/court-vacates-long-island-teachers-evaluation-tied-to-student-test-scores.html.

[26] WALSH E， ISENBERG E. How does value added compare to student growth percentiles？[J]. Statistics and public policy， 2015， 2（1）： 1-13.

[27] WHITE HOUSE. Big data： seizing opportunities， preserving values[R]. Washington： Executive Office of the President， 2014.

[28] ANGWIN J， Mattu S， LARSON J. The tiger mom tax： Asians are nearly twice as likely to get a higher price from Princeton review [EB/OL].（2015-09-01）[2021-01-26]. https：//www.propublica.org/article/asians-nearly-twice-as-likely-to-get-higher-price-from-princeton-review.

[29] PARISER E. The filter bubble： what the Internet is hiding from you[M]. London： Penguin UK， 2011.

[30] FLAXMAN S， GOEL S， RAO J M. Filter bubbles， echo chambers， and online news consumption[J]. Public opinion quarterly， 2016， 80（S1）： 298-320.

[31] PRAHALAD C K， RAMASWAMY V. Co-creation experiences： the next practice in value creation[J]. Journal of interactive marketing， 2004， 18（3）： 5-14.

[32] 張林.智能算法推薦的意識形態(tài)風(fēng)險及其治理[J].探索，2021（1）：176-188.

[33] VORHIES W. Is model bias a threat to equal and fair treatment？ maybe， maybe not[EB/OL]. （2018-06-05）[2021-01-26]. https：//www.datasciencecentral.com/profiles/blogs/is-model-bias-a-threat-to-equal-and-fair-treatment-maybe-maybe-no.

[34] SOLOMON R C. The passions： the myth and nature of human emotion[M]. New York： Anchor， 1976.