梁憲飛

一、算法歧視概念

算法歧視就是在人們在使用人工智能的過程中，在算法內(nèi)部通過一系列的演算從而傷害公民的基本權(quán)利，違背社會公共倫理的一種規(guī)則或者是制定者本身設(shè)定的算法就是不公平的一種規(guī)則。算法歧視分為兩種：第一種是涉及第三人的的算法歧視。這種規(guī)則本身就是一種不公平的歧視。比如百度上的搜索排名。這個排名本身是一種有償服務(wù)，不涉及歧視。但是當(dāng)這個規(guī)則涉及到第三人利益的時候，就會導(dǎo)致對第三人產(chǎn)生一種誤導(dǎo)，導(dǎo)致第三人的利益產(chǎn)生了嚴(yán)重的傷害。比如之前在百度上出現(xiàn)的莆田系醫(yī)院，從而導(dǎo)致魏則西的事件的發(fā)生。只是這種歧視，平臺負(fù)不負(fù)責(zé)任就難以界定。如果平臺要對此負(fù)責(zé)的話，那么對于網(wǎng)絡(luò)空間的發(fā)展是很不利的。這是2019年5月17日劉艷紅教授來安徽大學(xué)的關(guān)于網(wǎng)絡(luò)犯罪的講座給予我的啟發(fā)。第二種就是不涉及第三人的算法歧視。算法本身就是針對使用者。因?yàn)樗惴ㄒ?guī)則本身不公平或者是由于算法收集的數(shù)據(jù)本身導(dǎo)致的歧視。算法歧視的特征主要有不透明性、不確定性、廣泛性。

二、規(guī)制算法歧視的必要性

在王思聰?shù)奈⒉┏楠勈录?，還有大數(shù)據(jù)殺熟的問題上，我們可以看到商家一種歧視。大數(shù)據(jù)殺熟是利用算法來達(dá)到一級價格歧視，但是王思聰微博事件體現(xiàn)的則是微博背后的算法規(guī)則商業(yè)氣息越發(fā)濃厚。在抽獎這上面，用戶大多是收入尚可，年紀(jì)較輕的年輕女性。我認(rèn)為微博表達(dá)了其消費(fèi)價值觀，以商業(yè)大局為重。微博的價值觀與百度類似。百度是一家中國互聯(lián)網(wǎng)巨頭，曾將利潤第一的價值觀推行了很多年。例如之前我們在百度上搜索的醫(yī)院，大量出現(xiàn)的莆田系醫(yī)院。我認(rèn)為這就是一種算法歧視，雖然這是百度的一項(xiàng)商業(yè)服務(wù)。但是作為普通的搜索者所搜索的結(jié)果，是依據(jù)百度制定的算法規(guī)則。這已經(jīng)傷害了大眾普遍的倫理道德，這就是一種算法歧視。

在大數(shù)據(jù)殺熟中我們可以看到很多人遭受侵害，這也是一種比較小的侵害，只是一點(diǎn)財產(chǎn)上的損失。但是百度上的大量莆田系醫(yī)院事件，是關(guān)乎每個人的性命攸關(guān)的大事。在魏則西事件是一個年輕人選擇了百度搜索出的三甲醫(yī)院武警二院，散盡家財，采用所謂最新的美國技術(shù)，最終耽誤治療時間從而導(dǎo)致死亡結(jié)果。百度搜素引擎采用的競價規(guī)則雖然是一種服務(wù)，但是這個服務(wù)是展現(xiàn)給公民大眾的，這嚴(yán)重?fù)p害了普通公民的知情權(quán)，錯誤的引導(dǎo)了普通民眾。雖然魏則西的生命是由于武警二院的治療導(dǎo)致，但是百度的競價規(guī)則本身的不完善或者說就是以利益為導(dǎo)向的一種規(guī)則，就是一種算法歧視。如果嚴(yán)重?fù)p害公民健康的，那么就需要對這種規(guī)則進(jìn)行規(guī)制。

三、算法歧視產(chǎn)生的原因

（一）算法的復(fù)雜性

依據(jù)算法的復(fù)雜程度，可以將其分成三類，即白箱，灰箱，黑箱。白箱指的是算法是完全確定的，灰箱指的是算法雖然不是確定的但是容易預(yù)測和解釋，黑箱指的是算法難以預(yù)測與解釋。如果是黑箱這種程度，算法是難以預(yù)測的，普通消費(fèi)者也對算法本身是否就是有歧視不了解。部分企業(yè)的算法雖然名義上不是歧視，但是在具體處理的過程實(shí)質(zhì)上是產(chǎn)生了歧視。算法本身的復(fù)雜程度已經(jīng)讓人難以對其進(jìn)行分析并解決，更何況企業(yè)本身也將算法作為知識產(chǎn)權(quán)來保護(hù)，這也加大了算法公開的難度。

（二）數(shù)據(jù)本身的偏見

算法從研發(fā)設(shè)計之初，就無法做到完全的客觀，不論是主觀的對算法的修改用以牟利，還是數(shù)據(jù)輸入或算法技術(shù)的缺陷，都使得算法歧視可能成為一個長期的問題。帶有歧視的數(shù)據(jù)經(jīng)過運(yùn)算之后得到的結(jié)論也帶有不公平的色彩，而有時候參考數(shù)據(jù)樣本過少也使得算法系統(tǒng)出現(xiàn)不公平。人工智能體現(xiàn)的偏見大多數(shù)來自于在學(xué)習(xí)人類語言的時候吸收了人類文化本身的觀念，從而在某種程度上產(chǎn)生了偏見。

（三）設(shè)計者的偏見

智能算法的設(shè)計要求、設(shè)計目的都是由開發(fā)者以及設(shè)計者的主觀上的價值體現(xiàn)。開發(fā)者和設(shè)計者可能會將自己的偏見帶入算法中，而算法也將這種偏見延續(xù)下去。智能算法的本質(zhì)就是用過去的經(jīng)驗(yàn)預(yù)測未來的結(jié)果，而過去的經(jīng)驗(yàn)中歧視和偏見可能會在智能算法中固化并在未來中得到強(qiáng)化和擴(kuò)大。

四、規(guī)制算法歧視的措施

（一）構(gòu)建技術(shù)公平規(guī)范體系

人類社會中的法律規(guī)則、制度以及司法決策行為受到程序正義和正當(dāng)程序約束。如今這些規(guī)則正在被寫進(jìn)程序中，但是技術(shù)人員也不知道怎樣是公平的，而且也沒有一定的標(biāo)準(zhǔn)來指引他們。在面對關(guān)乎每個個體的利益的決策程序時，人工智能決定著每個人的利益，人們需要提前構(gòu)建技術(shù)公平規(guī)則。通過構(gòu)建技術(shù)公平規(guī)則來減少算法的不透明。在技術(shù)層面上，我們需要將公平原則納入技術(shù)設(shè)計之中，通過技術(shù)來保障公平的實(shí)現(xiàn)，預(yù)防算法歧視。例如谷歌公司在人工智能的設(shè)計中就提出了機(jī)會均等的概念來處理敏感數(shù)據(jù)，以防止出現(xiàn)歧視。還有的研究者設(shè)計了社會平等的技術(shù)模型，既滿足了平等也滿足了效率的要求。這些研究者還開發(fā)了歧視指數(shù)，這個指數(shù)提供了對算法的歧視行為的評判標(biāo)準(zhǔn)。

（二）增加算法的透明度

算法的不透明是導(dǎo)致算法歧視的一個原因。我們在事后對算法的審查可能比較困難，也可能會付出很大代價。但是我們可以要求算法的使用者或者設(shè)計者對一些算法數(shù)據(jù)進(jìn)行報備。比如中國人民銀行、銀監(jiān)會、證監(jiān)會、保監(jiān)會和外匯局聯(lián)合出臺的《關(guān)于規(guī)范金融機(jī)構(gòu)資產(chǎn)管理業(yè)務(wù)的指導(dǎo)意見（征求意見稿）》，其中明確要求如果運(yùn)用人工智能技術(shù)展開資產(chǎn)管理服務(wù)，必須報備智能投顧模型的主要參數(shù)以及資產(chǎn)配置。

（三）刪除具有識別性的數(shù)據(jù)

個人信息最主要的是特點(diǎn)是可識別性，如果去除這些特征，僅僅利用大數(shù)據(jù)進(jìn)行分析的話，那么對于造成歧視的幾率比沒有去除個人特定身份的數(shù)據(jù)分析要大大降低。監(jiān)管部門應(yīng)當(dāng)建立具有可識別信息的數(shù)據(jù)庫銷毀制度。在進(jìn)行數(shù)據(jù)錄入的時候，可識別性和不可識別性的信息應(yīng)當(dāng)分別錄入兩個數(shù)據(jù)庫中，對不具有可識別信息的數(shù)據(jù)庫可以應(yīng)用到各種研究之中。而對于具有可識別性的信息，應(yīng)當(dāng)在數(shù)據(jù)完成錄入后永久性的刪除，任何人不得再次獲取這些具有個人信息的數(shù)據(jù)，避免其不當(dāng)利用。

（四）完善人工智能相關(guān)制度

為了避免算法歧視，我們可以通過對算法系統(tǒng)的設(shè)計者或者使用者進(jìn)行問責(zé)和懲戒。行政機(jī)關(guān)可以依據(jù)相關(guān)法律進(jìn)行勸誡，懲罰或者教育。面對人工智能時代的到來，我們需要考慮對算法的規(guī)制，算法是人工智能的核心，我們建議增加對人工智能行政規(guī)制的主體范圍。結(jié)合我國的實(shí)際情況，我們可以參考將主體資格不僅僅限于行政機(jī)關(guān)，還可以將行政主體擴(kuò)大，比如某些社會組織。算法的發(fā)展帶來的民事侵權(quán)、行政違法以及行政侵權(quán)案件，面對這些案件到底是人為還是算法導(dǎo)致的問題并不容易，在舉證責(zé)任上也很困難。所以我們要明確算法歧視和人工智能致人損害時的責(zé)任分配規(guī)則。準(zhǔn)入制度越嚴(yán)格，開展研究所需要的時間也就越長，研發(fā)的速度也是隨之減慢的，但是在人工智能領(lǐng)域，準(zhǔn)入制度是必不可少的，我國應(yīng)當(dāng)盡快建立和完善人工智能的準(zhǔn)入制度。

五、總結(jié)

人工智能發(fā)展如火如荼，人工智能也會是更多國家的戰(zhàn)略選擇，基于人工智能的教育將會全面普及。2017年7月8日印發(fā)并實(shí)施的《新一代人工智能發(fā)展規(guī)劃》指出要支持開展多種多樣的人工智能科普活動；美國NSTC在《為人工智能的未來做好準(zhǔn)備》提出全民計算機(jī)科學(xué)與人工智能教育。伴隨著人工智能的發(fā)展，也出現(xiàn)了很多歧視問題。在人類社會中偏見是不會消失的。人工智能終究是來自人類，所以人工智能的偏見也不會消失的。在人工智能越來越與我們的生活融入的時候，甚至是決定我們的生活的時候，我們要通過各種手段來預(yù)防和補(bǔ)救其帶來的損失。

作者單位：安徽大學(xué)