danah+boyd

當(dāng)前，我們正目睹一場數(shù)據(jù)被濫用的大劇。限制數(shù)據(jù)濫用并且努力解決偏見數(shù)據(jù)和問題數(shù)據(jù)，成為解決科技對社會基石產(chǎn)生影響的重要條件。

簡而言之，我認(rèn)為大家應(yīng)該重新考慮，安全、公平到底意味著什么。本文從三個方向告訴我們，在數(shù)據(jù)驅(qū)動的世界中，我們的數(shù)據(jù)有可能被如何操縱。

操縱數(shù)據(jù)的原罪者-谷歌

1998年，兩個斯坦福畢業(yè)生決心著手解決主流搜索引擎存在的問題。

Sergey Brin 和 Larry Page合作撰寫了一篇論文，描述他們的網(wǎng)頁排序算法是怎樣解決搜索結(jié)果中垃圾網(wǎng)頁過多的問題。他們的想法意義非凡，如今被人們認(rèn)為是Google公司創(chuàng)立的基石。但是這一想法并未阻止人們不斷擾亂自己的網(wǎng)絡(luò)系統(tǒng)。事實上，谷歌的崛起不過增加了搜索引擎進一步優(yōu)化的難度。

媒體炒作并不新穎。正如許多人所知，宣傳和社交媒體營銷的界線通常是模糊的。除此以外，那些通過點贊、評論和訂閱量等公共信號宣傳產(chǎn)品特點的公司都熟知，任何被創(chuàng)造的系統(tǒng)都將成為娛樂、利益、政治、意識形態(tài)和權(quán)力游戲的舞臺。甚至連國會現(xiàn)在都在為此斗爭。例如，自Rick Astley的歌曲《Never Gonna Give You Up》推出時隔20年后，有這么一群人決定幫他再登歌曲排行榜首。這樣做的目的并不是幫Rick Astley賺錢（盡管有此效果）。正如4chan等其他網(wǎng)站創(chuàng)造出的表情包，僅僅是為了娛樂。但通過這樣的方式，大量觀眾學(xué)會了如何讓某些信息被病毒式傳播或者其他的干擾網(wǎng)絡(luò)系統(tǒng)的方法。換句話說，他們學(xué)會了如何獲得注意力。通過這些行為，他們開發(fā)出了一套能夠造成嚴(yán)重后果的炒作策略。

像“披薩門”這類的事件并非偶然，這是一群網(wǎng)絡(luò)村民尋找愚弄信息系統(tǒng)的產(chǎn)物。（編者注，披薩門是美國大選期間發(fā)生的陰謀論，懷疑希拉里競選被曝出的電子郵件中包含利用一系列餐廳進行人販子生意的暗語。這個陰謀論已經(jīng)數(shù)次被反駁和攻破，包括警察部門。）他們創(chuàng)造了許多被稱做“馬甲”的跨平臺網(wǎng)絡(luò)虛假賬戶，這些賬戶巧妙地影響媒體和其他勢力團體，引發(fā)他們對精心設(shè)定的問題、博文和網(wǎng)絡(luò)視頻的關(guān)注。這種事件的編造并不是為了讓媒體信以為真，而是讓這些媒體傻傻地通過大量自有宣傳渠道否定它。這樣就產(chǎn)生了“反向效應(yīng)”，如此那些不相信媒體的人認(rèn)定這其中必有一些陰謀論，從而鼓勵一些人自發(fā)調(diào)查。

接著就有鋪天蓋地的評論要求“打開窗口”——或者說增加公共討論話題的尺度。媒體們被騙去散播問題事件。更有甚者，推薦引擎會被用于向問題事件的被動接受者推送更多相關(guān)內(nèi)容。舉個例子， 研究員Joan Donovan主要研究白人至上主義，工作之余，她打開Amazon，Netflix或是YouTube，沒有一個網(wǎng)站不向她推薦相關(guān)的音樂、視頻和其他周邊內(nèi)容。一些激進分子也知道如何變本加厲制造問題。不用觸犯Twitter的任何保護機制，那些人可以想方設(shè)法利用公司廣告內(nèi)容放大白人優(yōu)越主義思想，引發(fā)關(guān)注社會公平群體的憤怒。

總體來說，這些伎倆是對算法系統(tǒng)的手動攻擊，但我們都知道，攻擊的方法一直在變化，不再僅僅是手動。而現(xiàn)在，一切即將再次改變。

脆弱的訓(xùn)練集

訓(xùn)練機器學(xué)習(xí)系統(tǒng)需要數(shù)據(jù)，而且是海量數(shù)據(jù)。盡管目前已經(jīng)建成了一批標(biāo)準(zhǔn)化語料庫，計算機科研人員、初創(chuàng)企業(yè)和大公司對于新的、差異化的數(shù)據(jù)的需求依然有增無減。

首當(dāng)其沖的問題就是所有數(shù)據(jù)都帶有偏見。從總體上看，人和社會的偏見反映得最為明顯。以當(dāng)下很紅的數(shù)據(jù)集ImageNet為例，人類根據(jù)形狀進行分類的速度高于根據(jù)顏色進行分類；受此影響，數(shù)據(jù)集最終會包含一些奇形怪狀的人造體。

在應(yīng)對社會偏見時，局面會變得更加混亂無章。Latanya Sweeney在谷歌上搜索自己的姓名時驚訝地發(fā)現(xiàn)，有廣告邀請她查詢自己是否有犯罪記錄。作為一名好奇寶寶式的計算機科學(xué)家，她決定在系統(tǒng)上跑一批常見的白人名字和黑人名字，看看哪些名字會招來廣告。不出所料，招來這種刑事類產(chǎn)品的都是黑人名字。這并不是因為谷歌知道怎樣看名字下菜碟，而是因為搜索用戶在搜索黑人姓名時，點擊刑事類廣告的幾率更高。谷歌學(xué)到了美國人的種族歧視，并“發(fā)揚光大”，最終影響了全部用戶。

不論是對人進行分類的數(shù)據(jù)還是由人進行分類的數(shù)據(jù)，只要想以此為基礎(chǔ)建立系統(tǒng)，其中那些虛虛實實明明暗暗的文化偏見都將成為巨大的挑戰(zhàn)。不過還有一項新的挑戰(zhàn)正在日漸成型：散布在不同網(wǎng)絡(luò)中的人群和國家行為者。他們在社交網(wǎng)絡(luò)上興風(fēng)作浪，搜索引擎對于相應(yīng)數(shù)據(jù)的關(guān)注度卻與日俱增，而各家公司正是用這些數(shù)據(jù)來訓(xùn)練、改進各自系統(tǒng)的。

舉個例子，假設(shè)用Reddit和Twitter的數(shù)據(jù)來做訓(xùn)練。這些公司在API上表現(xiàn)得非常大方，計算機科學(xué)家們長期以來也從這里抓取了大量數(shù)據(jù)來訓(xùn)練各種模型，試圖理解自然語言、圍繞鏈接開發(fā)源語言，以及追蹤社會模式。他們訓(xùn)練各種模型來檢測抑郁癥，為新聞排序、并參與到會話當(dāng)中。忽略了這些數(shù)據(jù)從一開始就不具有代表性這一個重要的點，絕大多數(shù)用這些API的工程師都相信他們可以清潔抓到的數(shù)據(jù)、并去除所有的問題內(nèi)容。但我向你保證，沒門兒。

不論刪除多少特定的subreddits、推文種類，抑或是忽略包含問題詞語的內(nèi)容，這些都不會讓你在那些誠心找茬的人面前占據(jù)先機。

我眼睜睜地看著無數(shù)人或者組織用盡各種方式想要混淆公共數(shù)據(jù)，大公司的系統(tǒng)也在他們的目標(biāo)范圍之列。他們試圖通過低空飛行避開雷達(dá)監(jiān)管。如果你沒有準(zhǔn)備好相應(yīng)的系統(tǒng)，從戰(zhàn)略層面去應(yīng)對這些早有準(zhǔn)備繞開你精心制定的計劃的人，你簡直不堪一擊。這與意外或自然內(nèi)容無關(guān)，甚至也牽扯不到帶有文化偏見的數(shù)據(jù)。這是那些試圖揣測你意圖的人故意施展的手段，將特意炮制的內(nèi)容注入到系統(tǒng)當(dāng)中。

打造技術(shù)抗體

數(shù)十年來，眾多公司都沒把這些安全漏洞當(dāng)回事，直到系統(tǒng)被突破的消息一次又一次地登上頭條。在應(yīng)對這個新問題上，我們還要重蹈覆轍嗎？如果你正在構(gòu)建數(shù)據(jù)驅(qū)動式的系統(tǒng)，你從現(xiàn)在就要開始考慮數(shù)據(jù)會以怎樣的方式、被誰污染，以實現(xiàn)何種目的。

測試文化在這個技術(shù)行業(yè)中已經(jīng)失去了生存的土壤。這個“鍋”社交媒體是逃不開的。15年前，靈光乍現(xiàn)之下，我們一頭扎向了“永久公開測試”的文化。我們邀請公眾成為我們的質(zhì)保工程師。但是內(nèi)部QA遠(yuǎn)比找BUG要復(fù)雜，它需要將對抗思維融入到設(shè)計和研發(fā)過程中。當(dāng)搞破壞的人就隱藏在公眾之中時，請大家為系統(tǒng)找漏洞的效果就不盡如人意了。進一步來說，當(dāng)前不論是誰在一沒動機、二沒渠道的情況下，都沒法在私下里告知我們問題所在。有些記者會找到瞞天過海的方法，把系統(tǒng)變成新納粹主義的廣告，借此來嘲笑我們；也只有此時我們才會注意到問題所在。然而盡管如此，更多包藏禍心的行動者開始和我們的數(shù)據(jù)玩兒起來放長線釣大魚的游戲。

以生成性對抗網(wǎng)絡(luò)（GANs）為例。那些對此不太熟悉的人可以這樣理解：你手上有兩個無人監(jiān)督的機器學(xué)習(xí)算法，前者負(fù)責(zé)為具有評估功能的后者生成內(nèi)容。前者試圖騙后者接受“錯誤”信息。這樣操作旨在找到模型和數(shù)據(jù)隱空間之間的界限。我們需要更多這樣的研發(fā)項目，隨著真正的對抗思維直接融入到模型搭建過程中，測試文化在研究領(lǐng)域也走到了盡頭。但這些研究的作用非常有限。我們需要積極主動、目標(biāo)明確地構(gòu)建相應(yīng)文化，開展對抗測試、評估，并將之融入研發(fā)過程。我們需要構(gòu)建分析方法，評估我們使用的數(shù)據(jù)集中的偏見。我們還需要開發(fā)相應(yīng)的工具來監(jiān)督系統(tǒng)的運轉(zhuǎn)情況，這方面需要的精力毫不遜于模型最初的搭建階段。我的同事Matt Goerzen認(rèn)為除此之外，我們還需要有策略地邀請白帽子中的牛人介入到我們的系統(tǒng)之中，幫助我們查漏補缺。

只需要想想我們要構(gòu)建怎樣的世界，這種好日子已經(jīng)一去不復(fù)返了。我們必須從戰(zhàn)略層面認(rèn)真思考，他人想要以何種方式操縱系統(tǒng)為非作歹。endprint