国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

用戶隱私擔憂視角下短視頻平臺的算法治理檢視
——以抖音為例

2023-10-27 03:05:58付礫樂張釗丹
關(guān)鍵詞:內(nèi)容算法用戶

路 鵑,付礫樂,張釗丹

(北京體育大學(xué) 新聞與傳播學(xué)院,北京 100084;北京大學(xué) 新聞與傳播學(xué)院,北京 100087;北京工商大學(xué) 傳媒與設(shè)計學(xué)院,北京 100037)

一 問題提出:短視頻中的隱私擔憂

根據(jù)北京貴士信息科技有限公司(QuestMobile)統(tǒng)計數(shù)據(jù)顯示,截至2021 年年底,中國移動互聯(lián)網(wǎng)活躍用戶中,短視頻用戶達9.34 億。其中,抖音短視頻以8.09億的用戶數(shù)位居短視頻行業(yè)第一,短視頻作為社交媒體仍處于使用紅利期?!叭ブ行幕钡亩桃曨l平臺賦予了普通用戶生產(chǎn)和傳播視頻內(nèi)容的權(quán)利,但隨著私人生活在公共平臺上被持續(xù)放大,短視頻中的隱私界限進一步被模糊,滋生出更多隱私泄露的問題。究其原因,包括自然人信息主體對自身隱私泄露可能性的風險評估較低,存在隱私泄露擔憂的心理與個人披露隱私行為之間形成的“隱私悖論”,同時,短視頻傳播內(nèi)容豐富、傳播渠道多元、信息接收碎片化程度高,加大了平臺審核的難度。

對規(guī)制主體而言,短視頻平臺的隱私保護政策尤其是針對短視頻等視頻傳播中隱私泄露風險的保護與治理存在界定難、落地難、推進難等現(xiàn)實問題。當前,我國頒布的《網(wǎng)絡(luò)視聽節(jié)目內(nèi)容審核通則》《網(wǎng)絡(luò)短視頻內(nèi)容審核標準細則》等條例,其治理的焦點仍聚集于審核內(nèi)容的政治導(dǎo)向、價值導(dǎo)向和審美導(dǎo)向等層面,對于短視頻中泄露的隱私信息是否應(yīng)該刪除,以及平臺方的刪除時限等問題的規(guī)定乏善可陳。僅靠用戶自覺和政府規(guī)制難以實現(xiàn)對短視頻平臺的全面監(jiān)管,算法治理在短視頻內(nèi)容審核分發(fā)等方面作用巨大。

技術(shù)理性本應(yīng)是工具理性與價值理性的內(nèi)在統(tǒng)一[1],隨著人類技術(shù)實踐活動的擴展和深化,技術(shù)理性內(nèi)在的矛盾以一種單向度的、異化的形式呈現(xiàn)出來,即工具理性壓倒價值理性、技術(shù)的價值理性萎縮成極度膨脹的工具理性的單純附屬物[2]。在短視頻平臺中,強大的數(shù)據(jù)處理能力能夠有效提高隱私侵權(quán)等問題的治理效率和精準度,系統(tǒng)通過自動的數(shù)據(jù)采集、整合分析,可以有效降低短視頻平臺治理的成本。抖音作為現(xiàn)象級的短視頻平臺,用戶基數(shù)大、活動頻率高,其隱私泄露問題也更加典型。基于此,本研究從短視頻的隱私泄露問題入手,通過對內(nèi)容生產(chǎn)者與平臺監(jiān)管者進行訪談,研判隱私泄露問題與短視頻的技術(shù)特征和用戶心理的關(guān)系,探討通過算法治理如何有效解決短視頻使用中潛在的隱私擔憂問題。

二 概念界定與理論回顧

(一)“隱私擔憂”的兩種理解

因為隱私本身難以被測量,管理學(xué)領(lǐng)域的學(xué)者引入“Privacy Concerns”的概念來考察公眾的隱私態(tài)度,通過相關(guān)變量來測量隱私[3]。這一詞匯對應(yīng)兩種意涵,其一為“隱私關(guān)注”。在1968 年,Westin 將隱私關(guān)注定義為主觀上個人在隱私情境中感受道德公平的程度。后續(xù)鄰近定義又將它與“公平”“隱私情境”“主觀感受”等內(nèi)容相融合[4]。1996年,史密斯(Smith H.J.)針對網(wǎng)絡(luò)環(huán)境提出了“信息隱私關(guān)注”的概念——“由于可能損失信息隱私而引起的用戶內(nèi)在關(guān)注”[5]。有學(xué)者認為,隱私關(guān)注是一種公平程度,是個人針對相應(yīng)隱私情境的主觀感受[6]。迪涅夫與哈特(Dinev&Hart)則根據(jù)相關(guān)學(xué)者的觀點將隱私關(guān)注定義為消費者自愿或無意向B2C 電子商務(wù)網(wǎng)站泄露個人信息后,引發(fā)其對信息隱私的關(guān)注[7]。網(wǎng)絡(luò)環(huán)境的發(fā)展更新了隱私關(guān)注的概念,即“在相應(yīng)的隱私情境中,個人主觀感受到的公平程度”[8]。

在網(wǎng)絡(luò)環(huán)境中,隱私被侵犯給用戶帶來的危機感越發(fā)明顯。Rifon 等學(xué)者將隱私關(guān)注定義為一種與隱私泄露和隱私侵害相關(guān)聯(lián)的一系列特殊的信息意識和感知[9],更加凸顯出“擔憂”的色彩。此為“Privacy Concerns”的第二種理解——“隱私擔憂”。例如在廣告信息推薦過程中,當網(wǎng)站對消費者的個人信息進行監(jiān)視、存儲和未經(jīng)授權(quán)的使用時,消費者會對無法控制易受供給的個人信息而感到憂慮[10]。當個體遭遇隱私侵害或信息泄露時,自身的隱私擔憂會被喚醒或得到提升[11]。用戶的隱私擔憂受年齡、受教育程度等多重因素影響,用戶接觸不同媒體時對個人信息保護意識也呈現(xiàn)出差異性——社交媒體的媒介接觸頻度與其隱私擔憂之間存在顯著的正相關(guān)關(guān)系[12]。研究表明,用戶信息的隱私擔憂會對其使用社交媒體的態(tài)度、行為產(chǎn)生負面影響[13],也有研究持相反結(jié)論[14],但隱私擔憂確實是影響青年網(wǎng)民個人信息披露和隱私保護行為的重要變量[15],網(wǎng)絡(luò)信息接觸對青年網(wǎng)民的隱私擔憂和個人信息提供行為具有直接的正向促進作用,但權(quán)利保障感知也會間接加劇用戶的隱私擔憂[16]。這些研究打破了隱私權(quán)長期以來沿襲的具體衡量指標,將隱私的語境性和靈活性作為重要參考,更適合我國隱私權(quán)研究的路徑選擇。

(二)短視頻:技術(shù)對隱私的新挑戰(zhàn)

以短小、碎片化的視頻內(nèi)容為傳播基礎(chǔ)的短視頻,不僅降低了個體以媒介化手段建構(gòu)社會圖景、參與社會實踐的門檻,也為個體自我書寫和形成社會互動提供了更為便利的媒介工具。一方面,無論是單純的觀看,還是“一鍵三連”——點贊、評論、轉(zhuǎn)發(fā)等使用行為,以及制作發(fā)布短視頻內(nèi)容等主動分享行為,用戶暴露出的媒介使用偏好、行為數(shù)據(jù)和視頻中的可識別身份信息,無形中擴大了自身網(wǎng)絡(luò)視頻環(huán)境中可分享的隱私范圍;另一方面,社交媒體過度搜集個人隱私信息的現(xiàn)象也同樣存在于短視頻平臺?!按髷?shù)據(jù)便于挖掘和定位,易于對個體進行數(shù)據(jù)畫像,建構(gòu)關(guān)于個體的完整形象,從而使全方位全程監(jiān)控個體成為可能”[17],而權(quán)力技術(shù)化和技術(shù)權(quán)力化的交互影響與疊加,催生了公共權(quán)力與經(jīng)濟權(quán)力“聯(lián)姻”而導(dǎo)致的信息宰制[18]。2019年,引起諸多討論的“深度偽造”短視頻存在傳播不良、虛假內(nèi)容的風險[19],這在一定程度上模糊了短視頻內(nèi)容的權(quán)責認定邊界,增加了侵權(quán)追責難度,用戶隱私保護成為亟待解決的現(xiàn)實問題。

用戶對短視頻的隱私關(guān)注及應(yīng)對隱私侵權(quán)時的媒介素養(yǎng),乃是解決這一問題的關(guān)鍵。當用戶在短視頻平臺獲得強價值感知時,其對該社交媒體的使用依戀程度越高,自身歸屬感也越強。除個體的隱私認知水平對隱私擔憂程度及類型有直接影響之外,“社交媒介使用者所在的用戶群體也對其隱私認知產(chǎn)生影響”[20]。用戶對以短視頻平臺為代表的社交媒體的隱私擔憂與其他渠道不同,因為社交媒體鼓勵用戶披露個人信息,但當隱私擔憂成為信息發(fā)布的考量因素后,用戶會有意識地減少信息披露數(shù)量、頻率或展示周期[21]。這也表明,在存在人際交往的社交語境里,對隱私泄露的顧慮呈顯性化趨勢,移動短視頻中的人際交往,無形中提高了用戶對隱私的關(guān)注度[22]。

(三)作為治理手段的“算法”

在以算法為基礎(chǔ)的短視頻社交平臺信息分享過程中,隱私問題的顯性化更顯示出以算法為治理手段的必要性——為完善平臺自治缺陷、彌補用戶及監(jiān)管部門的疏漏提供了更多的路徑選擇。1984年,美國的《電子監(jiān)控與人民自由》報告指出,過去20 年間已有約四分之一的部門將“計算機化的系統(tǒng)”用于“執(zhí)法、調(diào)查或情報用途”[23],可見算法作為治理手段自20 世紀60 年代便已有之。其后,聚焦于關(guān)鍵場景算法透明公平的“法律”、趨于共識的算法倫理“規(guī)范”和邁向算法可解釋的“代碼”,貫穿了長達半個世紀的算法治理進程[24]。算法治理的優(yōu)勢在于自動、高效,通過透明度規(guī)則、算法倫理法律化和算法驗證評估制度確保算法自身的可信度,并采取短期、中期和長期方案穩(wěn)步推進[25]。人工智能為社會治理提供了數(shù)據(jù)基礎(chǔ),“治理體系的算法化”開始萌生[26]。通過算法技術(shù)將復(fù)雜的社會運行體系映射在多維、動態(tài)的數(shù)據(jù)體系之中,持續(xù)積累社會運行的數(shù)據(jù)特征,可實現(xiàn)應(yīng)對各類社會風險、提升社會治理有效性[27],促使社會治理主體更加主動地防范化解社會風險[28]的目標任務(wù)。算法治理雖然涉及諸多領(lǐng)域,但有學(xué)者指出,其治理的邏輯起點應(yīng)回到“技術(shù)、人與社會的良性互動關(guān)系”上[29];在內(nèi)容推送的應(yīng)用上,應(yīng)建立“以人為本、以影響力為追求、以結(jié)構(gòu)建設(shè)為入口、以公共性為底線”的基本價值觀[30]。以治理假新聞為例,算法治理可以從“借助算法治理、利用算法治理和依賴算法治理”三個層面展開[31],且前兩個層次目前可實現(xiàn),意味著算法治理的實際應(yīng)用潛力巨大。

將算法作為社會治理的手段之一近年來漸成趨勢。不可否認,算法形式的“有限性、確定性和有效性”與法律的運作形式自有共性[32]。但兩者兼容過程中的沖突也不可忽視,如2013 年美國“盧米斯案”,該案為2013 年美國威斯康辛州以五項罪名指控埃里克·盧米斯(Eric Loomis)與拉克羅斯(La Crosse)駕車射擊案有關(guān),但因量刑依據(jù)了依靠自動化決策的COMPAS 風險評估工具而引發(fā)爭議,法院依據(jù)自動化評估工具COMPAS 對被告盧米斯的量刑判決顯示出算法介入法律的四點爭議:依據(jù)算法量刑的準確性風險——是否符合被告的犯罪事實;透明性風險——算法計算過程中的保密性與法律量刑的公開性之間存在沖突;識別性風險——法官能否識別算法帶來的風險;歧視性風險——是否存在對性別或種族等社會身份的不公正量刑[33]。實際上,算法在不知不覺中替代人在信息傳播中的把關(guān)角色,代替人行使了塑造擬態(tài)環(huán)境的社會權(quán)力,構(gòu)造了新型的“算法政治”與權(quán)力關(guān)系[34],并衍生出“算法歧視”問題——面對算法自動化決策中因決策過程不透明和信息不對稱對某些群體造成的歧視。如何避免算法黑箱帶來的不透明、不公正等潛在風險是算法治理實踐中需直面的問題之一。

三 研究設(shè)計:對短視頻中隱私擔憂的測量與分析

短視頻的互動性增強了用戶的吸引力。尤其是豎屏短視頻所營造的沉浸式觀看方式和由此產(chǎn)生的近距離“接觸”體驗,較圖文為主的社交媒體更能刺激和調(diào)動用戶的使用欲望,從而強化用戶的自我呈現(xiàn)和用戶間的交往行為。然而,這也使用戶隱私泄露的成本更低、風險更高、隱私保護難度更大。同時,個人作為權(quán)利主體,既是隱私意識的實際感受者,也是隱私權(quán)的掌握者?!白詻Q”賦予個人發(fā)現(xiàn)自我、管理自我的能力,并將信息所有者的地位提升到與信息控制者和管理者平等的地位[35]。一個“自由的自我意識”需要其他人確定這種“自我”的社會邊界,“自決”是社會的產(chǎn)物,是不同社會實踐的結(jié)果,激勵著個人“自決”的實現(xiàn),對隱私的保護是保持和發(fā)展“自決”所必須的[36]。尤其在社交媒體環(huán)境中,個人信息“自決”的趨勢更為明顯,故從用戶視角考察其能否直接察覺隱私泄露的程度并有意識地采取保護措施,是短視頻隱私保護中繞不開的重要一環(huán),為分析短視頻生產(chǎn)與傳播中的隱私擔憂現(xiàn)狀,本文采用深度訪談法來探知用戶應(yīng)對短視頻隱私問題的態(tài)度與心理?;陔[私計算理論、計劃行為理論、信任理論,從風險感知、隱私擔憂、隱私保護意識等維度設(shè)計訪談內(nèi)容,探討抖音短視頻用戶隱私擔憂的影響因素,提升短視頻平臺用戶隱私保護水平。

(一)深度訪談的實施

本次訪談采取線上與線下相結(jié)合的方式,依據(jù)訪談提綱以及受訪者回復(fù)內(nèi)容靈活調(diào)整,每次訪談時長大約55 分鐘,主要采取面對面訪談、電話訪談等方式進行。重點圍繞受訪者在短視頻平臺中的使用行為、隱私意識以及對于抖音短視頻平臺監(jiān)管的認知等方面展開。研究者與抖音短視頻平臺的監(jiān)管者、算法工程師等群體的訪談主要就算法如何篩選隱私信息、對算法倫理的認知等方面進行具體溝通。本文采用目的性抽樣和持續(xù)比較的方法確定受訪者,并根據(jù)賬號影響力進一步比較、篩選普通用戶和“大V”。訪談結(jié)束后,研究者還對訪談對象的抖音短視頻賬號進行參與式觀察,進一步挖掘受訪者在訪談中未陳述的細節(jié)。

(二)訪談對象基本信息

本次訪談對象共計23 人,其中普通用戶13 人(基本信息如表1 所示),抖音短視頻“大V”6 人(包括“網(wǎng)紅”3 人,“MCN”主管及運營者3 人,基本信息如表2 所示),以及抖音短視頻內(nèi)容審核實習生、平臺監(jiān)管者及算法工程師7 人(基本信息如表3 所示)。受訪者年齡在18~45歲之間。

表1 普通用戶基本信息表

表2 “大V”(生產(chǎn)者)基本信息表

表3 平臺監(jiān)管者與技術(shù)人員基本信息表

在本次訪談獲取的13份普通用戶樣本中,男性6人,女性7人,性別分布較為均衡;年齡集中在20~30 歲之間,經(jīng)常使用抖音短視頻軟件。2021 年2月,“巨量算數(shù)”數(shù)據(jù)分析平臺公布的抖音短視頻用戶畫像報告顯示,抖音短視頻平臺整體人群中男女較均衡,其中19~24 歲、41~45 歲的男性用戶對短視頻偏好度高,19~30 歲的女性用戶對短視頻偏好度高。綜上,本次搜集的樣本信息具有一定的代表性,可用做基礎(chǔ)的探索性研究。

當前,入駐抖音短視頻平臺的“大V”從主體上看,分為自媒體、MCN機構(gòu)以及政務(wù)媒體三大類;從內(nèi)容上看,涵蓋了時政教育、知識資訊等多種類型。基于此,本文對于抖音短視頻平臺“大V”的選擇涵蓋政務(wù)、教育、直播、生活、娛樂等領(lǐng)域,粉絲量2 萬~1136萬不等。

(三)短視頻中隱私泄露的具體表現(xiàn)

1.隱私認知邊界差異大,個人隱私信息被動泄露

傳統(tǒng)意義上,私人領(lǐng)域的私密性,指的是在私人生活中不愿為他人知曉的個人隱私等,公共領(lǐng)域則強調(diào)公開性,指的是公共生活的去個人化,是可以或應(yīng)該為公眾所知曉的。但在以視頻傳播為主要形式的短視頻平臺中,公私邊界較為模糊,私人生活公共化和公共生活私人化漸成常態(tài)。

為了吸引更多用戶關(guān)注,滿足個人虛榮心、塑造理想的視覺形象,不少短視頻都存在“表演”成分,甚至以極端、違背公序良俗的內(nèi)容來吸引他人圍觀。而用戶對于“隱私”的理解及隱私邊界認定參差不齊,加劇了私人生活公共化趨勢。本次訪談對用戶(包括生產(chǎn)者)的隱私認知作出初步界定,其中95%的受訪者認為,手機號碼、通訊錄、身份信息、家庭住址等屬于個人隱私,少數(shù)受訪者認為姓名不屬于個人隱私。

與此同時,為了獲取更多的注意力、滿足個人虛榮心,用戶發(fā)布的短視頻內(nèi)容往往呈現(xiàn)出“表演濃厚、‘曬’成主流”之勢。用戶A13表示:“我身邊很多朋友在抖音短視頻平臺上‘曬’娃,因為抖音短視頻拍起來很方便嘛。這種形式比文字、圖片直觀的多?!边€有短視頻用戶以汽車、房屋為背景來分享生活,“曬”行蹤、“曬”工資和“曬”消費記錄,等等。這些所“曬”的內(nèi)容皆涉及個人信息中的敏感信息。用戶A1表示:“有時候感覺說一句話,抖音就會推薦相關(guān)內(nèi)容,好像抖音短視頻平臺在監(jiān)視用戶,我挺擔心自己的信息被平臺濫用的。但是我又覺得這種行為是合理的,因為平臺收集你的信息也是為了向用戶提供更好的產(chǎn)品服務(wù),這是個性化推薦的代價。”

2.“隱私悖論”效應(yīng)明顯,個人生活空間被無意識放大

針對隱私泄露風險,用戶并不會因為隱私擔憂而選擇不披露個人信息,從而形成隱私擔憂“悖論”,社交網(wǎng)站不斷降低使用者對個人信息的主導(dǎo)權(quán)與隱私敏感,為了獲得更好的使用體驗,使用者也對個人隱私的保護不夠重視。在訪談中,大部分用戶可以感知到個人隱私被泄露的風險,也會對平臺收集、使用其個人信息表現(xiàn)出擔憂,但仍表示會繼續(xù)使用抖音觀看和發(fā)布視頻,這也反映出用戶對隱私風險的樂觀偏見——認為自己比普通人遭受的隱私風險侵害要低,也從側(cè)面印證了用戶風險感知與收益感知的不對等。用戶A9 在訪談中認為,“其實我認為把通訊錄、地址這些信息授權(quán)給平臺是不安全的,但沒辦法……既然使用了這個軟件,就相當于默認了平臺這些操作。而且目前我的信息也沒被泄露過,我覺得我能控制我的信息不被泄露,我有這個能力?!睂τ诙桃曨l平臺的信任也強化了用戶的樂觀偏見。訪談發(fā)現(xiàn),87%的受訪者均表現(xiàn)出對抖音短視頻平臺的信任,認為抖音短視頻平臺向其提供的服務(wù)符合心理預(yù)期,盡管自己為了使用某項服務(wù)需要提供信息,但仍相信平臺不會濫用其信息。

3.機構(gòu)類短視頻生產(chǎn)者對隱私保護意識不足

生產(chǎn)者在隱私保護意識方面呈現(xiàn)出由于短視頻運營機構(gòu)、內(nèi)容不同,對于隱私泄露的限制也不相同的特點。英語機構(gòu)運營者B4 表示:“抖音并不會因為內(nèi)容好就火,你也會看一些同行業(yè)同類做得比較火的,他們是什么內(nèi)容的,你就往那去靠?!蹦矼CN機構(gòu)負責人B6在訪談中透露:“我是做直播帶貨的,可能會涉及主播更換服裝,但我們會專門配備更衣室。直播的場景一般都是在公司內(nèi)部,不會涉及公共場所?!毕噍^于某些機構(gòu),政務(wù)短視頻在隱私保護方面做得最好,運營“中國警察網(wǎng)”的B5 表示:“我們單位會定期進行培訓(xùn),規(guī)定哪些內(nèi)容不能發(fā)。比如視頻涉及到緝毒警察,我們會對整體輪廓進行打碼處理,還會進行聲音處理。在視頻發(fā)布之前我們也會征得被攝者的同意?!?/p>

此外,大量MCN機構(gòu)在明知被攝者不同意的情況下,未進行面部輪廓模糊處理上傳視頻的情況。如訪談中,網(wǎng)紅B2 談到一次自己拍攝經(jīng)歷時表示:“有一次我被安排拍攝在商場里尋孩子的劇情,有一幕是需要我假扮商場的工作人員,我當時是覺得要征得工作人員的同意,但我的制作人跟我說就直接拍不用征得同意,最后我妥協(xié)了,視頻中也沒有對該商場其他工作人員進行面部輪廓模糊處理。”除物理空間外,對諸如微信聊天記錄、微信群等虛擬空間的曝光也屬于私密泄露。中國裁判文書網(wǎng)記錄了數(shù)十起相關(guān)案例,涉及出于報復(fù)未經(jīng)他人同意上傳微信聊天記錄,被判處侵犯隱私權(quán)成立。在訪談中,也有部分用戶認為微信群、微信聊天記錄不屬于隱私,因而在抖音短視頻平臺上上傳與他人的微信聊天記錄未做模糊處理。

4.平臺隱私設(shè)置條款繁瑣

隱私政策是一種保護用戶信息安全的自律措施,同時也有利于用戶了解個人權(quán)利并保護個人隱私[37]。抖音短視頻平臺對用戶隱私保護的設(shè)計體現(xiàn)在昵稱設(shè)置、使用虛擬頭像及相關(guān)隱私權(quán)限的設(shè)置等。通過訪談發(fā)現(xiàn),大部分用戶在個人信息如身份證號碼、手機號碼等方面的隱私認知較強,但涉及私密空間、個人私密活動等視頻時,多數(shù)用戶認為不涉及隱私,這極易造成隱私泄露、而被不法分子利用。此外,盡管絕大部分用戶沒有使用個人真實姓名及照片,仍有83%的受訪者表示首次登錄抖音短視頻平臺時會在不加思索的情況下直接同意平臺獲取通訊錄、地理位置等敏感信息,在發(fā)布視頻時也不會考慮是否涉及隱私,呈現(xiàn)出較低的隱私保護意識。

此外,抖音短視頻平臺的隱私政策繁冗復(fù)雜,絕大多數(shù)用戶直接勾選“同意”而非細致閱讀,導(dǎo)致用戶并不了解可以調(diào)整隱私設(shè)置,如果全部勾選“不同意”則只能退出交易或取消注冊。這種簡單的全無全有操作模式導(dǎo)致實際運用中的高成本和低效率——閱讀冗長復(fù)雜的隱私條款會花費用戶巨大的精力和時間,同時受制于教育背景可能帶來的理解偏差,抖音短視頻平臺雖然履行了告知義務(wù),但用戶的“同意”在此情況下很難被認為是意思自治的表示。也有用戶認為,隱私政策的出臺實際上是平臺侵犯用戶隱私的保護傘,“你明示同意了,那平臺收集利用你的信息也就不涉及侵權(quán),而且平臺權(quán)力那么大,我個人的力量太渺小,即使看出隱私政策有問題了,那也沒有辦法?!庇脩鬉9表示。

雖然隨著隱私保護意識的提升,越來越多的用戶選擇事后修改或設(shè)置軟件權(quán)限,如不授權(quán)平臺獲取通訊錄、不允許他人看到自己點贊或喜歡的視頻等,但當前短視頻平臺上的隱私政策仍難以真正應(yīng)用于用戶隱私保護。一方面,平臺方公布的隱私政策有失公正;另一方面,部分用戶對于短視頻平臺隱私政策關(guān)注度、認可度比較低。受訪者A5表示,“即使卸載了抖音軟件,但很多信息如手機號等仍留存在平臺上,如果抖音軟件能有一鍵刪除相關(guān)記錄的功能就好了?!?/p>

四 短視頻中隱私侵權(quán)問題的算法治理檢視

隨著短視頻進入算法時代,算法技術(shù)賦予了平臺更多權(quán)力,平臺在信息把關(guān)與審核方面扮演著重要角色。因此,本文通過與訪談人員的溝通并結(jié)合抖音短視頻平臺發(fā)布的關(guān)于用戶隱私保護的相關(guān)措施,分析抖音短視頻平臺內(nèi)部審核機制以及算法治理邏輯,從平臺角度探討算法治理在當前短視頻平臺抑制隱私侵權(quán)方面的優(yōu)勢與隱私侵權(quán)的倫理隱憂。

(一)算法治理:新技術(shù)思維的嵌入

1.覆蓋短視頻審核全流程

當前,算法技術(shù)已經(jīng)廣泛應(yīng)用于抖音短視頻審核的各個階段,覆蓋視頻內(nèi)容生產(chǎn)、傳播的全過程。在此過程中,算法通過收集、分析信息,并根據(jù)用戶的反饋及時優(yōu)化系統(tǒng)。抖音平臺中的內(nèi)容審核過程可以概括為:首先是對視頻內(nèi)容來源進行審核;其次是機器依托算法技術(shù)抓取關(guān)鍵詞,對視頻分幀審核,以及人工復(fù)核;最后,短視頻平臺會持續(xù)關(guān)注受眾的反饋,被舉報的內(nèi)容會直接由人工復(fù)審。在這一系列過程中,通過用戶的反饋與平臺互通的良性循環(huán),能夠?qū)τ脩粝嚓P(guān)敏感信息做到及時認知并修改算法在治理中可能存在的漏洞。

2.嚴格算法內(nèi)嵌規(guī)則

在訪談中,多位用戶稱自己制作的短視頻在傳播過程中遭遇過禁止或限制的情況,并表示抖音短視頻平臺的審核機制較其他短視頻平臺更為嚴苛。從2018年年初開始,抖音短視頻平臺就將站內(nèi)的違規(guī)視頻、違規(guī)用戶等對外公示,加強了對違規(guī)賬號的管理和規(guī)范,公開的規(guī)范內(nèi)容涉及禁用詞匯、違規(guī)行為以及敏感詞匯等多個方面,覆蓋面極為廣泛,算法治理正是基于這些嚴苛的規(guī)范運行的。在訪談中,抖音短視頻平臺審核員C5表示:“視頻一定要建立在抖音平臺的規(guī)則基礎(chǔ)之上,算法第一輪就是根據(jù)抖音發(fā)布的內(nèi)容審核規(guī)范進行篩選,一但觸碰紅線,輕則限流,重則封號數(shù)日,甚至直接封號?!倍桃曨l相較于其他呈現(xiàn)方式更復(fù)雜,增加了審核的難度,算法通過對畫面、音頻以及音調(diào)的識別提高了平臺審核的效率。

3.自審與他審協(xié)同治理

除抖音短視頻平臺審核外,抖音短視頻平臺還配備了內(nèi)容審核“小助手”,利用算法程序幫助生產(chǎn)者在內(nèi)容發(fā)布時實現(xiàn)自審。“網(wǎng)紅”B1 在訪談中表示:“我以前有一條視頻因為內(nèi)容涉及手機號、二維碼等隱私信息沒有審核通過。2017 年的時候視頻沒通過我就得一幀一幀地看,但是現(xiàn)在抖音配備了‘排雷小助手’程序,哪些內(nèi)容不符合規(guī)定它就會直接標記出來,我的隱私保護意識也是在一次次試錯中培養(yǎng)出來的?!痹谥辈シ矫妫兑敉ㄟ^人機協(xié)同的方式加大了審核的力度,政務(wù)短視頻運營者B5 表示:“我們的賬號在嗶哩嗶哩網(wǎng)站、快手App 等平臺都有入駐,但相比而言,抖音短視頻平臺的審核更為嚴格。抖音短視頻平臺先由機器審核,機器審核通過后你的內(nèi)容會進入‘流量池’,如果你的內(nèi)容凡響比較熱烈它就會進入二期的人工審核。抖音短視頻幾乎所有直播的彈幕評論都是經(jīng)過人工審核的?!背€上審核外,抖音短視頻平臺還進行線下的培訓(xùn)。MCN機構(gòu)主管B6在訪談中表示:“抖音短視頻平臺有自己的內(nèi)容審核標準和規(guī)范,這些都是公開可以查到的。”政務(wù)短視頻運營者B5 則透露:“抖音短視頻平臺會定期對發(fā)布者進行培訓(xùn),講解需要注意的事項,對接的部門分的很細,包括政務(wù)、新聞媒體、自媒體等?!?/p>

(二)算法隱憂:治理算法的起點

1.利益驅(qū)動收集、使用敏感信息

平臺媒體的核心特點是吸引和掌握海量數(shù)據(jù)[38],依靠算法推薦技術(shù),抖音短視頻實現(xiàn)了精準推送,但前提是建立在大規(guī)模收集、使用用戶個人信息上。2020 年6 月,抖音短視頻被曝光出會不斷自動訪問手機剪貼板內(nèi)容,引發(fā)了人們關(guān)于密碼、工作文檔、敏感電子郵件、財務(wù)信息、驗證碼以及聊天記錄等隱私信息安全性的擔憂。訪談中,有用戶表示即使卸載了抖音短視頻軟件,但其依舊會收集用戶的電話號碼并向用戶發(fā)送短信,如用戶A2 談道:“之前我卸載過一次抖音App,但不久之后抖音App 通過短信告知我:‘我認識的朋友xxx 發(fā)布了視頻,快來圍觀’這樣的內(nèi)容,我覺得很困擾。我希望抖音App 能夠向用戶提供永久刪除權(quán),就比如說我不使用抖音App 了,平臺上關(guān)于我所有的信息包括瀏覽痕跡都能全部消除,這樣就不會出現(xiàn)我卸載抖音App 還留有我手機號的情況?!贝送?,抖音平臺還將用戶信息與第三方共享,“直播帶貨”機構(gòu)主管B6提到:“只要你在平臺上注冊并投放了Feed流(直播間付費推廣工具),你的信息就處于公開的狀態(tài),包括江浙滬地區(qū)的直營中心、第三方代理都會有我的電話,這實際就是一種隱私泄露,平臺起碼有監(jiān)管或保護個人隱私的責任?!?/p>

2.算法歧視下用戶標簽化

在短視頻市場中,平臺很難不受流量導(dǎo)向的影響,在算法中對弱勢群體進行標簽化區(qū)分,對其發(fā)布內(nèi)容的閱讀量和推送量在一定時間內(nèi)進行限制,使其更加邊緣化。例如,2019 年一份抖音海外版(TikTok)泄漏的內(nèi)部管理培訓(xùn)文件顯示,平臺上殘疾人、面部損傷(包括胎記與斜視)、孤獨癥、唐氏綜合癥用戶上傳的視頻,在達到6000~10000次播放量之后,會自動歸類為“不推薦”類別,此舉暴露了平臺方非法侵犯用戶個人數(shù)據(jù)隱私的問題,即抖音短視頻平臺通過竊取用戶生物識別特征等隱私對弱勢群體進行標簽化區(qū)分的做法是對用戶個人信息的一種濫用,侵犯了弱勢群體平等參與公共生活的權(quán)利。政治內(nèi)嵌與資本介入,社會結(jié)構(gòu)性偏見的循環(huán),量化計算對有機世界的遮蔽,必將導(dǎo)致算法的內(nèi)生性偏見[39]。算法工程師C7 談道:“張一鳴曾公開表示‘算法無價值觀’,但人是有主觀偏見的。在我看來,機器本身沒有價值觀,有偏見的是研發(fā)它的工程師團隊?!?/p>

3.算法漏洞暴露私密活動

有學(xué)者指出,算法的語言和思維不斷靠近智能發(fā)展的“奇點”,具備了語言能力的人工智能在地位上會逼近人類,動搖人類的主體性地位[40]。通過建立復(fù)雜的多變量系統(tǒng)以及龐大的數(shù)據(jù)庫,算法在某些方面超越了人類。但是由于現(xiàn)實問題的復(fù)雜性,算法漏洞不可避免,算法越復(fù)雜,風險就越高。人工智能只是在特定的代碼規(guī)則下運行,并不能向人腦一樣判定帶有感情色彩、或者相近意思的內(nèi)容。如果這些漏洞被黑客利用,將帶來致命威脅。華為大數(shù)據(jù)工程師C4在訪談中提出:“通過向AI算法提供海量的視頻資源庫,算法可以自己通過深度學(xué)習的方式來總結(jié)暴力、色情或侵犯隱私的情形,以此完成進化。隨著人們生活信息化程度的日漸加深,視頻愈加豐富,需要研發(fā)團隊去完善和補充算法資源庫。僅憑算法技術(shù)修補漏洞顯然是不可靠的?!边@從側(cè)面驗證了可能存在的算法資源庫滯后等問題。

五 構(gòu)建算法治理與法律治理的兼容模式

面對短視頻中的隱私侵權(quán)問題,算法能夠第一時間依托預(yù)先設(shè)計好的代碼規(guī)則進行規(guī)制,實現(xiàn)了從監(jiān)管客體向監(jiān)管主體的轉(zhuǎn)變。然而算法本身是去中心化的,這在一定程度上與法律規(guī)制相悖。因此,如果把算法治理作為元規(guī)制,則需持續(xù)優(yōu)化算法設(shè)計,尋找現(xiàn)行法律與算法的平衡點,構(gòu)建算法與法律的兼容模式。需要明確的是,這種兼容,即所謂“算法法律化”或者“法律代碼化”[41],算法與法律并不只是相互消解的關(guān)系,而是相互協(xié)調(diào)的關(guān)系。算法不僅可以提供強化法律指令集的技術(shù)工具,更是方法論意義上的思維工具。此外,應(yīng)對隱私擔憂問題也離不開協(xié)同治理模式的構(gòu)建,當以協(xié)同和共識為基礎(chǔ)的治理主體和客體打破了彼此在地位、邏輯和方式上的對立和隔閡[42],可以有效促進平臺與監(jiān)管部門、社會組織等利益相關(guān)者形成跨部門、跨地域的合作,這為推動算法治理落地見效提供長效思路,并能為治理短視頻中的隱私泄露問題提供立體保障。

(一)回歸算法與優(yōu)化設(shè)計

1.實施元規(guī)制治理

技術(shù)和法制是推動社會發(fā)展、維護社會穩(wěn)定的“兩架馬車”,技術(shù)保護、法律保護和自律保護是隱私保護的三種主要手段。其中,法律保護滯后,無法對新技術(shù)發(fā)展作出及時回應(yīng);自律保護取決于企業(yè)的自我約束以及公民自我的數(shù)據(jù)安全意識,但目前呈現(xiàn)總體薄弱的特征,而技術(shù)保護以高效便捷的特點已被廣泛應(yīng)用于短視頻審核中。查爾斯·克拉克認為,“解決機器問題的,只能是機器”。監(jiān)管代碼系統(tǒng)的最佳方式就是構(gòu)建代碼規(guī)范的自動化監(jiān)管。短視頻平臺中,算法監(jiān)管貫穿視頻的生產(chǎn)與分發(fā)全過程,內(nèi)容審核的主力由人工向機器轉(zhuǎn)變。治理隱私泄露問題必然要回歸算法本身,實施元規(guī)制治理。元規(guī)制治理是規(guī)制對象在政府外在規(guī)制作用下,由規(guī)制客體轉(zhuǎn)變?yōu)橐?guī)制主體,采取具有內(nèi)控性質(zhì)的一種自我規(guī)制形式。這種規(guī)制形式具有政府規(guī)制和自我規(guī)制雙重面向。它既能防止自我規(guī)制出現(xiàn)自利性傾向,又能解決政府規(guī)制能力不足的問題[43]。

面對短視頻隱私侵權(quán)問題,不同于法律的事后規(guī)制,算法技術(shù)能夠第一時間作出反應(yīng),減輕隱私泄露對當事人造成的侵擾,也可以通過優(yōu)化算法審核邏輯從源頭限制隱私侵權(quán)視頻的傳播。算法技術(shù)的廣泛運用,用戶可以在不侵犯他人隱私的框架下瀏覽、發(fā)布短視頻,算法技術(shù)提供了較為理想和符合各方利益的解決方案。

2.優(yōu)化人機公審機制

信息社會,隨著信息數(shù)量的指數(shù)級增長,人將越來越難以對海量信息進行獨立處理,未來信息分發(fā)與審核將越來越依賴算法。在算法主導(dǎo)監(jiān)管的短視頻平臺中,雖然技術(shù)的應(yīng)用提高了審核效率,但對某些動態(tài)模糊圖片等仍存在審核漏洞。為確保算法技術(shù)的信度和效度,應(yīng)充分利用“技術(shù)把關(guān)”,同時輔之“人工把關(guān)”,不斷優(yōu)化人工審核機制。一是算法技術(shù)要體現(xiàn)人的倫理,在輸入代碼規(guī)則時,將社會主流價值觀予以貫徹,用規(guī)范的新聞專業(yè)性完成對算法推薦的規(guī)訓(xùn),確保用戶接收到的內(nèi)容是符合社會主義核心價值觀的產(chǎn)品。二是正向引導(dǎo)人工智能、大數(shù)據(jù)技術(shù)的應(yīng)用,及時接收用戶反饋,擴大對敏感信息和隱私內(nèi)容的篩查范圍,做到隱私保護事前嚴防,事后快糾。第三,建立健全信息預(yù)警機制,加入“該視頻包含誘導(dǎo)性信息”“請謹慎點擊外鏈”等相關(guān)預(yù)警標簽,建立“人臉識別+人工審核+實名認證”三道“防火墻”,對短視頻平臺上的信息內(nèi)容進行嚴格審核,保證視頻內(nèi)容的質(zhì)量和準確性。

(二)推進算法治理法治化

1.事前設(shè)計部署

《中華人民共和國電子商務(wù)法》《中華人民共和國網(wǎng)絡(luò)安全法》《中華人民共和國計算機信息系統(tǒng)安全保護條例》《中華人民共和國個人信息保護法》(以下簡稱《個人信息保護法》)等對算法規(guī)則都有相關(guān)規(guī)定。其中,《個人信息保護法》提出了算法自動化系統(tǒng)決策治理的方案,要求平臺事前對運行的自動化決策系統(tǒng)進行評估,并保證決策的公平、公正、透明。平臺的應(yīng)用網(wǎng)絡(luò)服務(wù)符合國家強制標準、不得設(shè)置惡意程序,發(fā)生問題要及時修補漏洞,保障網(wǎng)絡(luò)安全,同時在利用算法技術(shù)進行自動化決策前,向用戶告知算法處理數(shù)據(jù)的邏輯以及對用戶產(chǎn)生的影響。除上述程序需提前部署外,平臺對內(nèi)容進行事前審查。但其內(nèi)容審查義務(wù)主要是防止和限制不法信息傳播,不能侵犯用戶隱私[44]?!吨腥A人民共和國民法典》第1197 條規(guī)定:網(wǎng)絡(luò)服務(wù)提供者知道或者應(yīng)當知道網(wǎng)絡(luò)用戶利用其網(wǎng)絡(luò)服務(wù)侵害他人民事權(quán)益,未采取必要措施的,與該網(wǎng)絡(luò)用戶承擔連帶責任[45]。事前預(yù)防正是算法的優(yōu)勢所在,短視頻監(jiān)管者可通過收集用戶反饋,不斷優(yōu)化算法審查邏輯,完善數(shù)據(jù)庫,做到事前對隱私侵權(quán)內(nèi)容的預(yù)防。

此外,要實現(xiàn)法律與算法的兼容,就需要從算法所依賴的對象——數(shù)據(jù)入手,在不影響平臺利用算法分析用戶興趣愛好、內(nèi)容審核的前提下,通過對個人數(shù)據(jù)界定、脫敏以及細化數(shù)據(jù)處理原則等,實現(xiàn)法律的事前規(guī)制。2018年5月25日,歐盟《通用數(shù)據(jù)保護條例》(General Data Protection Regulation,簡稱:GDPR)正式生效,其主要立法目的在于實現(xiàn)對個人信息的全面保護并促進個人信息自決權(quán)的行使。其中,GDPR 將種族、民族信仰、性取向等作為禁止處理的個人敏感數(shù)據(jù),并要求使用者對數(shù)據(jù)進行脫敏處理,指出數(shù)據(jù)主體擁有自決權(quán),可以對算法進行人工干涉。此方式應(yīng)用到短視頻平臺中,可以從源頭減少個人隱私的非法收集與應(yīng)用,落實個人信息自決權(quán)。在美國,紐約市議會于2017年年底通過的《算法問責法案》要求成立一個由自動化決策系統(tǒng)專家和相應(yīng)公民組織代表組成的工作組,專門監(jiān)督自動決策算法的公平和透明[46];美國白宮于2020年發(fā)布了《人工智能應(yīng)用監(jiān)管指南》,提出對算法系統(tǒng)可能產(chǎn)生的風險進行預(yù)警,鼓勵行政機關(guān)與私營部門合作、加強公眾參與、提倡公開更多聯(lián)邦數(shù)據(jù)等[47]。我國亦可借鑒國外立法經(jīng)驗,除規(guī)范平臺的事前預(yù)防機制外,還應(yīng)提升短視頻用戶的媒介素養(yǎng),鼓勵用戶對平臺的算法治理進行監(jiān)督,調(diào)動用戶作為信息自決主體的積極性,形成多元協(xié)同的預(yù)防模式。

2.事中多方監(jiān)督

短視頻平臺運用算法技術(shù)進行監(jiān)管的過程中,短視頻平臺應(yīng)該定期對自身的信息處理活動、保護措施等自身進行合法性審查。監(jiān)管部門可委托第三方進行算法核查。這對于糾正算法偏差起到了補充作用。因此就需要引入社會第三方力量的參與,改變過去政府單向度的“命令加控制”的管控方式,構(gòu)建算法規(guī)制的合作治理路徑,從專業(yè)角度監(jiān)管算法,使算法更好地發(fā)揮治理效能。GDPR 規(guī)定數(shù)據(jù)控制者或數(shù)據(jù)處理者在進行數(shù)據(jù)保護影響評估時,必須征求數(shù)據(jù)保護官的意見。在當前算法深入應(yīng)用的數(shù)字社會中,個人數(shù)據(jù)保護制度發(fā)揮著監(jiān)管企業(yè)數(shù)據(jù)活動的作用[48]。

值得注意的是,第三方社會力量的引入可以增強算法監(jiān)管的效率,但同時也不能忽視對第三方機構(gòu)的監(jiān)管,除需對第三方機構(gòu)的資質(zhì)進行認定外,還應(yīng)制定覆蓋數(shù)據(jù)投入、數(shù)據(jù)處理和數(shù)據(jù)產(chǎn)出全過程的算法質(zhì)量標準。否則,第三方機構(gòu)可能因為利益因素而淪為數(shù)據(jù)生產(chǎn)者的同盟或擺設(shè)[49]。因此,構(gòu)建第三方力量在算法合作治理中的參與機制需明確以下幾點:第一,社會第三方力量的參與權(quán)限——如監(jiān)督或?qū)徍似脚_對訪問協(xié)議嚴密性的規(guī)定、在線跟蹤個人信息再次使用情況或未經(jīng)同意將用戶數(shù)據(jù)轉(zhuǎn)賣等事宜;第二,細化社會第三方力量參與程序,如參與時間、參與方式和參與決定權(quán)[50]等。

3.事后救濟規(guī)制

2017 年,英國科學(xué)院和皇家學(xué)會明確提出,將促進數(shù)字福祉的日益增長和人類繁榮作為數(shù)據(jù)開發(fā)、利用和管理的首要原則。這就需要在法律規(guī)制中進一步強調(diào)個人對數(shù)字技術(shù)和網(wǎng)絡(luò)服務(wù)的高質(zhì)量使用。當前,應(yīng)充分挖掘用戶隱性需求,推出能夠真正記錄生活且符合主流價值觀的內(nèi)容。依法治理隱私侵權(quán)問題,設(shè)立個人數(shù)據(jù)被遺忘權(quán)和更改權(quán),權(quán)利主體有權(quán)界定個人的隱私邊界,決定其信息的保留、刪除與更改。規(guī)定平臺在面對用戶提出的刪除侵犯隱私的視頻內(nèi)容等法定義務(wù)時,應(yīng)及時作出反饋并阻止侵權(quán)行為的發(fā)生和擴大。

在當算法侵犯個人數(shù)據(jù)信息時,必要的問責機制可以更好的提供救濟并預(yù)防此類威脅的再度發(fā)生[51]。2019年4月,由部分美國民主黨參議員提出的《2019算法問責制法案》(Algorithmic Accountability Act of 2019),試圖對機器學(xué)習中的偏見和個人敏感信息使用問題進行規(guī)制。針對算法技術(shù)使用中可能出現(xiàn)的泄露用戶隱私、收集用戶敏感內(nèi)容等問題,提出了盡快制定關(guān)于“高風險自動決策系統(tǒng)”(High-Risk Automated Decision System)的評估規(guī)則,并明確了聯(lián)邦貿(mào)易委員會在監(jiān)管程序中的權(quán)力和責任。運營商依托算法技術(shù)在短視頻平臺擁有強大影響力和決策力,算法問責制的制定可使運營商遵守法律,確保運營商的決策不會對用戶造成傷害。對此,我國可以在現(xiàn)行法律框架內(nèi),吸取國外經(jīng)驗,做到算法問責制的本土化,進一步完善算法與法律的兼容模式。

綜上所述,算法在短視頻內(nèi)容分發(fā)及審核上發(fā)揮著巨大作用,推動算法治理的良性發(fā)展最可靠的辦法仍是激發(fā)平臺對于優(yōu)化算法的治理訴求。

當前算法治理涉及三大核心問題——透明性、規(guī)范性和責任認定。從透明性上看,算法透明作為算法權(quán)力規(guī)制的可能進路業(yè)已具備一定的現(xiàn)實可能性和外部環(huán)境條件[52],雖然受知識產(chǎn)權(quán)保護等其他外部因素制約,算法透明只能是有限度的透明,但作為規(guī)范算法權(quán)力的應(yīng)對之策,可作為解決短視頻隱私擔憂的手段之一。從規(guī)范性上看,技術(shù)規(guī)范應(yīng)與法律規(guī)范并行,即平臺應(yīng)用算法解決用戶隱私擔憂問題時應(yīng)符合我國民法典和網(wǎng)絡(luò)音視頻相關(guān)法規(guī),在缺少針對算法問題專門法的現(xiàn)實情境下,平臺應(yīng)重視技術(shù)倫理、優(yōu)化技術(shù)規(guī)范。從責任認定上看,短視頻隱私泄露涉及的主體主要集中在作為生產(chǎn)與傳播者的用戶個體和作為內(nèi)容審核與傳播中介的平臺方,平臺方負有傳播與監(jiān)督的責任,因此一旦認定隱私侵權(quán)成立,平臺方有義務(wù)協(xié)助并配合司法與行政部門,厘清算法案件主體責任,并以自身的算法治理實踐推動我國現(xiàn)行法律在算法治理方面的制度框架調(diào)整,使算法治理落到實處。

猜你喜歡
內(nèi)容算法用戶
內(nèi)容回顧溫故知新
基于MapReduce的改進Eclat算法
Travellng thg World Full—time for Rree
進位加法的兩種算法
關(guān)注用戶
商用汽車(2016年11期)2016-12-19 01:20:16
主要內(nèi)容
臺聲(2016年2期)2016-09-16 01:06:53
關(guān)注用戶
商用汽車(2016年6期)2016-06-29 09:18:54
一種改進的整周模糊度去相關(guān)算法
關(guān)注用戶
商用汽車(2016年4期)2016-05-09 01:23:12
如何獲取一億海外用戶
通道| 绿春县| 漾濞| 奇台县| 清涧县| 从化市| 台安县| 彝良县| 靖宇县| 白山市| 许昌县| 平塘县| 斗六市| 涿州市| 行唐县| 阳城县| 衡阳市| 岑溪市| 安龙县| 施甸县| 电白县| 郎溪县| 海安县| 博野县| 尚义县| 且末县| 百色市| 盘锦市| 喜德县| 东光县| 郓城县| 秦安县| 阳信县| 精河县| 修水县| 会同县| 沾益县| 平罗县| 东乌珠穆沁旗| 花垣县| 苍山县|