国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

數(shù)字技術(shù)差異賦權(quán)風(fēng)險的法律規(guī)控

2022-12-26 13:36
關(guān)鍵詞:賦權(quán)公民權(quán)利

宋 保 振

(山東大學(xué) 法學(xué)院,青島 266200)

互聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)等技術(shù)在改變?nèi)藗兩a(chǎn)生活方式、推進(jìn)數(shù)字政府治理與改革、提升企業(yè)生產(chǎn)經(jīng)營效率的同時,也因國家、企業(yè)及個人獲取及運(yùn)用數(shù)據(jù)信息的水平能力差異,引發(fā)數(shù)字技術(shù)對不同主體的差異賦能和參差賦權(quán)??陀^地說,政府和互聯(lián)網(wǎng)企業(yè)等信息控制者憑借其權(quán)力和資本優(yōu)勢,占有技術(shù)賦權(quán)的優(yōu)勢本無可厚非。但事實上,在浩蕩的數(shù)字經(jīng)濟(jì)大潮中,數(shù)字技術(shù)被全面、深入、廣泛地運(yùn)用。它在改變社會主體活動能力、方式和機(jī)遇的同時,引發(fā)深刻的社會結(jié)構(gòu)與社會關(guān)系變革。這誘使數(shù)字技術(shù)的非均衡賦權(quán)超越資本運(yùn)作和政權(quán)治理規(guī)律,不斷加劇不同社會主體間權(quán)利(權(quán)力)的結(jié)構(gòu)性失衡。此時,一種“技術(shù)+法律”的分析與治理模式就成為必然選擇?;诖?,本文在厘清數(shù)字技術(shù)差異賦權(quán)及其所致風(fēng)險的基礎(chǔ)上,探討尋求法治化風(fēng)險化解路徑的正當(dāng)理據(jù),進(jìn)而借助公民信息權(quán)利保障及自動化決策的法律回應(yīng),落實數(shù)字技術(shù)差異賦權(quán)風(fēng)險的法律規(guī)控。

一、數(shù)字技術(shù)賦權(quán)及其差異化樣態(tài)

長期以來,學(xué)界都是從新媒體和信息傳播領(lǐng)域來理解技術(shù)賦權(quán),將其用于描述通過傳播活動使得精英主義壟斷被打破,話語權(quán)重新分配這一現(xiàn)象。伴隨數(shù)字社會全面深入,之前的“互聯(lián)網(wǎng)式”交流方式已遍布當(dāng)今社會生產(chǎn)生活的方方面面,信息流動從傳統(tǒng)的“單向傳播”轉(zhuǎn)向“雙向互動”,大數(shù)據(jù)和人工智能更使得此信息傳播實現(xiàn)了量級升華。此時,技術(shù)賦權(quán)也突破傳統(tǒng)的傳播領(lǐng)域和互聯(lián)網(wǎng)媒體限制,并衍生出賦權(quán)更充分、內(nèi)容更廣泛以及影響更深遠(yuǎn)的數(shù)字技術(shù)賦權(quán)。數(shù)字技術(shù)賦權(quán)作為互聯(lián)網(wǎng)技術(shù)賦權(quán)在當(dāng)今數(shù)字化、智能化時代的展現(xiàn),既具有傳統(tǒng)技術(shù)賦權(quán)的一般共性,也因大數(shù)據(jù)、人工智能技術(shù)升級,產(chǎn)生了相應(yīng)的獨(dú)特性。而且,在社會結(jié)構(gòu)與社會關(guān)系變革交織作用下,相比一般性互聯(lián)網(wǎng)技術(shù)賦權(quán),數(shù)字技術(shù)產(chǎn)生的差異賦權(quán)現(xiàn)象尤為典型。

(一)數(shù)字技術(shù)賦權(quán)的特性

第一,從賦權(quán)對象看,數(shù)字技術(shù)賦權(quán)針對國家、組織和社會多主體,并具有交互性。相對于傳統(tǒng)賦權(quán)主要面向社會弱勢群體,目的在于擴(kuò)大邊緣群體進(jìn)行平等資源分配的機(jī)會與能力,數(shù)字技術(shù)賦權(quán)則具有主體多元性。該多元性也構(gòu)成“技術(shù)賦能”和“技術(shù)賦權(quán)”的本質(zhì)差別?!凹夹g(shù)賦能”強(qiáng)調(diào)新興數(shù)字技術(shù)對公共管理的效率提升作用,主要將對象局限于政府等公權(quán)力部門的治理行為。而“技術(shù)賦權(quán)”則指向所有主體的社會參與和治理協(xié)同價值,強(qiáng)調(diào)新技術(shù)傳播與擴(kuò)散對政治、經(jīng)濟(jì)和文化發(fā)展所產(chǎn)生的影響。具體到國內(nèi)典型學(xué)者,鄭永年教授也指出,伴隨技術(shù)運(yùn)用的普遍化,互聯(lián)網(wǎng)對國家機(jī)關(guān)和社會主體都進(jìn)行了相應(yīng)賦權(quán)。一方面,借助技術(shù)優(yōu)勢加持,政府決策更加高效、開放和透明;另一方面,公民也有了更多的機(jī)會和可能參與公共政策制定,借助“民意”影響進(jìn)一步重塑信息時代的政府與社會[1](P2-3)。

第二,從賦權(quán)方式看,數(shù)字技術(shù)賦權(quán)包括重組架構(gòu)和增強(qiáng)話語兩種。兩種賦權(quán)方式在當(dāng)下大數(shù)據(jù)、人工智能技術(shù)賦權(quán)中均有體現(xiàn)。前者既體現(xiàn)為數(shù)字技術(shù)對公共部門的賦能以及對公民個人的增權(quán),通過雙向賦權(quán),改變之前金字塔式的權(quán)力模式和單向的權(quán)利(權(quán)力)結(jié)構(gòu),進(jìn)而塑造一種線上線下、虛實相生、去中心扁平化的社會結(jié)構(gòu),又體現(xiàn)為不再僅由權(quán)力機(jī)關(guān)操控技術(shù)治理,個人也可通過賦權(quán)機(jī)制享有一定的社會參與權(quán)。后者明確指出了所賦權(quán)利(權(quán)力)本質(zhì)上是主體交流中的話語權(quán)。數(shù)字社會,技術(shù)帶來社會資源傳播方式和主體行動模式轉(zhuǎn)變,也即數(shù)字技術(shù)賦權(quán)所賦予的就是一種影響力。此賦權(quán)方式在技術(shù)對弱勢群體賦權(quán)上表現(xiàn)得尤為明顯。

第三,從賦權(quán)效果看,數(shù)字技術(shù)賦權(quán)重在所引起的社會結(jié)構(gòu)與社會關(guān)系變革?!皵?shù)字化生存天然具有賦權(quán)的本質(zhì),這一特質(zhì)將引發(fā)積極的社會變遷?!盵2](P269)而且,數(shù)字化通訊技術(shù)在提升現(xiàn)代主體之間交流效率的同時,也促進(jìn)了主體的權(quán)能。在當(dāng)今社會治理中,大數(shù)據(jù)、物聯(lián)網(wǎng)早已超越純粹技術(shù),深刻影響到社會結(jié)構(gòu)和社會關(guān)系調(diào)整,促使多主體圍繞某一階段的社會公共福利,展開多層次、寬領(lǐng)域的整體性、交叉性治理[3](P30)。“網(wǎng)絡(luò)強(qiáng)國”“數(shù)字中國”“智慧社會”等建設(shè)要求,從生產(chǎn)力和生產(chǎn)關(guān)系角度看,本質(zhì)就是建設(shè)數(shù)智化、信息化的社會生產(chǎn)體系、生活體系與交往體系。借助賦權(quán)機(jī)制,數(shù)字技術(shù)突破一種純粹的技術(shù)性限定,通過改變社會關(guān)系,將民主政治帶入到新的發(fā)展語境,進(jìn)而引發(fā)的主體間權(quán)利(權(quán)力)關(guān)系變化及社會關(guān)系變革。

(二)數(shù)字技術(shù)差異賦權(quán)的主要表現(xiàn)

首先,基于社會治理目標(biāo),數(shù)字技術(shù)對政府進(jìn)行了最大化賦權(quán)。在數(shù)字經(jīng)濟(jì)時代,政府活動的數(shù)字化、信息化程度也成為衡量政府現(xiàn)代化水平的一個重要指標(biāo)。以“政務(wù)云”平臺及平臺運(yùn)營依賴的上百種系統(tǒng)和小程序為支撐,國家從數(shù)據(jù)收集、風(fēng)險預(yù)警、科學(xué)決策、指揮調(diào)度及社會服務(wù)全方位進(jìn)行數(shù)字政府和電子政務(wù)建設(shè)。在此方面,我國已然走在了世界前列,并促使政府社會治理活動正在經(jīng)歷前所未為的數(shù)字化轉(zhuǎn)型。即以獲取、共享和分析數(shù)據(jù)為基礎(chǔ),以面向和經(jīng)由數(shù)據(jù)的治理為機(jī)制,重構(gòu)政府、市場和社會關(guān)系,努力形成“用數(shù)據(jù)說話、用數(shù)據(jù)決策、用數(shù)據(jù)管理、用數(shù)據(jù)創(chuàng)新”的治理體系[4](P9)。此時,數(shù)字技術(shù)必然與政府治理密切相關(guān)。一方面,大數(shù)據(jù)作為體現(xiàn)整體社會狀況的有用價值信息,其本身就構(gòu)成社會治理中的重要要素;另一方面,政府也需要借助數(shù)字化技術(shù)和手段,通過技術(shù)為治理“賦能”,提升社會治理的效率。不過,在此過程中我們需要警惕黨政部門在技術(shù)外衣掩飾下,進(jìn)行的政治獨(dú)斷和權(quán)力延伸。

其次,在經(jīng)濟(jì)效益驅(qū)動下,數(shù)字技術(shù)對企業(yè)的賦權(quán)也不斷強(qiáng)化。在互聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)等新技術(shù)推動下,我們迎來一個快速發(fā)展的數(shù)字經(jīng)濟(jì)時代。中國在此輪技術(shù)革命中更是成就斐然,無論是人工智能、大數(shù)據(jù)、云計算、VR/AR產(chǎn)業(yè)規(guī)模,還是企業(yè)融資金額與盈利,均位于世界先進(jìn)水平,實現(xiàn)了數(shù)字經(jīng)濟(jì)時代的“彎道超車”。數(shù)字技術(shù)發(fā)展之所以在商業(yè)活動中獲得最快發(fā)展,是因為二者有著共同的數(shù)字經(jīng)濟(jì)發(fā)展目標(biāo),以及經(jīng)濟(jì)領(lǐng)域提供了更強(qiáng)的靈活性和更大的試錯空間。在數(shù)字紅利驅(qū)動下,一些大型技術(shù)公司憑借強(qiáng)大的數(shù)據(jù)收集、存儲和處理能力,順利地進(jìn)行著政企合作,并借助所獲取的關(guān)鍵數(shù)據(jù),最大限度地發(fā)揮數(shù)據(jù)的價值。正是基于此邏輯,阿里巴巴、蘋果、谷歌、亞馬遜等搜索引擎得以在技術(shù)應(yīng)用和技術(shù)治理中獲益頗多,并快速地成為商業(yè)巨頭。與此同時,在線消費(fèi)又進(jìn)一步倒逼互聯(lián)網(wǎng)產(chǎn)業(yè),從而構(gòu)成一個更為強(qiáng)大和牢固的數(shù)字經(jīng)濟(jì)共同體。

再次,受我國“大政府”體制影響,數(shù)字技術(shù)對個人的賦權(quán)實效并不樂觀。依據(jù)技術(shù)賦權(quán)理論,數(shù)字技術(shù)賦權(quán)個人重在提升其在公共活動中的話語權(quán)。但現(xiàn)實中,公共參與卻并非數(shù)字技術(shù)賦權(quán)個人的最主要內(nèi)容。一方面,雖然互聯(lián)網(wǎng)提供了民主參與的渠道,但政府的“信息控制者”角色卻全程監(jiān)控該民主活動;另一方面,由于數(shù)字信息獲取使用需要一系列的主體及環(huán)境條件,該數(shù)字參與只是拓展了少數(shù)人或精英群體參與社會活動的便捷性,對于廣大社會公眾而言,他們對數(shù)字技術(shù)的運(yùn)用仍止于便捷生活,并不關(guān)心所涉權(quán)利問題。公眾運(yùn)用智能家居、智能支付、智能教育等智能技術(shù)產(chǎn)品,根本目的是為了提高生活質(zhì)量和便利程度,而并非為了參與社會公共決策。伴隨社會生活數(shù)字化程度不斷加深,越來越多的傳統(tǒng)生活和工作方式成為明日黃花,數(shù)字科技為人們?nèi)粘I钸M(jìn)行著全方位、多領(lǐng)域的賦能。相比之下,雖然公眾網(wǎng)絡(luò)言論確實對裁判一些轟動性案件起到民意測評作用,但很多情況下,這仍只是限于少數(shù)精英群體。數(shù)字技術(shù)對廣大公民的賦權(quán)實效仍有待拓展。

二、數(shù)字技術(shù)差異賦權(quán)引發(fā)的現(xiàn)實風(fēng)險

考慮政府、企業(yè)及個人等主體間的異質(zhì)性,數(shù)字技術(shù)差異賦權(quán)無論在政治社會學(xué)還是經(jīng)濟(jì)學(xué)上本無可厚非。但是鑒于數(shù)字技術(shù)發(fā)展與社會結(jié)構(gòu)變革的交叉影響,該非均衡性打破了政權(quán)治理和資本運(yùn)營規(guī)律,因而需要予以足夠重視。很多的技術(shù)作惡都發(fā)生在規(guī)則約束不足的技術(shù)應(yīng)用領(lǐng)域,且諸多作惡者是掌握高端創(chuàng)新技術(shù)的精英者[5](P3)。而且從當(dāng)下來看,該差異賦權(quán)也確實超越了一定限度,并在國家、企業(yè)組織及個人之間引發(fā)如下現(xiàn)實風(fēng)險:

第一,塑造強(qiáng)大的“數(shù)字利維坦”。這是數(shù)字技術(shù)差異賦權(quán)帶來的最直接風(fēng)險,主要存在于國家與個人關(guān)系處理場域,是盲目追求“全景式監(jiān)控”所產(chǎn)生的必然結(jié)果。當(dāng)技術(shù)發(fā)展到大數(shù)據(jù)和人工智能時代,數(shù)字技術(shù)全面深入到社會生活方方面面,其影響也從經(jīng)濟(jì)領(lǐng)域擴(kuò)展到政治領(lǐng)域,一旦數(shù)字技術(shù)被國家所俘獲用于社會控制和政治權(quán)力再生產(chǎn),“數(shù)字利維坦”必然演化成為國家利維坦的新形式。一方面,國家“利用人工智能技術(shù)的價值和工具理性編織新型的權(quán)力網(wǎng)絡(luò),國家意志通過算法制定得以展現(xiàn),以此加強(qiáng)監(jiān)控能力和社會管理能力”[6](P89)。另一方面,國家又借助其權(quán)力結(jié)構(gòu)以及與高科技企業(yè)的密切“合作”,獲得最高的賦權(quán)契機(jī),拓展新型數(shù)字化權(quán)力。

此“數(shù)字利維坦”的影響可分為直接和間接兩種。所謂直接影響主要指的是數(shù)字監(jiān)控。在數(shù)字化生存中,政府通過數(shù)字治理使“壓服”變得直接有效,具體表現(xiàn)為:借助強(qiáng)大的監(jiān)控和數(shù)據(jù)分析系統(tǒng),威脅公民的隱私保護(hù)和合法權(quán)益;依靠對數(shù)字技術(shù)及算法分析結(jié)果的盲目依賴,導(dǎo)致數(shù)據(jù)獨(dú)裁并剝奪人類的自由意志選擇;固化信息產(chǎn)生和傳輸路徑,引爆國家安全問題;以及提供極端主義的溫床,加劇社會破裂化風(fēng)險。更嚴(yán)重的是,該“數(shù)字利維坦”同傳統(tǒng)公共行政制度架構(gòu)相結(jié)合后,導(dǎo)致出現(xiàn)一種更加頑固的“智能官僚主義”。這種“智能官僚主義”披著電子化外衣,在政務(wù)實踐中不僅惡化政治文化生態(tài),抑制電子政府效率,還造成行政資源浪費(fèi),讓“技術(shù)賦能”成為“技術(shù)負(fù)能”[7](P58-67)。相比之下,間接影響主要指的是話語權(quán)控制。由于數(shù)字政治的非均衡,政府與個體在技術(shù)與信息的掌握和使用方面天然不對稱。不斷變化的新技術(shù)不僅最先由國家精英團(tuán)體掌握并操控,而且還因公權(quán)力的社會治理特性,使國家繼續(xù)獲得新興技術(shù)的解釋權(quán)。盡管相對之前的層級式社會管理,政治精英(管理者)退居幕后,但實際上,他們依然在數(shù)字時代享有最大話語權(quán),改變的只是話語表達(dá)的外在形式。

第二,導(dǎo)致平臺壟斷與控制信息資源。相比“數(shù)字利維坦”,該風(fēng)險主要存在于擁有信息控制權(quán)的互聯(lián)網(wǎng)企業(yè)與個人的關(guān)系處理場域,是數(shù)字技術(shù)賦權(quán)企業(yè)與個人之矛盾體現(xiàn)。盡管相對于國家,企業(yè)和個人同屬“弱勢一方”,但企業(yè)組織尤其是大型數(shù)據(jù)控制企業(yè)在數(shù)據(jù)信息的獲取、加工、使用中優(yōu)于個人已是不爭事實。大數(shù)據(jù)時代的經(jīng)濟(jì)日趨成為平臺經(jīng)濟(jì)和流量經(jīng)濟(jì),當(dāng)數(shù)據(jù)信息作為全新生產(chǎn)要素投入到企業(yè)生產(chǎn)經(jīng)營的各環(huán)節(jié),趨于“理性經(jīng)濟(jì)人”的盈利性本質(zhì),個人想獲得某些有價信息就必須付出相應(yīng)的隱私或資本對價。在利益導(dǎo)向下,平臺私權(quán)力作為“巨大的力量倍增器”[8](P63),不僅名正言順地行使一些公權(quán)力職能,而且在定向推送中,剝奪了公民的選擇權(quán)。

該信息資源壟斷與控制主要源于自動化決策過程中,互聯(lián)網(wǎng)企業(yè)對技術(shù)賦權(quán)的過度使用?,F(xiàn)代信息技術(shù)誘惑人類把判斷交給數(shù)據(jù),并進(jìn)一步依靠算法進(jìn)行決策。在數(shù)據(jù)“喂養(yǎng)”下,算法又不斷實現(xiàn)對傳統(tǒng)決策歧視現(xiàn)象的復(fù)現(xiàn)、加劇與新增[9](P121)。從當(dāng)下信息實踐及學(xué)者關(guān)注來看,算法歧視其實納入了兩類構(gòu)形相近但性質(zhì)迥異的歧視類型。其一是反壟斷語境下的價格歧視,該類型最典型的就是“大數(shù)據(jù)殺熟”。其核心問題是經(jīng)營者依靠大數(shù)據(jù)和算法決策進(jìn)行差別對待,進(jìn)而威脅社會公平。其二是平等權(quán)語境下的身份歧視,主要呈現(xiàn)為基于性別、殘障、種族、傳染病原攜帶等特定集體身份,實施的區(qū)別對待或造成的區(qū)別影響[10](P128)。在數(shù)據(jù)處理過程中,算法本身所帶有的不平等將極易通過其活動,反映到依靠算法得出的結(jié)果中。而且,當(dāng)這種被算法加工處理的不公正結(jié)果再次用于政府和市場決策,又將進(jìn)一步加劇原已存在的信息資源與機(jī)會分配不公。

第三,加劇數(shù)字不平等和公民離散。該風(fēng)險主要存在于數(shù)字技術(shù)向社會公眾賦權(quán)過程中,因公民個體獲取、運(yùn)用數(shù)據(jù)信息的能力及水平不同,所產(chǎn)生的數(shù)字技術(shù)賦權(quán)差異,是一種數(shù)字不平等?!皵?shù)字不平等”產(chǎn)生于數(shù)字技術(shù)對不同公民個體的非均衡賦權(quán),其最終結(jié)果是公民主體間的數(shù)字紅利差異以及參與社會活動時的公民離散。數(shù)字技術(shù)設(shè)計之初,我們預(yù)設(shè)公民具有大體相當(dāng)?shù)男畔⒔邮芘c處理能力,但實際上,公民個體之間卻客觀存在不容忽視的技術(shù)能力差別。而且伴隨社會活動數(shù)字化程度不斷深入,我們對大數(shù)據(jù)、人工智能等技術(shù)的評價仍是采用一種“低倫理維度”標(biāo)準(zhǔn),未能從數(shù)字紅利平等和數(shù)據(jù)要素分配正義角度來考量。

該數(shù)字不平等和公民離散主要展現(xiàn)在如下兩層面:第一,數(shù)字技術(shù)本身蘊(yùn)含運(yùn)用中的實質(zhì)不平等。對此,最典型的就是算法本身?,F(xiàn)代算法之運(yùn)用大都蘊(yùn)含著一個前提,其所面對的主體都樂意而且有能力參與到信息收集中,此時社會弱勢群體就會被刻意地忽略。在信息分類和識別中,弱勢群體的回應(yīng)往往會被計算模型當(dāng)作雜音或無用數(shù)據(jù),因而自然成為數(shù)據(jù)收集中的暗點或盲點。第二,“信息繭房”效應(yīng)造成知識碎片化進(jìn)而影響人們的理性思考。毋庸置疑,大數(shù)據(jù)推送和精準(zhǔn)畫像可大大提升大數(shù)據(jù)技術(shù)運(yùn)用主體的工作效率和生活便捷化程度,但由此所產(chǎn)生的負(fù)面影響是主體的作繭自縛,因深陷“信息繭房”而失去對問題的全面關(guān)注。而自由的實現(xiàn),卻要求我們必須置身于不同的主體及看法中[11](P3-15)。當(dāng)此差異賦權(quán)使得主體陷入客觀不平等并進(jìn)而影響了看法的表達(dá),其結(jié)果必然是一部人公共參與程度越來越高,而一部分人則日漸偏離公共治理現(xiàn)場,其最終結(jié)果必然是數(shù)字生活中的公民離散。

三、風(fēng)險法律規(guī)控的內(nèi)在邏輯

面對數(shù)字技術(shù)差異賦權(quán)的風(fēng)險,當(dāng)下學(xué)者們大都基于社會學(xué)或管理學(xué)理論,從政治、技術(shù)、倫理等方面進(jìn)行單獨(dú)或系統(tǒng)回應(yīng),進(jìn)而提出建設(shè)數(shù)字政府、推行電子政務(wù)、提升公共信息服務(wù)等問題化解對策。這些對策盡管形式多樣,但其核心仍是聚焦于技術(shù)完善,延循的是“用技術(shù)規(guī)制技術(shù)”思維。面對數(shù)字技術(shù)差異賦權(quán)風(fēng)險,如果我們過度關(guān)注技術(shù)提升而忽視制度完善,則容易陷入如下困境:首先,迫于技術(shù)的無休止性,當(dāng)政府越強(qiáng)調(diào)引導(dǎo)社會治理的技術(shù)與效率提升,就越需要耗費(fèi)大量的精力構(gòu)建智能的技術(shù)與平臺設(shè)計,造成工具主義實踐邏輯遍布社會治理領(lǐng)域,或再度出現(xiàn)“智能官僚主義”[12](P1-14)。其次,提升公共服務(wù)和進(jìn)行協(xié)同治理帶有很強(qiáng)的階段性和政府主導(dǎo)特點。無論是政府的數(shù)據(jù)公開、數(shù)據(jù)共享,還是信息服務(wù)、協(xié)同治理,只要技術(shù)治理仍被作為一種行政管理手段,這些行為將始終帶有政治任務(wù)痕跡。數(shù)字技術(shù)發(fā)展由于與數(shù)字社會結(jié)構(gòu)和社會關(guān)系變革錯綜交織、相互影響,已經(jīng)使得數(shù)字技術(shù)非均衡賦權(quán)超越純粹的技術(shù)范疇,進(jìn)入制度和法律的框架。此時,能否立足數(shù)字經(jīng)濟(jì)現(xiàn)實,挖掘數(shù)字技術(shù)差異賦權(quán)風(fēng)險法律規(guī)控的理據(jù),就尤為必要。

(一)調(diào)整不同主體間的權(quán)利(權(quán)力)結(jié)構(gòu)失衡需要法律的分配正義

數(shù)字技術(shù)差異賦權(quán)遵循著特定邏輯:首先,信息社會分化提供了差異賦權(quán)的背景;其次,數(shù)字化社會關(guān)系及數(shù)字化人格提供了差異賦權(quán)的可能;再次,數(shù)字生活引發(fā)的權(quán)力(權(quán)利)結(jié)構(gòu)調(diào)整構(gòu)成了差異賦權(quán)的動力。該邏輯作用于整個數(shù)字社會治理全過程。數(shù)字社會治理不是用大數(shù)據(jù)、互聯(lián)網(wǎng)技術(shù)對傳統(tǒng)社會治理模式的包裝,其內(nèi)涵在于不同社會主體之間的信息交叉與共享。此治理中所涉及的三對關(guān)系,風(fēng)險規(guī)控與激勵創(chuàng)新、國家安全與個人自由以及治理效率與公民隱私,均和權(quán)利(權(quán)力)有關(guān)。我們必須突破在權(quán)力與資本運(yùn)作影響下,因政府及互聯(lián)網(wǎng)企業(yè)絕對控制數(shù)據(jù)信息資源,所導(dǎo)致的對網(wǎng)絡(luò)化生活中話語權(quán)的主導(dǎo),進(jìn)而才能有效化解社會治理中公眾參與不足問題。

當(dāng)技術(shù)性和政治性策略存在效力短板,調(diào)整數(shù)字社會治理中不同社會主體間權(quán)利(權(quán)力)結(jié)構(gòu)失衡的一個有效做法就是訴諸立法,即借助法律對社會資源的公平、平等分配,實現(xiàn)不同社會主體間數(shù)據(jù)信息資源的分配正義。不同社會主體能否依照法律規(guī)范,充分融入數(shù)字生活并共享數(shù)字紅利,已成為影響其生存與發(fā)展的重要因素。數(shù)字社會公平正義除了涉及基本物質(zhì)分配外,還同大數(shù)據(jù)所依賴的社會系統(tǒng)對數(shù)據(jù)信息資源的分配及對相應(yīng)主體的能力建設(shè)緊密相關(guān)[13](P313-314)。在此過程中,法律憑借其本身具有的分配正義屬性,自然成為實現(xiàn)此信息資源分配與能力建設(shè)的重要規(guī)范依據(jù)。面對數(shù)字技術(shù)對不同社會主體的差異化賦權(quán),如何把握該差異化程度,需要借助制度性的法律分配,調(diào)整不同社會主體間的權(quán)利(權(quán)力)結(jié)構(gòu)失衡。

(二)填補(bǔ)技術(shù)治理的價值空缺需要法律的公正性

數(shù)字社會治理中,以互聯(lián)網(wǎng)、大數(shù)據(jù)及人工智能為媒介,數(shù)字技術(shù)使治理某方的權(quán)力、能力得到提升,經(jīng)濟(jì)社會中的“技治”色彩越發(fā)濃厚。在此過程,我們著重關(guān)注如何收集廣泛精準(zhǔn)的數(shù)據(jù)信息、如何開發(fā)更為智能的處理平臺、如何通過簡化程序以更加便民,卻忽視了隱藏在技術(shù)背后的道德評判、公共價值弱化以及人的主體地位被忽視問題。比如,在電子政務(wù)驅(qū)動下,政府治理充滿技治色彩,只要算法還是對人類活動的模擬,算法自動化決策就絕不可能客觀地反映公平公正,而是必然帶有主體選擇偏好和主觀歧視烙印,并深深蘊(yùn)藏在數(shù)據(jù)畫像、定點投喂、數(shù)據(jù)殺熟、就業(yè)歧視之中,致使社會公平、正義、信仰、倫理等價值反而在技術(shù)工具的不斷擴(kuò)張下日益扭曲與割裂。如果社會治理在追求“如何治”的進(jìn)程中忽略了“為什么治”的治理目標(biāo),忽視了技術(shù)運(yùn)用中的人本主義,將必然使得數(shù)字技術(shù)發(fā)展得不償失。

一直以來,公平正義都被視為是法律的底色。當(dāng)法律成為回應(yīng)數(shù)字技術(shù)非均衡賦權(quán)的重要制度性機(jī)制,我們需要做的就是如何借助對相關(guān)主體行為的規(guī)范以及對弱勢方權(quán)益的保護(hù),盡可能實現(xiàn)信息資源和數(shù)字紅利分配的相對公平。數(shù)字技術(shù)差異賦權(quán)直接導(dǎo)致技術(shù)的非均衡治理,使得社會治理被技術(shù)反噬,忽視了對公平、平等、正義等基本社會價值的關(guān)注。面對數(shù)字社會中典型的效率與正義沖突,數(shù)字技術(shù)由于堅持認(rèn)為計算才能體現(xiàn)事物的本質(zhì),因而所追求的算法價值必然會自覺忽視個體價值,將效率凌駕于個人權(quán)利之上。只求技術(shù)創(chuàng)新很容易反被技術(shù)操控,如果法律與規(guī)則缺乏對日新月異科學(xué)技術(shù)的價值判斷與發(fā)展方向的規(guī)制,就會給社會治理的本源價值弱化帶來極大挑戰(zhàn)[14](P162)。面對數(shù)字技術(shù)對秩序唯美主義和全景式監(jiān)控的迷戀,不斷侵蝕著隱私權(quán)、知情權(quán)等公民基本權(quán)利底線這一事實,法律的任務(wù)就是通過制度性內(nèi)容設(shè)置,主要就是賦權(quán)特定主體,限制政府公權(quán)力,保障公民個體權(quán)利,實現(xiàn)主體間的權(quán)利(權(quán)力)結(jié)構(gòu)均衡。

(三)化解公民數(shù)字化參與中的權(quán)利不平等需要法律保障

從公民個人角度來看,數(shù)字技術(shù)參差賦權(quán)導(dǎo)致的直接結(jié)果就是“數(shù)字不平等”帶來的數(shù)字紅利差異。結(jié)合信息活動實踐,該“數(shù)字不平等”包括“信息公平失衡”和“信息繭房”兩個產(chǎn)生場域,二者都和公民權(quán)利直接相關(guān)。

首先,“信息公平失衡”反映了信息活動中的公民權(quán)利不平等。作為數(shù)字社會生活中的重要權(quán)益,公民的信息公平權(quán)益是憲法所規(guī)定平等權(quán)和社會發(fā)展權(quán)的重要內(nèi)容,是處于信息活動中的人們以公平、正義、平等理念為價值尺度來反映社會主體間信息關(guān)系的平等狀態(tài)的價值或話語表述[15](P19)。受制于不同公民主體之間的經(jīng)濟(jì)條件、個人能力、數(shù)字素養(yǎng)和生活習(xí)慣影響,能夠充分參與數(shù)字化生活并有效運(yùn)用數(shù)字信息技術(shù)的公民往往成為信息“強(qiáng)者”,而不能有效參與數(shù)字化生活的則成為信息“弱者”。該強(qiáng)弱地位不僅只是生活方式和手段上的差異,在全面數(shù)字化、信息化加持下,已經(jīng)引發(fā)不同公民主體在社會機(jī)會、優(yōu)勢等眾多方面的差異。此時,“數(shù)字弱勢群體”不能作為社會發(fā)展優(yōu)勝劣汰的必然結(jié)果聽之任之,它是法律與科技矛盾在數(shù)字化生活中的展呈?!皵?shù)字弱勢群體”所面臨的信息公平失衡,實質(zhì)就是數(shù)字科技發(fā)展與公民權(quán)利保障的糾葛。我們需要從法治角度出發(fā),積極回應(yīng)數(shù)字技術(shù)對弱勢群體的“技術(shù)索權(quán)”[16](P123-130)。

其次,“信息繭房”效應(yīng)實質(zhì)也是對公民信息選擇控制權(quán)的剝奪。在數(shù)字時代的社會活動中,基于信息繭房效應(yīng),若政府部門僅僅通過大數(shù)據(jù)技術(shù)來獲取行政行為的決策信息,就必然產(chǎn)生基于群體偏好信息的決策偏差,進(jìn)而導(dǎo)致被剝奪群體的公共參與權(quán)力和利益嚴(yán)重受損。理論上,該效應(yīng)產(chǎn)于源于主體的自我選擇,社會主體可隨時決定走出該“繭房”。但事實中,數(shù)據(jù)控制企業(yè)在盈利目的驅(qū)動下,充分利用了該效應(yīng),總是無意或刻意地對“目標(biāo)受眾”進(jìn)行針對性信息推動,并設(shè)置了極為復(fù)雜的退出程序,使得本該擁有信息主動選擇機(jī)會的公民只能被動接受所推動信息。此時,化解數(shù)字技術(shù)差異賦權(quán)風(fēng)險的一個重要方面,就是恢復(fù)弱勢群體的信息選擇權(quán)與支配權(quán),借助法律規(guī)范實現(xiàn)信息處理的實質(zhì)平等。

四、風(fēng)險法律規(guī)控的具體展開

如上內(nèi)容從理論層面論證了面對數(shù)字技術(shù)差異賦權(quán)風(fēng)險,尋求法律規(guī)控的正當(dāng)性。為切實化解這些風(fēng)險,還需要在此理論指引下,完善法律規(guī)控的具體對策??陀^地說,對于數(shù)字化生活中不同主體間的信息權(quán)益保障問題,我們在制定相關(guān)立法時已有所顧及,最具代表意義的就是在《個人信息保護(hù)法》中,開篇就將“保護(hù)個人信息權(quán)益”和“促進(jìn)個人信息合理利用”作為立法目的。但這些立法也因其抽象性和間接性,并不能很好地化解問題。此時,如何以人工智能、大數(shù)據(jù)等技術(shù)變革為契機(jī),通過系統(tǒng)立法或法律解釋,保障公民在數(shù)字化生活中的特定信息權(quán)益,就構(gòu)成化解數(shù)字技術(shù)非均衡賦權(quán)的重要實踐。

(一)明確公民信息權(quán)利框定公權(quán)力監(jiān)控邊界

在數(shù)字技術(shù)差異賦權(quán)的法律規(guī)控中,首先要處理的就是國家公權(quán)力與個人私權(quán)利之間的結(jié)構(gòu)性失衡。借助數(shù)字技術(shù)實現(xiàn)的便捷賦能,國家往往會秉持社會治理目的,擴(kuò)大公權(quán)力監(jiān)控的邊界。在數(shù)字時代的虛擬社會里,公權(quán)力監(jiān)控的核心目的主要有二:一是鼓勵創(chuàng)新,二是保障安全。這兩方面目的,也大體設(shè)置了信息處理活動中公權(quán)力監(jiān)控的邊界。前者是為了維護(hù)科技的進(jìn)步,避免我們在本輪數(shù)字信息革命中處于劣勢而再次飽受欺凌;后者是為了證成安全對于政治社會的重要意義,通過國家權(quán)威拱衛(wèi)自己的“自由領(lǐng)地”。

然而現(xiàn)實中,該公權(quán)力監(jiān)控的邊界卻很容易僭越。由于我國非常強(qiáng)調(diào)政府信息保密工作,以及全面推行開來的實名制,均使得一個一個的“秘密花園”成為市政廣場的建設(shè)用地[17](P81)。當(dāng)由上至下的監(jiān)管目標(biāo)易于達(dá)成,而由下至上的監(jiān)督目的易于失效,克服社會治理純技術(shù)依賴帶來的主體地位差異,以及避免精英階層權(quán)力的延伸失控與失靈矛盾的最有效手段就是借助重新賦權(quán),恢復(fù)信息“強(qiáng)者”與“弱者”之間權(quán)力(權(quán)利)的平衡。在數(shù)字技術(shù)差異賦權(quán)問題上,一個重要策略就是將被智能技術(shù)“索取”的權(quán)利重新賦予公民,積極保障公民的信息權(quán)益,在強(qiáng)化對個人信息主體賦權(quán)的同時嚴(yán)格信息處理者義務(wù)。具體到操作中,主要就是借助新興權(quán)利理論,塑造并保護(hù)公民個人的信息權(quán)利。該個人信息權(quán)利重點集中于如下兩點:第一,信息權(quán)利保護(hù)的核心在于通過確認(rèn)數(shù)字身份重建社會關(guān)系。受歐洲及美國數(shù)據(jù)保護(hù)立法經(jīng)驗以及數(shù)據(jù)相對于信息更容易把握等因素影響,法學(xué)領(lǐng)域圍繞公民數(shù)據(jù)權(quán)利的討論不斷深入,而對于信息權(quán)利,仍然處于模糊界定和使用的狀態(tài)。數(shù)據(jù)和信息盡管有著相似的外在展現(xiàn),但二者在權(quán)利角度上卻存在本質(zhì)區(qū)別。數(shù)據(jù)側(cè)重形式,信息側(cè)重內(nèi)容,且其外延比數(shù)據(jù)更為寬廣[18](P85)。因此,公民信息權(quán)利保護(hù)的對象就并非僅限于信息本身,而是“個人在各種社會關(guān)系中,身份建構(gòu)的自主性與完整性。”[19](P3)第二,公民信息權(quán)利作為一種類型權(quán)利,由多項子權(quán)利構(gòu)成。該權(quán)利設(shè)置主要針對政府、互聯(lián)網(wǎng)企業(yè)的信息壟斷和信息控制行為,其在理論上并不必然與特定的部門法相聯(lián)系。因此,當(dāng)前越來越多的學(xué)者將信息權(quán)利作為領(lǐng)域法中的權(quán)利,立足整個信息社會背景來反思。

落實到權(quán)利實現(xiàn)上,公民信息權(quán)利必須借助權(quán)利的具體化,才能最終完成從權(quán)利理論向社會實效的轉(zhuǎn)變。具體操作就是,通過保證公民現(xiàn)實享有并積極行使信息知情權(quán)、隱私權(quán)、信息自由權(quán)、信息無障礙獲取權(quán)以及信息產(chǎn)權(quán),對抗“數(shù)字利維坦”對公民信息權(quán)益的侵犯。在這幾種具體權(quán)利或權(quán)能中,最為典型的就是公民的信息知情權(quán)以及隱私權(quán),二者也是公權(quán)力監(jiān)控最易侵入的領(lǐng)地。首先,信息知情權(quán)。該權(quán)利設(shè)置主要用于化解處于資源優(yōu)勢地位的政府企業(yè),與處于劣勢地位的社會公眾基于信息獲取和使用所產(chǎn)生的矛盾。在公民與國家的不平等博弈中,個人的最重要手段就是行使“同意權(quán)”(決定權(quán)),但是行使決定權(quán)的前提是知情。在社會信息獲取上,國家本就具有天然優(yōu)勢,再加之大數(shù)據(jù)、智能監(jiān)控等數(shù)字技術(shù)的輔助,國家及信息控制企業(yè)更是將這種信息獲取優(yōu)勢進(jìn)一步擴(kuò)大。在這些信息還有利用價值之前,并未有相應(yīng)的制度性規(guī)范要求國家主體必須將此信息對民眾公開。其次,隱私權(quán)。數(shù)字時代,個人信息由于被賦予大量的主體身份信息與識別屬性,侵犯公民隱私的行為就不再止于秘密跟蹤、偷裝攝像頭等傳統(tǒng)方式,是和信息控制主體對信息的獲取程度直接相關(guān)。而且,結(jié)合數(shù)字社會引發(fā)的社會關(guān)系和人類活動交往方式變革,侵犯個人隱私的行為也相應(yīng)地具有了“數(shù)字化”特征。此時,國家、大型數(shù)據(jù)企業(yè)等信息控制者與公民之間就產(chǎn)生了嚴(yán)重的信息不對稱。公民盡管對自我信息進(jìn)行著嚴(yán)密保護(hù),但因為信息控制者牢牢把握著數(shù)字技術(shù)運(yùn)用優(yōu)勢,眾多公民其實無異于在進(jìn)行一場“裸奔”。

(二)遵從數(shù)字資本運(yùn)作邏輯規(guī)制自動化決策

全面保護(hù)公民信息權(quán)利方式盡管對約束“數(shù)字利維坦”權(quán)力擴(kuò)張、恢復(fù)公民與國家間的權(quán)利(權(quán)力)均衡大有裨益,但在化解平臺的信息控制與壟斷問題上卻有待商榷。根本原因在于,數(shù)據(jù)信息及其處理能力賦予了企業(yè)生存意義。不同于政府只是將數(shù)字化技術(shù)作為社會治理的工具,企業(yè)直接將數(shù)字化技術(shù)作為自身發(fā)展的內(nèi)容,它們?nèi)鎱⑴c數(shù)字經(jīng)濟(jì)建設(shè)及數(shù)字技術(shù)開發(fā),甚至將數(shù)字化程度作為企業(yè)的生命。此時,數(shù)字活動在企業(yè)間就悄然生成一套以知識、信息和數(shù)據(jù)為核心要素的數(shù)字資本運(yùn)作邏輯。該邏輯是在已有法律設(shè)定的規(guī)范框架內(nèi),通過具有數(shù)據(jù)處理能力的平臺組織生產(chǎn),通過數(shù)字勞動生產(chǎn)社會關(guān)系,通過風(fēng)險投資來實現(xiàn)資本最大化,以及通過交易和消費(fèi)行為進(jìn)行大數(shù)據(jù)統(tǒng)計。其核心在于借助不斷完善的“關(guān)系化”,形成一般數(shù)據(jù)并依此做出決策[20](P118)。數(shù)據(jù)信息及其處理能力是企業(yè)的生命。借助公民信息權(quán)利所進(jìn)行的“靜態(tài)”保護(hù)模式,看似極大保障了公民的信息權(quán)益,卻由于忽視了數(shù)字社會商業(yè)主體的增值問題,極易走向另一極端。

此時,如何在保證數(shù)據(jù)充分流動和交易前提下,維持個人信息權(quán)利保護(hù)與企業(yè)發(fā)展創(chuàng)新之間的均衡,才是解決問題之本。該問題重心在于通過設(shè)置義務(wù)的方式,有序指引和規(guī)制自動化決策?;谠摂?shù)字資本運(yùn)作邏輯,當(dāng)下學(xué)者對自動化決策的法律規(guī)制主要集中于兩點,即警惕中立立場被貼上“多數(shù)人同意”標(biāo)簽,以及避免利益相關(guān)者間的商談成為擺設(shè)。圍繞這兩方面,學(xué)者們要么從完善算法程序、確?!爸椤狻?、設(shè)定自動決策模型等方面出發(fā),進(jìn)行算法歧視的內(nèi)部規(guī)制;要么從歧視的一般性理解出發(fā),借助基本民事立法、經(jīng)濟(jì)立法以及勞動與社會保障法,基于相關(guān)權(quán)利保障中的責(zé)任義務(wù)設(shè)置進(jìn)行外部規(guī)制。其目的都是保證公民在公共信息及社會決策面前的知情、同意、參與、監(jiān)督權(quán)利,建構(gòu)起算法規(guī)制的法律框架。盡管對此法律規(guī)制,也有反對者認(rèn)為從提升資源利用率來考慮,法律干預(yù)應(yīng)讓位于市場調(diào)整[21](P52-55)。從當(dāng)下來看,該自動化決策的法律規(guī)制主要還是訴諸立法。除了制定《個人信息保護(hù)法》《網(wǎng)絡(luò)安全法》等為數(shù)字化生活中的公民信息權(quán)益保障提供直接依據(jù)外,而且針對平臺信息壟斷和算法推薦兩種最典型行為,國務(wù)院反壟斷委員會和國家信息化部也分別出臺《關(guān)于平臺經(jīng)濟(jì)領(lǐng)域的反壟斷指南》和《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定(征求意見稿)》,對平臺算法權(quán)力監(jiān)管做出盡可能具體化的規(guī)定,從行政角度出發(fā)設(shè)置主體責(zé)任和處罰標(biāo)準(zhǔn)。相比國家立法,越來越多的地方立法部門也出臺政府規(guī)章或?qū)嵤┘?xì)則,以保證企業(yè)的規(guī)范化數(shù)字賦能,如山東、天津、安徽、吉林、山西、海南、貴州、河北、廣東、浙江、深圳、上海等近二十省市,均已出臺大數(shù)據(jù)條例或數(shù)字經(jīng)濟(jì)條例。

(三)通過“公—私”法體系保障公民的平等參與權(quán)

該保障主要針對“數(shù)字不平等”及公民離散問題,是對公民主體之間差異賦權(quán)的法律回應(yīng)。在憲法上,該權(quán)益也常被界定為公民平等參與權(quán)的內(nèi)容。面對數(shù)字技術(shù)非均衡賦權(quán)引發(fā)的數(shù)字紅利差異,如果無視公民主體間的能力不平等,終將會因放任實質(zhì)不平等而導(dǎo)致主體間差距繼續(xù)拉大。實踐中,該平等參與權(quán)的法律保障遵從如下邏輯:

第一,明確法律原則。原則也是弱勢群體權(quán)利保障的指引思想。包括兩點:首先,平等保護(hù)原則。既在“強(qiáng)弱并存”的數(shù)字社會,我們對“數(shù)字弱勢群體”之平等參與權(quán)的回應(yīng),就彰示了數(shù)字社會公正和人類發(fā)展的文明程度。其次,傾斜保護(hù)原則。相比平等保護(hù)原則主要強(qiáng)調(diào)形式正義,該原則更多地是從實質(zhì)正義層面考量,是對國家和數(shù)據(jù)控制企業(yè)在信息獲取和處理中造成不平等、非正義的最直接回應(yīng)。

第二,完善法律體系。雖然在當(dāng)下的法律規(guī)范中,我們并未針對數(shù)字技術(shù)賦權(quán)的差異性以及信息公平等問題專門立法,有關(guān)公民數(shù)字素養(yǎng)和企業(yè)數(shù)字倫理的規(guī)范也只是停留于政策層面,但我們?nèi)钥梢詮囊延辛⒎ㄖ刑綄けU细魃鐣黧w信息公平及數(shù)據(jù)信息權(quán)益的規(guī)范依據(jù)。比如,在《老年人權(quán)益保障法》《殘疾人保障法》及《無障礙環(huán)境建設(shè)條例》中,都通過設(shè)定國家的救助義務(wù),滿足該弱勢群體的信息獲取與運(yùn)用權(quán)益。在《個人信息保護(hù)法》《數(shù)據(jù)安全法》等新興立法中,更是直接針對不同社會主體在信息處理活動中的不平等地位,設(shè)定劣勢一方權(quán)益保障的規(guī)范條文,并通過法解釋將其適用于司法實踐。其目的都是致力于不同社會主體平等獲取和使用數(shù)據(jù)信息,實現(xiàn)信息公平與分配自由。

第三,確定主體義務(wù)。該義務(wù)既是確定法律責(zé)任的依據(jù)和前提,又是化解平等主體非均衡社會參與的保障。數(shù)據(jù)信息蘊(yùn)含的信息利益和人權(quán)價值,既可為實現(xiàn)不同社會群體之間的信息公平提供公法和私法雙重保護(hù),又有助于確定阻礙信息公平實現(xiàn)的信息控制主體,明確其在具體監(jiān)管、保障及協(xié)助方面的責(zé)任義務(wù)。結(jié)合數(shù)字技術(shù)非均衡賦權(quán)樣態(tài),該義務(wù)主要包括國家的當(dāng)然義務(wù)以及平臺的特定義務(wù)兩類。前者包括強(qiáng)化基礎(chǔ)設(shè)施建設(shè)和普及、保證公共信息便捷獲取和使用、制修訂智能產(chǎn)品運(yùn)用及平臺監(jiān)管法規(guī)、承擔(dān)弱勢群體培訓(xùn)與教育、以及就高頻服務(wù)事項設(shè)置線下辦事渠道等。這些義務(wù)內(nèi)容以社會權(quán)的國家保護(hù)義務(wù)為理論基礎(chǔ),目的在于提升公民的數(shù)字素養(yǎng)與數(shù)字能力。后者包括進(jìn)行產(chǎn)品適老化改革并提供有效備選、基于算法審核抑制不平等的信息處理、探索多元化信息投放和均衡化信息分配、以及將非歧視設(shè)為人工智能開發(fā)的行為規(guī)范等。

猜你喜歡
賦權(quán)公民權(quán)利
我是小小公民科學(xué)家
論公民美育
我是遵紀(jì)守法的好公民
基于賦權(quán)增能的德育評價生態(tài)系統(tǒng)的構(gòu)建
基于賦權(quán)增能理論的健康教育對社區(qū)中老年人艾滋病KAP的影響
家庭賦權(quán)護(hù)理干預(yù)方案在肺癌放療患者中的應(yīng)用
我們的權(quán)利
股東權(quán)利知多少(一)
試論新媒體賦權(quán)
權(quán)利套裝
临城县| 乐安县| 类乌齐县| 嫩江县| 山阳县| 光泽县| 广灵县| 仪陇县| 同江市| 沙坪坝区| 长治市| 绥芬河市| 南雄市| 出国| 白山市| 兖州市| 嘉鱼县| 鹰潭市| 莆田市| 长海县| 宜兰县| 石家庄市| 昌吉市| 修文县| 团风县| 滦平县| 洛川县| 永州市| 桐庐县| 马尔康县| 温州市| 册亨县| 乐东| 梅河口市| 徐闻县| 潞西市| 章丘市| 高密市| 德安县| 建宁县| 文安县|