国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

“規(guī)則+技術(shù)”:互聯(lián)網(wǎng)平臺針對“網(wǎng)絡(luò)暴力”現(xiàn)象的數(shù)字化治理

2023-04-29 00:44:03趙韞淏劉晶
北京文化創(chuàng)意 2023年2期
關(guān)鍵詞:網(wǎng)絡(luò)暴力治理模式平臺

趙韞淏 劉晶

摘要:目前,網(wǎng)絡(luò)暴力事件仍時有發(fā)生。網(wǎng)暴信息的傳播線、跳轉(zhuǎn)線、暴力線,讓部分平臺成為滋生網(wǎng)絡(luò)暴力的“傳播溫床”。作為信息內(nèi)容管理的第一責(zé)任主體,平臺企業(yè)卻仍舊缺乏系統(tǒng)的、針對平臺的強力管制措施。當(dāng)然,網(wǎng)絡(luò)暴力的治理并不是一蹴而就的,這是一個長期、綜合治理的過程。通過借鑒國內(nèi)外平臺治理網(wǎng)暴的成功經(jīng)驗,打造以主體責(zé)任為核心、以“規(guī)則之治+技術(shù)賦能”為理念的二元共同治理格局與全鏈條全景式治理模式。

關(guān)鍵詞: 平臺 網(wǎng)絡(luò)暴力 數(shù)字化治理 治理模式

近年來,因網(wǎng)暴而造成的悲劇性事件時有發(fā)生。①在各類反網(wǎng)暴措施不斷升級的同時,網(wǎng)暴的形態(tài)也在不斷更新,如何整治網(wǎng)暴引發(fā)全社會的高度關(guān)注。黨的二十大報告中明確指出,要“健全網(wǎng)絡(luò)綜合治理體系,推動形成良好網(wǎng)絡(luò)生態(tài)”。中央網(wǎng)信辦印發(fā)《關(guān)于切實加強網(wǎng)絡(luò)暴力治理的通知》,指出“網(wǎng)絡(luò)暴力針對個人集中發(fā)布侮辱謾罵、造謠誹謗、侵犯隱私等違法信息及其他不友善信息,侵害他人合法權(quán)益,擾亂正常網(wǎng)絡(luò)秩序”,提出要建立健全網(wǎng)暴預(yù)警預(yù)防機制,強化網(wǎng)暴當(dāng)事人保護(hù),嚴(yán)防網(wǎng)暴信息傳播擴散,依法從嚴(yán)處置處罰等機制舉措。②

一、平臺治理網(wǎng)絡(luò)暴力的現(xiàn)狀分析

中央網(wǎng)信辦對網(wǎng)暴一直保持著高壓治理態(tài)勢。2022年4月,中央網(wǎng)信辦部署開展了“清朗·網(wǎng)絡(luò)暴力專項治理行動”,主要聚焦網(wǎng)絡(luò)暴力易發(fā)多發(fā)、社會影響力大的新浪微博、抖音等18家平臺,③通過建立系統(tǒng)的監(jiān)測識別、實時保護(hù)、干預(yù)處置等措施,使各平臺都積極探索嘗試了加強預(yù)防、網(wǎng)暴識別、事后規(guī)范等全面治理網(wǎng)暴的機制舉措。

(一)平臺對網(wǎng)絡(luò)暴力的判定尚處于起步階段

目前,根據(jù)中央網(wǎng)信辦的指導(dǎo)意見,各個平臺結(jié)合自身特征,基本完成了初步整改。在此,筆者匯總了互聯(lián)網(wǎng)平臺對網(wǎng)絡(luò)暴力表現(xiàn)形式判定的示例表格(見表1)。④例如,知乎會判定為網(wǎng)暴內(nèi)容和行為的,包括泄露他人隱私、煽動網(wǎng)友對他人進(jìn)行無根據(jù)地扣帽子、貼負(fù)面標(biāo)簽,使用包含臟話、蔑稱等言語對他人進(jìn)行辱罵攻擊,無視對方意愿對他人進(jìn)行惡意騷擾等。豆瓣的判定體系包括使用不雅粗俗的詞匯攻擊他人、諷刺挑釁他人、抬杠拱火、煽動眾人情緒、對個人或群體持歧視偏見的態(tài)度等。微博的判定體系覆蓋了粗俗冒犯類、諷刺內(nèi)容類、煽動情緒類、歧視偏見類、惡意貼標(biāo)簽類、掛人引戰(zhàn)類、故意抬杠類等(見圖1)。抖音會嚴(yán)格處理詛咒、咒罵等突破底線的違反公序良俗的內(nèi)容,沒有真實依據(jù)、造謠、傳謠、污蔑他人的內(nèi)容,人肉搜索、違規(guī)曝光和傳播當(dāng)事人隱私信息的內(nèi)容,以及對事件中當(dāng)事人周邊無關(guān)人員、物品的曝光與無端指責(zé)。⑤不難發(fā)現(xiàn),各個平臺總結(jié)的網(wǎng)絡(luò)暴力標(biāo)準(zhǔn)體系并不相同,許多內(nèi)容仍然需要伴隨相當(dāng)程度的主觀判斷。

(二)網(wǎng)暴風(fēng)險識別預(yù)警機制尚在嘗試搭建中

各平臺積極探索建立符合自身平臺特征的,對存在網(wǎng)暴風(fēng)險的信息內(nèi)容進(jìn)行識別和過濾的機制。如抖音平臺在內(nèi)容識別方面,①結(jié)合內(nèi)容生態(tài)分級標(biāo)準(zhǔn),完善了平臺風(fēng)險感知能力建設(shè),根據(jù)相關(guān)內(nèi)容語境、評論、背景等進(jìn)行綜合研判,研發(fā)智能識別模型,目前線上有100多個模型在運營,可做到提前攔截包含侮辱、辱罵等信息的內(nèi)容。微博健全網(wǎng)暴信息標(biāo)準(zhǔn)和樣本,搭建14個網(wǎng)暴相關(guān)模型,制定16個模型策略,日均可處置不友善內(nèi)容約50萬條。知乎則會根據(jù)內(nèi)容的違規(guī)程度,限制內(nèi)容的展示范圍,對于不友善的內(nèi)容,平臺會對其進(jìn)行折疊,減少其在社區(qū)里曝光的機會,明顯帶有侮辱性質(zhì)的語言,會被平臺刪除。百度貼吧有巡查、吧主和吧務(wù)反饋、舉報、清理回溯等發(fā)現(xiàn)機制,可以有效優(yōu)化內(nèi)容審查策略,并針對貼吧網(wǎng)暴識別能力進(jìn)行升級,據(jù)悉,其間,共擴充網(wǎng)暴關(guān)鍵詞近500組,新增圖片黑庫600余張。盡管各個平臺在關(guān)鍵詞策略等識別技術(shù)上都有相當(dāng)?shù)耐度?,但在平臺看來,機器審核仍然只能承擔(dān)一部分工作,人工審核不能被替代;且各個平臺的網(wǎng)暴關(guān)鍵詞庫建設(shè)參差不齊,也缺乏有效的第三方獨立評估驗證。

(三)平臺主動強化網(wǎng)暴當(dāng)事人保護(hù)

各平臺采取一系列措施強化對網(wǎng)暴當(dāng)事人的保護(hù),包括優(yōu)化私信規(guī)則,防范網(wǎng)暴內(nèi)容通過私信傳輸?shù)取R詳嗑W(wǎng)為例(見表2),調(diào)查的8家網(wǎng)站基本采取了“我的-設(shè)置-隱私設(shè)置-斷網(wǎng)”的操作模式,而新浪微博開啟“一鍵防護(hù)”只需點擊4次。許多網(wǎng)站平臺已經(jīng)對私信功能進(jìn)行了更新,以豆瓣、微博、小紅書為例,未互相關(guān)注且24小時內(nèi)未有過私信往來的陌生人,在得到用戶回復(fù)前只能發(fā)出一條私信。而用戶,可以根據(jù)自身情況,設(shè)置接收私信的范圍,其中,包括所有人、自己關(guān)注的人、互相關(guān)注的人和禁止私信等選項。新浪微博上線“評論防火墻”和“一鍵防護(hù)”功能。在“一鍵防護(hù)”開啟期間,當(dāng)事人將不接收陌生人通知。豆瓣上線 “應(yīng)急防護(hù)模式 ”,用戶開啟該模式后,陌生人無法查看其主頁的內(nèi)容,也無法直接與其進(jìn)行私信交流。知乎用戶,可以選擇“瓦力保鏢”功能,系統(tǒng)將自動識別不良評論及私信等,而后折疊、隱藏或刪除不良內(nèi)容,嚴(yán)重者甚至?xí)焕?。抖音則針對施暴者的不良言論攻擊和不友善行為成立專項小組,對涉網(wǎng)暴重點環(huán)節(jié)加強監(jiān)看,已上線“發(fā)文警示”“負(fù)向內(nèi)容過濾”等8項預(yù)防網(wǎng)絡(luò)暴力的功能。

(四)嚴(yán)防網(wǎng)絡(luò)暴力信息傳播擴散

“用戶自主設(shè)置+平臺介入監(jiān)測”是事前階段主流的網(wǎng)暴防控模式。在新浪微博、抖音等平臺上,用戶能夠自主選擇互動關(guān)系,包括將“所有人、關(guān)注的人、我的粉絲及互相關(guān)注的人”列為互動對象,也能根據(jù)用戶實際情況關(guān)閉互動權(quán)限,實現(xiàn)防患于未然的目的。與“評論”相對,“私信”在互動場景中更易滋生“網(wǎng)暴行為”,依托于一對一的交互形式,“私信”具有隱蔽性、私密性的特征,因此,限制“未關(guān)注人私信”便成了各大平臺整治的重點。小紅書、知乎、豆瓣、B站均設(shè)置了與“陌生人私信箱”相類似的功能,陌生人在賬號主人回復(fù)前,最多只能發(fā)送一條消息,而這條私信,也會被系統(tǒng)收入上述信箱,以此保護(hù)賬號主人免受網(wǎng)曝困擾。在抖音、快手平臺上,用戶可以把賬號設(shè)置為“私密賬號”,一旦開啟此功能,則只有用戶、粉絲可以瀏覽、評論其發(fā)布的作品。此類賬號的粉絲關(guān)注功能,也將受到嚴(yán)格限制。換言之,只有獲得用戶批準(zhǔn),其他用戶才可實現(xiàn)關(guān)注。新浪微博,對私信接收功能進(jìn)行了改良,用戶僅能看到1條陌生賬號發(fā)送的消息,也僅顯示為私信提醒,并不直接顯示內(nèi)容,只有在用戶點擊接收陌生人消息后,才可查看具體內(nèi)容,其間,私信接收的有效期僅為24小時。實測中,采取“明文式”“內(nèi)涵式”網(wǎng)暴語言模式,分別測試上述平臺,結(jié)果差別比較大(見表3),明文式測試中抖音等6個平臺被攔截,但微博、小紅書順利發(fā)出,內(nèi)涵式測試結(jié)果卻正相反,反映出平臺對網(wǎng)暴信息的攔截功能需要不斷改進(jìn)。①

(五)平臺不斷加大對涉網(wǎng)暴賬號的處置處罰力度

當(dāng)網(wǎng)暴信息仍然難以避免地傳達(dá)給了網(wǎng)暴當(dāng)事人,舉報成了個人最后的選擇。據(jù)“網(wǎng)信中國”微信公眾號消息,2022年5月中央網(wǎng)信辦通報,過去4個月中,微博、抖音、百度、騰訊、知乎、嗶哩嗶哩、小紅書、快手、豆瓣、網(wǎng)易、新浪、搜狐等主要商業(yè)網(wǎng)站平臺重點受理泄露他人隱私、侮辱謾罵、造謠誹謗等網(wǎng)絡(luò)侵權(quán)舉報事件達(dá)43.96萬件。從具體分類來看,多個平臺都在舉報類型中添加了“網(wǎng)絡(luò)暴力”的選項及“一鍵取證”的功能,方便用戶快速搜集證據(jù)進(jìn)行投訴。對于參與網(wǎng)暴的賬號,微博、抖音、豆瓣、知乎等各個平臺有類似的處罰機制,即根據(jù)行為程度的不同做出刪除言論、短暫禁言、永久禁言、封禁賬號等處理。統(tǒng)計數(shù)據(jù)顯示,抖音每天產(chǎn)生8億條評論,其中,被投訴、舉報并最終處理的不當(dāng)評論中,“謾罵,人身攻擊”占比32.79%。2022年1月至6月,抖音共攔截不當(dāng)信息9218萬條,封禁及禁言賬號1.1348萬個,累計處置網(wǎng)暴事件超100起,對于可能發(fā)出的網(wǎng)暴內(nèi)容,每天至少發(fā)出25萬次風(fēng)險提示。百度貼吧自網(wǎng)暴專項開啟起以來,共清理網(wǎng)暴內(nèi)容約150萬次,處置網(wǎng)暴賬號1.5000萬余個,網(wǎng)暴投訴舉報率由13.27%降低至9.28%。但有媒體在“網(wǎng)暴起訴一事咨詢平臺”實測中暴露出,有平臺客服明確表示不會為個人用戶提供施暴者個人信息,但也有客服稱用戶可以提交司法機構(gòu)出具的協(xié)助調(diào)查函進(jìn)行申請。此外,多家客服均表示平臺無法協(xié)助用戶保存私信等網(wǎng)暴證據(jù),用戶需自行保存。①

二、網(wǎng)絡(luò)暴力治理中平臺責(zé)任落實存在的問題

從網(wǎng)絡(luò)治理實踐看,網(wǎng)絡(luò)暴力伴隨互聯(lián)網(wǎng)傳播服務(wù)發(fā)展的全過程,從最早的BBS時代,到社交媒體時代,再到現(xiàn)在的短視頻和直播時代,一直是嚴(yán)重侵害用戶權(quán)益、擾亂網(wǎng)絡(luò)傳播秩序的毒瘤。②網(wǎng)暴信息的傳播線、跳轉(zhuǎn)線、暴力線,讓部分平臺成為滋生網(wǎng)絡(luò)暴力的“傳播溫床”。雖然網(wǎng)絡(luò)暴力的成因是復(fù)雜、多樣的,但作為信息內(nèi)容管理的第一責(zé)任主體——平臺企業(yè),仍舊缺乏系統(tǒng)性的監(jiān)管。③一些平臺企業(yè)本來可以通過技術(shù)手段,在網(wǎng)絡(luò)暴力早期實現(xiàn)有效管控,但現(xiàn)實中一些平臺企業(yè)受商業(yè)利益驅(qū)動,為獲取流量、廣告費等進(jìn)行非正常輿論引導(dǎo),為網(wǎng)絡(luò)暴力提供滋生土壤,④使得網(wǎng)絡(luò)暴力現(xiàn)象屢禁不止。

(一)平臺“屬地責(zé)任”泛化與主體責(zé)任不明并存

平臺作為網(wǎng)絡(luò)服務(wù)提供者的管理責(zé)任在不斷加重。近年來,針對不同平臺和業(yè)務(wù)的特點,有關(guān)部門陸續(xù)出臺了《互聯(lián)網(wǎng)信息群組信息服務(wù)管理規(guī)定》《微博客信息服務(wù)管理規(guī)定》《網(wǎng)絡(luò)音視頻信息服務(wù)管理規(guī)定》《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》等文件,更加細(xì)致地明確了不同情形下的責(zé)任主體及其具體義務(wù)。網(wǎng)絡(luò)服務(wù)提供者不再只是簡單對信息內(nèi)容進(jìn)行管理,而是對信息生產(chǎn)發(fā)布進(jìn)行全流程監(jiān)管和引導(dǎo)。總體上網(wǎng)絡(luò)服務(wù)提供者的管理責(zé)任越來越呈現(xiàn)出泛化的趨勢,針對平臺內(nèi)違法犯罪活動的“屬地責(zé)任”全面被施加于網(wǎng)絡(luò)服務(wù)提供者身上。但目前網(wǎng)絡(luò)暴力治理中的責(zé)任條款越來越多地呈現(xiàn)出原則性規(guī)定的特點,建立健全各種“機制”“制度”的要求頻繁出現(xiàn),但這些抽象性概念的內(nèi)容缺乏細(xì)節(jié)支撐。盡管立法也規(guī)定了網(wǎng)絡(luò)服務(wù)提供者可以“刪除、屏蔽”網(wǎng)絡(luò)違法信息,“暫停使用”乃至“永久封禁”違規(guī)賬號,但這些處置措施同樣缺乏適用標(biāo)準(zhǔn)、正當(dāng)程序的規(guī)定。

(二)平臺治理難點疊加與治理舉措風(fēng)險加大并存

總體而言,我國信息分級保護(hù)尚處于起步階段,缺乏全面性、規(guī)范化的網(wǎng)絡(luò)信息分級審查的制度建設(shè)。⑤在分級范圍上,當(dāng)前我國對于“網(wǎng)絡(luò)有害信息”的范圍明確與類型界定仍舊存在立法用語抽象、規(guī)范文件層級較低、側(cè)重點偏離等問題。其一內(nèi)容識別預(yù)警的準(zhǔn)確性不夠。平臺內(nèi)容的海量性與網(wǎng)絡(luò)暴力行為自身的空間虛擬性、主體隱蔽性、群體參與性、內(nèi)容模糊性等特征,導(dǎo)致在判別尺度、界定治理等方面都存在一定難度,及時準(zhǔn)確地識別網(wǎng)絡(luò)暴力事件難度較大。其二,信息審核的專業(yè)性不強。在履行對信息內(nèi)容審核處理責(zé)任的過程中,為了不損害公民的權(quán)利,網(wǎng)絡(luò)服務(wù)提供者需要非常謹(jǐn)慎地把握言論自由的平衡尺度,結(jié)合事件前后的完整信息進(jìn)行專業(yè)的事后分析,但其在專業(yè)水準(zhǔn)的把握上缺乏統(tǒng)一的尺度與標(biāo)準(zhǔn)。其三,審核人員的價值標(biāo)準(zhǔn)互異。不同審核人員的價值取向標(biāo)準(zhǔn)差異及統(tǒng)一標(biāo)準(zhǔn)的建構(gòu),已成為網(wǎng)絡(luò)服務(wù)提供者面臨的難題。由于信息審核的專業(yè)性,短期內(nèi)無法實現(xiàn)技術(shù)識別,而人工審核短時間內(nèi)難以被取代,因而必然面臨不同個體的主觀判斷差異,導(dǎo)致出現(xiàn)“因人而異”的現(xiàn)象。其四,處罰措施適用的風(fēng)險性大。標(biāo)準(zhǔn)上存在缺失,行業(yè)處置標(biāo)準(zhǔn)不統(tǒng)一,各平臺尺度不同,處置缺乏統(tǒng)一的依據(jù),常被投訴,處罰措施適用的有效與否直接關(guān)系到網(wǎng)絡(luò)暴力行為的治理效果。當(dāng)前,平臺負(fù)有較重的舉證說明義務(wù)及應(yīng)訴成本,如果被處罰用戶在被認(rèn)定為實施網(wǎng)絡(luò)暴力行為并受到處罰措施后起訴平臺,平臺就負(fù)有舉證說明義務(wù),并需要承擔(dān)各類訴訟負(fù)擔(dān)與成本。

(三)平臺雙重身份下行業(yè)自律困境與網(wǎng)絡(luò)技術(shù)治理缺乏一體化標(biāo)準(zhǔn)

盡管互聯(lián)網(wǎng)平臺的自我監(jiān)管相較于政府監(jiān)管而言具有一定優(yōu)勢,但平臺監(jiān)管主體與市場主體的雙重身份,使其成為監(jiān)管路上的一把“雙刃劍”。在雙重身份的推動下,一旦互聯(lián)網(wǎng)平臺作為監(jiān)管主體的地位遭到濫用,①其在監(jiān)管規(guī)則、監(jiān)管程序、監(jiān)管結(jié)果方面的弊端就會顯現(xiàn)。②

平臺的監(jiān)管規(guī)則往往價值偏好突出,作為監(jiān)管主體所享有的權(quán)利也容易在規(guī)則制定時濫用。相對地,各個平臺的監(jiān)管程序目前都面臨著透明度不足的嚴(yán)重問題,在制訂規(guī)則環(huán)節(jié),十分缺乏協(xié)商、表決和征求意見的程序。

自我監(jiān)管具有溢出效應(yīng),監(jiān)管結(jié)果的外部性特征明顯。③與此同時,技術(shù)設(shè)置對于網(wǎng)絡(luò)暴力的治理有一種事前治理措施,克服了法律治理模式的滯后性的弊端。④但是技術(shù)治理模式并不是“萬金油”,技術(shù)治理手段往往會服務(wù)于平臺獲利模式的需要。技術(shù)設(shè)置在內(nèi)容控制上本身沒有一個明確可視的標(biāo)準(zhǔn),互聯(lián)網(wǎng)平臺缺乏預(yù)警預(yù)防機制、保護(hù)網(wǎng)暴當(dāng)事人、嚴(yán)防網(wǎng)暴信息傳播擴散、依法從嚴(yán)處置處罰等“共治規(guī)則”,不僅缺乏網(wǎng)絡(luò)暴力信息與正常輿論監(jiān)督的內(nèi)容分類標(biāo)準(zhǔn),也缺乏統(tǒng)一的警示性具體處置案例庫;不僅未構(gòu)建起綜合考慮事件類別、不同主體、參與人數(shù)、信息內(nèi)容、環(huán)節(jié)場景、舉報投訴等維度的網(wǎng)絡(luò)暴力技術(shù)識別機制和被害人一鍵保護(hù)模型,而且對于網(wǎng)絡(luò)暴力防范機制不健全、舉報受理處置不及時并造成不良影響的平臺,缺乏通報批評、限期整改、罰款、暫停信息更新、關(guān)閉網(wǎng)站等處置處罰措施的量化適用標(biāo)準(zhǔn)。

三、平臺治理網(wǎng)暴的“規(guī)則+技術(shù)”數(shù)字治理理念

網(wǎng)絡(luò)社會是“網(wǎng)”與“人”的結(jié)合,因而,網(wǎng)絡(luò)社會治理,重點在于治“網(wǎng)”,關(guān)鍵還在于治“人”。治“網(wǎng)”要靠技術(shù),治“人”則要靠法律。⑤在經(jīng)濟社會數(shù)字化轉(zhuǎn)型的大趨勢下,亟需從多維視角探討互聯(lián)網(wǎng)平臺網(wǎng)暴治理之道,目標(biāo)是基于網(wǎng)絡(luò)治理、⑥數(shù)字治理、平臺治理理論進(jìn)行創(chuàng)新,借鑒國內(nèi)外平臺治理網(wǎng)暴的成功經(jīng)驗,打造以主體責(zé)任為核心、以“規(guī)則之治+技術(shù)賦能”為理念的二元共同治理格局與全鏈條全景式治理模式。

(一)平臺是網(wǎng)絡(luò)空間治理中的“數(shù)字守門人”

隨著信息技術(shù)的迅猛發(fā)展,平臺日益成為信息內(nèi)容生產(chǎn)傳播的重要渠道,為社會公眾和各類組織創(chuàng)造了新的社會空間——網(wǎng)絡(luò)空間,構(gòu)建起縱橫交錯的生態(tài)網(wǎng)絡(luò)。與此同時,平臺的出現(xiàn)也意味著新社會風(fēng)險源的誕生,擴大了社會安全風(fēng)險的可達(dá)范圍,實際上成為各類社會問題和安全問題的集散地,任何社會風(fēng)險都可能通過平臺而被無限放大。隨著平臺主體責(zé)任理論的提出,結(jié)合當(dāng)前立法的趨勢顯示,治理權(quán)逐漸下沉至互聯(lián)網(wǎng)平臺企業(yè),由平臺承擔(dān)主要治理責(zé)任,網(wǎng)絡(luò)空間治理也成為這些“數(shù)字守門人”“網(wǎng)絡(luò)把關(guān)人”的重要義務(wù)。平臺兼具社會屬性和公共屬性,處于一種“網(wǎng)絡(luò)‘準(zhǔn)政府”的角色定位,在網(wǎng)絡(luò)空間的管理上發(fā)揮著“準(zhǔn)入”“監(jiān)管”“調(diào)控”的作用。由此,網(wǎng)絡(luò)暴力治理應(yīng)加強“行業(yè)自律”。目前,各國均采取了組建行業(yè)組織及制定行業(yè)規(guī)范的方法,以平臺“行業(yè)自律”促進(jìn)網(wǎng)絡(luò)言論及其他網(wǎng)絡(luò)暴力行為的早期預(yù)防與協(xié)同處置,如英國網(wǎng)絡(luò)觀察基金會與互聯(lián)網(wǎng)服務(wù)提供商協(xié)會共同發(fā)布《安全網(wǎng)絡(luò):分級、檢舉、責(zé)任》文件,德國設(shè)立“國際性內(nèi)容自我規(guī)范網(wǎng)絡(luò)組織”以確保網(wǎng)絡(luò)內(nèi)容的健康,日本的互聯(lián)網(wǎng)行業(yè)則形成了以《網(wǎng)絡(luò)事業(yè)者倫理準(zhǔn)則》為代表的行業(yè)規(guī)范。在我國,中國互聯(lián)網(wǎng)協(xié)會牽頭制定了《中國互聯(lián)網(wǎng)行業(yè)自律公約》《互聯(lián)網(wǎng)站禁止傳播淫穢色情等不良信息自律規(guī)范》等文件,相關(guān)平臺也開始嘗試制定本領(lǐng)域的聯(lián)合性行業(yè)標(biāo)準(zhǔn)與協(xié)議規(guī)范。但綜合來看,我國針對網(wǎng)絡(luò)暴力的專門性行業(yè)自律規(guī)范有待進(jìn)一步完善,相關(guān)行業(yè)組織的信息統(tǒng)籌與審查能力有待進(jìn)一步加強。為提升網(wǎng)絡(luò)暴力治理協(xié)同性,實現(xiàn)“共建共享共治”的社會治理格局,應(yīng)圍繞“網(wǎng)絡(luò)暴力”分級標(biāo)準(zhǔn)制定、協(xié)同預(yù)防制度構(gòu)建等問題進(jìn)一步完善行業(yè)自律機制,通過行業(yè)自律組織的組建與完善、相關(guān)行業(yè)規(guī)范的制定與發(fā)布、社會投訴處理機制完善等措施,發(fā)揮行業(yè)組織以及行業(yè)規(guī)范在網(wǎng)絡(luò)暴力治理層面的積極作用,監(jiān)督平臺承擔(dān)起信息傳播過程中“把關(guān)人”的角色。

(二)平臺應(yīng)在網(wǎng)暴“規(guī)則之治”中承擔(dān)責(zé)任

以網(wǎng)絡(luò)通信技術(shù)和雙邊算法或多邊算法等系列技術(shù)為基礎(chǔ)的互聯(lián)網(wǎng)平臺,其價值是利益相關(guān)方各類交互行為的直接或間接表現(xiàn)。而“平臺”“治理”“平臺治理”等概念,都是利益相關(guān)方理性或者“有限理性”行為的產(chǎn)物。對網(wǎng)絡(luò)平臺的監(jiān)管是一個世界性難題,發(fā)達(dá)國家習(xí)慣將社交平臺的治理權(quán)交給平臺,這也符合“問題制造者就是問題解決者”的基本法理。①2018年,德國推出《網(wǎng)絡(luò)執(zhí)行法》,其加大了平臺的治理責(zé)任,要求平臺嚴(yán)格履行治理義務(wù),以此整治網(wǎng)絡(luò)上的“仇恨、煽動性言論以及虛假的新聞內(nèi)容”。其提出,社交平臺必須為用戶提供詳細(xì)的在線舉報表單;在接到舉報后,必須于24小時內(nèi)刪除各類違法言論;受理舉報后,7日內(nèi)必須對有爭議的言論進(jìn)行處理,避免引起不良影響;必須提交輿情治理季度報告等。當(dāng)前我國《中華人民共和國網(wǎng)絡(luò)安全法》《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》等相關(guān)法律規(guī)定對網(wǎng)絡(luò)平臺的信息管理與審查義務(wù)做了初步規(guī)定,但平臺方的網(wǎng)暴治理工作仍存在一定完善空間。一方面,需進(jìn)一步完善平臺方網(wǎng)絡(luò)暴力治理責(zé)任體系。與其他國家相比,我國法律法規(guī)對于“網(wǎng)絡(luò)暴力”平臺責(zé)任的相關(guān)規(guī)定比較粗放,仍處于起步階段。在網(wǎng)絡(luò)信息審查義務(wù)上,當(dāng)前關(guān)于網(wǎng)絡(luò)信息審查的法定范圍和標(biāo)準(zhǔn)散見于各類以行政規(guī)范為代表的法律法規(guī)之中,對于網(wǎng)絡(luò)暴力領(lǐng)域的專門規(guī)定與具體義務(wù)設(shè)置更是處于近乎空白的狀態(tài)。在信息公開的報告義務(wù)上,當(dāng)前網(wǎng)絡(luò)平臺作為“私主體”,實施平臺信息管理的主要路徑是依據(jù)與用戶簽訂的使用協(xié)議或用戶條款,對涉及網(wǎng)絡(luò)暴力的言論及其賬號主體采取刪帖、禁言、封停賬號等措施,但此過程中如何進(jìn)行信息公開與報告的相關(guān)規(guī)定卻遠(yuǎn)未成形,造成了平臺信息處理違法內(nèi)容的不透明。因此,有必要圍繞“信息審查”“信息公開”等義務(wù)完善網(wǎng)絡(luò)平臺責(zé)任體系,為平臺治理網(wǎng)暴提供保障與參考。

(三)“技術(shù)賦能”是實現(xiàn)數(shù)字治理網(wǎng)暴的關(guān)鍵

從技術(shù)理性視角,厘清平臺背后的技術(shù)支撐及其技術(shù)邏輯是實現(xiàn)技術(shù)賦能的重要基礎(chǔ)。

其一,支撐互聯(lián)網(wǎng)平臺的技術(shù)實質(zhì)上是一系列技術(shù)集合,包括各種類型的算法、數(shù)據(jù)采集技術(shù)和數(shù)據(jù)管理技術(shù)、算力技術(shù)等,互聯(lián)網(wǎng)平臺的技術(shù)處于持續(xù)演變的過程中,核心算法技術(shù)從最初期的信息查詢類算法,經(jīng)歷信息共享類算法、信息搜索引擎算法,直至現(xiàn)如今的信息匹配算法、信息推送算法等。

其二,互聯(lián)網(wǎng)平臺技術(shù)集合存在著多種技術(shù)邏輯,數(shù)據(jù)采集與再交換邏輯是平臺得以存在的基礎(chǔ)邏輯,技術(shù)分解與聚合帶來的技術(shù)體系性能綜合性提升是互聯(lián)網(wǎng)平臺獲得技術(shù)效率的永恒邏輯,互補性技術(shù)創(chuàng)新帶來了平臺技術(shù)創(chuàng)新和技術(shù)生態(tài)的整體躍遷。

其三,網(wǎng)暴治理離不開技術(shù)手段,比如網(wǎng)絡(luò)暴力技術(shù)識別主要包括簡單識別、文本識別+勸阻式干預(yù)、反諷識別+折疊式干預(yù)方式,涉及情緒解析、文本觀點提取、文本相似度判斷以及詞法分析等技術(shù)原理。②綜上,想要實現(xiàn)數(shù)字平臺的有效治理,需要與平臺技術(shù)相協(xié)同,進(jìn)一步提升對網(wǎng)暴的信息監(jiān)測與處置技術(shù)。據(jù)《光明日報》報道,國務(wù)院新聞辦公室在舉行2022年“清朗”系列專項行動新聞發(fā)布會時提出,要“指導(dǎo)網(wǎng)站平臺建立網(wǎng)絡(luò)暴力行為監(jiān)測模型,通過分析用戶評論、彈幕等環(huán)節(jié)的異常行為,綜合舉報數(shù)量頻次,準(zhǔn)確識別網(wǎng)暴苗頭”,但除了個別頭部網(wǎng)站已嘗試建立該類監(jiān)測模型外,多數(shù)網(wǎng)絡(luò)平臺商在輿情監(jiān)測與網(wǎng)絡(luò)暴力預(yù)防等方面的技術(shù)運用仍存在欠缺。因此,須進(jìn)一步加強平臺方新技術(shù)的研發(fā)與應(yīng)用,提升治理主動性、科學(xué)性與針對性。

四、平臺治理網(wǎng)暴的數(shù)字化全鏈條全景式示范模式

網(wǎng)絡(luò)暴力的治理不可能一蹴而就,這是一個長期監(jiān)督、治理的過程。平臺理應(yīng)“守土有責(zé)、守土盡責(zé)”,不應(yīng)因“眾怒難犯”而沉默,不當(dāng)“推波助瀾”的“幫兇”,采取精準(zhǔn)有效的措施從嚴(yán)整治,為用戶提供各種場景預(yù)防網(wǎng)暴功能的服務(wù),爭創(chuàng)數(shù)字化全鏈條示范模式。

網(wǎng)絡(luò)暴力的全鏈條治理,即是伴隨網(wǎng)絡(luò)暴力及系列輿情發(fā)酵各個階段的治理。在網(wǎng)絡(luò)暴力的潛伏期,要建立健全識別預(yù)警預(yù)防機制;在網(wǎng)絡(luò)暴力的爆發(fā)期和持續(xù)期,要建立健全網(wǎng)絡(luò)暴力當(dāng)事人實時保護(hù)機制,嚴(yán)防網(wǎng)絡(luò)暴力信息傳播擴散;在網(wǎng)絡(luò)暴力的消退期,要加大對違法違規(guī)賬號、機構(gòu)和網(wǎng)站平臺處置處罰力度,強化警示曝光和正向引導(dǎo),及時做好復(fù)盤和反思,追蹤事件的長時間進(jìn)展和多方面影響;在網(wǎng)絡(luò)暴力頻發(fā)的階段,要搭建長效化配套機制。

(一)平臺治理網(wǎng)暴的事前監(jiān)測預(yù)防機制:“平臺管用戶,政府管平臺”的雙層監(jiān)管模式

通過建構(gòu)“平臺管用戶,政府管平臺的雙層監(jiān)管模式”及網(wǎng)絡(luò)暴力識別預(yù)警機制,強化網(wǎng)民行為識別和輿情發(fā)現(xiàn),及時預(yù)警網(wǎng)絡(luò)暴力,從而減少不法行為的發(fā)生。進(jìn)一步完善網(wǎng)絡(luò)信息的全面分級審查機制,在分級標(biāo)準(zhǔn)上,結(jié)合域外治理經(jīng)驗,構(gòu)建并完善“信息內(nèi)容”與“受眾年齡”相結(jié)合的分級體制,設(shè)置相應(yīng)指示標(biāo)識。充分發(fā)揮平臺與行業(yè)組織的自治優(yōu)勢,由平臺自主進(jìn)行網(wǎng)站初步定級、標(biāo)注分級標(biāo)識、設(shè)置身份認(rèn)證系統(tǒng)等,政府則發(fā)揮后置性審核作用。①同時進(jìn)一步健全網(wǎng)絡(luò)暴力的專門性識別與預(yù)警機制,網(wǎng)絡(luò)暴力的識別預(yù)警通過人工智能算法等網(wǎng)絡(luò)技術(shù)建構(gòu)的信息識別與輿情分析系統(tǒng),識別機制具體包括投訴舉報、人工審核、第三方標(biāo)記、自動過濾和綜合審計五種類型。②系統(tǒng)可以對網(wǎng)絡(luò)輿論進(jìn)行實時監(jiān)測,并在發(fā)現(xiàn)疑似“網(wǎng)絡(luò)暴力”的行為時,通過“彈窗警告”等方法發(fā)出消息提示。首先,進(jìn)一步明確識別預(yù)警的規(guī)范標(biāo)準(zhǔn)。其次,改進(jìn)網(wǎng)絡(luò)暴力識別、審查的技術(shù)方法。面對多樣的“網(wǎng)絡(luò)暴力”形式,有必要通過建設(shè)“網(wǎng)暴”信息樣本庫、發(fā)展關(guān)鍵詞攔截策略、行為識別模型等方式,運用算法技術(shù)識別進(jìn)一步增強“網(wǎng)暴”信息的自動化識別與過濾。此基礎(chǔ)上,還應(yīng)通過平臺方內(nèi)設(shè)審核機構(gòu)及第三方組織等,進(jìn)行疑難信息的二次識別與人工審核,避免遺漏新類型、疑難性網(wǎng)絡(luò)暴力信息。最后,建立網(wǎng)暴識別預(yù)警的解除機制。技術(shù)的有限性決定了網(wǎng)暴識別也存在相當(dāng)多的誤判,故應(yīng)在發(fā)生誤判的情形下保障用戶救濟渠道,設(shè)置審核異議程序與解除措施,完善相關(guān)投訴、舉報及訴訟機制。③

不斷完善雙層監(jiān)管的流程化辦理模式,第一層為內(nèi)容審核。平臺需要過濾顯而易見的違法信息,可通過大數(shù)據(jù)與人工智能分析,自動化發(fā)現(xiàn)網(wǎng)暴言論及其諧音變種,加強謾罵、血腥、恐怖類的文本、圖片的AI模型識別能力,且可提高特殊時間節(jié)點的審核效率,助力平臺建立完善的審核機制。第二層,輿情監(jiān)測。提升平臺輿情監(jiān)測能力,對社會大熱事件與突發(fā)事件能夠及時獲取,及時研判,及時制定方案。第三層,舉報受理。平臺要賦予用戶關(guān)閉私信、拉黑或舉報發(fā)布網(wǎng)暴言論者賬號的功能。平臺要提供舉報審核解決方案,靈活支持各場景舉報內(nèi)容提交,按風(fēng)險程度快速審核判定舉報。第四層,賬號管理。平臺可對頻繁發(fā)布謾罵、四處引戰(zhàn)的賬號進(jìn)行禁止發(fā)言或封號,允許被禁者經(jīng)過一定期限后,重新申請監(jiān)管下的賬號使用權(quán),進(jìn)而形成引導(dǎo)從善機制。創(chuàng)新提供用戶行為圖譜分析,多維度發(fā)現(xiàn)用戶的過界異常行為并統(tǒng)計反饋,有利于打擊黑灰產(chǎn)培育的“水軍”用戶,限制部分用戶的謾罵行為。其中,第三層、第四層的處理,涉及事中干預(yù)和事后救濟的問題。

(二)平臺治理網(wǎng)暴的事中干預(yù)處置機制

據(jù)中國網(wǎng)信網(wǎng)消息,中央網(wǎng)信辦發(fā)布的《關(guān)于切實加強網(wǎng)絡(luò)暴力治理的通知》中明確就建立健全網(wǎng)絡(luò)暴力當(dāng)事人實時保護(hù)機制提出了要求,調(diào)整私信功能規(guī)則,及時過濾“網(wǎng)暴”內(nèi)容,強化“一鍵防護(hù)”等應(yīng)急保護(hù)措施,建立快速取證和舉報通道,加大彈窗提醒警示力度,加強重點群體救助保護(hù)。因此,平臺要進(jìn)一步完善網(wǎng)絡(luò)暴力當(dāng)事人實時保護(hù)機制,通過屏蔽相關(guān)暴力言論、阻斷溝通渠道、隱藏被網(wǎng)暴者個人信息等措施,對網(wǎng)暴當(dāng)事人進(jìn)行保護(hù)。進(jìn)一步完善信息公開和輿論引導(dǎo)機制,平臺及時利用信息整合、信息公開以及輿論引導(dǎo)方法,事發(fā)平臺要采取“強制彈窗方式”,將網(wǎng)暴事件基本情況采取登錄平臺、強制瀏覽一定次數(shù)、一定時長的方式予以通報澄清,充分聯(lián)動政務(wù)平臺、官方網(wǎng)站等多方主體,采取新聞發(fā)布、公眾號推文等方法,積極進(jìn)行輿情治理與謠言澄清,制止網(wǎng)絡(luò)暴力擴大化。④比如,微博平臺已有相關(guān)舉措,在核實身份后,為當(dāng)事人提供認(rèn)證綠色通道,同時在相關(guān)話題頁關(guān)聯(lián)當(dāng)事人賬號,置頂當(dāng)事人發(fā)聲內(nèi)容,并對官方權(quán)威媒體的相關(guān)辟謠、澄清信息進(jìn)行“前排”展示,以幫助公眾了解事件全貌。

(三)平臺治理網(wǎng)暴的事后懲治與救濟機制

一是依法從嚴(yán)處置處罰網(wǎng)絡(luò)暴力參與者。平臺需要判斷網(wǎng)暴的違法違規(guī)行為人是否屬于首發(fā)、煽動、跟風(fēng)等類型,依據(jù)不同情形,設(shè)置刪除言論、封號、移交行政執(zhí)法或者司法機關(guān)等處罰標(biāo)準(zhǔn)。平臺應(yīng)當(dāng)嚴(yán)格執(zhí)行“禁言封號”的措施,限制違規(guī)賬號在一定時間內(nèi)的發(fā)言權(quán)、私信權(quán)等諸多權(quán)利,或者直接采取封號的嚴(yán)厲懲罰。平臺也可采取行業(yè)自律、加強聯(lián)系等方式,防止賬號持有者轉(zhuǎn)移平臺、持續(xù)進(jìn)行網(wǎng)暴行為??纱罱ㄒ惶仔兄行У目缟缃黄脚_的黑名單打擊協(xié)議,實現(xiàn)多平臺的協(xié)調(diào)同步。當(dāng)然,需同步設(shè)立申訴機制,允許被禁言封號者向監(jiān)管部門投訴申請公平處理,同時設(shè)立禁言封號撤銷制度,允許被禁者經(jīng)過一定期限后重新申請監(jiān)管下的賬號使用權(quán),進(jìn)而形成引導(dǎo)從善機制。①

二是建立網(wǎng)暴典型案例庫。平臺要不斷加強案例庫作為網(wǎng)暴事件樣本庫的建設(shè),首先要明確哪些網(wǎng)暴案例可以進(jìn)入案例庫。案例選擇要以典型警示或者正面引導(dǎo)為綱,重點選擇在治理網(wǎng)絡(luò)暴力熱點事件中具有典型性、可借鑒、啟發(fā)性的案例。其次要對入選案例予以科學(xué)分類,按照適當(dāng)方式編寫。案例可以從不同角度分類,如按案例層級可劃分為平臺治理角度的成功案例、用戶防網(wǎng)暴成功案例等。最后,加強入庫案例的示范使用,案例要納入平臺規(guī)范體系中,采取強制展示與選擇瀏覽結(jié)合的方式,對于有潛在網(wǎng)暴表現(xiàn)形式或初步行為的用戶,在識別的基礎(chǔ)上預(yù)警時可以強制對該用戶展示警示教育案例,并閱讀瀏覽完后強制勾選,才可進(jìn)行下一步操作。

三是建設(shè)幫扶救濟體系與個性化疏導(dǎo)機制,降低“網(wǎng)絡(luò)暴力”后續(xù)影響。平臺要與社會組織加強共建,聯(lián)合社會力量,與被網(wǎng)暴當(dāng)事人“一對一”對接,提供心理疏導(dǎo)、經(jīng)濟援助等,比如抖音“心情暖寶寶”、B站“能量加油站”等功能設(shè)置為因網(wǎng)暴而產(chǎn)生負(fù)面情緒的用戶提供心理疏導(dǎo)服務(wù),有利于及時識別抑郁、輕生等相關(guān)信息。與此同時,還需通過網(wǎng)暴典型案例宣傳、虛假信息澄清等多種方式,糾正社會心理,盡量消弭網(wǎng)暴事件的后續(xù)影響。

四是加強平臺引導(dǎo),堅持技術(shù)向善。平臺對用戶的個性化疏導(dǎo)機制,隨著個性化算法推薦等技術(shù)的普遍應(yīng)用而逐步完善。網(wǎng)民基于選擇性心理,只會關(guān)注、查看自己認(rèn)同的觀點輸出。在此基礎(chǔ)上,內(nèi)容的不斷重復(fù),會加強用戶的固有意識,形成“回音室效應(yīng)”,如此,便會加劇群體極化現(xiàn)象。“信息繭房”“回音室效應(yīng)”是全球社會都在面臨的問題。②而互聯(lián)網(wǎng)平臺,在此挑戰(zhàn)下,更應(yīng)堅持技術(shù)向善,以正確的價值觀為導(dǎo)向,為用戶提供免費的線上“心理輔導(dǎo)”。

(四)健全平臺治理網(wǎng)暴的常態(tài)化配套機制

一是實名制的嚴(yán)格落實。網(wǎng)絡(luò)實名制可有效提升網(wǎng)絡(luò)安全指數(shù),也有利于增強網(wǎng)民的責(zé)任意識,在維護(hù)網(wǎng)絡(luò)秩序的同時更好地保護(hù)言論自由。③我們應(yīng)當(dāng)在多部門合作的框架機制下,積極推動網(wǎng)絡(luò)實名制的落實,并根據(jù)實際情況不斷調(diào)整網(wǎng)絡(luò)實名信息相關(guān)的系列標(biāo)準(zhǔn),通過不同層次的可互操作的身份服務(wù),可減少眾多網(wǎng)絡(luò)服務(wù)中用戶實名和個人信息的審核和存儲需求,降低用戶隱私信息泄露的風(fēng)險,逐步建立起自主可控的網(wǎng)絡(luò)身份管理生態(tài)體系。④

二是社區(qū)共治:“數(shù)字社區(qū)”間的正向聯(lián)合。互聯(lián)網(wǎng)平臺的多樣化,促使網(wǎng)絡(luò)平臺出現(xiàn)了獨特的“社區(qū)文化屬性”。文化建設(shè)作為一只“無形的手”,將零散的用戶集中在一起,以此推動數(shù)字社區(qū)成員的身份認(rèn)同,使用戶自覺自愿參與到數(shù)字社區(qū)的治理中;平臺可以通過與用戶的“共治”,進(jìn)一步提升信息甄別的效率及準(zhǔn)確性。在B站平臺,用戶可自愿加入“風(fēng)紀(jì)委員會”,成為“眾議投票”的一分子,參與甄別不良內(nèi)容。這也成為目前互聯(lián)網(wǎng)平臺常用的治理手段。而以用戶反饋反哺社區(qū)策略的調(diào)整,有利于用戶在不同平臺生態(tài)體系之間的正向聯(lián)合與合力生成。

三是對平臺治理網(wǎng)暴開展專項法治評估。社會治理法治評估既可以激勵治理參與者積極加強法治化建設(shè),也可以對社會治理法治建設(shè)進(jìn)行監(jiān)督。⑤結(jié)合平臺推動治理網(wǎng)暴的實際行動與效果,對平臺打造以主體責(zé)任為核心、以“規(guī)則之治+技術(shù)賦能”為理念的二元共同治理格局與全鏈條全景式治理模式的進(jìn)展情況,由網(wǎng)信監(jiān)管部門聘請第三方機構(gòu),對各平臺企業(yè)開展專項法治評估,并形成專項報告,全面梳理平臺強化治理網(wǎng)暴的成效、經(jīng)驗、不足以及下一步整改重點,供監(jiān)管部門與平臺企業(yè)作為開展治理的決策參考依據(jù)。

作者:

趙韞淏,北京工商大學(xué)法學(xué)院本科生

劉晶,北京工商大學(xué)法學(xué)院黨委副書記、高級政工師

(責(zé)任編輯:谷儒楠)

Abstract: In many incidents of cyberviolence, the transmission line, the jump line and the violence line formed with the help of information make the platform a "hotbed" for cultivating the spread of cyberviolence. The lack of normalized supervision of platform enterprises as the first responsible subject of information content management is an significant cause of cyberviolence. Governing cyberviolence is not achieved overnight, but a long-term supervision and management process. Learn from the successful experience of domestic and foreign platforms in dealing with cyberviolence, and build a dualistic joint governance pattern and a full-chain panoramic governance model with subject responsibility as the core and the concept of "Rule of Provisions + Technical Enablement".

Keywords: Platform, Cyberviolence, Digital Governance, Governance Model

猜你喜歡
網(wǎng)絡(luò)暴力治理模式平臺
我國高校二級學(xué)院治理模式的現(xiàn)狀及問題探討
農(nóng)村水利私人承包治理模式研究
市場經(jīng)濟體制下住宅小區(qū)治理模式的研究
網(wǎng)絡(luò)暴力的危害及產(chǎn)生根源
新聞前哨(2016年11期)2016-12-07 11:08:57
“網(wǎng)絡(luò)暴力”
大學(xué)生網(wǎng)絡(luò)暴力語言分析
戲劇之家(2016年22期)2016-11-30 18:44:06
網(wǎng)絡(luò)平臺支持《教育技術(shù)學(xué)》公共課實驗教學(xué)模式構(gòu)建
陜西科技大學(xué)鎬京學(xué)院應(yīng)用型人才培養(yǎng)模式探索
以學(xué)霸講堂為依托的學(xué)生黨員學(xué)風(fēng)引領(lǐng)平臺建設(shè)研究
淺談高校資產(chǎn)經(jīng)營公司規(guī)范治理模式
清河县| 修武县| 瑞丽市| 鲁甸县| 青川县| 宝清县| 昌平区| 栾川县| 九龙城区| 林芝县| 江山市| 中方县| 江口县| 红安县| 永仁县| 西乡县| 福建省| 老河口市| 芒康县| 景洪市| 沈丘县| 万宁市| 连城县| 钟山县| 萍乡市| 通州区| 固始县| 石台县| 故城县| 南漳县| 府谷县| 阿尔山市| 湘潭县| 东丽区| 和林格尔县| 彝良县| 精河县| 彩票| 克什克腾旗| 西丰县| 抚顺市|