国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

人工智能算法發(fā)展的人類演化效應(yīng)

2022-11-23 16:55王天恩
華東師范大學(xué)學(xué)報(哲學(xué)社會科學(xué)版) 2022年3期

王天恩

人工智能算法的發(fā)展,正使人類環(huán)境越來越智能化。而大數(shù)據(jù)的發(fā)展,則為從算法到智能算法的發(fā)展提供了數(shù)據(jù)基礎(chǔ)。環(huán)境的智能化不僅意味著環(huán)境成為人類創(chuàng)造的產(chǎn)物,而且意味著人類能夠通過智能環(huán)境創(chuàng)構(gòu)決定自身的進(jìn)化。由于人工智能是人類進(jìn)化環(huán)境中越來越重要的構(gòu)成要素,隨著信息科技的發(fā)展,智能算法在人類進(jìn)化過程中越來越起主導(dǎo)作用。在人和智能環(huán)境關(guān)系的演變中,智能算法的發(fā)展對人類進(jìn)化意味著什么?當(dāng)智能算法發(fā)展到目前的機(jī)器深度學(xué)習(xí)階段,探討智能算法社會條件下的人類進(jìn)化前景乃是當(dāng)務(wù)之急。

一 機(jī)器算法發(fā)展中的智能生態(tài)演化

人工智能發(fā)展最核心的內(nèi)容,就是算法的智能化。在很大程度上,智能算法的威力為大數(shù)據(jù)所空前釋放。大數(shù)據(jù)的出現(xiàn),大大推進(jìn)了新一代人工智能的發(fā)展。由于數(shù)據(jù)的爆發(fā)式增長,數(shù)據(jù)處理更加借助算法是必然發(fā)展趨勢。數(shù)據(jù)挖掘算法不僅涉及對大數(shù)據(jù)相關(guān)關(guān)系和人的需要及其發(fā)展的理解,而且更根本地日益涉及人類發(fā)展方向的選擇和導(dǎo)引。在越來越深的程度上,算法決定了分析和解讀數(shù)據(jù)的方式。數(shù)據(jù)挖掘算法涉及實(shí)時數(shù)據(jù)流所反映的內(nèi)容—比如新行為等—的理解,而這種理解又直接影響甚至在很大程度上決定后續(xù)決策算法。

技術(shù)越是智能化,就越不是一般意義上的技術(shù);算法越是智能化,就越不是一般意義上的算法。智能技術(shù)的發(fā)展意味著人工智能的自主性不斷增強(qiáng),算法的智能化導(dǎo)向人工智能的自主進(jìn)化。當(dāng)智能系統(tǒng)開始自我迭代,自主進(jìn)化就開始了?!霸谛畔⑸鐣?,以前由人類來執(zhí)行的操作、決策和選擇,現(xiàn)在越來越多地委托給了算法。算法即使不能決定,也可以提供關(guān)于數(shù)據(jù)應(yīng)該如何解釋以及結(jié)果應(yīng)該采取什么行動的建議?!雹貰. D. Mittelstadt, et al., “The ethics of algorithms: Mapping the debate,” Big Data & Society, vol. 3, no. 2, 2016, p. 1; p. 2.隨著智能算法的發(fā)展,數(shù)據(jù)流意義的人工智能理解將不再是人類理解的工具性延伸,而是自主性越來越強(qiáng)的人工智能體行為。機(jī)器學(xué)習(xí)是算法從工具性技術(shù)向自主進(jìn)化發(fā)展的開始,其發(fā)展在根本上是人工智能自主性發(fā)育的過程。正是智能算法進(jìn)化帶來的人工智能發(fā)展,給人類帶來了進(jìn)化環(huán)境的智能化。就生活環(huán)境來說,智能化帶給人的主要印象是便利;而就進(jìn)化環(huán)境而言,智能化所造成的則是人類進(jìn)化的根本改變。人工智能算法越來越普遍的社會應(yīng)用,意味著人類發(fā)展環(huán)境本身進(jìn)入了智能生態(tài)演化。而智能生態(tài)演化,則意味著人類進(jìn)化環(huán)境的根本改變。這種對人類具有根本性的智能化改變,由于一直與人類價值觀加載密切相關(guān),人們主要是享用其成果,并不會注意到涉及根本的問題累積過程。

算法對人類及其社會的根本影響,主要從智能算法開始;而智能算法對人類及其社會的根本影響,則主要表現(xiàn)在兩個相互關(guān)聯(lián)的方面:一是智能算法對人類智能甚至身體的直接介入;二是智能算法通過對社會環(huán)境的形塑使人類進(jìn)化環(huán)境智能化。

對大多數(shù)人來說,可能還沒有感覺到:“我們?nèi)绾胃兄屠斫馕覀兊沫h(huán)境,以及如何與環(huán)境和他人互動,越來越多地通過算法來實(shí)現(xiàn)?!雹贐. D. Mittelstadt, et al., “The ethics of algorithms: Mapping the debate,” Big Data & Society, vol. 3, no. 2, 2016, p. 1; p. 2.而對于我們來說,在信息文明時代,智能算法會成為越來越重要的信息體,甚至成為越來越重要的信息雙向循環(huán)的環(huán)節(jié)。其結(jié)果正是人類環(huán)境不斷智能化,構(gòu)成智能生態(tài),并逐漸開始智能生態(tài)演化。

從人類生存的層次看,環(huán)境智能化似乎是一個使人類更加舒服的進(jìn)程。只有從環(huán)境算法化的層次深化對環(huán)境智能化的認(rèn)識,我們才能看到事實(shí)的更深刻意蘊(yùn)。隨著大數(shù)據(jù)基礎(chǔ)上人工智能的發(fā)展,人類環(huán)境越來越算法化,人更多地與智能算法打交道,人和人之間介入了越來越多、越來越智能化甚至日益具有自主性的算法。隨著算法本身的不斷發(fā)展,環(huán)境智能算法化將把人類推入可能與過去截然不同的人和環(huán)境關(guān)系發(fā)展階段,由此構(gòu)成的人類社會將發(fā)展為一個與傳統(tǒng)社會更為不同的算法社會。對于大多數(shù)人來說,這一社會轉(zhuǎn)換是在不知不覺中進(jìn)行的,直至智能算法出現(xiàn)明顯的自主進(jìn)化。

事實(shí)上,即使沒有進(jìn)入自主進(jìn)化,人工智能算法的應(yīng)用也給人帶來了關(guān)系到自主性的影響。當(dāng)下如火如荼發(fā)展的算法推薦和算法決策,就將人類的自主性與智能算法日益緊密地關(guān)聯(lián)在了一起?!八惴ㄒ呀?jīng)開始影響我們的日常生活和現(xiàn)實(shí)。它們改變了人們對世界的看法,影響了我們的行為,影響了我們的選擇,這也是社會秩序的一個重要來源。互聯(lián)網(wǎng)上的算法對新興市場和不同領(lǐng)域的現(xiàn)有市場具有重大經(jīng)濟(jì)影響。我們的日常活動,特別是我們的媒體消費(fèi),越來越多地受到幕后運(yùn)作的算法影響:通過搜索引擎和新聞集成器選擇在線新聞,通過系統(tǒng)推薦消費(fèi)音樂和娛樂視頻,在網(wǎng)上商店選擇服務(wù)和產(chǎn)品,以及選擇在社交網(wǎng)絡(luò)上顯示的狀態(tài)信息,這些都是這種趨勢的最突出例子。算法會推薦朋友、新聞、歌曲和旅游路線。此外,他們還會自動生成新聞文章和消息,計算內(nèi)容和人的得分,并被用來觀察我們的行為和興趣,以及預(yù)測我們未來的需要和行動?!雹費(fèi) Latzer et al., “The Economics of Algorithmic Selection on the Internet,” in Johannes M. Bauer and Michael Latzer eds., Handbook on the Economics of the Internet, Cheltenham: Edward Elgar Publishing, 2016, p. 395.在社會活動中,不僅人和物的關(guān)系,而且人和人的關(guān)系都越來越依賴智能算法。人類生活中不斷增多的人工智能應(yīng)用,涉及人類自主性基礎(chǔ)的升級。

如今,人類選擇越來越在算法選擇的基礎(chǔ)上進(jìn)行,甚至在某些環(huán)節(jié)完全由算法代替人類選擇。而且人類選擇的智能算法替代還不一定是在簡單環(huán)節(jié),有些重要環(huán)節(jié)也可能這么做,比如在人看來只能以擲硬幣的方式來做決定時,算法就是決策的更好選擇。由此,算法成了選擇效果提升的重要條件,而效果又有正面和負(fù)面的截然不同。這意味著在智能算法選擇的基礎(chǔ)上,人類將面臨關(guān)系更為重大的選擇。如果一味簡單依賴算法選擇,人類將要冒失去選擇把控的風(fēng)險,甚至在不斷升級的智能環(huán)境中逐漸喪失人的自主能力;如果始終堅守人類自主選擇,即使原則上說不僅可能做出效果越來越好的選擇,而且可以做出不借助算法也能做出的最優(yōu)選擇,但隨著智能算法發(fā)展的復(fù)雜化,形勢也會越來越不樂觀。智能算法選擇會越來越優(yōu)于人類選擇,這已經(jīng)不是未來的可能性,而是在各方面展示出來的現(xiàn)實(shí)。在下棋時,當(dāng)只看一步棋的時候,我們很容易覺得自己很有把握;但當(dāng)思考的步驟越多,我們的把握就越加困難。借助人類棋譜的Alpha Go 戰(zhàn)勝人類圍棋冠軍,憑借機(jī)器知識的Alpha Zero 碾壓借助人類知識的Alpha Go,就是智能算法計算速度和機(jī)器知識雙重優(yōu)勢的典型表現(xiàn)。因此,堅守自主選擇還是依靠智能算法選擇,本身就涉及人類更高層次的戰(zhàn)略抉擇。這似乎決定了隨著發(fā)展的復(fù)雜化,人類的選擇策略應(yīng)當(dāng)是算法選擇基礎(chǔ)上的再選擇。

大數(shù)據(jù)基礎(chǔ)上的算法推薦系統(tǒng),使這一點(diǎn)漸成事實(shí):人們的選擇越來越成為在算法選擇基礎(chǔ)上的再選擇。與算法推薦和數(shù)據(jù)挖掘算法相比,算法決策具有更廣泛深入的影響。事實(shí)上,算法推薦的發(fā)展就意味著算法決策。早在1995 年,比爾·蓋茨就意識到,“隨著時間的推移,人們設(shè)計出來的應(yīng)用軟件將可以分析你的需求,為你提供更適當(dāng)?shù)慕ㄗh。”②[ 美 ]比爾·蓋茨等:《未來之路》,辜正刊主譯,北京:北京大學(xué)出版社,1996 年,第208 頁。。算法一方面在幫助人們進(jìn)行選擇,另一方面也意味著在越來越多地代替人們選擇。人們雖然可以始終擁有最后的選擇機(jī)會,但越來越復(fù)雜的可能性空間,不僅決定了更多的選擇必須由算法代勞,而且由于在推薦過程中,算法設(shè)計者在明處,推薦對象在暗處,算法也在不斷掌握更多的主動權(quán)。在紙質(zhì)書閱讀過程中,只是讀者在看書;而在電子書閱讀中,讀者在讀書,智能算法同時也在閱讀讀者。依據(jù)人們在網(wǎng)絡(luò)上所做出的選擇,算法推薦成了決定人的后續(xù)選擇的重要因素。這樣一來,不僅推薦結(jié)果,而且選擇結(jié)果也越來越為智能算法的邏輯所左右。在考察谷歌、臉書和亞馬遜等互聯(lián)網(wǎng)公司后,湯姆·斯普林斯(Tom Spring)認(rèn)為,“算法可能會讓我們陷于一個廣告商和政府機(jī)構(gòu)將行為數(shù)據(jù)與計算機(jī)公式相結(jié)合的世界里,從而預(yù)測和操縱我們下一步做什么或買什么”③T. Spring, How Google, Facebook and Amazon Run the Internet, 21 Sep 2011, http://www.pcadvisor.co.uk/features/internet/3304956/how-google-facebookandamazonrun-the-internet/.。正是通過對個人選擇的影響,智能算法的邏輯甚至在越來越大程度上對社會起支配作用。

在智能算法的發(fā)展和更加普遍的應(yīng)用中,人工智能和人類智能的相互滲透不僅是人類發(fā)展,而且是人工智能發(fā)展的重要條件。算法創(chuàng)構(gòu)過程及其產(chǎn)物的人類價值觀滲入未必是壞事,關(guān)鍵的問題在于人類的利害關(guān)系滲透進(jìn)算法。如果算法成為人類某種利害關(guān)系甚至意識形態(tài)的智能延伸,就會通過其不合理性的大大強(qiáng)化而造成嚴(yán)重問題。在智能算法決策中,資本邏輯的不同運(yùn)用會造成不同后果就是典型的例子。

智能算法決策可以基于單純的資本邏輯,怎么做資本的收益率高就怎么設(shè)計算法;也可以兼顧社會效益,怎么有益于社會良性發(fā)展算法就怎么設(shè)計。單純根據(jù)資本邏輯,資本收益率可以盡可能高,但社會效益則可能相反。比如網(wǎng)絡(luò)銷售送貨算法決策,根據(jù)資本收益率,智能算法會采取對越是產(chǎn)品質(zhì)量容忍度高的用戶,越是不嚴(yán)加控制商品的質(zhì)量,甚至有意以降低商品質(zhì)量的方式對待和處理,而對雞蛋里挑骨頭甚至使用后惡意退貨的用戶,則反而盡量確保甚至提高商品質(zhì)量,這樣可以盡量保持低退貨率,從而達(dá)到以資本收益率為最高決策目標(biāo)的目的。更有甚者,甚至采用惡意算法,典型的比如所謂“大數(shù)據(jù)殺熟”,根據(jù)大數(shù)據(jù)對用戶的了解,實(shí)施差別定價。資本是逐利的,否則資本就不可能生存和發(fā)展。如果這就是所謂資本邏輯,那么由于資本邏輯在社會中展開,必定涉及基于資本邏輯和社會生態(tài)的更高層次邏輯。比如,由于資本運(yùn)行總是處于社會生態(tài)之中,而社會生態(tài)意味著社會整體效益和長遠(yuǎn)利益,因此相應(yīng)于資本邏輯,還存在一個考慮社會整體效益和長遠(yuǎn)利益、社會意義上的“生態(tài)邏輯”。而在智能生態(tài)演化中,則涉及智能生態(tài)邏輯。資本邏輯反映資本逐利,而相應(yīng)的智能生態(tài)邏輯則關(guān)乎資本如何逐利。智能算法可以分別以唯利是圖的資本邏輯或注重社會效益的智能生態(tài)邏輯為遵循原則,兩種原則完全不同的智能算法具有對社會乃至智能生態(tài)截然不同的影響。在智能算法倫理中,作為規(guī)律性因素,資本邏輯在算法中應(yīng)當(dāng)處于什么樣的地位,不僅關(guān)系到資本邏輯對社會和人的深層次影響,而且關(guān)系到資本邏輯的有效展開,甚至關(guān)系到資本本身的處境。

在特定條件下,如果眼光短淺地簡單以資本邏輯為根據(jù)決定算法設(shè)計甚至采用惡意算法,決策算法在具體算法層面確保資本收益率最高的同時,卻會導(dǎo)致?lián)p害社會長遠(yuǎn)發(fā)展的嚴(yán)重后果。實(shí)施這種資本邏輯主導(dǎo)的眼光短淺的算法,久而久之就會給商業(yè)乃至整個社會信用基礎(chǔ)造成傷害,甚至破壞整個社會環(huán)境,導(dǎo)致整個社會環(huán)境信用水平的降低,以至整個社會環(huán)境的刁蠻化。而整個社會信用水平的降低和社會環(huán)境的刁蠻化,反過來又極不利于資本的長遠(yuǎn)和高層次發(fā)展,導(dǎo)致惡性循環(huán)。這樣隨著智能算法的發(fā)展,就會造成智能生態(tài)的惡化。因此即使是資本邏輯的具體應(yīng)用,除了與特定環(huán)境密切相關(guān),本身也存在一個眼光和層次問題。從更高層次看,相應(yīng)的算法決策涉及資本邏輯和智能生態(tài)邏輯的關(guān)系等,因而存在一個在更高層次看待這一關(guān)系的問題。這還只是就商品銷售而言,由此推導(dǎo),在更大范圍和更高整體層次,算法的原則遵循影響會更大更嚴(yán)重,甚至涉及整個社會發(fā)育,特別是智能生態(tài)的創(chuàng)構(gòu)、平衡保持和不斷優(yōu)化。

無論遵循什么邏輯,智能算法發(fā)展的總體后果都涉及人與社會環(huán)境關(guān)系的根本變化。正是從現(xiàn)在看上去小事一樁的算法推薦到算法決策等的不斷發(fā)展,使人類環(huán)境通過智能算法不斷智能化,并通過智能生態(tài)演化,帶來人和環(huán)境關(guān)系的顛覆性改變。其中最具代表性的表現(xiàn),就是“信息繭房”和“嬌寵模式”等。

二 人和環(huán)境關(guān)系的智能算法逆轉(zhuǎn)

人工智能特別是新一代人工智能的發(fā)展,使人們?nèi)找媲逦乜吹缴鐣Y(jié)構(gòu)中算法日益擴(kuò)展的影響。英國約克大學(xué)的大衛(wèi)·比爾(David Beer)對此有比較早的意識。他認(rèn)為,算法在社會結(jié)構(gòu)中日益突出的地位和力量,使“算法有能力塑造社會和文化形態(tài),并直接影響個人生活”①D. Beer, “Power Through the Algorithm? Participatory Web Cultures and the Technological Unconscious,” New Media & Society ,vol. 11, 2009, p. 994.。而MIT 媒體實(shí)驗(yàn)室的凱文·斯拉文(Kevin Slavin)則通過“重新思考當(dāng)代數(shù)學(xué)的作用—不僅僅是金融數(shù)學(xué),還有普通數(shù)學(xué)”看得更清楚,智能算法“將我們從世界中提取和推導(dǎo)出來的東西轉(zhuǎn)變?yōu)閷?shí)際上開始塑造我們周圍世界和我們內(nèi)心世界的東西。這是專門的算法,基本上是計算機(jī)用來決定事情的數(shù)學(xué)。它們獲得了真理的敏感性,因?yàn)樗鼈円淮斡忠淮蔚刂貜?fù),它們僵化和鈣化,它們成為現(xiàn)實(shí)?!雹貹. Slavin, How Algorithms Shape Our World, 2011, http://www. ted.com/talks/kevin_slavin_how_algorithms_shape_our_world.html.在人工智能算法的全面滲透過程中,當(dāng)人們在以這樣的方式思考社會甚至他人的時候,還只是把眼光局限在人類自身內(nèi)部,而當(dāng)人們將眼光投向整個人類環(huán)境,就會在更高層次發(fā)現(xiàn)人工智能算法對整個人類所帶來的更重大影響。在日常生活中,這種影響往往以美好的一面示人。

大數(shù)據(jù)和人工智能的發(fā)展,給我們展示了“個性化”的美好一面,但其所展示的更多是個性化的表觀方面,在其更深層次,我們所看到的則是真正意義上的“危”“機(jī)”共存。人工智能算法所曉示的“?!薄皺C(jī)”共存,不是策略層面的話語,而是已經(jīng)涉及存在論層次。

在智能算法對人類的更高層次影響中,最為關(guān)鍵的仍然是“自主性”。關(guān)于自主性,在人工智能和人類之間,應(yīng)當(dāng)有一個在融合中部分交接的過程。隨著過程的復(fù)雜化,人類以往的某些自主方面或環(huán)節(jié)會逐漸讓渡給智能算法,以使人類更集中于決策的關(guān)鍵環(huán)節(jié),這是讓機(jī)器替代人類某些體力活動,使人類能夠更好地從事腦力勞動這一發(fā)展過程的繼續(xù):人類不斷從低層次腦力勞動中解放出來,以利于從事更具有創(chuàng)造性的高層次活動。只是這一繼續(xù)具有和以往不同的性質(zhì):越來越涉及人類的自主性。毫無疑問,“算法做出的價值負(fù)載決策也會威脅到數(shù)據(jù)主體的自主性?!边@種威脅,在不尊重人類在決策中的自主性時就已經(jīng)開始了。越來越多的研究表明,分類和行為數(shù)據(jù)流被用于將信息與數(shù)據(jù)主體的興趣和屬性相匹配。當(dāng)欲想的選擇反映了高于個人的第三方利益時,主體在決策中的自主性就沒有得到尊重。②M. Stark and J. Fins, “Engineering Medical Decisions,” Cambridge quarterly of healthcare ethics, vol. 22, 2013, p. 376; p. 374.比如在健康領(lǐng)域,“行業(yè)利用復(fù)雜的技術(shù)和空前規(guī)模的個人數(shù)據(jù)扭曲選擇,將個人作為健康廣告目標(biāo),有效地瞄準(zhǔn)了自由和知情的醫(yī)療決策。通過擺弄所提供的選擇,在搜索健康信息時宣傳和吹捧某些選項(xiàng)而掩蓋其他選項(xiàng),利用社交網(wǎng)絡(luò)打造可能不存在實(shí)際內(nèi)容的同行推薦和點(diǎn)贊外表,并在可能得到商業(yè)贊助時提供看似中立的內(nèi)容—所有這些歪曲信息的辦法都以促進(jìn)健康決策的名義進(jìn)行,其目的不是為了病人的福祉,而是為了第三方的財政狀況,這嚴(yán)重挑戰(zhàn)了尊重個人和決策自主權(quán)的理念。”③M. Stark and J. Fins, “Engineering Medical Decisions,” Cambridge quarterly of healthcare ethics, vol. 22, 2013, p. 376; p. 374.在智能社會,由于不僅所有這些都可以通過智能算法進(jìn)行,而且越來越具有整體影響,以致在個性化發(fā)展過程中,甚至在信息層面逐漸造成超越自主性影響的更大威脅。

智能算法甚至可以超越單純自主性的嚴(yán)重威脅,以源自個性化方式對人形塑。關(guān)于智能算法及其社會應(yīng)用各相關(guān)方面的研究,日益呈現(xiàn)出這樣一個整體圖景:個性化算法通過排除被認(rèn)為不相關(guān)或與用戶信念相矛盾的內(nèi)容,減少了用戶面對的信息的多樣性。信息多樣性被認(rèn)為是自主的一個有利條件。產(chǎn)生缺乏矛盾信息“回音室”的過濾算法可能會阻礙決策自主性。對個性化和過濾機(jī)制的控制可以增強(qiáng)用戶的自主性,但可能會以犧牲信息多樣性為代價。因此,個性化算法和基本的分析實(shí)踐,既能增強(qiáng)也能削弱數(shù)據(jù)主體的能動性。④見Eli Pariser, The Filter Bubble: What the Internet Is Hiding from You, Penguin Press HC, 2011, p.57; Jeroen van den Hoven and John Weckert, Information Technology and Moral Philosophy, Cambridge University Press, 2008, p. 11; S. Newell and M. Marabelli, “Strategic opportunities (and challenges) of algorithmic decision-making: A call for action on the long-term societal effects of ‘datification’,”The Journal of Strategic Information Systems, vol. 24, 2015, pp. 3-14; E. Bozdag, “Bias in algorithmic filtering and personalization,” Ethics and Information Technology, vol. 15, no. 3, 2013, pp. 209-227; B. D. Mittelstadt, et al., “The ethics of algorithms: Mapping the debate,”pp. 1-21.在智能算法發(fā)展的過程中,人類自主性本身也是一個變化發(fā)展的過程,具體表現(xiàn)為讓渡自己的某些自主性,同時獲得以前所沒有的更高層次自主性。因而,越是在人類主導(dǎo)的發(fā)展條件下,自主性的強(qiáng)化和弱化越是相對于人類需要而言;而在智能算法主導(dǎo)的形勢下,那就完全是不同的另一回事了。由此所帶來的,將是人和環(huán)境關(guān)系的智能算法逆轉(zhuǎn):從人適應(yīng)自然環(huán)境,到智能環(huán)境適應(yīng)人。

由于基于大數(shù)據(jù)的智能算法發(fā)展必須以人的需要為出發(fā)點(diǎn),并以人的需要的滿足為最終目的,智能算法環(huán)境的創(chuàng)構(gòu)勢必以各種方式迎合人的需要。即使這種“迎合”以欺騙性的方式進(jìn)行,結(jié)果也是智能環(huán)境去適應(yīng)人。類似算法推薦和算法決策等智能算法發(fā)展,著意為用戶營造的算法化智能環(huán)境,不僅將改變,而且將顛覆人和環(huán)境的自然關(guān)系,把以往的人適應(yīng)環(huán)境顛覆為環(huán)境適應(yīng)人??上攵?,這種人和環(huán)境關(guān)系的顛覆會帶來一系列的相應(yīng)后果。目前可能想象到的最嚴(yán)重后果是人類進(jìn)入自我嬌寵的生存模式,而已經(jīng)出現(xiàn)的最嚴(yán)重后果則是構(gòu)成“信息繭房”(information cocoons),會給社會信息生態(tài)帶來顛覆性影響。

“信息繭房”是美國哈佛大學(xué)法學(xué)院教授凱斯·桑斯坦(Cass R.Sunstein)提出的一個重要概念,意指“一個信息交流世界,在其中我們只關(guān)注那些令自己舒服和愉悅的信息”。在這種信息環(huán)境中,人不知不覺就偏離了正常的發(fā)展軌跡。比如“自由主義者閱讀自由派的博客,最終會變得更是自由主義的;如果保守主義者把自己局限于保守派的博客,他們就會變得更是保守主義的”。①Cass R. Sunstein, Infotopia: How Many Minds Produce Knowledge, New York: Oxford University Press, 2006, p. 9, 75.“信息繭房”的形成絕不像表面看上去那樣是單純的自主選擇結(jié)果,而是具有非常復(fù)雜的形成機(jī)制。它以信息爆炸式發(fā)展為基礎(chǔ),在根本上說是人類適應(yīng)信息爆炸環(huán)境的產(chǎn)物。在社會環(huán)境中,信息越少,人們就越無需選擇,從而越不會出現(xiàn)信息“偏食”;而社會環(huán)境中信息越多,越必須進(jìn)行選擇,從而有了信息“偏食”的可能性。隨著信息科技的發(fā)展,“信息過載”越來越嚴(yán)重,當(dāng)信息多到人們不可能有效選擇—典型的是在智能社會環(huán)境中,就不得不越來越多地借助媒體等各種渠道,而由這些渠道出來的信息,則越來越是智能算法選擇的產(chǎn)物。對此,人類已經(jīng)別無選擇,唯一的合理應(yīng)對就是開展對智能生態(tài)平衡的研究和把握。

沒有智能算法進(jìn)行信息分類,人們的信息查找就會因難度越來越大而不能有效進(jìn)行;沒有搜索引擎過濾無關(guān)信息,人就會淹沒于海量信息。但無論分類還是搜索,都經(jīng)過了加載設(shè)計或用戶價值觀的智能算法設(shè)計。而在此基礎(chǔ)上,推薦系統(tǒng)則涉及更具體的選擇。

智能算法設(shè)計和使用無非基于兩種基本動機(jī),一是有目的地提供希望用戶接受的信息;二是提供用戶自己需要的信息。在前一種情況下,如果所提供的信息是健康的,便符合用戶的發(fā)展利益;如果所提供的信息本身具有偏頗,在批判性思維缺失的情況下,用戶可能成為某些觀念的俘虜甚至“奴隸”。在后一種情況下,由于智能算法的生存競爭邏輯是符合用戶需要,推薦系統(tǒng)不僅要根據(jù)用戶行為數(shù)據(jù)挖掘用戶的潛在需要,而且還要進(jìn)一步把握用戶需要的發(fā)展。因此就有了智能算法環(huán)境反過來適應(yīng)人的根本轉(zhuǎn)變。在自然發(fā)展時期,人類進(jìn)化是環(huán)境選擇的產(chǎn)物;在發(fā)達(dá)的智能社會,人類進(jìn)化是環(huán)境迎合的結(jié)果。正是由此可見,一方面,對于人類社會發(fā)展來說,信息繭房的形成機(jī)制典型地表明了人和環(huán)境關(guān)系的逆轉(zhuǎn);另一方面,對于個人處境而言,信息繭房反映了一種非常重要的信息現(xiàn)象:信息意義上的“作繭自縛”。信息繭房使人認(rèn)知固化,甚至在某種程度上程序化。由于是智能算法迎合人的需要,信息意義上的作繭自縛結(jié)果要更為嚴(yán)重,它會構(gòu)成一個導(dǎo)向后果越來越嚴(yán)重的惡性雙向循環(huán)。

由于偏聽偏信,結(jié)果“生活在繭房里的人不可能很好地思考,道理很簡單,他們自己的偏見將變得根深蒂固”①Cass R. Sunstein, Infotopia: How Many Minds Produce Knowledge, p. 9.。信息繭房可以給人提供一個自得其樂的“舒適”環(huán)境,但同時也可以是偏見的溫床,所孕育出的是井底之蛙,成為信息生態(tài)的消極因素,從而不僅傷害相關(guān)個人,而且當(dāng)信息繭房聚集的數(shù)量或比例達(dá)到一定程度,就可能使社會信息生態(tài)失去平衡,使社會從權(quán)力結(jié)構(gòu)到價值觀念都發(fā)生根本性改變甚至扭曲。人是觀念的動物,社會觀念在很大程度上決定人的思維方式和行為方式。這種社會信息生態(tài)失衡和觀念扭曲,可以達(dá)到完全出乎正常社會條件下人們想象的程度。

智能算法如果為了一定目的一味迎合人的興趣和特定需要,就很容易由這種“信息繭房”造成嚴(yán)重后果。由此也可以想見,智能算法的發(fā)展會給人類及其社會帶來一些具有重大意義的變化。從社會層面看,將發(fā)生的重大變化之一是“算法權(quán)力”的形成。“算法權(quán)力”通過智能算法造成人類社會深層的結(jié)構(gòu)性改變,在環(huán)境的智能化所生成的智能生態(tài)演化過程中,不知不覺地使整個人類社會發(fā)生根本改變,從而進(jìn)一步帶來對整個人類具有顛覆性影響的生存方式,其中的一種最必須及早警覺的可能就是使人類生存進(jìn)入自我嬌寵模式。在哲學(xué)和科學(xué)一體化發(fā)展中深化對智能社會條件下人類進(jìn)化的理解,當(dāng)是智能算法發(fā)展中關(guān)乎人類命運(yùn)的重要課題。

三 智能算法環(huán)境中人類真正意義上的進(jìn)化

在智能算法發(fā)展過程中,機(jī)器算法學(xué)習(xí)意味著技術(shù)和社會的一體化,機(jī)器學(xué)習(xí)基礎(chǔ)上的算法發(fā)展將滲透到社會的所有方面。這種滲透一方面是整體性的,另一方面由于其整體性又顯得是無形的,這使其所涉及的一些關(guān)系處于隱蔽狀態(tài)。正因?yàn)槿绱?,在有些人看來,“?gòu)建機(jī)器學(xué)習(xí)算法常常被視為一種普遍的、無關(guān)政治的實(shí)踐。”②K. D. Vries, “Privacy, Due Process and the Computational Turn: A Parable and A First Analysis,” in Mireille Hildebrandt and Katja de Vries eds., Privacy, Due Process and the Computational Turn, New York: Routledge, 2013, p. 28.但事實(shí)上,機(jī)器學(xué)習(xí)算法將在更高層次涉及政治,只是超越了傳統(tǒng)的政治觀念。

人工智能算法的發(fā)展,將給社會帶來越來越大、越來越深刻的變化。這些變化所造成的影響,越是全面滲透,越可能是無形的。因此,隨著信息文明的發(fā)展,算法應(yīng)用和算法設(shè)計之間的關(guān)系,也就日益成了一個必須深入考慮的環(huán)節(jié)。對于人類進(jìn)化來說,造世意義上的倫理維度關(guān)系到進(jìn)化的方向。

進(jìn)化歸根結(jié)底是信息進(jìn)化,而信息是感受性關(guān)系③王天恩:《信息及其基本特性的當(dāng)代開顯》,《中國社會科學(xué)》 2022 年第1 期。,由于信息的關(guān)系性質(zhì),信息文明是一種關(guān)系性更為凸顯的人類文明?!八惴ㄔ谡Z境中執(zhí)行—在不同的條件下與數(shù)據(jù)、技術(shù)、人員等協(xié)作—因此它們的效果以偶然和相關(guān)的方式展開,產(chǎn)生本地化和情境性結(jié)果?!雹躌. Kitchin, “Thinking critically about and researching algorithms,” Information, Communication & Society, vol. 20, 2016, p. 25.在這樣的信息性關(guān)系社會中,社會權(quán)力會逐漸向智能算法集中,與算法相聯(lián)系的權(quán)力因而越來越成為社會權(quán)力的主要表現(xiàn)方式,正是由此有了“算法社會”(The Algorithmic Society)的概念。

在社會文化研究中,“算法權(quán)力”早有反映。倫敦大學(xué)戈德史密斯學(xué)院文化研究中心主任斯科特·拉什(Scott Lash)教授是最早從文化領(lǐng)域談?wù)撍惴?quán)力的學(xué)者,他很早就注意到,“一個無所不在的媒介社會意味著一個算法中權(quán)力越來越大的社會?!雹軸. Lash, Intensive Culture: Social Theory, Religion and Contemporary Capitalism, London: SAGE Publications Ltd, 2010, p.150.智能算法與人類生活具有越來越內(nèi)在的關(guān)聯(lián),算法權(quán)力正是由此造成。愛爾蘭國立大學(xué)教授羅布·基欽(Rob Kitchin)探索了算法權(quán)力產(chǎn)生的機(jī)制,他認(rèn)為我們?nèi)粘I钪性絹碓蕉嗟姆矫姹凰惴ㄕ{(diào)節(jié)、強(qiáng)化、生產(chǎn)和控制。隨著“算法機(jī)器”(algorithm machines)的崛起,一種新形式的算法權(quán)力正在重塑社會和經(jīng)濟(jì)系統(tǒng)的運(yùn)行方式。①R. Kitchin, “Thinking critically about and researching algorithms,” pp. 14-29.算法是關(guān)系,是人和外部環(huán)境之間的關(guān)系中介,其功能是中介輸入和輸出關(guān)系,把輸入轉(zhuǎn)化為輸出。輸入什么,輸出什么,就是由算法決定的,也是算法的功能所在。在這個意義上,算法的確促生了一種新的權(quán)力。此后,英國約克大學(xué)社會學(xué)系的大衛(wèi)·比爾(David Beer)明確提出“算法的社會權(quán)力”(social power of algorithms)概念,深入分析了算法權(quán)力的性質(zhì)。“算法權(quán)力在于它們做出選擇、分類、排序、組織和排名的能力。也就是說,決定什么是重要的,決定什么應(yīng)該最受關(guān)注?!薄袄斫馑惴ǖ纳鐣?quán)力就是理解算法作為代碼的權(quán)力,同時也是試圖理解算法概念如何開始進(jìn)入我們的世界,它們是如何被話語所設(shè)定的,以及它們被認(rèn)為能夠?qū)崿F(xiàn)什么?!雹贒. Beer, “The Social Power of Algorithms, Information,” Communication & Society, 2017, p. 6, p. 10.算法權(quán)力的凸顯是信息由物能凸顯的社會產(chǎn)物;算法社會的算法權(quán)力事實(shí)上是一種信息權(quán)力。由于其規(guī)則和規(guī)律一體化性質(zhì)③王天恩:《智能算法的規(guī)則規(guī)律一體化及其倫理意蘊(yùn)》,《學(xué)術(shù)界》 2020 年第7 期。,算法也使社會環(huán)境和自然環(huán)境一體化。所謂“算法社會”就屬于這樣一種自然環(huán)境和社會環(huán)境一體化性質(zhì)的存在。

在算法社會中,算法造成了信息權(quán)力,而信息不對稱則造成信息權(quán)力不對稱。“算法社會還涉及信息權(quán)力的關(guān)系。人工智能了解你很多,但你對人工智能不太了解。而且,你不能很好地監(jiān)控人工智能體或算法的功能。在操作者和受支配者之間存在著權(quán)力的不對稱和信息的不對稱。這種不對稱是算法社會的一個核心特征—它是知識和權(quán)力的不對稱,是算法社會的公共和私人管理者與那些受他們統(tǒng)治的人之間的不對稱?!雹躂. M. Balkin, “The Three Laws of Robotics in the Age of Big Data,” Ohio State Law Journal, vol. 78, no. 5, 2017, pp. 1 217-1241.信息權(quán)力使我們看到,所有權(quán)力都源于構(gòu)成權(quán)力的資源的不對稱。在物能文明時代,主要的資源是物能;在信息文明時代,主要的資源則是信息。與在物能不對稱分布基礎(chǔ)上產(chǎn)生的權(quán)力相比,信息不對稱構(gòu)成的權(quán)力更具威力。對自然的描述很難與權(quán)力相聯(lián)系,即使由此形成知識的權(quán)力,也存在公平競爭;而在智能算法設(shè)計中,其前提性規(guī)定⑤王天恩:《創(chuàng)構(gòu)時代的思維規(guī)定》,《南國學(xué)術(shù)》 2019 年第3 期。則由于具有不同的路徑依賴而可以意味著某種更難以動搖和移易的權(quán)力。而且,在人類社會發(fā)展過程中,信息和物能的關(guān)系,將經(jīng)歷一個從“奴婢”到“主人”的發(fā)展過程。隨著智能算法的發(fā)展,信息的威力將得到越來越充分的展示,因?yàn)樾畔⒌耐εc人類創(chuàng)構(gòu)密切相關(guān)。

在智能社會,算法權(quán)力是創(chuàng)構(gòu)能力的算法體現(xiàn)。拉什認(rèn)為:“權(quán)力通過算法對媒介公司在數(shù)字權(quán)力管理中的作用越來越重要。一個無所不在的媒介社會意味著一個在算法中權(quán)力越來越大的社會?!雹轘. Lash, “Power after Hegemony: Cultural Studies in Mutation?,” Theory, Culture & Society, vol. 24, no. 3, 2007, p. 71.算法權(quán)力具有不同于傳統(tǒng)權(quán)力的性質(zhì),隨著智能算法的發(fā)展,算法權(quán)力不僅為人類所擁有,而且將隨著智能算法自主性的發(fā)展而為人工智能體所擁有,也就是為智能算法環(huán)境所擁有。由于算法權(quán)力在越來越大程度上決定智能社會的結(jié)構(gòu),從而構(gòu)成人類新的進(jìn)化基礎(chǔ),智能算法環(huán)境一方面將凸顯人類真正意義上的進(jìn)化,另一方面也將帶來全新的問題。

由于環(huán)境的智能化,主要表現(xiàn)為生物進(jìn)化的人類進(jìn)化將逐漸展露為信息體—智能體的進(jìn)化。日益深化的信息研究表明,進(jìn)化歸根結(jié)底是信息體(information agent)或智能體與環(huán)境相互作用的效應(yīng)和結(jié)果。作為信息體進(jìn)化的更高階段產(chǎn)物,智能體(intelligent agent)的進(jìn)化正面臨人類智能和人工智能融合的前景。而智能進(jìn)化最重要的環(huán)境—或者說智能進(jìn)化環(huán)境的最高層次,則是環(huán)境中的同類智能體。在這些由同類智能體構(gòu)成的環(huán)境和智能體之間,則是日益強(qiáng)化的相互性(reciprocity),人和智能環(huán)境相互依存。在這種相互依存中,智能算法越來越涉入人類進(jìn)化機(jī)制,算法權(quán)力的規(guī)范就成了與人類進(jìn)化方向密切相關(guān)的問題。

關(guān)于人類進(jìn)化中算法權(quán)力的規(guī)范,目前研究中的相關(guān)進(jìn)展主要是“算法審計”(algorithmic audits)。權(quán)力的形成和發(fā)展帶來約束的努力,隨著社會的發(fā)展,社會權(quán)力催生社會監(jiān)督;同樣道理,針對算法權(quán)力的“算法審計”應(yīng)運(yùn)而生。

算法像人類思維方式那樣的深藏特性,一方面使規(guī)則和規(guī)律一體化,另一方面又使規(guī)定編織在算法中,使倫理隱身于程序。因此,算法審計就成了越來越重要的環(huán)節(jié)。當(dāng)算法進(jìn)入自主進(jìn)化,其長遠(yuǎn)的后果就將使人類之前的前提性規(guī)定或在先預(yù)設(shè)的關(guān)鍵性更為凸顯。算法審計最根本的任務(wù)就涉及人類進(jìn)化的前提性預(yù)設(shè),即關(guān)乎前提性規(guī)定合理性的算法權(quán)力審計問題。這將涉及更多新的觀念,涉及他人與自己造世活動之間關(guān)系的新理解,涉及算法社會的構(gòu)成,并最終涉及人類作為智能體的進(jìn)化。

事實(shí)上,算法社會歸根結(jié)底導(dǎo)向智能社會,智能社會由智能算法造就。智能社會的關(guān)系越來越以算法為基本構(gòu)架,社會法則也以算法的形式體現(xiàn)。就像公式或模型,算法就是關(guān)系。智能算法的發(fā)展,意味著算法關(guān)系性的智能化。正是算法關(guān)系性的智能化,人是一切社會關(guān)系的總和以算法的方式日益凸顯。作為人類更高層次的進(jìn)化,信息體的進(jìn)化越來越是人作為一個類的關(guān)系的進(jìn)化。正因?yàn)槿绱耍悄芩惴▽ι鐣?gòu)架和社會法則越來越大的影響,使關(guān)于智能社會的研究與人類進(jìn)化更加密切相關(guān)。

智能社會的算法構(gòu)成給人類社會研究提出了新的課題,涉及更深層次的研究領(lǐng)域。由于人類的造世活動越來越明顯和普遍,而在造世活動中,智能算法又具有核心地位,“算法社會”的提法具有極為重要的意義。作為智能社會的機(jī)制性表達(dá),算法社會展開了智能社會和人類進(jìn)化及其關(guān)系特別深遠(yuǎn)廣闊的探索空間。

算法社會的智能化是智能算法發(fā)展帶來的一個基本事實(shí),由此而來的人類進(jìn)化環(huán)境的根本轉(zhuǎn)換,在信息體—智能體進(jìn)化層面表現(xiàn)得更為清楚:從自然環(huán)境及其基礎(chǔ)上作為自然歷史過程的社會環(huán)境,進(jìn)到人類自己創(chuàng)設(shè)的信息—智能環(huán)境。兩種不同的人類進(jìn)化環(huán)境,具有不同的存在基礎(chǔ)。前者的直接基礎(chǔ)主要是物能的;后者的直接基礎(chǔ)主要是信息的。在前者中,進(jìn)化機(jī)制主要表現(xiàn)為自然選擇;在后者中,進(jìn)化機(jī)制則主要表現(xiàn)為人類的自我選擇。人類創(chuàng)構(gòu)的智能環(huán)境決定人類的進(jìn)化,而人類在智能環(huán)境中的進(jìn)化又進(jìn)一步?jīng)Q定智能環(huán)境,由此所呈現(xiàn)的,正是完全不同于適應(yīng)自然環(huán)境的人類真正意義上的進(jìn)化。

由于以自然選擇為主要機(jī)制的生物進(jìn)化是生物適應(yīng)環(huán)境的結(jié)果,環(huán)境變化決定了生物演變的方向,因此認(rèn)為由自然選擇決定的生物進(jìn)化不是真正意義上的進(jìn)化,而是一種演化,應(yīng)當(dāng)是有根據(jù)的。正是在這個意義上,人類通過自己創(chuàng)設(shè)信息—智能環(huán)境所構(gòu)成的進(jìn)化,才是真正意義上的進(jìn)化。

誠然,自從人類開始改造自然環(huán)境,就意味著不是完全在被動地適應(yīng)環(huán)境,但在物能改造層次上,人類環(huán)境不可能有一個根本的改變。只有當(dāng)人工智能的發(fā)展帶來環(huán)境的智能化,人和環(huán)境的關(guān)系才開始發(fā)生根本變化。就人和自然界的關(guān)系而言,這是人類進(jìn)化史上的里程碑,它標(biāo)志著一個具有革命性的轉(zhuǎn)折。

雖然就整個自然基礎(chǔ)而言,人類的生存處境沒有根本改變,但就人類發(fā)展來說,環(huán)境智能化所帶來的變化卻是根本性的。一方面,人類創(chuàng)造自己的環(huán)境,本身就意味著人類從適應(yīng)自然環(huán)境的演化發(fā)展到真正意義上的進(jìn)化,這是一個人類新進(jìn)化時代的開啟;另一方面,也正是由于人類自己造成環(huán)境的不斷智能化,使人類必須真正承擔(dān)起自己進(jìn)化的重大責(zé)任,不僅避免長遠(yuǎn)看來的嚴(yán)重后果,而且始終讓人類智慧照亮前程,在盡可能高的層次為自身發(fā)展造就越來越遠(yuǎn)大的前途。這意味著智能社會中的人類進(jìn)化機(jī)制發(fā)生了重大變化,在一定程度上,從主要表現(xiàn)為自然選擇發(fā)展到自我選擇。人類進(jìn)化機(jī)制從自然選擇到自我選擇的發(fā)展表明,人類日益在為自己造世。大數(shù)據(jù)的發(fā)展,正在為此創(chuàng)建越來越深厚的基礎(chǔ)。

由于數(shù)據(jù)規(guī)模的爆炸式擴(kuò)大,智能算法向造世算法發(fā)展。反思信息創(chuàng)構(gòu)意義上的造世活動,造世哲學(xué)展示了人類新的發(fā)展前景。①王天恩:《信息文明時代的造世哲學(xué)》,《河海大學(xué)學(xué)報(哲學(xué)社會科學(xué)版)》 2020 年第4 期。造世意義上的社會環(huán)境智能化,更根本地意味著人和環(huán)境的關(guān)系將發(fā)生哥白尼式的轉(zhuǎn)換,因此不僅環(huán)境的人為性質(zhì)越來越凸顯,而且由于人工智能的發(fā)展,甚至人和人的關(guān)系都將發(fā)生根本改變。這意味著一個越來越智能化的社會環(huán)境,意味著人類在一個越來越智能化的環(huán)境中進(jìn)化。

毫無疑問,智能算法發(fā)展的一個最基本價值判斷是給人類帶來福祉,使人類擁有更高層次的進(jìn)化環(huán)境。智能算法使環(huán)境智能化,省去了人類和自然環(huán)境之間關(guān)系和相互作用的許多環(huán)節(jié),使人類智能體與自然環(huán)境直接連接在一起。以這種方式,智能算法無疑將不斷取代人類神經(jīng)系統(tǒng)的外圍功能,使人類在外圍功能退化的同時,升格為一個更高層次的智能體;但作為一個更高層次的智能體,所相應(yīng)需要的是更高層次的整體把握,更長遠(yuǎn)的眼光,而絕不僅僅是準(zhǔn)備進(jìn)入更高級的消極享受。正因?yàn)槿绱耍谥悄芩惴ㄋ鶐淼沫h(huán)境智能化過程中,在將擁有更高層次意義的同時肯定充滿了挑戰(zhàn),其中的很多挑戰(zhàn)是我們今天尚難以想象的。在人工智能算法不斷發(fā)展的條件下,智能生態(tài)的演化以及人和智能社會環(huán)境之間關(guān)系的哥白尼式轉(zhuǎn)換,使人類更高層次的進(jìn)化幾乎“別無選擇”:人機(jī)融合進(jìn)化。

總之,人工智能算法不僅在更多可見地重塑人類社會,而且在更多不可見地重塑人自己。在這個意義上,社會環(huán)境概念也在相應(yīng)發(fā)生根本變化。在傳統(tǒng)社會中,社會環(huán)境主要由人和人的自然關(guān)系直接構(gòu)成,而在智能社會中,社會環(huán)境則滲入了不僅越來越多,而且權(quán)重越來越大的智能算法,結(jié)果是連社會環(huán)境的物能基礎(chǔ)都不斷智能化,社會環(huán)境和自然環(huán)境加速智能融合,從而構(gòu)成一個自然環(huán)境和社會環(huán)境一體化的智能生態(tài)。在智能生態(tài)演化過程中,作為智能體的人和智能環(huán)境構(gòu)成了全新的進(jìn)化關(guān)系。一方面,人類本身是智能生態(tài)演化的重要因素;另一方面,人類智能正日益在這種智能生態(tài)演化中變化發(fā)展。正是在這個意義上,對于智能算法環(huán)境中的人類發(fā)展來說,智能算法的發(fā)展所意味著的,則是人類新進(jìn)化的人工智能基礎(chǔ)。正是作為人類真正意義上的進(jìn)化基礎(chǔ),智能算法具有更為豐富深刻的哲學(xué)和科學(xué)一體化意蘊(yùn)。而在人機(jī)融合進(jìn)化層次,我們則能看到進(jìn)化的更高層次前景:廣義智能進(jìn)化。

大同市| 剑阁县| 呼和浩特市| 洛阳市| 修水县| 武强县| 长沙市| 伊宁县| 泰州市| 海口市| 阿尔山市| 安顺市| 拉萨市| 天气| 北宁市| 通榆县| 广饶县| 永胜县| 比如县| 荔波县| 岳阳市| 仙桃市| 黄浦区| 康保县| 叶城县| 巫溪县| 衡南县| 西乌珠穆沁旗| 绥滨县| 武功县| 沁阳市| 玛沁县| 蕉岭县| 科尔| 旌德县| 玉门市| 湘潭县| 屏山县| 大悟县| 吴江市| 玉环县|