国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

目的之“人”:論人工智能創(chuàng)作物的弱保護

2020-07-16 01:53:18曾白凌
現(xiàn)代出版 2020年4期
關(guān)鍵詞:權(quán)利人工智能人類

◎ 曾白凌

一、目的之人與人之法律

“技術(shù)的發(fā)展是版權(quán)擴張的直接原因”①,版權(quán)法律制度歸根結(jié)底取決于技術(shù)并最終取決于人類自身的意志與利益。著作權(quán)在從無到有、不斷完善中,折射出人、技術(shù)、法律制度三者的平衡、沖突與重構(gòu)。

1. 人工智能對人類中心主義的叩問

人工智能創(chuàng)作物是否具有著作權(quán),是技術(shù)(人工智能)向以人為中心的邏各斯中心主義挑戰(zhàn)的開始。人類中心主義認為人是萬物之靈。“我思故我在”的笛卡爾將人類自身意識作為事物和世界其他一切意識存在之基礎(chǔ)??档聫娬{(diào)人是目的,把“人”這一特異的存在者視為一切形而上學(xué)真理的規(guī)定者。②人工智能是對人類智能的模擬和進化,結(jié)果是賦予物(機器)獨立的思維,使其具備獨立的認知能力、學(xué)習能力、意識能力、執(zhí)行能力,最終打破由人控制和主宰的精神世界和自然世界。技術(shù)進步能否借助人工智能導(dǎo)致一個非人非物的第三體出現(xiàn),這將解構(gòu)以人為唯一主體的人類社會和法律制度,有史以來第一次對以人類為中心建構(gòu)的法律制度和社會關(guān)系發(fā)出追問:人是世界唯一的主體嗎?人真是世界的唯一目的性嗎?

作品是創(chuàng)造者精神的表達和受者精神世界的勾連與反應(yīng),是精神和思想的抵達,是人與人之間社會關(guān)系的交流與抵達。他們彼此構(gòu)成一個閉合的環(huán)節(jié),缺一不可。著作權(quán)保護的是人類知識、思想的創(chuàng)造和傳承。傳承是著作權(quán)的重要使命與目的,體現(xiàn)為人與人之間思想信息的交流傳播。意義和信息不僅來自于物的本身,也來自于受者的內(nèi)心。沒有與受者已有內(nèi)在主觀意識和情感的勾連,所有的物,無論是人工之物還是自然之物,都只是沒有意義的客觀存在。人工智能創(chuàng)作物所代表的思想、情感和知識、信息,只有在人所構(gòu)建的認知世界和主觀意識中才能成其為思想、情感和意義。離開人為主體的交流,離開人為中心的社會秩序的構(gòu)建與體制,人工智能創(chuàng)作物所表達的思想、文化與精神就是無本之木和空中樓閣。人工智能可以進入人的邏輯、語言和思維世界,但無法進入情感、意識、欲望所組成的人類意識和理性世界。理性的人與人的理性世界是人類以自我為中心和主體的人為構(gòu)建,是人為的人之世界。人工智能創(chuàng)作物能否具有著作權(quán),關(guān)鍵是人工智能能否像人一樣具有獨立的意識和意志,具有法律意義上的主體資格。技術(shù)超越了人的主宰和控制,打破了人是世界萬物之靈的神話。人工智能以人工之名,體現(xiàn)了人對知識和機器從創(chuàng)建、控制、依賴到失控的過程,由此會坍塌了以人為中心的認知世界、社會結(jié)構(gòu)和法律制度。

2. 法律是以人為中心的制度構(gòu)建

技術(shù)進步與人的智力進化的不同步,是人工智能產(chǎn)物與著作權(quán)沖突的根源,也是著作權(quán)法律制度完善和重構(gòu)的動因。人類智力進化速度與技術(shù)迭代的速度向兩個極端發(fā)展,“最高級哺乳動物的大腦每隔數(shù)十萬年才增長大約一立方英寸,而計算機容量幾乎每年都會翻一番”③。人類自己發(fā)明構(gòu)建的知識體系、技術(shù)超越創(chuàng)造發(fā)明者本身的認知能力和生理極限。人工智能(技術(shù))獨立甚至超越人類而自我存在、自我組織、自我進化,社會進入一個技術(shù)決定技術(shù)而非人類決定技術(shù)的時代,由此可能帶來技術(shù)失控和人類社會自身的危險。法律制度本身是人為構(gòu)建的體系,是人的體系;社會是以人為中心的社會,法律是人的法律。當我們討論保護人工智能創(chuàng)作物的獨創(chuàng)性時,卻在有意無意中忘記了人是一切法律制度的本尊,忘記了法律的目的與價值?!叭耸且磺袃r值存在的基礎(chǔ)和前提,也是法的價值存在的基礎(chǔ)和前提,是法的價值的最終歸宿。”④著作權(quán)制度和其他法律制度一樣,建立在以人為中心的框架之中。人的理性和機器的可控制性,在人和物間建立起絕對的、明確的、不可逾越的區(qū)分。理性被認為是真實的世界本原和人的本質(zhì)存在?!耙磺袡?quán)利均因人而設(shè)?!雹菝穹ㄊ侨朔? 它為現(xiàn)實中的人而立并為其服務(wù)?!懊穹ǖ慕K極價值是對人的關(guān)愛,最高目標是服務(wù)于人的尊嚴和人的發(fā)展?!雹薹芍黧w地位是法律意義上人的抽象和虛擬,是指法律賦予自然人和社會組織依法承擔責任、享有權(quán)利的資格。從禁止、限制奴隸、婦女的民事法律主體資格到確立其民事法律主體資格,再到創(chuàng)設(shè)法人、社會組織機構(gòu)民事主體資格,民事主體的范圍正逐步擴展?!叭丝煞侨恕钡闹黧w資格限制已經(jīng)絕跡,“非人可人”的趨勢正在增強,這種抽象和虛擬是基于現(xiàn)實中人的需要的。⑦

3. 法律對技術(shù)風險的預(yù)見與管控

技術(shù)進步是對人的賦能,是人體器官功能的延伸。人類從誕生之日起就無時無刻不在尋求對自己的拓展、超越、否定。借助工具是人體器官功能對現(xiàn)實的超越,借助神話和宗教是對思想精神的超越。技術(shù)進步的最終歸宿是技術(shù)對人體器官賦能、延伸、超越、否定、進化。“智能,乃是主體在與環(huán)境客體相互作用的過程中,為了成功應(yīng)對自己所面臨的生存與發(fā)展的挑戰(zhàn)而對客體信息進行深度加工演化從而生成智能行為的能力。”⑧人工智能是指基于邏輯推理、人工規(guī)則和深度神經(jīng)網(wǎng)絡(luò)達到具有“獨立智力創(chuàng)造”能力的人工系統(tǒng)。歐盟法律事務(wù)委 員會《歐盟機器人民事法律規(guī)則》(European Civil Law Rules in Robotics)概括了智能機器人“獨立智力創(chuàng)造”能力的四大特征:自主性能力和分析數(shù)據(jù)能力、學(xué)習能力、物質(zhì)支撐形式、因環(huán)境而調(diào)整其行為的能力。⑨但筆者認為還應(yīng)該強調(diào)一點,即人工智能沒有超越人類的意識與意志,沒有脫離人的控制和管理,本質(zhì)屬性仍然是物的存在。

人工智能是一個泛指的、充滿想象力的概念,具有無限延展性和不確定性。廣義人工智能存在于人類社會生活每個領(lǐng)域,從納米機器人、自動汽車、智能手機,到寫作軟件、阿爾法Zero,人工智能正在以指數(shù)級的發(fā)展成為不可逆轉(zhuǎn)的趨勢。人工智能從是否有思考和學(xué)習能力,演變?yōu)槭欠裼兴季S和意識能力;從最初人類的工具、助手,演變?yōu)槭欠癯蔀楠毩⒂谌伺c物之間的非人非物的“第三主體”;從幫助、服務(wù)于人類社會,演變?yōu)槭Э厣踔粮淖儭⑼{人類自身的存在與發(fā)展。人工智能發(fā)展的歷史也許向人提出了最后之問:人類將如何進化自我,人類能否允許超越人類的人工智能體存在?人工智能導(dǎo)致法律的確定性與科技發(fā)展的不確定性之間的矛盾?!叭斯ぶ悄軐茖W(xué)研究的異化將從根本上改變科學(xué)研究的范式,進而對人類自身及社會產(chǎn)生不可逆的影響。”⑩法律制度必須預(yù)見并管控人工智能所帶來的風險?!爸贫蕊L險可能來自我們的工業(yè)制度、科技政策乃至法律規(guī)則,或是表現(xiàn)為對新技術(shù)無措的‘制度缺失’,或是表現(xiàn)為對新技術(shù)錯判的‘制度失敗’。”?正因如此,阿西莫夫機器人法則規(guī)定: 機器人不得傷害人類個體,也不得以其不作為致使人類個體受到傷害(不傷害原則)?。阿西洛馬會議(2017 Asilomar Conference)形成了23條AI原則:“要求AI系統(tǒng)的設(shè)計和運作應(yīng)符合人類尊嚴、權(quán)利、自由和文化多樣性的理念。通過控制高級人工智能系統(tǒng)所實現(xiàn)的權(quán)力,應(yīng)尊重和改善健康社會所基于的社會和公民進程,而不是顛覆它?!?人類智力進化、技術(shù)進步和社會制度從三個不同維度構(gòu)建出著作權(quán)法。技術(shù)進步無限拉大其與人類智力進化、社會制度進步的差距,三者的平衡被打破,以此為基石的著作權(quán)法律制度必然受到挑戰(zhàn),表現(xiàn)為人工智能創(chuàng)作物在著作權(quán)法律制度中無處立命安身,在文化藝術(shù)和知識生產(chǎn)領(lǐng)域應(yīng)用中不可逆轉(zhuǎn),在形態(tài)上與自然人創(chuàng)作物無法區(qū)分、無處區(qū)分,在保護上無法可依、無可奈何的現(xiàn)狀。

表1 人類智能與人工智能對比

二、人工智能的法律主體地位之爭

法律的主體性不是來自法律本身的制定與賦予,而來自人的自由意志,并以此為依據(jù)。人在法律上的主體性至少基于:具備自由意志(行動之自由)、自我意識(主觀性)、目的(行為與結(jié)果的關(guān)聯(lián)性)。人工智能創(chuàng)作物需要法律制度保護是共識,但是人工智能的法律地位是什么?能否具有法律主體地位?人工智能創(chuàng)作物是否具有著作權(quán)性質(zhì)?這些不同性質(zhì)和層次的問題糾纏在一起,導(dǎo)致人工智能及創(chuàng)作物的法律性質(zhì)與地位出現(xiàn)各自為戰(zhàn)的困境,成為討論人工智能創(chuàng)作物著作權(quán)的關(guān)鍵。

有學(xué)者主張人工智能具有擬制的法律人格?!叭斯ぶ悄懿皇侨?,但人工智能創(chuàng)作物卻構(gòu)成版權(quán)法意義上的作品?!?“人工智能生成物實質(zhì)只不過是人的生成物,人工智能生成物是否構(gòu)成著作權(quán)法意義上應(yīng)受保護的作品,也應(yīng)當按照著作權(quán)法關(guān)于人的創(chuàng)作物是否屬于應(yīng)受保護的作品標準進行判斷。”?“機器人創(chuàng)作物雖然出自于機器人之手,如果機器人創(chuàng)作物具有了著作權(quán)法所認可的作品意義,那機器人創(chuàng)作物是作品就具有了可作品性?!?這些觀點的共同之處是倒置因果關(guān)系尋找著作權(quán)人。因為有一個與人類作品相同的“人工智能創(chuàng)作物”,所以要為它尋找一個著作權(quán)意義上的作者。從作品的形態(tài)和結(jié)果找作者,很容易被具體的物象所困惑。猴子相片的著作權(quán)之爭,主張猴子具有著作權(quán)正是被完全等同于人類照片作品的照片所迷惑,只看到猴子的參與,只看到照片的表現(xiàn)形態(tài)和內(nèi)容輸出的相似,卻沒有發(fā)現(xiàn)猴子后面人的意志和行為,更沒有看到人和猴子的攝影雖然都是按動快門,卻是兩種不同的創(chuàng)造。

“未來人工智能的發(fā)展或許會邁入強人工智能的時代,彼時我們必須將其納入法律主體體系中,我們考慮的不再是其智能程度是否達到賦予法律主體資格的程度,而是如何設(shè)計其享有的法律主體地位的問題。”?俄羅斯學(xué)者在《格里申法案》中認為:“機器人——在沒有人類一方完全控制的情況下,依靠從外部環(huán)境獲取的信息而能夠行動、決定自己的行為并評估其后果的裝置?!?類似的觀點在努力尋找一個根本不存在的、假想的人工智能,夸大了人工智能和法律的超前性,將只存在于科幻的強人工智能納入法律調(diào)整范圍。事實上,具有獨立的意識和意志、不受人類控制的人工智能并不存在,而且在相當長時間內(nèi)不會存在,一是技術(shù)還不能突破人的意識和意志,二是人類已經(jīng)在法律、政策和倫理上對人工智能的風險進行預(yù)警和管控。具有獨立主體資格的強人工智能不可能在現(xiàn)實中存在而成為法律調(diào)整的對象。

有學(xué)者主張間接主體,強調(diào)創(chuàng)作主體“個性”的稀釋、主體的隱形和間接性?!叭斯ぶ悄茏髌返膭?chuàng)作由人工智能的創(chuàng)造者或所有者主導(dǎo);將該類作品的著作權(quán)歸屬于人工智能的創(chuàng)造者或所有者?!?“將人工智能生成物的著作權(quán)賦予投資者,而技術(shù)人員的利益則通過合同的方式予以保護?!?這些觀點強調(diào)人工智能創(chuàng)作過程中人的參與和關(guān)系,從著作權(quán)保護的產(chǎn)權(quán)關(guān)系上找作者,為獨創(chuàng)性找作者,為利益找作者,為保護找作者。其實法律保護的目的與手段多種多樣,人工智能創(chuàng)作物法律保護與著作權(quán)之間并不存在必然的對應(yīng)關(guān)系,人工智能創(chuàng)作物的法律保護并不必然歸屬于著作權(quán)法律制度。

有學(xué)者主張人工智能不能成為民事主體。著作權(quán)主體必須以自然人為前提,人工智能不具有法律人格?!爸悄軝C器人的民法地位應(yīng)當概括為人工類人格”?,“在弱人工智能時代,非生物智能尚未取代或超越人類智慧,因而不宜動搖民事主體制度的根基”?。為什么要為人工智能創(chuàng)作物尋找作者?從何種角度和邏輯尋找作者?應(yīng)該回歸到著作權(quán)的基本性質(zhì)和法律屬性,從著作權(quán)本身屬性上找作者,從作品的人身性和創(chuàng)造性出發(fā)尋找作者,因為作品是人類思想和情感的獨特表達形式,是人的意識和意志的體現(xiàn)?!霸谥黧w的法律地位上,人工智能本身目前不享有獨立的法律人格,其仍然屬于機械的一種?!?“人工智能擁有類似人類的智能,但是并未發(fā)展出人類理性,不可依‘理性論’取得類似自然人的主體地位;人工智能是人類實現(xiàn)自身目的的工具,但是賦予其主體地位并無實益,不可依‘工具論’取得 類似法人的主體地位?!?人工智能還沒有獨立意識,它執(zhí)行的只是設(shè)計者或操作者的意志。人工智能生成物是基于人預(yù)先設(shè)定好的程序、算法、規(guī)則及模型的結(jié)果。?這些觀點代表了理論的主流,即從技術(shù)能力層面,人工智能不能等同或超越人類而獨立存在。從哲學(xué)和理性上講,人工智能不具備人的意志與意識。在法律意義上,智能機器人屬于物的范疇,是權(quán)利客體,而不是民事主體。

三、人工智能創(chuàng)作物納入著作權(quán)保護體系的不當性

當前對人工智能創(chuàng)作物可著作權(quán)性的討論,在一定程度上混淆了人工智能創(chuàng)作物的可著作權(quán)性與可保護性;將多種法律行為等同于同一種法律行為,將不同的法律關(guān)系混淆為同一性質(zhì)的法律關(guān)系并采取同一的救濟和保護措施。

1. 不能等同的兩種獨創(chuàng)性

人是法律的唯一主體;建立在生物意義人的基礎(chǔ)之上的人工智能,不具備主體資格屬性的獨創(chuàng)性,不存在著作權(quán)意義。但有學(xué)者混淆二者的區(qū)別和作用,主張“認定人工智能生成內(nèi)容是否具有獨創(chuàng)性,是認可該內(nèi)容構(gòu)成著作權(quán)法意義上作品的首要條件”?。把人工智能的獨創(chuàng)性與人類智能的獨創(chuàng)性等同,是討論人工智能創(chuàng)作物是否具有著作權(quán)屬性中最嚴重的誤區(qū)。人類作品和人工智能創(chuàng)作物的獨創(chuàng)性,在表現(xiàn)形態(tài)和文化思想及藝術(shù)屬性上幾乎是完全相同但彼此獨立、客觀的存在。在法律屬性和社會價值上,二者之區(qū)分有十分重要的意義。兩種獨創(chuàng)性都有保護的價值和意義,但是保護標準應(yīng)該不同、保護的理論基礎(chǔ)和目的不同、保護的內(nèi)容不同。

第一,人類智能和人工智能獨創(chuàng)性在認知、學(xué)習和創(chuàng)造能力上存在區(qū)別。在數(shù)量、時間、發(fā)展空間、進化速度、條件限制等各方面,人工智能認知、學(xué)習、創(chuàng)造能力都遠遠高于人類智能。軟件生成新聞、機器人寫詩、阿爾法Zero的一萬個棋譜、光刻機,正在展現(xiàn)出人工智能無限的、無人能及的創(chuàng)造能力?!叭绻覀冇米銐蛟诠δ苌夏M人類智慧的1016cps估算,那么最終的筆記本電腦的計算能力將相當于5萬億兆人類文明的腦力。這種筆記本電腦能夠在千分之一納秒的時間里執(zhí)行過去一萬年內(nèi)所有人類思維的總和?!盵27]第二,獨創(chuàng)性標準上存在區(qū)別。著作權(quán)獨創(chuàng)性的標準是人的作品與人的社會相比較,不能將人工智能獨創(chuàng)性與人類作品獨創(chuàng)性放在同一個水平比較。神經(jīng)網(wǎng)絡(luò)系統(tǒng)、數(shù)據(jù)與算法、自主學(xué)習能力加之機械能力的永不疲倦,正在無限擴大人類智能創(chuàng)造能力與人工智能創(chuàng)作能力之間的鴻溝。二者無論在效率還是能力上,都不可同日而語。人類創(chuàng)造已經(jīng)被人工智能簡化為機械制造。人類無法或難以達到的標準,于人工智能而言卻可信手拈來。人工智能的創(chuàng)造性應(yīng)該有自己同類比較的標準。第三,人工智能的創(chuàng)造性并不能應(yīng)然地傳遞給人工智能創(chuàng)作物。考量人工智能創(chuàng)作物的獨創(chuàng)性是否存在,必須將其與人工智能放在一起,作為一個彼此不能分割的整體來研究。具有獨創(chuàng)性的人工智能軟件可以被許可給無數(shù)使用者使用并生產(chǎn)出無數(shù)的人工智能創(chuàng)作物;當前的人工智能時代,大量的人工智能創(chuàng)作物不會超越創(chuàng)作它們的人工智能的預(yù)定,不具有獨創(chuàng)性(也許同人類作品相比在形式上具有獨創(chuàng)性)。比如目前的新聞寫作軟件,創(chuàng)造者是唯一的,使用者卻不是唯一的,不論使用者是否是同一人,只要輸入同樣的程序及元素(不具有著作權(quán)的新聞事實),就會生成一樣的作品。作品的創(chuàng)造(生成)過程實際是一種排列組合和隨機選擇,以及對可能性邏輯的選擇過程,而非有意識的、有目的性的思考或創(chuàng)造。這樣的人工智能創(chuàng)作物不應(yīng)該具有獨創(chuàng)性。第四,直接創(chuàng)造是關(guān)鍵?!吨腥A人民共和國著作權(quán)法實施條例》第三條規(guī)定:“著作權(quán)法所稱創(chuàng)作,是指直接產(chǎn)生文學(xué)、藝術(shù)和科學(xué)作品的智力活動。為他人創(chuàng)作進行組織工作,提供咨詢意見、物質(zhì)條件,或者進行其他輔助工作,均不視為作品的創(chuàng)造性勞動?!边@從立法上回答了諸如投資人、設(shè)計者、使用者、所有者能否成為人工智能創(chuàng)作物的著作權(quán)人的問題。凡是沒有直接產(chǎn)生文學(xué)、藝術(shù)和科學(xué)作品的智力活動,即沒有直接的人的創(chuàng)造性勞動,不能成為著作權(quán)意義上的作者。

2. 不可或缺的人身屬性

著作權(quán)制度的根本目的與意義是體現(xiàn)和保護人的意志與創(chuàng)造力。作品是事件和人思想的升華、提煉,源于生活而高于生活,是在人和事件作為基礎(chǔ)和背景的條件下創(chuàng)作出來的。孟子曰:“頌其詩,讀其書,不知其人可乎?”“狗舔熱鍋油”“吃茶去”的文字,智能機器也許能透過數(shù)據(jù)和概率組合出來,但其所蘊含的六祖慧能的心得和由此在佛教禪宗傳播中的影響和地位、能量以及給人的啟迪,卻是任何智能機器所望塵莫及的?!肮そ车纳眢w是有心智的、感性的、性別化的通道(conduit),通過它,工匠使其世界物質(zhì)化,與世界協(xié)商并改變世界,同時又通過這些方式使事物具有意義。”[28]心靈和意識、意志、理性是器官的功能性作用,還是與器官的功能并列的精神?是精神、意志、意識使人的器官發(fā)生了生理反應(yīng),還是人的器官發(fā)生生理反應(yīng)導(dǎo)致意識和精神發(fā)生?蘇格拉底之死是對哲學(xué)的最高致敬,[29]算法能否在同樣的環(huán)境和眾多生與死的選擇中做出與蘇格拉底一樣的選擇?蘇格拉底為哲學(xué)而死是理性的體現(xiàn),而不是生物神經(jīng)元隨機性發(fā)生的反應(yīng)。心之官則思,“我們手頭的工具是一種技術(shù)客體,但是操作它的手是文化主體”[30]。作品是人思想與情感的物化表現(xiàn),人格是著作權(quán)法律制度正當性的根本所在。

3. 無法承受的權(quán)利與責任

著作權(quán)作為一種法律權(quán)利義務(wù)關(guān)系,必須回到法律語境之中討論人工智能及其創(chuàng)作物與著作權(quán)的關(guān)系。民法中權(quán)利主體和客體不能互為彼此。著作權(quán)的權(quán)利主體是人,著作權(quán)的對象(客體)是物;勾連人與物二者關(guān)系的民事行為或民事法律行為是人的行為。主體資格、權(quán)利、責任是相互關(guān)聯(lián)對應(yīng)、有機統(tǒng)一的。權(quán)利與責任是同一事物的不同方面,是構(gòu)成法律主體之必要組成。民事主體的資格本質(zhì)上是指當事人以自己的行為承擔相應(yīng)后果的自由選擇,其行為建立在主體自愿和自由的基礎(chǔ)之上,以自身的財產(chǎn)和人身作為承擔權(quán)利義務(wù)之載體。無論刑事還是民事責任,法律主體都是建立在其身體完整權(quán)利、生命權(quán)利、財產(chǎn)權(quán)利、自由權(quán)利、自由意志、獨立的行為能力和責任能力的基礎(chǔ)之上的。人工智能創(chuàng)作物是對人認知能力、行為能力、判斷能力、學(xué)習能力的模擬和侵入,人工智能是物的存在,在法理上物對物不能主張和享有權(quán)利。不具有身體完整權(quán)利、生命權(quán)、健康權(quán)、自由權(quán)、財產(chǎn)權(quán),即不具備權(quán)利能力和行為能力,缺乏承擔法律責任之意志基礎(chǔ)和物質(zhì)基礎(chǔ)。有學(xué)者試圖將法人著作權(quán)、雇傭作品的原理和機制援用在人工智能創(chuàng)作物保護上,其實是誤解了法人擬制人格、人、人工智能三者的區(qū)別。法人成為法律主體的核心是“意思表示機關(guān)”和歸屬于法人機構(gòu)的獨立財產(chǎn)。透過法人意思機關(guān)形成的法人意志,是全體股東(自然人)意志的聚合和體現(xiàn),仍然滿足法律上主體具有人的意志的本質(zhì)要求。法人獨立擁有的財產(chǎn)則是法人作為主體承擔責任的根本基礎(chǔ)和保證。從個體獨創(chuàng)到集體眾創(chuàng),最終都離不開人的意識、意志與利益。不具有自由意志、財產(chǎn)權(quán)利的人工智能,不存在承擔權(quán)利、義務(wù)和責任的基礎(chǔ),不能在權(quán)利、義務(wù)、行為、責任之間建立起必然的、法律的聯(lián)系。

4. 可能被湮沒的危險

“著作權(quán)面對的對手不再是機械時代的無限復(fù)制,而是大數(shù)據(jù)和人工智能時代的無限創(chuàng)作。它直接繞過了著作權(quán)法,抹殺了創(chuàng)作與復(fù)制的成本差別。”[31]從生產(chǎn)速度和創(chuàng)造能力來看,人工智能像一把雙刃劍,在幫助人類拓展、延伸智力能力的同時,也在數(shù)量和效率上對人類智力的創(chuàng)造性和積極性造成嚴重的影響,對著作權(quán)制度形成沖擊,給文化藝術(shù)創(chuàng)作帶來打擊。這種被湮沒的風險和毀滅性打擊并不是人工智能創(chuàng)作物本身的錯誤,而是法律沒有對人類作品和人工智能創(chuàng)作物進行嚴格的區(qū)分并區(qū)別保護的惡果。這種惡果將會隨著技術(shù)的加速迭代更加明顯。微軟人工智能“小冰”僅用22個月就對236位著名畫家的5 000多張畫作進行了上萬次的迭代,“成功”地在中央美術(shù)學(xué)院美術(shù)館舉辦首個畫展《或然世界》。[32]但這只是人類畫家噩夢的開始,“小冰”不僅顯示了人工智能繪畫能力的新高度,也意味著打開了機器作畫的“潘多拉魔盒”。機器作品將會湮沒繪畫市場,未來人類會為分辨機器作品和人類作品而苦苦掙扎。騰訊使用Dreamwriter智能寫作助手,在抓取大量的事實新聞和素材后,僅僅用10秒的時間,就能生成一篇財經(jīng)分析評論對外發(fā)布,每年可以完成大約30萬篇作品。2020年新冠肺炎疫情期間,用生成器代寫防疫課觀后感成為一個公開的秘密,至少有289 922位學(xué)生生成了927 617次觀后感。[33]機器生成內(nèi)容 (MGC) 、算法生成內(nèi)容 (AGC),當人工智能與人類不良的欲望為伴時,洗稿、水軍機器帖等低成本的人工智能作品大行其道,人工智能在文化、思想、藝術(shù)領(lǐng)域?qū)⒅鸩饺〈祟惐孔径邢薜膭?chuàng)造能力,資本和技術(shù)將假借人工智能之名,實現(xiàn)對人類科學(xué)、文化創(chuàng)造的壟斷。數(shù)據(jù)、算法、程序、邏輯本身沒有偏見和政治觀點,但是控制者、使用者、所有者有目的、意識、觀點、利益。算法和程序的背后隱藏著人預(yù)先設(shè)定的利益與目的。主張人工智能創(chuàng)作物享有著作權(quán)保護,把人的創(chuàng)造力與機器的效力放在同一標準,這將弱化、危害人類的創(chuàng)造力。放任和鼓勵人工智能創(chuàng)作物對人類創(chuàng)作作品的侵蝕和湮沒,會造成人與機器的不平等競爭。

2018年北京互聯(lián)網(wǎng)法院審理北京菲林律師事務(wù)所訴北京百度網(wǎng)訊科技有限公司著作權(quán)侵權(quán)案,2019年深圳市南山區(qū)人民法院審理騰訊計算機系統(tǒng)有限公司訴上海贏訊科技有限公司侵害著作權(quán)及不正當競爭案,分別被稱為中國否定人工智能創(chuàng)作物著作權(quán)第一案和確認人工智能創(chuàng)作物具有著作權(quán)第一案?;谙嗨频氖聦?,南北方兩個完全對立的判決,正是人工智能主體資格、獨創(chuàng)性兩個問題之爭和人工智能創(chuàng)作物可著作權(quán)性標準在司法實踐中的具體呈現(xiàn),值得從學(xué)理的角度進行反思與探索。

表2 人工智能創(chuàng)作物可著作權(quán)性的司法審判實踐對比

四、人工智能創(chuàng)作物的弱保護原則

利益具有多元性、沖突性、排他性,各種利益在法律上折射出不同的保護價值?!傲⒎ㄕ咴谠O(shè)定各種保護的法益的時候,就應(yīng)當區(qū)分各種法益保護的等級”[34],確定利益之優(yōu)先順位,遵循法律之“優(yōu)先價值”(superior value),對不同權(quán)益的不同法律保護制度。人工智能創(chuàng)作物弱保護不具有人身性質(zhì),是非著作權(quán)性質(zhì)的保護,屬于財產(chǎn)權(quán)法律制度范疇。人工智能創(chuàng)作物和人類作品在形態(tài)和結(jié)果上可能完全相似甚至相同,但是人工智能只是邏輯、算法、數(shù)據(jù)的選擇和對應(yīng),不存在行動和結(jié)果之間的意識、目的及思想情感的關(guān)聯(lián),不具備著作權(quán)所要求的人身屬性、人類智能創(chuàng)造力的稀缺性、對思想文化發(fā)展的不可或缺性。同時,法律制度在鼓勵社會和個人知識和技術(shù)的進步與創(chuàng)新的同時,要防止資本和機構(gòu)組織對知識、技術(shù)的壟斷,注重和保障公民的基本文化權(quán)利,實現(xiàn)社會公共利益與個人利益的平衡。按照不同權(quán)益不同保護的立法規(guī)則,應(yīng)該對人工智能創(chuàng)作物進行弱于人類作品的法律保護。人工智能創(chuàng)作物弱保護主要體現(xiàn)為四個方面:

1. 厘清范圍,分類保護

人工智能創(chuàng)作物并無一個明確的內(nèi)涵和外延,范圍、內(nèi)容非常廣泛,具有不同屬性,分屬于不同層次,歸屬于不同性質(zhì)的法律范疇。故應(yīng)該區(qū)別對待,分類保護,而不是僅僅從概念上把不同屬性的事物納入同一個法律名稱和體系之中?,F(xiàn)有所謂人工智能創(chuàng)作物在法律性質(zhì)上有三種類型。

第一種是把部分人類作品(含法人或其他組織作品)混淆為人工智能創(chuàng)作物。一些有自然人或組織參與的所謂人工智能創(chuàng)作物,其實只是著作權(quán)人主體的稀釋、隱藏。許多人工智能后面都有人的存在,都在人的利益和意志控制范圍內(nèi)。科技進步導(dǎo)致人的獨創(chuàng)行為與作品完成在時間和空間的不一致性,甚至導(dǎo)致創(chuàng)作主體的隱形或分離。借助于人工智能,人的創(chuàng)造行為與作品之間在時間、空間和物質(zhì)形態(tài)上綁定,彼此不再是即時、直接、有形、不可中斷的一一對應(yīng),資本和技術(shù)作為人類創(chuàng)作過程中的闖入者和工具,在原有簡單的作者與作品關(guān)系中,增加或突出了創(chuàng)造者、設(shè)計者、投資者、使用者、所有者、人工智能等角色在創(chuàng)造過程中的地位和作用,作為作者的人的主導(dǎo)行為、創(chuàng)造行為不再有清晰直接的脈絡(luò)與痕跡。對人工智能創(chuàng)作物無論在現(xiàn)實生活還是在法律制度層面都應(yīng)該進行限制性認定和解釋,凡是有自然人(法人和社會組織)參與并表達其思想、情感和意志的創(chuàng)造行為,無論其是否使用了人工智能,也無論人工智能的參與程度,只要體現(xiàn)了人的意識、意志,都應(yīng)該視其為人類作品,并納入著作權(quán)制度的保護范疇。

第二種是具有“獨立智力創(chuàng)造性”人工智能的創(chuàng)作物,是真正意義上的人工智能創(chuàng)作物,應(yīng)該將其納入法律財產(chǎn)權(quán)利保護體系。人工智能創(chuàng)作物被保護的依據(jù)、意義,與著作權(quán)被保護的依據(jù)、意義有顯著區(qū)別,人工智能創(chuàng)作物弱保護并不直接鼓勵和保護人類的創(chuàng)造性和人身性,而是從財產(chǎn)權(quán)的角度,提供非人身屬性的創(chuàng)造性法律制度保護。阿爾法Zero獨立創(chuàng)造的棋譜,雖然與前期學(xué)習有關(guān),但并不是按照或傳遞其設(shè)計者、使用者、所有者的意志和意識的產(chǎn)物,而是人工智能自我組織、自我進化、自我創(chuàng)造的產(chǎn)物,是獨立于人的意識與意志的非人類創(chuàng)造物。面對人工智能不可逆轉(zhuǎn)的發(fā)展趨勢,兼顧促進科技進步和保障公民基本文化權(quán)利,如何有效、恰當?shù)亟⒋祟惾斯ぶ悄軇?chuàng)作物的法律保護制度,就具有現(xiàn)實意義和戰(zhàn)略意義。

第三種是創(chuàng)造性程度不高的人工智能生成物。人工智能創(chuàng)作物的創(chuàng)造性本身也各有高低,參差不齊,有的只是與人類智能相比具有獨創(chuàng)性,但不具有人工智能創(chuàng)作物標準的獨創(chuàng)性,是人工智能系統(tǒng)的生成物。目前理論和實踐中都沒有對人工智能創(chuàng)作物與生成物做明確區(qū)分,兩者應(yīng)該是邏輯上的屬種關(guān)系,卻常常被混淆和等同。對人工智能生成物要從人工智能本身、從生產(chǎn)過程、從輸入和輸出的內(nèi)容、從同類人工智能技術(shù)水平上來分析判斷,當前由計算機程序、算法所生成的大量貌似人工智能創(chuàng)作物的內(nèi)容,只是人工智能生成物,既不是人類作品,不能享有著作權(quán);也不是人工智能創(chuàng)作物,不能享有超越一般所有物的特殊法律保護。

2.保護的先決條件:強制登記和明確標注

第一,法律應(yīng)對人工智能實行強制登記制度,以此作為人工智能創(chuàng)作物獲得法律保護的必要條件。人工智能創(chuàng)作物必須實行登記注冊制度才能取得相關(guān)的法律保護,這與著作權(quán)保護有本質(zhì)區(qū)別。著作權(quán)法實行自動保護原則,著作權(quán)保護不以登記注冊為先決條件,作品創(chuàng)作完成,具備獨創(chuàng)性和可復(fù)制性就當然受到法律的保護。著作權(quán)法保護的是人身性和獨創(chuàng)性,人身權(quán)在精神層面具有固有性、天然性、絕對性、不可轉(zhuǎn)讓性,不需要授權(quán)或認證,也不需要以公開發(fā)表為前提。由于人工智能創(chuàng)作物是財產(chǎn)性質(zhì)的權(quán)利,不具有人身性,不具備與生俱來的屬性,其權(quán)利關(guān)系人對權(quán)利的主張源于法律的賦予和確認。同其他所有權(quán)一樣,權(quán)利的取得必須建立在一定行為和事實基礎(chǔ)之上,法律有權(quán)設(shè)定其取得權(quán)利的必要條件和程序。

第二,不能保護人工智能創(chuàng)作物的署名權(quán)和完整權(quán)。從獨創(chuàng)性出發(fā)的保護,促進物質(zhì)和技術(shù)的進步主要體現(xiàn)在對物質(zhì)利益的保護,不能得出對人身性的保護,著作權(quán)的人身權(quán),如署名權(quán)(即表明作者身份,在作品上署名的權(quán)利)、保護作品完整權(quán)(即保護作品不受歪曲、篡改的權(quán)利),是與特定的人身相聯(lián)系的權(quán)利,受到法律永久保護。人工智能創(chuàng)作物不具備主體資格和人身屬性,是低于著作權(quán)的弱保護的,人工智能創(chuàng)作物的所有者、使用者、持有者等相關(guān)人士不能因其所有關(guān)系、參與行為,而主張對人工智能創(chuàng)作物享有署名權(quán)和保護創(chuàng)作物完整權(quán)。

第三,人工智能創(chuàng)作物必須被明確標注為人工智能創(chuàng)作物。人工智能創(chuàng)作物與人類作品在表現(xiàn)形式和內(nèi)容上難以區(qū)分,在創(chuàng)造主體和獨創(chuàng)性上卻存在本質(zhì)的差別。法律規(guī)定人工智能創(chuàng)作物必須被明確標注,是對人類著作權(quán)嚴肅性的尊重,是對人身權(quán)利的尊重和保護,是對人民文化權(quán)利的基本保障。依據(jù)誠信原則,當事人不得存在后來要對相對人隱瞞并且對之有害的目的,不得有欺詐或惡意行為。[35]如果相關(guān)利益關(guān)系人或?qū)嶋H控制人不明確標注人工智能創(chuàng)作物,就不得以人工智能創(chuàng)作物的權(quán)利人主張相關(guān)權(quán)利,應(yīng)視為自動放棄人工智能創(chuàng)作物的全部權(quán)利;對不明確標注人工智能創(chuàng)作物而注明人類作品者,應(yīng)當視為民事欺詐行為而承擔法律責任和道德責任。

3. 有期限的財產(chǎn)性保護

應(yīng)嚴格限制人工智能創(chuàng)作物的財產(chǎn)權(quán)利保護期限,在時間上應(yīng)該短于著作權(quán)保護期限。我國著作權(quán)的保護期限為50年,對人工智能創(chuàng)作物的財產(chǎn)性保護期限應(yīng)該在20年以內(nèi),并根據(jù)技術(shù)進步做相應(yīng)調(diào)整,以促進人工智能創(chuàng)作物更快進入公有領(lǐng)域,有效地保障人類基本文化權(quán)利和創(chuàng)造力。由于時間和資源限制所產(chǎn)生的法律之物的稀缺性及絕對性,法律對財產(chǎn)權(quán)利的保護是沒有期限限制的,但人工智能創(chuàng)作物不是一般物權(quán)意義上的財產(chǎn)權(quán)利,只是在技術(shù)限制、智力限制上具有相對稀缺性,并以此為法律保護之基礎(chǔ)。同時,“人的智力成果具有高度的公共性,與社會文化和產(chǎn)業(yè)的發(fā)展有密切關(guān)系 ,不宜為任何人長期獨占?!盵36]所以法律對著作權(quán)的保護是一種限制性保護,在期限、許可、地域等方面都存在限制。同著作權(quán)保護一樣,人工智能會越來越弱化甚至緩解創(chuàng)作物的相對稀缺性,越來越呈現(xiàn)公共性特征,這凸顯了有效縮短人工智能創(chuàng)作物有期限的財產(chǎn)性保護的現(xiàn)實性和重要性。對人工智能創(chuàng)作物有期限的財產(chǎn)性保護的立法目的,是通過私權(quán)的確立和激勵,保障創(chuàng)作物之相關(guān)利益關(guān)系人在特定時期對創(chuàng)作物享有獨占性的、排他性的支配權(quán)利。通過對創(chuàng)作物的高于一般所有權(quán)物的保護,鼓勵和促進對科技、文化的投入,保護創(chuàng)造和競爭,實現(xiàn)資源的優(yōu)化配置,促進個人私權(quán)與社會公共利益的平衡與共同進步。

4. 自動許可原則

自動許可主要指不經(jīng)人工智能創(chuàng)作物權(quán)利人明確同意或授權(quán),在向人工智能創(chuàng)作物登記機關(guān)留存一定使用費后,相關(guān)當事人可以直接行使此人工智能創(chuàng)作物的復(fù)制權(quán)或者使用權(quán)。人工智能創(chuàng)作物所有人享有的是收益權(quán)而非著作權(quán)意義上的許可權(quán)。對人工智能創(chuàng)作物的保護是對物的利益人的保護,不包含對人類思想文化權(quán)利和人身權(quán)利的保護。使用人不經(jīng)人工智能創(chuàng)作物權(quán)利人同意或授權(quán),就能享有人工智能創(chuàng)作物的使用權(quán),但必須支付相應(yīng)的對價。自動許可原則源于人工智能創(chuàng)造力在數(shù)量上和能力上的無限性,以及在自我迭代進化上的指數(shù)級速度。是對人的智力成果的尊重與保護,是保障人類基本文化權(quán)利的具體要求。強制許可是對知識產(chǎn)權(quán)的特有限制,意在配置資源,保護公共利益,平衡社會利益與個人私權(quán)之利益之間的沖突。人工智能創(chuàng)作物的自動許可是人類基本文化權(quán)利對人工智能創(chuàng)作物的必然要求,因為人工智能創(chuàng)作物沒有人身屬性,不能享有只有人類才具有的人類文化權(quán)利。

能否使用人工智能創(chuàng)作物,是否必須經(jīng)過其權(quán)利人的許可才能使用人工智能創(chuàng)作物,具有重要的現(xiàn)實意義。浩如煙海的人工智能創(chuàng)作物使取得人工智能創(chuàng)作物所有人(持有人)的許可,在時間成本和經(jīng)濟成本乃至路徑上變得十分困難甚至不能實現(xiàn)。為促進商業(yè)和技術(shù)創(chuàng)新,充分保障人民基本文化權(quán)益,應(yīng)該比照著作權(quán)的合理使用原理,“當公共利益需要時,著作權(quán)人應(yīng)放棄部分所得利益,對公共利益進行補貼。當交易成本過高而無法通過市場許可方式解決著作權(quán)授權(quán)問題時,使用行為可視為合理使用”[37]。對人工智能創(chuàng)作物的使用采取自動許可原則,主要考量使用性質(zhì)與目的、作品性質(zhì)、使用程度、潛在影響等四個方面。以此類推,人工智能創(chuàng)作物的性質(zhì),最能吻合合理使用原理,是解決人工智能創(chuàng)作物許可難、使用難的理論依據(jù)。在物權(quán)的角度對人工智能創(chuàng)作物予以保護,是物的性質(zhì),享有的是所有權(quán)以及由此派生的收益權(quán)、轉(zhuǎn)讓權(quán)、使用權(quán)等權(quán)利。但是不能有人身性質(zhì)的權(quán)利,也不能享有許可權(quán),即他人不需要經(jīng)過人工智能和人工智能創(chuàng)作物所有人的同意和授權(quán),就能擁有使用權(quán)。

法律是人類理性的產(chǎn)物,權(quán)利保護是一種制度安排。人工智能創(chuàng)作物權(quán)利的弱保護由其自身的屬性決定。同人類作品相比,它不具有人身屬性,人身性權(quán)利激勵對人工智能創(chuàng)作物沒有立法意義和價值目的,不能成為著作權(quán)法調(diào)整的對象。與一般所有權(quán)的物質(zhì)對象相比,人工智能創(chuàng)作物在表現(xiàn)形式和屬性上又被賦予強烈的思想、文化和藝術(shù)特性。面對不可逆轉(zhuǎn)的人工智能革命,應(yīng)該以人工智能創(chuàng)作物的本質(zhì)屬性為出發(fā)點和立足點,在鼓勵技術(shù)創(chuàng)新和保護人類基本文化權(quán)利的雙重目標指引下,以目的之人為基石,構(gòu)建人工智能創(chuàng)作物的法律保護制度。

注釋:

5.1 輪作:重病地應(yīng)實行與糧食、油料、經(jīng)濟作物或十字花科等非茄科作物3年以上輪作,實行與水稻、蓮藕等水旱輪作更為理想。

① 馮小青.知識產(chǎn)權(quán)法利益平衡理論[M].北京:中國政法大學(xué)出版社,2006:236.

② 俞吾金.如何理解康德關(guān)于“人是目的”的觀念[J].哲學(xué)動態(tài),2011(5):28.

③ 庫茲韋爾.奇點臨近[M].北京:機械工業(yè)出版社,2016:7.

④ 卓澤淵.法的價值論[M].北京:法律出版社,2006:4.

⑥ 中國民法學(xué)研究會會長王利明:民法總則服務(wù)于“人”的全面發(fā)展[N/OL].(2017-6-18)[2020-6-25].http://news.sina.com.cn/c/2017-04-18/doc-ifyeimzx6758840.shtml.

⑦ 李擁軍.從“人可非人”到“非人可人”: 民事主體制度與理念的歷史變遷[J].法制與社會發(fā)展,2005(2):45-52.

⑧ 鐘義信.機制主義人工智能理論[J].智能系統(tǒng)學(xué)報,2018(1):4.

⑨ European Civil Law Rules in Robotics[P/OL].(2016-10)[2020-06-16]. https://www.europarl.europa.eu/RegData/etudes/STUD/2016/571379/IPOL_STU(2016)571379_EN.pdf.

? 吳漢東.人工智能時代的制度安排與法律規(guī)制[J].法律科學(xué),2017(5):130.

? 岳彩申,侯東德.人工智能法學(xué)研究[M].北京:社會科學(xué)文獻出版社,2018.

? ASILOMAR AI PRINCIPLES[Z/OL].[2020-06-16].https://futureoflife.org/ai-principles/.

? 易繼明.人工智能創(chuàng)作物應(yīng)受版權(quán)保護嗎?[N].中國科學(xué)報,2019-10-8.

? 李揚,李曉宇.康德哲學(xué)視點下人工智能生成物的著作權(quán)問題探討[J].法學(xué)雜志,2018(9):50.

? 李成亮,王惠敏.機器人創(chuàng)作物的可作品性[J].理論觀察,2017(6):89.

? 包成成.人工智能法律主體文獻綜述[C].上海法學(xué)研究,2019(19卷).

? 張建文.格里申法案的貢獻與局限[J].華東政法大學(xué)學(xué)報,2018(2):35.

? 尹衛(wèi)民.論人工智能作品的權(quán)利主體——兼評人工智能的法律人格[J].科技與出版,2018,(10):102.

? 黃姍姍.論人工智能對著作權(quán)制度的沖擊與應(yīng)對[J].重慶大學(xué)學(xué)報,2020(1):167.

? 楊立新.人工類人格:智能機器人的民法地位[J].求是學(xué)刊,2018(4):88.

? 吳漢東,張平,張曉津.人工智能對知識產(chǎn)權(quán)法律保護的挑戰(zhàn)[J].中國法律評論,2018(2):3.

? 曹源.人工智能創(chuàng)作物獲得版權(quán)保護的合理性[J].科技與法律,2016(3):494.

? 劉洪華.論人工智能的法律地位[J].政治與法,2019(1):17.

? 王遷.論人工智能生成的內(nèi)容在著作權(quán)法中的定性[J].法律科學(xué),2017(5):150.

? 陳虎.論人工智能生成內(nèi)容的可版權(quán)性[J].情報雜志,2020(5):150.

[27] 庫茲韋爾.奇點臨近[M].李慶華,等譯.北京:機械工業(yè)出版社,2016:79.

[28] 德布雷.技術(shù)考古學(xué)[M]//黃旦.中國傳播學(xué)評論 第8輯.北京:中國傳媒大學(xué)出版社,2019:28

[29] 德波頓.哲學(xué)的慰藉[M].季凌霄,譯.上海:上海譯文出版社,2018:8.

[30] 德布雷.媒介學(xué)引論[M].劉文玲,譯.北京:中國傳媒大學(xué)出版社,2018:55.

[31] 李斯特.當人工智能可以無限作曲[N].文匯報,2017-06-02.

[32] 劉景豐.微軟小冰這五年[EB/OL].(2019-8-25)[2020-6-25].http://tech.sina.com.cn/csj/2019-08-25/doc-ihytcern3347596.shtml.

[33] 陳志芳.35萬人用生成器自動生成防疫課觀后感 網(wǎng)友:自己寫也就這水平[EB/OL].(2020-3-12)[2020-6-25].https://www.sohu.com/a/379604606_161795.

[34] 王利民.民法上的利益位階及其考量[J].法學(xué)家,2014(1):81.

[35] 徐國棟.誠實信用原則二題[J].法學(xué)研究,2002(4):77.

[36] 謝懷栻.論民事權(quán)利體系[J].法學(xué)研究,1996,18(2):74.

[37] 謝琳.論著作權(quán)合理使用的擴展適用[J].中山大學(xué)學(xué)報(社會科學(xué)版),2017(4):163.

猜你喜歡
權(quán)利人工智能人類
人類能否一覺到未來?
我們的權(quán)利
人類第一殺手
好孩子畫報(2020年5期)2020-06-27 14:08:05
1100億個人類的清明
2019:人工智能
商界(2019年12期)2019-01-03 06:59:05
人工智能與就業(yè)
論不存在做錯事的權(quán)利
法大研究生(2018年2期)2018-09-23 02:19:50
數(shù)讀人工智能
小康(2017年16期)2017-06-07 09:00:59
下一幕,人工智能!
南風窗(2016年19期)2016-09-21 16:51:29
權(quán)利套裝
Coco薇(2015年12期)2015-12-10 02:43:39
县级市| 思茅市| 仁布县| 固阳县| 皮山县| 道孚县| 大关县| 宝应县| 余江县| 应用必备| 微山县| 甘肃省| 云霄县| 远安县| 霍州市| 东至县| 吉安县| 周宁县| 黄浦区| 崇义县| 太仆寺旗| 壶关县| 德昌县| 固镇县| 乌苏市| 望城县| 克东县| 南木林县| 潼南县| 延吉市| 玉树县| 寿阳县| 定安县| 涿鹿县| 瑞昌市| 盐源县| 丹江口市| 陇川县| 青神县| 元阳县| 互助|