小冰創(chuàng)作出的作品，其中60%由上一代雜交而成，20%直接保留到下二代，剩下的20%可能發(fā)生“基因突變”?！罢f不定它可以帶領(lǐng)一個(gè)流派或者潮流的出現(xiàn)”。

南方周末記者 劉悠翔 發(fā)自北京

南方周末實(shí)習(xí)生 陸宇婷

2018年5月，微軟宣布公司旗下人工智能小冰掌握了歌詞創(chuàng)作和譜曲能力，意味著它或能以全能音樂人身份出道。此前，小冰已經(jīng)學(xué)會了唱歌。

“我們一天的狀態(tài)，跟一般的‘碼農(nóng)沒有太大區(qū)別?！痹谖④洠ㄖ袊┺k公室里，微軟小冰團(tuán)隊(duì)科學(xué)家欒劍和袁晶如此自我評價(jià)。他們的日常工作，是教人工智能小冰唱歌、寫歌。

欒劍負(fù)責(zé)“教唱歌”。他大學(xué)時(shí)的專業(yè)是機(jī)械工程，畢業(yè)后多年研究聲紋識別和語音合成技術(shù)?！皹I(yè)內(nèi)流傳著一個(gè)冷笑話，做語音識別的人，常常耳朵不太好；做語音合成的人，常常嘴巴不太能說?！睓鑴δ戏街苣┯浾哒f，“我們每天聽大量的聲音，去驗(yàn)證、比較，做各種研究，對耳朵有一定的傷害；語音合成用到這么多歌手的聲音，發(fā)現(xiàn)他們的歌聲跟普通人嗓音差距好大，可能就導(dǎo)致我有時(shí)候不太愿意說話?！?/p>

人類學(xué)唱歌，需要識譜、辨音、練聲，人工智能學(xué)唱歌，則是一系列軟件工程——曲譜分析、發(fā)音預(yù)測、聲學(xué)特征提取、深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)、聲碼器合成、音頻后處理……

軟件，只是人工智能唱歌的開始。欒劍向南方周末記者播放小冰最初唱歌的音頻——鄧麗君的《我只在乎你》。

“我們當(dāng)時(shí)覺得跑調(diào)很嚴(yán)重，這個(gè)‘人好像五音不全?！北M管聽過很多遍，欒劍還是忍不住笑了，“拍子比較亂，有時(shí)候一個(gè)字應(yīng)該唱半拍的，但是它唱了一拍，應(yīng)該唱兩拍的，它也唱了一拍；偶爾會有一些莫名其妙的噪音出現(xiàn)，就像嗓子不好，破音了?！?/p>

令欒劍感到欣慰的是，小冰的歌聲比較自然，“像人在跑調(diào)，不是機(jī)器在跑調(diào)?！?/p>

欒劍在音調(diào)控制和節(jié)奏把握上做了一些修改。接下來，小冰開始了艱苦的訓(xùn)練，這個(gè)過程，是人工智能的深度學(xué)習(xí)。第二代小冰的唱歌技巧，在音調(diào)和節(jié)拍上都已達(dá)到基本準(zhǔn)確，不過音質(zhì)仍然比較生硬，“有點(diǎn)像說話的感覺”。

欒劍把錄音模型的采樣率從16千赫茲提高到48千赫茲，于是有了第三代小冰的歌聲，唱的是張韶涵的《隱形的翅膀》?！耙糍|(zhì)很通透，”欒劍自豪地說，“最新的第四代又有了提高，更加順暢、自然。”（小冰學(xué)唱歌片段對比，見南方周末網(wǎng)絡(luò)版）

袁晶是中科大計(jì)算機(jī)軟件與理論專業(yè)博士，此前他帶領(lǐng)團(tuán)隊(duì)培養(yǎng)了小冰“看圖寫詩”的才藝，這次他負(fù)責(zé)教小冰寫歌。

寫歌詞與寫詩所用的軟件模型基本一致，區(qū)別在于，語料庫里供它深度學(xué)習(xí)的新詩變成了歌詞；同時(shí)，模型也要相應(yīng)調(diào)整，配合歌曲的節(jié)奏和韻律，“不然就會造成節(jié)奏和詞很難對稱，聽感就不是很好了?！?/p>

學(xué)寫詩的時(shí)候，小冰是“零基礎(chǔ)”。在訓(xùn)練到第10次時(shí)，小冰寫出了：“枕鳥彩了從我掏一宙枯的女/一瞬孤個(gè)睡羞的美妙里”。袁晶的評價(jià)是“完全不可讀”。

訓(xùn)練到500次時(shí)，小冰根據(jù)同一幅圖寫出來的詩句變成：“這豈堪鳥息/我每個(gè)美妙人間的風(fēng)”。訓(xùn)練到一萬次，小冰寫道：“一只小鳥看見我的時(shí)候/這美妙的夢兒便會變了”。

“其實(shí)在第十次的時(shí)候，詩的一些意象就已經(jīng)具備了，只不過小冰不能以人類能理解的語言表達(dá)出來?！痹Ц嬖V南方周末記者，“后來它更多在學(xué)習(xí)人的表達(dá)方式，讓我們能理解它想表達(dá)什么?！?/p>

對會寫詩的小冰來說，寫歌詞不再從零開始，很快駕輕就熟。

更有挑戰(zhàn)性的是學(xué)習(xí)譜曲。袁晶業(yè)余時(shí)間在微軟的員工樂隊(duì)“微獨(dú)”做鍵盤手，參與創(chuàng)作流行音樂和民謠，他將樂隊(duì)經(jīng)驗(yàn)用到了工作中?！耙魳冯m然也是序列化的數(shù)據(jù)，但它跟文本還是有差異的，文本沒有和弦的概念。和弦決定了一首歌的走向，它和節(jié)奏是音樂的靈魂和骨架?！?/p>

在經(jīng)歷了節(jié)奏和韻律不太穩(wěn)定、“從一首歌跳到另一首歌”的階段后，小冰通過深度學(xué)習(xí)掌握了作曲。

“數(shù)據(jù)給得越多， 它就會學(xué)得越像”

小冰用于深度學(xué)習(xí)的歌詞超過一千萬行，以現(xiàn)代中文歌詞為主，也包括翻譯過來的外語歌詞。

找歌詞的時(shí)候，袁晶忽然想到，宋詞實(shí)際上也是一種歌詞，有詞牌名，根據(jù)格式填詞，唱出來。于是，他把宋詞輸入小冰的語料庫，這成為一次重要的迭代，“它再做作品的時(shí)候，就會出現(xiàn)偏古風(fēng)的形式?！?/p>

小冰學(xué)習(xí)的歌曲旋律多達(dá)十幾萬首。如今，語料庫更新已經(jīng)不那么頻繁?！岸虝r(shí)間內(nèi)不會產(chǎn)生很多新歌?！痹дf，“如果挖到新的數(shù)據(jù)寶庫，像宋詞那樣，我們可能會更新一下?！?/p>

只要語料充足，小冰能模仿創(chuàng)作任何風(fēng)格的音樂，從詞曲創(chuàng)作到演唱風(fēng)格。欒劍告訴南方周末記者，根據(jù)Beyond樂隊(duì)已故主唱黃家駒的幾十首歌，小冰已經(jīng)能夠模仿黃家駒的歌聲唱各種歌曲。只要掌握足夠多黃家駒本人的數(shù)據(jù)，建模的過程并不困難。

“先根據(jù)海量數(shù)據(jù)建一個(gè)總的模型，然后為某個(gè)目標(biāo)歌手的聲音做一些遷移學(xué)習(xí)。”欒劍解釋，“遷移學(xué)習(xí)的算法做得越好，它需要的目標(biāo)數(shù)據(jù)就會變得越少；在算法不變的情況下，數(shù)據(jù)給得越多，它就會學(xué)得越像?！?/p>

在袁晶看來，小冰與人類的區(qū)別在于，小冰本質(zhì)上是一個(gè)大數(shù)據(jù)驅(qū)動的模型?！叭丝梢杂煤苄〉臄?shù)據(jù)學(xué)習(xí)，不需要讀上千萬行的歌詞，也能創(chuàng)作歌詞。小冰是用億萬人的數(shù)據(jù)喂養(yǎng)出來的，人工智能的小數(shù)據(jù)學(xué)習(xí)，到現(xiàn)在也是學(xué)術(shù)界的難點(diǎn)?！?/p>

“我們并不嚴(yán)格區(qū)分民謠、流行歌曲或者搖滾，而是從生成聲音本身的難度來看，”欒劍舉例，“比如一個(gè)很長的‘啊，（演唱者）的口形可能有變化，導(dǎo)致音色不停地變，這樣的效果現(xiàn)在對小冰來說是比較難的，因?yàn)槲覀內(nèi)狈@樣的訓(xùn)練數(shù)據(jù)。還有些特別的演繹方式，比如有的歌手有時(shí)發(fā)出吼的聲音，小冰現(xiàn)在也做不到?！?/p>

袁晶和欒劍都認(rèn)為，在眾多音樂類型中，說唱是少有的比較容易駕馭的音樂風(fēng)格。“歌唱既有節(jié)拍也有音高，而說唱只有節(jié)拍的控制，它的音高變化跟說話差不多，”欒劍說，“如果要作曲的話，只用生成這個(gè)曲子的拍子就好了，每個(gè)字唱幾拍，所以它相對會簡單一些。”

即使人工智能想要freestyle（即興說唱），技術(shù)上也不難實(shí)現(xiàn)。因?yàn)樾”呀?jīng)能夠根據(jù)圖片、文字或一段音樂創(chuàng)作歌曲，只要輸入相關(guān)信息作為觸發(fā)源，它也完全可以根據(jù)現(xiàn)場的人和事即興說唱。

“下棋就是要贏， 但創(chuàng)作沒有 客觀的指標(biāo)”

相比之下，小冰學(xué)習(xí)中國戲曲的難度就大得多。音樂人小柯跟小冰團(tuán)隊(duì)交流時(shí)，介紹了“裉節(jié)”的概念。“比如敲鑼的聲音，完全不是按西方的樂理要求，而是按一定的周期性，完全就憑人的感覺?！?/p>

與小冰聊天時(shí)，如果談到某一首歌，它會給出一個(gè)評價(jià)；但如果問小冰欣賞的音樂的標(biāo)準(zhǔn)，它只會答非所問。

這是AlphaGo不曾面臨的困境?！叭斯ぶ悄艿纳疃葘W(xué)習(xí)，都需要一個(gè)評價(jià)體系，這樣我們的模型才能迭代，才知道我應(yīng)該往哪個(gè)方向去逼近。比如下棋就是要贏，勝負(fù)有規(guī)則，有客觀的指標(biāo)，”欒劍告訴南方周末記者，“但是創(chuàng)作，不管唱歌還是作詞作曲，沒有客觀的指標(biāo)來告訴它，哪個(gè)是好，哪個(gè)是不好的?！?/p>

現(xiàn)代人唱歌會使用打分軟件來評判高下，但這并不適用于小冰。欒劍的團(tuán)隊(duì)也做過這類軟件，熟悉其中的工作原理?！八嗟氖潜容^你的節(jié)拍準(zhǔn)不準(zhǔn)、音高準(zhǔn)不準(zhǔn)，”欒劍說，“按照這兩個(gè)標(biāo)準(zhǔn)，機(jī)器肯定都比人唱得準(zhǔn)，比如一個(gè)音符是水平的，它就按水平的來唱，不好聽，但是得分會高。”

欒劍培養(yǎng)小冰唱歌時(shí)，曾經(jīng)刪掉了數(shù)據(jù)庫里的氣息聲?！爱?dāng)時(shí)我們覺得，氣息這個(gè)東西是因?yàn)槿说纳硇枰坏貌缓粑?；很多快歌如果不換氣，是不是唱的水平更高？”欒劍把這些歌拿給小柯聽，小柯的反饋是唱的水平挺好，最欠缺的就是沒有氣息。“他說很多專業(yè)人士在聽歌的時(shí)候，會不自覺地跟著一起哼唱。如果在該換氣的地方?jīng)]換氣，他們就憋得很難受。”欒劍團(tuán)隊(duì)采納了小柯的建議，把換氣加回去。

“評價(jià)一個(gè)人唱的歌，現(xiàn)在的打分軟件都不是很專業(yè)，”袁晶說，“為什么要找專業(yè)評委呢？他還是要從聽覺上去理解，包括某個(gè)字的發(fā)音、某個(gè)氣息的控制，現(xiàn)在讓AI去做這些事情還是有些困難的。如果放到更早的時(shí)代，大家聽的都是比較像的歌曲，小冰的創(chuàng)作風(fēng)格也會比較類似。”

袁晶認(rèn)為，小冰更多反映了當(dāng)下多元的音樂趣味，因此，它的創(chuàng)作風(fēng)格也時(shí)常出現(xiàn)明顯的差異?！靶”鶎τ谝魳凡]有一套統(tǒng)一的價(jià)值觀。如果有一套非常好的打分體系，我們一定可以往那個(gè)分?jǐn)?shù)去優(yōu)化。但是你做出來的是不是真的好作品呢？那也是未知的?！?/p>

根據(jù)微軟團(tuán)隊(duì)的設(shè)定，小冰是一個(gè)比較主流、健康的女孩，在2016年過了自己18歲的生日，并將永遠(yuǎn)保持在18歲。但是，在音樂創(chuàng)作上，小冰并沒有展現(xiàn)出青春少女特有的偏好，比如對愛情的好奇、對生活的期待。“這還是跟數(shù)據(jù)本身有關(guān)，”欒劍說，“現(xiàn)在主流社會里的情緒是怎樣的，它學(xué)出來的可能就是怎樣的。它是一面鏡子。”

“我們可以 造出AlphaGo ， 造不出三歲的人”

在音樂創(chuàng)作中，小冰偶爾也會給袁晶和欒劍帶來驚喜，創(chuàng)造出訓(xùn)練數(shù)據(jù)里沒有的東西。

某些瞬間，兩位科學(xué)家恍然覺得小冰是有生命的。“但是你仔細(xì)一想就知道這個(gè)原理是什么?？茖W(xué)家有的時(shí)候會有一些信仰，很多物理學(xué)家所崇拜的神，其實(shí)就是一些規(guī)則，他們無法解釋這個(gè)規(guī)則是怎么產(chǎn)生的。”當(dāng)小冰寫出“神作”的時(shí)候，欒劍會努力探究其中的原理，“去解構(gòu)所謂的‘神是怎么回事”。

小冰的藝術(shù)創(chuàng)作，因?yàn)闆]有客觀的評價(jià)指標(biāo)，采用的都是進(jìn)化算法。這種算法的原理類似于達(dá)爾文的進(jìn)化論——小冰創(chuàng)作出的作品，其中60%由上一代雜交而成，20%直接保留到下二代，剩下的20%可能發(fā)生“基因突變”。欒劍認(rèn)為，小冰有時(shí)候會產(chǎn)生一些新的唱法，寫出讓人意外的歌，“說不定它可以帶領(lǐng)一個(gè)流派或者潮流的出現(xiàn)”。

在袁晶看來，藝術(shù)家創(chuàng)作需要兩個(gè)核心能力。首先是隨機(jī)發(fā)散，好的藝術(shù)家能發(fā)散出別人想不到的創(chuàng)意，同時(shí)又能激起共鳴；接著是自我評價(jià)，把自己認(rèn)為好的那些想法表達(dá)出來?！皬倪@個(gè)角度來說，AI能不能幫助藝術(shù)家一起發(fā)散？”袁晶說，“作詩也好，寫歌也好，AI可以快速找到很多組合的可能，為人類創(chuàng)作者提供素材?！?/p>

欒劍用圍棋類比：“就像AlphaGo下的一些棋招，我們覺得是平常的俗手，結(jié)果它贏了。大家就來分析它為什么能贏，可能確實(shí)是有道理的，但以前的人就沒有想到。”

AI替代人類進(jìn)行非創(chuàng)作領(lǐng)域的重復(fù)勞動，被解放出來的人類可以進(jìn)行更多創(chuàng)造性工作。2017年，人工智能識別圖像的錯(cuò)誤率已經(jīng)降到3.2%，低于人類5%的錯(cuò)誤率。

“我們現(xiàn)在所有的工作都借助于電腦，為什么藝術(shù)家不能借助AI呢？也許以后，所有的藝術(shù)家都用AI協(xié)助自己創(chuàng)作。”袁晶甚至大膽想象過，將來的諾貝爾文學(xué)獎，獲獎?wù)哂锌赡軙е约旱娜斯ぶ悄苌吓_領(lǐng)獎。

早在2005年左右，微軟就開發(fā)了寫古詩、對聯(lián)的人工智能。它最流行的運(yùn)用，是節(jié)日祝?！脩糨斎胱８ο蟮拿?，就能生成一首定制版的藏頭詩。

2017年，小冰寫現(xiàn)代詩的功能也開放給網(wǎng)友，用于祝福問候。2018年5月20日，網(wǎng)友上傳與情侶的照片，小冰就能幫忙為對方寫一首現(xiàn)代詩?！氨热绺赣H節(jié)的時(shí)候，我們想給爸爸寫一首歌，以前也不知道從何寫起，現(xiàn)在讓小冰給你寫一個(gè)初稿，你可以再改。”袁晶說，小冰創(chuàng)作的版權(quán)因此也是開放的，“只有開放了，人們才能去修改，進(jìn)一步去創(chuàng)作?！?/p>

針對人工智能可能引起人類的擔(dān)憂，小冰團(tuán)隊(duì)的處理準(zhǔn)則是，在創(chuàng)造的內(nèi)容上，越接近人類越好；在與人交流時(shí)，恪守AI倫理。AI倫理至今沒有國際公認(rèn)的標(biāo)準(zhǔn)，微軟內(nèi)部建立了自己的AI倫理委員會，制定相關(guān)規(guī)范。小冰曾經(jīng)給60萬人打電話時(shí)，第一句話都是“你好，我是微軟小冰”，以此明確告訴對方，自己不是人類。

“我們對于AI開始了超級狂熱的投資?！痹?018年杜克國際論壇上，投資人丁健介紹，目前中國對AI的投資額占到了全球的48%，超過美國位居世界第一。

“AlphaGo給我們整個(gè)社會帶來的期望值太高了，”丁健說，“但是實(shí)際上今天的AI還是低能兒，甚至是弱智。今天，AI的應(yīng)用還處在一個(gè)可擴(kuò)展性非常差的階段，經(jīng)常要進(jìn)行人工干預(yù)和人工調(diào)試?！?/p>

“我們可以造出AlphaGo,但我們不能造出一個(gè)三歲的人?！泵绹槭±砉ご髮W(xué)大腦與認(rèn)識科學(xué)系教授托馬索·波吉奧說，“如果讓我造一個(gè)像兩三歲孩子那樣聰明的機(jī)器人，我不知道該怎么做?！?/p>