謝開飛

在未經(jīng)充分訓(xùn)練的情況下，讓AI關(guān)注人是容易的，但關(guān)注某個(gè)特定的人是困難的。

在美劇《西部世界》中，AI主人公覺醒，并意識到這個(gè)世界是人類殺伐決斷的樂園，于是開啟了反抗之路;電影《黑客帝國》中，AI將人類豢養(yǎng)起來，控制了整個(gè)世界……那么在科幻世界中擁有了意識的AI，在未來生活中能否實(shí)現(xiàn)？

日前，在2020年國際學(xué)習(xí)表征會議（ICLR）上，圖靈獎(jiǎng)得主、蒙特利爾學(xué)習(xí)算法研究所主任約書亞·本吉奧（Yoshua Bengio）對AI的未來提供了最新見解。他認(rèn)為未來機(jī)器學(xué)習(xí)完全有可能超越無意識，向全意識邁進(jìn)。而注意力機(jī)制正是實(shí)現(xiàn)這一過程的關(guān)鍵要素。

人類的注意力機(jī)制和人工智能的注意力機(jī)制是否一樣？現(xiàn)在應(yīng)用于人工智能的注意力機(jī)制還要解決哪些bug，才能讓AI真正具備注意力？就此，筆者采訪了有關(guān)專家。

1、目的在于減少對無用線索的關(guān)注

什么是注意力機(jī)制？“注意力機(jī)制來源于人類的視覺注意力，即人類在進(jìn)化過程中形成的一種處理視覺信息的機(jī)制。”中國科學(xué)院自動(dòng)化研究所研究員張兆翔說。他解釋，人類視覺系統(tǒng)以大約每秒8.96兆比特的速度接收外部視覺信息，雖然人腦的計(jì)算能力和存儲能力都非常有限，但卻能有效的從紛繁蕪雜的外部世界中有選擇地處理重要的內(nèi)容，在這個(gè)過程中選擇性視覺注意發(fā)揮了重要的作用。如我們在看一個(gè)畫面時(shí)，會有一處特別顯眼的場景率先吸引我們的注意力，這是因?yàn)榇竽X對這類東西很敏感。

視覺注意機(jī)制的理論研究自20世紀(jì)80年代以來一直是神經(jīng)科學(xué)和認(rèn)知科學(xué)的熱點(diǎn)研究問題，目前研究者們一般按照兩類標(biāo)準(zhǔn)對注意機(jī)制進(jìn)行分類?！皬淖⒁猱a(chǎn)生的方向劃分為：自下而上數(shù)據(jù)驅(qū)動(dòng)的注意、自上而下任務(wù)驅(qū)動(dòng)的注意、兩者結(jié)合共同產(chǎn)生的注意;從關(guān)注的對象劃分為：基于空間的注意、基于特征的注意、基于對象的注意。”中國科學(xué)院自動(dòng)化研究所副研究員王威介紹說。

“對于人工智能來說，注意力機(jī)制是機(jī)器學(xué)習(xí)中的一種數(shù)據(jù)處理方法，廣泛應(yīng)用在自然語言處理、圖像識別及語音識別等各種不同類型的機(jī)器學(xué)習(xí)任務(wù)中，其主要功能是減少對無用線索的關(guān)注?！备Ｖ荽髮W(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院、福建省新媒體行業(yè)技術(shù)開發(fā)基地副主任柯逍博士說。

廈門大學(xué)科技處副處長、人工智能系教授紀(jì)榮嶸認(rèn)為，從本質(zhì)上說，注意力機(jī)制是一個(gè)特征信息評估和篩選的過程。

一般認(rèn)為，深度學(xué)習(xí)中的注意力機(jī)制最早是約書亞·本吉奧等人在2014年提出的軟注意力機(jī)制?；诩s書亞·本吉奧的這套理論后續(xù)又發(fā)展出了多步注意力機(jī)制、跨模態(tài)交互注意力以及時(shí)下非?；馃岬腡ransformer網(wǎng)絡(luò)中的自注意力機(jī)制。

2、未經(jīng)訓(xùn)練難以注意新鮮事物

最近幾年，注意力機(jī)制已被應(yīng)用到了人工智能的許多細(xì)分領(lǐng)域中?！叭斯ぶ悄苁强梢员辉O(shè)計(jì)出不同程度的注意力的。當(dāng)需要不同程度的注意力時(shí)，我們可以設(shè)計(jì)多個(gè)注意力網(wǎng)絡(luò)。”柯逍說。

據(jù)了解，從2016年開始，谷歌的翻譯系統(tǒng)就已經(jīng)使用了注意力機(jī)制來提升翻譯質(zhì)量。在文本問答、對話系統(tǒng)、知識圖譜抽取等自然語言處理任務(wù)中，注意力機(jī)制基本成為了模型標(biāo)配。在計(jì)算機(jī)視覺中，注意力機(jī)制的使用也成為了一種趨勢，包括細(xì)粒度檢索、圖像分類、行人重識別等在內(nèi)的多個(gè)研究任務(wù)中都有使用注意力機(jī)制的視覺模型。

既然說注意力機(jī)制來源于人類的視覺注意力，那么人類的注意力機(jī)制和人工智能的注意力機(jī)制是否一樣？

柯逍認(rèn)為，人工智能的注意力在一定程度上是人類視覺注意力機(jī)制的仿生，在功能上兩者是近似的，但實(shí)際上有很大的不同。

“從過程上來看是非常相似的，都是在給定任務(wù)（查詢）內(nèi)容時(shí)，幫助人（或模型）去關(guān)注最相關(guān)的數(shù)據(jù)信息?！奔o(jì)榮嶸指出，從原理來說，人工智能的注意力機(jī)制主要是通過計(jì)算查詢信息與給定特征的語義關(guān)聯(lián)程度，來獲得模型的注意力分布，而人類的認(rèn)知系統(tǒng)則可能會更加復(fù)雜。

“人工智能運(yùn)用注意力的過程實(shí)際上是一個(gè)記憶查詢的過程，它很快很精確，但無法發(fā)現(xiàn)異常?！笨洛信e例說，如讓AI的注意力多次從同一張圖片上獲取關(guān)注區(qū)域信息，結(jié)果永遠(yuǎn)是一樣的;但如果讓人類來做這個(gè)事，人類看第一次的時(shí)候會關(guān)注自己感興趣的區(qū)域，但隨著觀察圖片次數(shù)增加，人類可能會關(guān)注這張圖片的其他區(qū)域。

柯逍指出，此外人類的注意力很容易就可以做到去關(guān)注某個(gè)特定的事物，比如人群中的某個(gè)人，但是AI注意力沒辦法在未經(jīng)充分訓(xùn)練的情況下做這件事，讓AI關(guān)注人是容易的，但關(guān)注某個(gè)特定的人是困難的。另外還有一點(diǎn)最大的差別是人類注意力會關(guān)注從未見過的新鮮事，而AI注意力機(jī)制不會。

3、與人類注意力相比差距明顯

據(jù)了解，認(rèn)知神經(jīng)科學(xué)對意識的定義是“對一個(gè)人內(nèi)在思想的感知，或者是對外部事物或內(nèi)在事物的察覺”。意識形成的過程是一個(gè)信息不斷篩選、處理以及演化的過程。

“約書亞·本吉奧在2017年曾嘗試用機(jī)器學(xué)習(xí)的方法來證明這個(gè)理論，其中一個(gè)關(guān)鍵環(huán)節(jié)就是使用注意力機(jī)制去選擇‘意識狀態(tài)。所以，從信息提煉的角度來說，注意力機(jī)制對形成機(jī)器意識是很重要的?！奔o(jì)榮嶸說。

類比人類思維，AI注意力機(jī)制靠直覺還是靠推理？“目前來說，人工智能的注意力機(jī)制更接近直覺?！笨洛姓f，大部分注意力機(jī)制，是在訓(xùn)練過程中重復(fù)告訴AI應(yīng)該注意哪些地方，哪些東西是有關(guān)聯(lián)的。如在訓(xùn)練AI的時(shí)候，不斷讓AI學(xué)習(xí)關(guān)注貓?jiān)诤舆叧贼~的區(qū)域，AI再看到有貓?zhí)卣骱汪~特征的圖片時(shí)，就會關(guān)注貓和魚區(qū)域，而不會看到貓，看到河推理出可能有魚，然后再去找魚，再關(guān)注魚的區(qū)域。

“近期的注意力模型研究也有傾向于對推理能力的提升?！奔o(jì)榮嶸舉例說，如近年熱門的Transformer模型就利用了多層的注意力網(wǎng)絡(luò)來不斷提煉和處理輸入的信息。在這一過程中，每一層的注意力結(jié)果都是在變化，從某種程度來說，可以認(rèn)為模型是在推理。

現(xiàn)在應(yīng)用于人工智能的注意力機(jī)制還要解決哪些問題，才能讓AI真正具備注意力？

“首先需要增加模型的知識儲備。當(dāng)模型有充足的知識后，才知道哪些信息需要去關(guān)注，例如，模型如果沒見過飛機(jī)的話，就不能很好地執(zhí)行關(guān)于飛機(jī)描述的查詢?！奔o(jì)榮嶸說，另外還需要對注意力模型的結(jié)構(gòu)進(jìn)行改進(jìn)，提升模型的推理能力，這樣模型才能夠在復(fù)雜的語境下運(yùn)用注意力完成復(fù)雜操作。

柯逍認(rèn)為，就目前來說，AI注意力和真正的人類注意力距離仍然很遙遠(yuǎn)。