張志華

深度學(xué)習(xí)這個術(shù)語自2006年被正式提出后，在最近10年得到了巨大發(fā)展。它使人工智能（AI）產(chǎn)生了革命性的突破，讓我們切實地領(lǐng)略到人工智能給人類生活帶來改變的潛力。2016年12月，麻省理工大學(xué)出版社出版了Ian Goodfellow、Yoshua Bengio和Aaron Courville三位學(xué)者撰寫的《深度學(xué)習(xí)》（Deep Learning）一書。三位作者一直耕耘于機器學(xué)習(xí)領(lǐng)域的前沿，引領(lǐng)了深度學(xué)習(xí)的發(fā)展潮流，是深度學(xué)習(xí)眾多方法的主要貢獻者。該書正應(yīng)其時，一經(jīng)出版就風(fēng)靡全球。

該書包括三個部分，第一部分介紹基本的數(shù)學(xué)工具和機器學(xué)習(xí)的概念，它們是深度學(xué)習(xí)的預(yù)備知識。第二部分系統(tǒng)深入地講解現(xiàn)今已成熟的深度學(xué)習(xí)方法和技術(shù)。第三部分討論某些具有前瞻性的方向和想法，它們被公認(rèn)為是深度學(xué)習(xí)未來的研究重點。因此，該書適用于不同層次的讀者。我本人在閱讀該書時受到啟發(fā)良多，大有裨益，并采用該書作為教材在北京大學(xué)講授深度學(xué)習(xí)課程。

這是一本涵蓋深度學(xué)習(xí)技術(shù)細節(jié)的教科書，書中也蘊含了作者對深度學(xué)習(xí)的理解和思考，處處閃爍著深刻的思想，耐人回味。

作者在書中寫到：“人工智能的真正挑戰(zhàn)在于解決那些對人來說很容易執(zhí)行、但很難形式化描述的任務(wù)，比如識別人們所說的話或圖像中的臉。對于這些問題，我們?nèi)祟愅梢詰{直覺輕易地解決?！睘榱藨?yīng)對這些挑戰(zhàn)，他們提出讓計算機從經(jīng)驗中學(xué)習(xí)，并根據(jù)層次化的概念體系來理解世界，而每個概念通過與某些相對簡單的概念之間的關(guān)系來定義。由此，作者給出了深度學(xué)習(xí)的定義：“層次化的概念讓計算機構(gòu)建較簡單的概念來學(xué)習(xí)復(fù)雜概念。如果繪制出表示這些概念如何建立在彼此之上的一幅圖，我們將得到一張‘深（層次很多）的圖。由此，我們稱這種方法為AI深度學(xué)習(xí)?！?/p>

作者指出：“一般認(rèn)為，到目前為止深度學(xué)習(xí)已經(jīng)經(jīng)歷了三次發(fā)展浪潮：20世紀(jì)40年代到60年代深度學(xué)習(xí)的雛形出現(xiàn)在控制論（cybernetics）中，20世紀(jì)80年代到90年代深度學(xué)習(xí)以聯(lián)結(jié)主義（connectionism）為代表，而從2006年開始，以深度學(xué)習(xí)之名復(fù)興。”

談到深度學(xué)習(xí)與腦科學(xué)或者神經(jīng)科學(xué)的關(guān)系，作者強調(diào)：“如今神經(jīng)科學(xué)在深度學(xué)習(xí)研究中的作用被削弱，主要原因是我們根本沒有足夠的關(guān)于大腦的信息作為指導(dǎo)去使用它。要獲得對被大腦實際使用算法的深刻理解，我們需要有能力同時監(jiān)測（至少是）數(shù)千相連神經(jīng)元的活動。我們不能夠做到這一點，所以我們甚至連大腦最簡單、最深入研究的部分都還遠遠沒有理解。”值得注意的是，我國有些專家熱衷倡導(dǎo)人工智能與腦科學(xué)或認(rèn)知學(xué)科的交叉研究，推動國家在所謂的“類腦智能”等領(lǐng)域投入大量資源。且不論我國是否真有同時精通人工智能和腦科學(xué)或認(rèn)知心理學(xué)的學(xué)者，至少對交叉領(lǐng)域，我們都應(yīng)該懷著務(wù)實、理性的求是態(tài)度。唯有如此，我們才有可能在這一波人工智能發(fā)展浪潮中有所作為，而不是又成為一群觀潮人。

深度學(xué)習(xí)和人工智能不是飄懸在我們頭頂?shù)目蚣埽橇⒆阌谖覀兡_下的技術(shù)。我們誠然可以從哲學(xué)層面或角度來欣賞科學(xué)與技術(shù)，但過度地從哲學(xué)層面來研究科學(xué)問題只會導(dǎo)致一些空洞的名詞。關(guān)于人工神經(jīng)網(wǎng)絡(luò)在20世紀(jì)90年代中期的衰落，作者分析到：“基于神經(jīng)網(wǎng)絡(luò)和其他AI技術(shù)的創(chuàng)業(yè)公司開始尋求投資，其做法野心勃勃但不切實際。當(dāng)AI研究不能實現(xiàn)這些不合理的期望時，投資者感到失望。同時，機器學(xué)習(xí)的其他領(lǐng)域取得了進步。比如，核方法和圖模型都在很多重要任務(wù)上實現(xiàn)了很好的效果。這兩個因素導(dǎo)致了神經(jīng)網(wǎng)絡(luò)熱潮的第二次衰退，并一直持續(xù)到2007年?！?/p>

“其興也悖焉，其亡也忽焉”。這個教訓(xùn)也同樣值得當(dāng)今基于深度學(xué)習(xí)的創(chuàng)業(yè)界、工業(yè)界和學(xué)術(shù)界等警醒。