自計(jì)算機(jī)出現(xiàn)后，人類就期盼能夠進(jìn)一步創(chuàng)造出“會(huì)思考的機(jī)器”。1956年，美國(guó)計(jì)算機(jī)科學(xué)家、認(rèn)知科學(xué)家約翰·麥卡錫首次提出“人工智能”的概念，試圖通過(guò)讓機(jī)器使用語(yǔ)言形成概念和邏輯，來(lái)解決各種問(wèn)題并不斷改進(jìn)自身。

此后的50年里，科學(xué)家開(kāi)發(fā)了“基于邏輯、規(guī)則和神經(jīng)網(wǎng)絡(luò)” 的各類人工智能系統(tǒng)。然而，這些將人類知識(shí)編碼成機(jī)器可讀內(nèi)容的工作，即使耗費(fèi)了大量人力、物力等資源，仍未能讓機(jī)器在自主學(xué)習(xí)方面取得重大進(jìn)展。

直到2011年左右，人工智能及機(jī)器學(xué)習(xí)開(kāi)始在眾多領(lǐng)域取得各項(xiàng)成就，不僅解決了一系列世界難題，還為新型的計(jì)算體驗(yàn)和互動(dòng)開(kāi)辟了途徑。

近日，谷歌人工智能負(fù)責(zé)人杰夫·迪恩就深度學(xué)習(xí)這十年來(lái)的進(jìn)展作了深入剖析，包括推動(dòng)機(jī)器學(xué)習(xí)的計(jì)算硬件和開(kāi)源軟件框架、機(jī)器學(xué)習(xí)的眾多應(yīng)用以及未來(lái)的發(fā)展方向，并將相關(guān)文章發(fā)表在美國(guó)文理學(xué)會(huì)會(huì)刊Dae alus的人工智能與社會(huì)特刊上。

據(jù)了解，迪恩在本科階段就對(duì)神經(jīng)網(wǎng)絡(luò)有濃厚的興趣，并以神經(jīng)網(wǎng)絡(luò)并行訓(xùn)練為課題進(jìn)行了深入研究。當(dāng)時(shí)他得出， 相對(duì)于1990年的計(jì)算機(jī)，需要多100萬(wàn)倍的計(jì)算能力，神經(jīng)網(wǎng)絡(luò)才能開(kāi)始在挑戰(zhàn)性的問(wèn)題上有所突破。

21世紀(jì)初，研究人員開(kāi)始在深度學(xué)習(xí)算法中使用圖形處理單元（graphics processingunit，簡(jiǎn)稱GPU）來(lái)作為硬件設(shè)備，GPU比CPU的浮點(diǎn)計(jì)算率相對(duì)更高。自此之后，深度學(xué)習(xí)在圖像識(shí)別、語(yǔ)音識(shí)別和語(yǔ)言理解等方面進(jìn)展飛速，這促使研究人員開(kāi)始設(shè)計(jì)比GPU更匹配深度學(xué)習(xí)算法需求的專用硬件設(shè)備。

關(guān)于構(gòu)建專用硬件，深度學(xué)習(xí)算法具備兩個(gè)關(guān)鍵的特點(diǎn)，一是其對(duì)低精度的容忍度很高，二是其計(jì)算基本是由矩陣及向量的各種線性代數(shù)操作序列組成。因此，專門(mén)用于低精度線性代數(shù)計(jì)算的芯片和系統(tǒng)，有助于使深度學(xué)習(xí)算法的性能得到極大提升。

早期的這類芯片有谷歌的第一個(gè)張量處理單元（TPUv1），其針對(duì)深度學(xué)習(xí)推理的8位整數(shù)計(jì)算，在速度和每瓦性能方面比當(dāng)代CPU和GPU有一到兩個(gè)數(shù)量級(jí)的改進(jìn)，使谷歌在語(yǔ)音識(shí)別的準(zhǔn)確性、語(yǔ)言翻譯和圖像分類系統(tǒng)方面有了巨大的改進(jìn)。

伴隨其專用硬件的發(fā)展，推動(dòng)深度學(xué)習(xí)研究的開(kāi)源軟件框架出現(xiàn)了，這讓深度學(xué)習(xí)模型和計(jì)算的表達(dá)變得更加容易，同時(shí)幫助深度學(xué)習(xí)在更加廣泛的領(lǐng)域得以應(yīng)用。

2015年，谷歌通過(guò)整合Theano和DistBelief 等早期強(qiáng)調(diào)規(guī)模和性能的框架，開(kāi)發(fā)并開(kāi)源可表達(dá)機(jī)器學(xué)習(xí)計(jì)算的TensorFlow，讓全世界的個(gè)人和組織在機(jī)器學(xué)習(xí)方面有了更多的發(fā)展機(jī)會(huì)。

由于硬件性能的不斷提升和開(kāi)源軟件工具的普及，機(jī)器學(xué)習(xí)領(lǐng)域的研究產(chǎn)出及其應(yīng)用激增?，F(xiàn)在，機(jī)器學(xué)習(xí)領(lǐng)域的研究者，正在積極與神經(jīng)科學(xué)、氣候科學(xué)、分子生物學(xué)以及醫(yī)療保健等方面的科學(xué)家合作，幫助解決一系列重要的問(wèn)題，不僅帶來(lái)社會(huì)效益，而且推動(dòng)了人類發(fā)展。

例如，機(jī)器學(xué)習(xí)可以幫助研究人員更多地了解基因構(gòu)成，最終更有效地解決基于基因的疾病;機(jī)器學(xué)習(xí)可以幫助研究人員更好地了解天氣和環(huán)境，特別是預(yù)測(cè)日常天氣和洪水等氣候?yàn)?zāi)害;機(jī)器學(xué)習(xí)也提供了幫助檢測(cè)和診斷疾病的新方法，當(dāng)應(yīng)用于醫(yī)療圖像時(shí)，計(jì)算機(jī)視覺(jué)可以幫助醫(yī)生更加快速、準(zhǔn)確地分析判斷一些嚴(yán)重的疾病，甚至比醫(yī)生自己的能力更強(qiáng)。

值得一提的是，今天的機(jī)器學(xué)習(xí)技術(shù)也讓科學(xué)家對(duì)疾病的傳播方式有了更準(zhǔn)確的了解，讓全球有更好的機(jī)會(huì)進(jìn)行疾病預(yù)防。

最后，迪恩指出了機(jī)器學(xué)習(xí)的未來(lái)。他表示，“機(jī)器學(xué)習(xí)領(lǐng)域正在興起一些有趣的研究方向，如果將它們結(jié)合起來(lái)， 可能會(huì)更加有趣?！?/p>

第一是稀疏激活模型，如稀疏門(mén)控專家模型， 其顯示了如何建立非常大的容量模型，其中只有一部分模型為任何給定的例子“激活”。該模型的研究人員表明，這種方法的訓(xùn)練效率是原來(lái)的9倍，推理效率是原來(lái)的2.5倍，而且更加準(zhǔn)確。

第二是自動(dòng)機(jī)器學(xué)習(xí)，如神經(jīng)架構(gòu)搜索或進(jìn)化架構(gòu)搜索等技術(shù)，能夠自動(dòng)學(xué)習(xí)機(jī)器學(xué)習(xí)模型及其組件的各個(gè)方面，以優(yōu)化特定任務(wù)的準(zhǔn)確性， 通常涉及運(yùn)行許多自動(dòng)實(shí)驗(yàn)，其中每個(gè)實(shí)驗(yàn)可能涉及大量的計(jì)算。

第三是多任務(wù)機(jī)器學(xué)習(xí)，在幾項(xiàng)到幾十項(xiàng)相關(guān)任務(wù)的適度范圍內(nèi)進(jìn)行多任務(wù)訓(xùn)練，或者從為相關(guān)任務(wù)訓(xùn)練的大量數(shù)據(jù)中轉(zhuǎn)移學(xué)習(xí)，然后在為新任務(wù)訓(xùn)練的少量數(shù)據(jù)中進(jìn)行微調(diào)，已被證明在各種問(wèn)題上非常有效。

如果將這3種技術(shù)方向結(jié)合起來(lái)，構(gòu)建在大規(guī)模機(jī)器學(xué)習(xí)加速器硬件上運(yùn)行的系統(tǒng)，這樣訓(xùn)練出的單一模型可能是由許多不同結(jié)構(gòu)的組件組成，可以處理數(shù)百萬(wàn)任務(wù)，并且能夠自動(dòng)學(xué)習(xí)成功地完成新任務(wù)。

建立一個(gè)能在機(jī)器學(xué)習(xí)的所有應(yīng)用領(lǐng)域獨(dú)立處理新任務(wù)的系統(tǒng)，需要許多方面的專業(yè)知識(shí)和進(jìn)步，橫跨機(jī)器學(xué)習(xí)算法、負(fù)責(zé)任的人工智能、分布式系統(tǒng)和計(jì)算機(jī)架構(gòu)等領(lǐng)域。這是一個(gè)真正的巨大挑戰(zhàn)，但這將極大地推動(dòng)人工智能的發(fā)展。

需要注意的是，雖然人工智能有能力在生活的許多方面幫助我們，但所有研究人員和從業(yè)人員都應(yīng)確保這些方法的開(kāi)發(fā)是負(fù)責(zé)任的，比如仔細(xì)審查偏見(jiàn)、公平、隱私及其他可能影響他人和社會(huì)的行為。E4A5341D-5141-4FAE-8EFE-B2C60D95CF7F