許亞倩

2006年Hinton在《Science》提出著名的深度學(xué)習(xí)框架，引爆了一輪人工智能熱潮。十多年來(lái)，無(wú)論是國(guó)際科技巨頭，還是權(quán)威研究機(jī)構(gòu)，都致力于深度學(xué)習(xí)框架的研發(fā)應(yīng)用，帶來(lái)了視覺(jué)、語(yǔ)音等領(lǐng)域革命性的進(jìn)步，極大地推動(dòng)了人工智能的創(chuàng)新發(fā)展。事實(shí)上，隨著人工智能時(shí)代的來(lái)臨，深度學(xué)習(xí)框架已被視為一個(gè)核心突破口和科技前沿陣地，依托深度學(xué)習(xí)框架構(gòu)建人工智能生態(tài)也必將成為未來(lái)發(fā)展方向。與發(fā)達(dá)國(guó)家相比，我國(guó)對(duì)核心技術(shù)的預(yù)見(jiàn)性較為滯后，深度學(xué)習(xí)框架的國(guó)際戰(zhàn)略缺位、核心技術(shù)缺失的“雙缺”問(wèn)題尤其突出。我國(guó)只有關(guān)注并盡快破解“雙缺”難題，才有可能搶占人工智能的戰(zhàn)略制高點(diǎn)。

深度學(xué)習(xí)框架

是AI跨越發(fā)展的核心引擎

（一）深度學(xué)習(xí)框架是推動(dòng)人工智能跨越發(fā)展的核心引擎。深度學(xué)習(xí)是神經(jīng)網(wǎng)絡(luò)及其應(yīng)用的統(tǒng)稱，旨在將復(fù)雜的神經(jīng)網(wǎng)絡(luò)架構(gòu)應(yīng)用在數(shù)據(jù)建模上，從而帶來(lái)前所未有的準(zhǔn)確性，它已在計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別、無(wú)人駕駛等眾多領(lǐng)域取得突破性進(jìn)展。深度學(xué)習(xí)框架能夠提供進(jìn)行深度學(xué)習(xí)的底層架構(gòu)、接口，以及大量神經(jīng)網(wǎng)絡(luò)模型，減少重復(fù)編程的時(shí)間和精力，提高深度學(xué)習(xí)效率。2012年Google Brain項(xiàng)目通過(guò)使用深度學(xué)習(xí)，讓系統(tǒng)自動(dòng)學(xué)習(xí)并識(shí)別貓，激起了全球范圍內(nèi)研究深度學(xué)習(xí)的熱潮。再如，2016年Google DeepMind開(kāi)發(fā)的基于深度學(xué)習(xí)的AlphaGo以4∶1的總比分戰(zhàn)勝了世界圍棋冠軍李世石，讓人們對(duì)深度學(xué)習(xí)的認(rèn)知跨越到一個(gè)新階段。眼下，深度學(xué)習(xí)框架加應(yīng)用場(chǎng)景已成為當(dāng)今的主流發(fā)展模式，成為人工智能發(fā)展的基礎(chǔ)和核心，也是人工智能向下一個(gè)階段跨越的關(guān)鍵。

（二）全球科技巨頭是布局深度學(xué)習(xí)框架開(kāi)發(fā)開(kāi)源的主要力量。作為人工智能實(shí)現(xiàn)跨越發(fā)展的重要突破口，深度學(xué)習(xí)框架引起了科技界、產(chǎn)業(yè)界的高度重視。全球科技巨頭紛紛布局，目前該領(lǐng)域的主要競(jìng)爭(zhēng)者有Google、亞馬遜、微軟、Facebook等，主流框架有TensorFlow、Theano、Torch、Caffe、CNTK、MXNet、DL4J、DSSTNE、Paddle、Keras、Lasagne等。其中，Google開(kāi)發(fā)并開(kāi)源了分布式深度學(xué)習(xí)框架TensorFlow，是理想的卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)工具，已應(yīng)用于Google的搜索、郵件、語(yǔ)音助手、機(jī)器翻譯等。類似的大型科技公司開(kāi)發(fā)開(kāi)源的框架還有Facebook的PyTorch、Torchnet、Caffe2，亞馬遜的DSSTNE、MXNet，微軟的CNTK等，也是深度學(xué)習(xí)重要的研究工具和應(yīng)用工具。特別是，大型科技公司通過(guò)開(kāi)源的方式，一方面吸引了更多開(kāi)發(fā)者，加快框架更新迭代的速度，另一方面也降低了開(kāi)發(fā)門檻，吸引用戶，擴(kuò)大了深度學(xué)習(xí)的市場(chǎng)規(guī)模?；贕oogle強(qiáng)大的人工智能研究水平，TensorFlow自開(kāi)源以來(lái)，以優(yōu)異的質(zhì)量表現(xiàn)，迅速成為GitHub上最受歡迎的深度學(xué)習(xí)開(kāi)源項(xiàng)目。

（三）科研機(jī)構(gòu)、創(chuàng)業(yè)公司是深度學(xué)習(xí)框架研究的主要力量。隨著深度學(xué)習(xí)框架研究開(kāi)發(fā)過(guò)程中的要求和需求不斷增加，開(kāi)發(fā)快速、高效的深度學(xué)習(xí)框架成為國(guó)際權(quán)威科研機(jī)構(gòu)及團(tuán)隊(duì)的追求目標(biāo)。一方面，科研領(lǐng)域研究工具型深度學(xué)習(xí)框架層出不窮，大大推動(dòng)了深度學(xué)習(xí)框架研究的進(jìn)程。比如，賈揚(yáng)清及其團(tuán)隊(duì)開(kāi)發(fā)的Caffe及Caffe2、普林斯頓大學(xué)視覺(jué)工作組的Marvin、斯坦福大學(xué)的ConvNetJS、卡內(nèi)基梅隆大學(xué)研發(fā)的DyNet等，內(nèi)嵌先進(jìn)、完善的卷積神經(jīng)網(wǎng)絡(luò)模型。另一方面，具有商業(yè)前景的深度學(xué)習(xí)框架不斷涌現(xiàn)，在學(xué)術(shù)界和產(chǎn)業(yè)界都具有深遠(yuǎn)影響。比如，蒙特利爾理工大學(xué)研發(fā)的Theano，其易用高效且運(yùn)行穩(wěn)定，是Keras、Lasagne、Blocks等框架的基礎(chǔ)，更是Facebook等互聯(lián)網(wǎng)公司大量應(yīng)用的基礎(chǔ)。此外，部分創(chuàng)業(yè)公司也研發(fā)了性能優(yōu)越的服務(wù)型深度學(xué)習(xí)框架。比如，SkyMind公司開(kāi)發(fā)的集成Hadoop和Spark的商業(yè)級(jí)框架DL4J、Nervana System公司開(kāi)發(fā)的具有領(lǐng)先運(yùn)行速度優(yōu)勢(shì)的Neon等，它們?cè)谔峁┛蚣艿耐瑫r(shí)，還提供第三方商業(yè)支持服務(wù)。

我國(guó)深度學(xué)習(xí)框架

“雙缺”問(wèn)題日益突出

（一）深度學(xué)習(xí)框架研究國(guó)際戰(zhàn)略缺位，嚴(yán)重依賴國(guó)外開(kāi)源框架。一方面，我國(guó)人工智能產(chǎn)業(yè)蓬勃發(fā)展，在特定領(lǐng)域已處于世界先進(jìn)水平。但在人工智能核心環(huán)節(jié)即深度學(xué)習(xí)框架領(lǐng)域的國(guó)際發(fā)聲卻較少、戰(zhàn)略缺位明顯，特別是在開(kāi)發(fā)、開(kāi)源方面仍遠(yuǎn)遠(yuǎn)落后于歐美國(guó)家。比如，2017年GitHub中最受歡迎的開(kāi)源框架DL4J、

Caffe、CNTK、MXNet、Torch和Theano，均由美國(guó)科技公司或科研團(tuán)隊(duì)開(kāi)發(fā)。其它具有國(guó)際影響力的框架還包括瑞士的超級(jí)深度神經(jīng)網(wǎng)絡(luò)框架Brainstorm、日本的動(dòng)態(tài)計(jì)算圖神經(jīng)網(wǎng)絡(luò)框架Chainer等。相比之下，我國(guó)比較知名的深度學(xué)習(xí)框架僅有百度2016年8月開(kāi)源的Paddle，由于缺乏資源支持和正面反饋，在國(guó)際開(kāi)源社區(qū)的活躍度一般，國(guó)際影響力十分有限。另一方面，我國(guó)深度學(xué)習(xí)框架的國(guó)際戰(zhàn)略缺位，還表現(xiàn)為嚴(yán)重依賴國(guó)外開(kāi)源框架，阿里的分布式深度學(xué)習(xí)框架Pluto是在Caffe的基礎(chǔ)上擴(kuò)展而來(lái)，小米的深度學(xué)習(xí)平臺(tái)Cloud-ML則是基于TensorFlow和Kubernetes等框架開(kāi)發(fā)的。

（二）深度學(xué)習(xí)框架核心技術(shù)缺失，核心生態(tài)圈尚未建立。經(jīng)過(guò)多年積累，我國(guó)在人工智能若干技術(shù)領(lǐng)域已取得重要突破。但在深度學(xué)習(xí)框架方面，卻一直處于跟隨階段，創(chuàng)新引領(lǐng)能力十分有限，尤其是在核心技術(shù)方面。究其原因，一是基礎(chǔ)研究無(wú)法支撐深度學(xué)習(xí)框架核心技術(shù)的研發(fā)，特別是對(duì)于神經(jīng)網(wǎng)絡(luò)模型可用性、穩(wěn)定性、運(yùn)行效率等基礎(chǔ)問(wèn)題探索不足。二是缺乏對(duì)深度學(xué)習(xí)框架的超前設(shè)計(jì)和開(kāi)發(fā)，包括跨平臺(tái)移植、分布式學(xué)習(xí)、模型模塊化等核心部件的研究滯后。三是尚未開(kāi)發(fā)出適用特定場(chǎng)景的深度學(xué)習(xí)框架和服務(wù)型產(chǎn)品，缺乏對(duì)其應(yīng)用場(chǎng)景的探索。更重要的是，深度學(xué)習(xí)框架作為決定人工智能技術(shù)、產(chǎn)業(yè)、應(yīng)用的核心環(huán)節(jié)，是人工智能核心生態(tài)圈建立的基礎(chǔ)和關(guān)鍵，核心技術(shù)缺失將直接影響到深度學(xué)習(xí)框架生態(tài)圈關(guān)聯(lián)的深度學(xué)習(xí)芯片、深度學(xué)習(xí)系統(tǒng)、深度學(xué)習(xí)軟硬件平臺(tái)等產(chǎn)業(yè)發(fā)展。

幾點(diǎn)建議

（一）整體布局，搶占戰(zhàn)略制高點(diǎn)。深度學(xué)習(xí)框架作為承載人工智能各種硬件設(shè)備和軟件應(yīng)用的基礎(chǔ)平臺(tái)，是人工智能生態(tài)中替代難度最大、系統(tǒng)要求最高的部分，為此各國(guó)已經(jīng)和正在加快技術(shù)創(chuàng)新和戰(zhàn)略布局。我國(guó)也必須加緊整體布局，搶占深度學(xué)習(xí)框架領(lǐng)域的戰(zhàn)略制高點(diǎn)。一是制定《深度學(xué)習(xí)框架發(fā)展指南》，確定發(fā)展方向和重點(diǎn)任務(wù)，明確深度學(xué)習(xí)框架研究和應(yīng)用推廣的時(shí)間表和路線圖。二是建立以研發(fā)深度學(xué)習(xí)框架為核心任務(wù)的人工智能創(chuàng)新中心，統(tǒng)籌協(xié)調(diào)大型科技公司和科研機(jī)構(gòu)，推動(dòng)深度學(xué)習(xí)框架關(guān)鍵技術(shù)研發(fā)和成果產(chǎn)業(yè)化。三是設(shè)立深度學(xué)習(xí)框架研究重大科技項(xiàng)目，支持研發(fā)并開(kāi)源一批有國(guó)際影響力的深度學(xué)習(xí)框架。四是統(tǒng)籌政府和市場(chǎng)多渠道資金投入，對(duì)深度學(xué)習(xí)框架研發(fā)提供優(yōu)先支持，引導(dǎo)社會(huì)資本關(guān)注深度學(xué)習(xí)框架方向的創(chuàng)業(yè)企業(yè)和創(chuàng)業(yè)項(xiàng)目。

（二）自主創(chuàng)新，推動(dòng)核心技術(shù)攻關(guān)。要解決我國(guó)深度學(xué)習(xí)框架核心技術(shù)缺失、依賴國(guó)外框架的問(wèn)題，必須積極推動(dòng)自主創(chuàng)新，推出由我國(guó)主導(dǎo)的深度學(xué)習(xí)框架。一是以深度學(xué)習(xí)算法框架協(xié)同攻關(guān)為基礎(chǔ)，形成芯片、平臺(tái)、應(yīng)用協(xié)同的集成創(chuàng)新平臺(tái)，加快深度學(xué)習(xí)算法框架的核心技術(shù)發(fā)展和應(yīng)用創(chuàng)新，夯實(shí)技術(shù)基礎(chǔ)。二是支持科研團(tuán)隊(duì)開(kāi)發(fā)用于科研、教學(xué)和測(cè)試的深度學(xué)習(xí)框架，特別是針對(duì)神經(jīng)網(wǎng)絡(luò)模型穩(wěn)定性、運(yùn)行效率、可用性等方面進(jìn)行重點(diǎn)研究，強(qiáng)化高性能深度學(xué)習(xí)框架的基礎(chǔ)支撐能力。三是支持大型科技公司開(kāi)發(fā)商業(yè)級(jí)和工業(yè)級(jí)的深度學(xué)習(xí)框架，重點(diǎn)突破深度學(xué)習(xí)框架跨平臺(tái)移植、跨系統(tǒng)運(yùn)行、分布式學(xué)習(xí)等核心技術(shù)，利用所擁有的海量數(shù)據(jù)對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，形成開(kāi)放式、模塊化、可重構(gòu)的訓(xùn)練模型。四是支持科技企業(yè)對(duì)框架語(yǔ)言、接口、性能等應(yīng)用問(wèn)題進(jìn)行研究，開(kāi)發(fā)針對(duì)特定領(lǐng)域的專用深度學(xué)習(xí)框架。

（三）研用結(jié)合，壯大產(chǎn)業(yè)實(shí)力。人工智能應(yīng)用的高轉(zhuǎn)化水平能夠帶動(dòng)關(guān)鍵技術(shù)的集成應(yīng)用。針對(duì)深度學(xué)習(xí)框架，我國(guó)應(yīng)統(tǒng)籌利用理論研究方面的優(yōu)勢(shì)，推動(dòng)研用結(jié)合，壯大以深度學(xué)習(xí)框架為核心的人工智能產(chǎn)業(yè)實(shí)力。一是引導(dǎo)科研機(jī)構(gòu)與產(chǎn)業(yè)界積極合作，借鑒國(guó)際先進(jìn)科研機(jī)構(gòu)開(kāi)發(fā)深度學(xué)習(xí)框架的成功經(jīng)驗(yàn)，堅(jiān)持理論研究與應(yīng)用模式結(jié)合，研發(fā)先進(jìn)的、高可用性的深度學(xué)習(xí)框架。二是鼓勵(lì)科研資源開(kāi)放共享，為科研人員提供平臺(tái)設(shè)施、數(shù)據(jù)資源和計(jì)算資源，用以訓(xùn)練和改進(jìn)深度學(xué)習(xí)框架。三是建立政產(chǎn)學(xué)研用相結(jié)合的創(chuàng)新型組織，聯(lián)合涉及芯片、軟件、硬件、互聯(lián)網(wǎng)等行業(yè)的企業(yè)及科研機(jī)構(gòu)，打造研用結(jié)合、廣泛參與、合作共贏的生態(tài)系統(tǒng)，壯大產(chǎn)業(yè)整體實(shí)力。四是鼓勵(lì)企業(yè)積極探索深度學(xué)習(xí)框架應(yīng)用場(chǎng)景，創(chuàng)新在制造業(yè)、金融、醫(yī)療、農(nóng)業(yè)等行業(yè)的應(yīng)用，在應(yīng)用中加速技術(shù)的迭代創(chuàng)新。

（四） 開(kāi)放開(kāi)源，營(yíng)造創(chuàng)新環(huán)境。開(kāi)放開(kāi)源是深度學(xué)習(xí)框架快速發(fā)展的重要推動(dòng)力，我國(guó)應(yīng)遵循開(kāi)放開(kāi)源原則，營(yíng)造良好的深度學(xué)習(xí)框架發(fā)展環(huán)境。一是引導(dǎo)參照國(guó)際中立的聯(lián)盟和基金會(huì)運(yùn)作模式，整合國(guó)內(nèi)科技界、產(chǎn)業(yè)界的研發(fā)力量，聯(lián)合建設(shè)國(guó)家主導(dǎo)的開(kāi)源社區(qū)。二是組織制定開(kāi)源社區(qū)發(fā)展指南，制定社區(qū)技術(shù)和數(shù)據(jù)共享規(guī)范，指導(dǎo)企業(yè)、高校和開(kāi)發(fā)者積極參與開(kāi)源社區(qū)的管理、建設(shè)和維護(hù)。三是建立以深度學(xué)習(xí)框架研發(fā)為核心，深度學(xué)習(xí)芯片、深度學(xué)習(xí)系統(tǒng)、深度學(xué)習(xí)軟硬件平臺(tái)研發(fā)布局為支撐的科技創(chuàng)新體系，促進(jìn)創(chuàng)新主體互動(dòng)，協(xié)同推進(jìn)發(fā)展，完善人工智能核心生態(tài)圈。