鄭子亨

2019年6月26日，谷歌對Dropout算法提出的專利申請正式生效，專利有效期為15年，2034年9月3日到期。Dropout算法最早由Hinton于2012年提出，是一種在深度學習、訓練神經(jīng)網(wǎng)絡(luò)時被普遍使用的算法，可以有效解決過擬合現(xiàn)象，由于Dropout是人工智能最底層算法，使用范圍十分廣泛，此次專利申請在人工智能領(lǐng)域引起軒然大波。

背景

●Dropout 算法可以有效解決深度學習中的過擬合陷阱。

Dropout最早于2012年被圖靈獎獲得者Hinton提出，由Alex首次用于卷積網(wǎng)絡(luò)的圖像分類。由于神經(jīng)網(wǎng)絡(luò)擬合能力過強，在實際的訓練情況中極易出現(xiàn)“過擬合”，“過擬合”情況一旦出現(xiàn)會導致訓練完成后的神經(jīng)網(wǎng)絡(luò)模型無法用于訓練集之外的其他數(shù)據(jù)。Dropout算法的作用便是在神經(jīng)網(wǎng)絡(luò)訓練過程中以一定概率丟棄部分神經(jīng)元來防止“過擬合”現(xiàn)象，在深度學習領(lǐng)域中的應(yīng)用極為普遍，現(xiàn)在主流的卷積、循環(huán)神經(jīng)網(wǎng)絡(luò)訓練都會用Dropout技術(shù)作為正則化器?；贒ropout的廣泛應(yīng)用，Dropout的變形例如Targeted Dropout、 Sample Dropout等陸續(xù)被開發(fā)問世。

●深度學習基礎(chǔ)算法類專利鳳毛麟角。

從全球范圍看，深度學習專利集中在產(chǎn)業(yè)下游。2018年全球深度學習領(lǐng)域新增專利數(shù)量為7429項，雖然專利數(shù)量呈現(xiàn)爆發(fā)式增長，但從分布情況來看主要集中在產(chǎn)業(yè)中下游，即對深度學習神經(jīng)網(wǎng)絡(luò)的使用及人工智能應(yīng)用模式的創(chuàng)新。目前，計算機視覺創(chuàng)新熱度最高，2018年相關(guān)專利數(shù)量超過4000個，占比超過全部專利數(shù)量的一半;另外，自動駕駛和自然語言處理應(yīng)用領(lǐng)域的專利數(shù)量也在迅速飆升。但是深度學習基礎(chǔ)算法的專利占比較低，一是由于深度學習基礎(chǔ)算法研發(fā)技術(shù)要求高，只有谷歌等實力強勁的科技巨頭才有在深度學習上游布局的可能。二是基礎(chǔ)算法前期研究周期太長，回報率低，許多企業(yè)不愿涉足。

●谷歌歷來對基礎(chǔ)領(lǐng)域?qū)＠季指叨戎匾暋?/p>

從專利數(shù)量來看，2016年至2018年谷歌總共發(fā)布專利數(shù)量為1659項，在全球企業(yè)排名中僅次于IBM和微軟，位列第三位，其中以發(fā)明專利居多。谷歌善于通過基礎(chǔ)算法進行生態(tài)構(gòu)建，長期注重基礎(chǔ)算法專利的儲備和布局，在此次對Dropout申請專利之前，谷歌已經(jīng)多次對基礎(chǔ)算法進行專利申請，如自然語言處理中的word2vec和視頻壓縮中的ANS等。近年來，谷歌在深度學習基礎(chǔ)算法領(lǐng)域?qū)＠季诌M一步深化，其專利申請相較之前呈明顯增加的趨勢，并在2013年呈現(xiàn)爆發(fā)式增長，其布局重點領(lǐng)域為自動駕駛汽車基礎(chǔ)技術(shù)，如環(huán)境感知、操作控制等。谷歌在基礎(chǔ)領(lǐng)域的專利布局使其得以牢牢把控產(chǎn)業(yè)上游“閘口”。

案例介紹

●事件描述。

2016年8月2日，谷歌對Dropout算法提出了專利申請，該項專利于2019年6月26日正式生效，專利有效期為15年，2034年9月3日到期。在專利申請的文檔主體中，谷歌提供了神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)圖和訓練流程圖，并介紹了專利申請的背景，對專利進行了簡要概括，提供了專利分類，并描述了專利的實施原理。谷歌在Dropout專利申請成功后還沒有后續(xù)動作，該專利目前仍然處于免費狀態(tài)，但是谷歌對于業(yè)界的討論并沒有給出正面回應(yīng)，深度學習開發(fā)者、AI初創(chuàng)企業(yè)和AI科研機構(gòu)等都仍舊面臨谷歌對于Dropout算法進行收費或者限制的風險。

●后續(xù)發(fā)展。

業(yè)界對谷歌申請Dropout專利主要存在兩種意見。樂觀者認為此次不是谷歌第一次進行基礎(chǔ)算法的專利申請，并且谷歌沒有對算法進行限制或者收費的先例，此次谷歌針對Dropout申請專利有較大概率是為了防止在進行技術(shù)開發(fā)中被其他公司起訴，是一種自我保護行為，谷歌不會對Dropout使用者進行限制。悲觀者認為谷歌對深度學習底層算法進行專利申請，握住了整個深度學習領(lǐng)域的命脈，所有Dropout算法使用者都面臨“卡脖子”的風險。

簡評

●我國深度學習領(lǐng)域以企業(yè)為主體的專利數(shù)量占比較低。

近幾年，我國深度學習專利增長迅速，但是以企業(yè)為主體的專利數(shù)量較少，企業(yè)創(chuàng)新主體的地位沒有得到充分體現(xiàn)。從總體構(gòu)成上看，我國深度學習領(lǐng)域的研發(fā)力量集中于科研院所，而美國主要集中于企業(yè)。2018 年，美國以企業(yè)為申請主體的新增專利數(shù)占到其專利總申請數(shù)量的 81.5%，而我國此項比重僅為 40.8%。科研院所在深度學習領(lǐng)域研發(fā)創(chuàng)新中“戲份”較重體現(xiàn)出一定弊端，一是各個院所之間相對獨立，并且科研院所研發(fā)經(jīng)費相較大型企業(yè)略顯窘困，導致研究力量比較分散，研發(fā)方向不夠聚焦，難以真正解決基礎(chǔ)領(lǐng)域重點難點問題。二是科研院所與產(chǎn)業(yè)、市場的應(yīng)用需求銜接不足，研發(fā)創(chuàng)新成果難以實現(xiàn)真正的應(yīng)用落地，研發(fā)到應(yīng)用之間存在斷層。

●我國應(yīng)當高度關(guān)注人工智能基礎(chǔ)算法專利布局。

我國人工智能代表企業(yè)聚焦語音識別、圖像識別、端到端自動駕駛系統(tǒng)、圖像分割神經(jīng)網(wǎng)絡(luò)、視線追蹤等領(lǐng)域開發(fā)應(yīng)用產(chǎn)品，但是與美國科技巨頭如 IBM、谷歌、微軟等相比，我國在人工智能基礎(chǔ)算法布局處于空白，在未來發(fā)展中略顯乏力。此次谷歌對 Dropout 技術(shù)申請專利應(yīng)當引起行業(yè)管理部門重視，鼓勵企業(yè)在新興領(lǐng)域原始創(chuàng)新上加大資金、人才等投入力度，在底層架構(gòu)、基礎(chǔ)理論等方面勇于做先行者和開拓者。同時相關(guān)企業(yè)應(yīng)當增強知識產(chǎn)權(quán)意識，通過專利布局對未來新興領(lǐng)域的產(chǎn)業(yè)生態(tài)構(gòu)建進行超前謀劃，積極在基礎(chǔ)算法領(lǐng)域進行專利布局，打好行業(yè)發(fā)展根基。