編譯 胡德良

深度學(xué)習(xí)網(wǎng)絡(luò)中一個(gè)被忽視的特征可能會(huì)成為人工智能領(lǐng)域的重大突破口。

小時(shí)候，初步進(jìn)入數(shù)學(xué)世界時(shí)，我們學(xué)會(huì)了一個(gè)蘋(píng)果加另一個(gè)蘋(píng)果等于兩個(gè)蘋(píng)果，我們還學(xué)會(huì)了為真實(shí)事物計(jì)數(shù)。直到后來(lái)，我們才接觸到一個(gè)奇怪的概念：零，或者說(shuō)一個(gè)空盒子里的蘋(píng)果數(shù)量。

阿拉伯學(xué)者和意大利數(shù)學(xué)家斐波納契把“零”的概念引入現(xiàn)代數(shù)字系統(tǒng)之后，給數(shù)學(xué)帶來(lái)了革命性的變化。當(dāng)今，盡管我們?cè)谒袛?shù)學(xué)運(yùn)算中自如地使用零，但是“無(wú)（nothing）”或“零”的概念尚未進(jìn)入人工智能（AI）領(lǐng)域。從某種意義上說(shuō)，AI和深度學(xué)習(xí)仍然需要學(xué)習(xí)如何利用“無(wú)”的概念進(jìn)行識(shí)別和推理。

是蘋(píng)果還是香蕉？無(wú)！

從傳統(tǒng)意義上來(lái)講，深度神經(jīng)網(wǎng)絡(luò)（DNN）之類的深度學(xué)習(xí)算法在監(jiān)督之下進(jìn)行訓(xùn)練，以便識(shí)別特定種類的事物。在一項(xiàng)典型的任務(wù)中，研究人員可能會(huì)訓(xùn)練DNN以可視方式識(shí)別一定數(shù)量的類別，例如，識(shí)別蘋(píng)果和香蕉的圖片。一旦獲得相當(dāng)多的數(shù)據(jù)，而且數(shù)據(jù)具有相當(dāng)高的質(zhì)量，深度學(xué)習(xí)算法實(shí)際上非常擅長(zhǎng)提供錯(cuò)誤率低的、可信的精確分類。

當(dāng)?shù)谌齻€(gè)未知對(duì)象出現(xiàn)在DNN的面前時(shí)，就會(huì)出現(xiàn)問(wèn)題。如果引入了訓(xùn)練集合中不存在的未知對(duì)象，如橘子，那么網(wǎng)絡(luò)將被迫“猜測(cè)”，把橘子歸類為跟捕獲的未知對(duì)象最接近的類別——蘋(píng)果！

基本上，用蘋(píng)果和香蕉訓(xùn)練的DNN系統(tǒng)完全由蘋(píng)果和香蕉組成，它無(wú)法想象整個(gè)水果籃里都有什么水果。

進(jìn)入“無(wú)”的世界

在所有應(yīng)用中，盡管對(duì)“無(wú)”或者“類別歸零”的用途還不是很清楚，但是在訓(xùn)練和部署DNN時(shí)，其概念在許多方面都是非常有用的。

在訓(xùn)練過(guò)程中，如果DNN能夠?qū)㈨?xiàng)目分類為“蘋(píng)果”“香蕉”或“無(wú)”，那么算法的開(kāi)發(fā)人員可以確定它是否學(xué)會(huì)了有效辨認(rèn)特定的類別。經(jīng)過(guò)培訓(xùn)識(shí)別了新鮮蘋(píng)果和香蕉的DNN，如果出現(xiàn)與已學(xué)會(huì)識(shí)別的水果類型有偏差的水果，那么它就會(huì)回應(yīng)“無(wú)”。從這個(gè)意義上講，DNN可以充當(dāng)異常網(wǎng)絡(luò)檢測(cè)——除了對(duì)蘋(píng)果和香蕉進(jìn)行分類之外，不用經(jīng)過(guò)進(jìn)一步更改，它就可以發(fā)出信號(hào)，表明它注意到了偏離規(guī)范的其他情況。

到目前為止，還沒(méi)有簡(jiǎn)單的方法來(lái)訓(xùn)練標(biāo)準(zhǔn)DNN，使其能夠提供以上功能。

一種稱為“終身DNN（lifelong DNN）”的新方法會(huì)自然而然地將“無(wú)”的概念納入架構(gòu)中。通過(guò)過(guò)去所學(xué)到的東西以及巧妙地利用反饋機(jī)制，終身DNN可以確定某種輸入是匹配還是不匹配，以此來(lái)辨識(shí)符合規(guī)范與否。

這種機(jī)制類似于人類的學(xué)習(xí)方式：在潛意識(shí)中，我們不斷檢查我們的預(yù)測(cè)是否符合真實(shí)的情況。例如，如果有人對(duì)你搞惡作劇，改變了辦公椅的高度，你會(huì)立即注意到這一點(diǎn)。那是因?yàn)殡S著時(shí)間的推移，你了解到辦公椅的高度，你對(duì)此有了一個(gè)“模型”——如果這個(gè)模型不規(guī)范，你將立即意識(shí)到異常。我們?nèi)祟惒粩鄼z查自己的分類是否符合實(shí)際情況，如果不符合，我們的大腦就會(huì)注意到，并且發(fā)出警報(bào)。終身DNN在發(fā)揮功能時(shí)會(huì)充分體現(xiàn)這種機(jī)制，因此，在確定已學(xué)到的模型不規(guī)范時(shí)，它會(huì)發(fā)出“無(wú)”的信號(hào)。

利用“無(wú)”的概念，杜絕問(wèn)題出現(xiàn)

以蘋(píng)果和香蕉為例對(duì)“無(wú)”的概念有了基本了解之后，現(xiàn)在我們來(lái)考慮一下這一概念在水果識(shí)別之外的實(shí)際應(yīng)用中該如何發(fā)揮作用。

考慮一下制造業(yè)，該行業(yè)的機(jī)器負(fù)責(zé)生產(chǎn)大量產(chǎn)品。通過(guò)對(duì)傳統(tǒng)的計(jì)算機(jī)視覺(jué)系統(tǒng)進(jìn)行培訓(xùn)來(lái)識(shí)別產(chǎn)品中各種不同的異常情況（如表面劃痕），這是非常具有挑戰(zhàn)性的。在運(yùn)行良好的生產(chǎn)線上，看起來(lái)沒(méi)有多少產(chǎn)品屬于“次品”，且“次品”以多種形式存在，根本沒(méi)有可用于培訓(xùn)系統(tǒng)的大量次品數(shù)據(jù)。

但是，借助終身DNN，開(kāi)發(fā)人員可以通過(guò)訓(xùn)練計(jì)算機(jī)視覺(jué)系統(tǒng)來(lái)識(shí)別“優(yōu)質(zhì)”產(chǎn)品的各種樣品。然后，當(dāng)系統(tǒng)檢測(cè)到與優(yōu)質(zhì)產(chǎn)品的界定不符的產(chǎn)品時(shí)，可以將該產(chǎn)品歸類為異常，使其等候適當(dāng)處理。

對(duì)于制造商而言，終身DNN及其發(fā)現(xiàn)異常情況的能力可以為其節(jié)省時(shí)間并提高生產(chǎn)線上的效率。對(duì)于其他許多越來(lái)越依賴人工智能的行業(yè)來(lái)說(shuō)，也會(huì)有類似的益處。沒(méi)想到“無(wú)”的概念竟有如此的重要性！