竇嘉銘

摘 要：闡述了人工神經(jīng)網(wǎng)絡理論發(fā)展的歷史脈絡，利用馬克思主義哲學的基本原理和自然辯證法的觀點分析了人工神經(jīng)網(wǎng)絡的發(fā)展歷程，為人工神經(jīng)網(wǎng)絡理論發(fā)展提供思路。

關鍵詞： 神經(jīng)網(wǎng)絡; 自然辯證法; 人工智能; 發(fā)展歷程; 系統(tǒng)論

中圖分類號： TP183? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2021）01-0202-03

Abstract：Expounds the related theoretical technology and development course of artificial neural network. Analyzes the artificial neural network theory by using the basic principles of Marxist philosophy and the dialectics of nature to provide ideas for the future development of artificial neural network theory.

Key words：artificial neural network; dialectics of nature; artificial intelligence; development course; system theory

人工神經(jīng)網(wǎng)絡（ANN，Artificial Neural Network）是在現(xiàn)代生物學的基礎上，受生物的大腦啟發(fā)，基于對生物大腦的結構和功能的模仿，采用數(shù)學方法對其進行研究而構成的一種信息處理系統(tǒng)[1]。人工神經(jīng)網(wǎng)絡的發(fā)展與演化是所有從事智能控制領域研究的學者們關心的一個重要問題。因此，本文闡述了人工神經(jīng)網(wǎng)絡理論的發(fā)展歷程，探討了其與自然辯證法的相互關聯(lián)，為學科的未來發(fā)展提供參考。

1 人工神經(jīng)網(wǎng)絡的發(fā)展歷程

人工神經(jīng)網(wǎng)絡理論的發(fā)展歷程是十分艱辛的，也經(jīng)歷過各種各樣的機會與困難，出現(xiàn)過各種各樣的錯誤與局限，可以分解為三次高潮時期和兩次低谷時期。

1.1人工神經(jīng)網(wǎng)絡啟蒙階段、第一次高潮期（1890年～1969年）

1890年，美國心理學家和哲學家William.James發(fā)表了專著《心理學原理》，這本書中探討了有關人腦的結構和功能的話題。1943年，數(shù)學家Walter.Pitts和心理學家Warren. McCulloch一同提出了描述人腦神經(jīng)細胞動作的數(shù)學模型，即M-P模型（是歷史上第一個人工神經(jīng)網(wǎng)絡模型）。該數(shù)學模型，建立了人工神經(jīng)網(wǎng)絡“大廈”的“地基”，開創(chuàng)了神經(jīng)科學理論研究的時代，標志著神經(jīng)網(wǎng)絡研究誕生。1949年，加拿大心理學家Donald Olding Hebb實現(xiàn)了對生物大腦神經(jīng)細胞之間相互影響的數(shù)學描述，從心理學的角度提出了赫布律（一種學習法則）。20世紀50年代，人們開始把人工神經(jīng)網(wǎng)絡作為人工智能的網(wǎng)絡系統(tǒng)來研究。1957年，F(xiàn)rank Rosenblatt提出了一種“感知器”（perceptron）模型，是世界上首個具有自組織自學習能力的數(shù)學模型，掀起了人工神經(jīng)網(wǎng)絡的第一次熱潮。

1.2 1969年～1982年：第一次低潮期

1969年，人工智能領域頂級專家Marvin Minsky和 Seymour Papert[2]在《感知器》一書中強烈地批判了感知器模型，認為神經(jīng)網(wǎng)絡沒有科學價值。主要表現(xiàn)為：首先，神經(jīng)網(wǎng)絡只能用于線性問題的求解，不能解決非線性的問題;其次，當時的計算機計算能力低下而無法支持神經(jīng)網(wǎng)絡模型所需的計算量。

因此受當時神經(jīng)網(wǎng)絡理論研究水平的限制以及馮·諾伊曼式計算機發(fā)展的沖擊等因素的影響。在從20世紀60年代后期的若干年里，對人工神經(jīng)網(wǎng)絡的研究一直處于低潮時期，神經(jīng)網(wǎng)絡的研究陷入低谷。在如此艱難的情況下，仍然有少量研究人員在繼續(xù)從事人工神經(jīng)網(wǎng)絡的研究，提出新的模型和理論。這為人工神經(jīng)網(wǎng)絡研究的新發(fā)展奠定了理論基礎。比如Teuvo Kohonen在1972年提出了著名的自組織映射神經(jīng)網(wǎng)絡（SOM）模型。

1.3 1982年～1986年：第二次高潮期

1982年，美國物理學家Hopfield他將物理中的動力學內(nèi)容引入神經(jīng)網(wǎng)絡，提出了Hopfield神經(jīng)網(wǎng)絡模型，該模型通過引入能量函數(shù)，實現(xiàn)了問題優(yōu)化求解。1986年7月，Hinton和 David Rumelhart[3]合作在《自然》發(fā)表論文，系統(tǒng)地提出了應用反向傳播算法，大幅減少了運算量。同時，通過在神經(jīng)網(wǎng)絡里增加一個隱含層（hidden layer），解決了感知器無法解決的異或門難題，這就是著名的BP神經(jīng)網(wǎng)絡模型。BP神經(jīng)網(wǎng)絡模型是現(xiàn)代神經(jīng)網(wǎng)絡中作為預測應用最為廣泛的人工神經(jīng)網(wǎng)絡模型。認知科學的“聯(lián)結主義” 在20世紀80年代誕生，認為正是大腦神經(jīng)元的變化形成了人類的一切認知活動。這一認知提升了人工神經(jīng)網(wǎng)絡的廣度和深度。在計算能力方面，馮·諾伊曼式計算機的發(fā)展也遇到瓶頸（未能使神經(jīng)網(wǎng)絡模擬視覺聽覺），迫使研究人員尋求新的途徑，這也帶動了研究人員對人工神經(jīng)網(wǎng)絡理論新的研究熱潮。

1.4 1986年～20世紀初：第二次低潮期

然而好景不長，20世紀90年代中期，Vapnik等人發(fā)明了SVM（Support Vector Machines，支持向量機）。SVM一經(jīng)發(fā)明，就在若干個方面都體現(xiàn)出了比人工神經(jīng)網(wǎng)絡的優(yōu)勢。比如，SVM不需要調(diào)整運算的參數(shù)，并且獲得的是全局最優(yōu)解，效率也比神經(jīng)網(wǎng)絡要高不少，因此，逐漸取代神經(jīng)網(wǎng)絡成為主流的運算模型。此外，人工神經(jīng)網(wǎng)絡的衰落，還有一個重要原因就是，隨著神經(jīng)網(wǎng)絡的層數(shù)增加，最終的輸出結果對于初始幾層的參數(shù)影響微乎其微，整個網(wǎng)絡的訓練過程無法保證收斂[4]。 即通過人工神經(jīng)網(wǎng)絡求得的方程的解不一定是最優(yōu)的解，有可能陷入了某個范圍內(nèi)的最優(yōu)解，而不是整個空間的最優(yōu)解。在此之后，人工智能界只有少數(shù)學者在堅持研究神經(jīng)網(wǎng)絡。

1.5 2006年—至今：第三次高潮期

然而，2000年以后，伴隨著其他學科的發(fā)展，尤其是計算機學科、腦神經(jīng)學科、大數(shù)據(jù)學科的發(fā)展，使得人工神經(jīng)網(wǎng)絡的技術瓶頸最終被打破：

1） 計算機硬件的發(fā)展：計算機GPU硬件的快速更新，使得人工神經(jīng)網(wǎng)絡的運算速度逐漸加快，計算時間逐漸減少，為神經(jīng)網(wǎng)絡的實現(xiàn)提供了硬件上的支撐。

2） 生物醫(yī)學領域腦神經(jīng)科學的發(fā)展：腦神經(jīng)科學表明，人類的DNA并不提供各種用途的算法，而只提供基本的普適的學習機制[5]。人的思維功能主要是依賴于后天的學習，因此一個人后天努力的程度才決定了他的思想和能力。

3） 互聯(lián)網(wǎng)技術和大數(shù)據(jù)技術飛躍式發(fā)展：通過互聯(lián)網(wǎng)，使得充足的數(shù)據(jù)被收集起來，并通過人工神經(jīng)網(wǎng)絡進行處理。此外數(shù)據(jù)挖掘、數(shù)據(jù)清洗等數(shù)據(jù)科學也為人工神經(jīng)網(wǎng)絡提供了數(shù)據(jù)保障。

因此，在各個學科的共同推動下，2006年，Hinton等人[5]在《科學（Science）》及其相關的期刊上發(fā)表論文，第一次提出了“深度信念網(wǎng)絡”這一概念。這種神經(jīng)網(wǎng)絡與傳統(tǒng)神經(jīng)網(wǎng)絡使用不同的訓練方式，區(qū)別在pre-training（預訓練）的過程。通過增加預訓練，可以使神經(jīng)網(wǎng)絡中的權值找到一個接近最優(yōu)解的值，之后再使用“微調(diào)”的方法來優(yōu)化整個網(wǎng)絡的訓練過程。通過“預訓練和微調(diào)”兩種技術的運用，使得神經(jīng)網(wǎng)絡的訓練時間大幅度減少。Hinton等人給這種神經(jīng)網(wǎng)絡學習的方法起了一個新名——“深度學習”。

多學科的交叉發(fā)展，又一次掀起了使得神經(jīng)網(wǎng)絡研究的高潮，迄今為止，研究者已經(jīng)提出了五十多種有效的人工神經(jīng)網(wǎng)絡模型，廣泛應用于模式識別與圖像處理、控制與優(yōu)化、金融預測與管理等領域[6]。自此，以深度學習為代表的人工神經(jīng)網(wǎng)展進入新一輪的發(fā)展浪潮。

2 辯證法與人工神經(jīng)網(wǎng)絡的發(fā)展

辯證法是隨著科學技術的進步將不斷豐富和發(fā)展的，而科學技術的發(fā)展也遵循著辯證法的規(guī)律。人工神經(jīng)網(wǎng)絡理論的發(fā)展歷程也必然閃耀著辯證法的光輝。

2.1 人工神經(jīng)網(wǎng)絡的發(fā)展過程遵循了馬克思主義認識論

馬克思主義認為，人類認識問題的方法不外乎感性認識和理性認識，即從實踐到認識，又從認識到實踐，遵循著“實踐—認識—再實踐—再認識”的認識規(guī)律。人類對人工神經(jīng)網(wǎng)絡和生物神經(jīng)網(wǎng)絡的認識過程也是對辯證唯物主義認識論的充分說明。

人工神經(jīng)網(wǎng)絡技術的產(chǎn)生，正是源于各學科科學家長期的實踐和探索，而人們對神經(jīng)網(wǎng)絡技術的認識，又隨著人類實踐的深入而發(fā)展。各個領域科學家通過大量的實踐活動（比如對人腦的研究），產(chǎn)生了初級的人工神經(jīng)網(wǎng)絡。但發(fā)展的過程中，難免會出現(xiàn)錯誤。就如在神經(jīng)網(wǎng)絡發(fā)展第一階段的高潮時期，人們對于Frank Rosenblatt發(fā)明的感知器網(wǎng)絡存在過高的估計，導致該網(wǎng)絡在當時存在一定的局限性。不過隨著人們對初級的人工神經(jīng)網(wǎng)絡技術不足之處的認識深入，產(chǎn)生出了新的、速度更快、范圍更廣的神經(jīng)網(wǎng)絡（Frank Rosenblatt后來提出了新的BP神經(jīng)網(wǎng)絡）。這一過程體現(xiàn)了辯證的思維方式，從實體的認知發(fā)展到系統(tǒng)的認知。

人類認識神經(jīng)網(wǎng)絡這一過程，是人們對生物神經(jīng)網(wǎng)絡到人工神經(jīng)網(wǎng)絡的過程，是對生物神經(jīng)網(wǎng)絡的認識不斷深化的過程，反映了人類對于生物大腦的認識加深。在人類發(fā)展的歷史上，像神經(jīng)網(wǎng)絡這種借鑒生物系統(tǒng)特別是人類生理系統(tǒng)的控制方法，正是使用系統(tǒng)的、數(shù)學的方法，從人類外部模擬人類本身的智能行為，為描述人的心理活動、思維活動和身體結構提供了新的途徑，并將有助于人類對自身的認識提高到一個新階段，這一過程也體現(xiàn)了認識與實踐、感性認識與理性認識、相對真理與絕對真理等多方面的對立統(tǒng)一關系，說明了主體對客體的反映是一個在實踐的基礎上不斷深化、充滿矛盾的辯證發(fā)展過程[7]。

人工神經(jīng)網(wǎng)絡理論的研究與其他大多數(shù)科學研究一樣，都是以問題為導向的，只有理論和現(xiàn)實存在各種各樣的新問題，才能迫使研究人員不斷進行實踐，不斷研究，推動該學科的不斷進步，這也體現(xiàn)著馬克思主義理論與實踐的辯證統(tǒng)一的認識論。

2.2 人工神經(jīng)網(wǎng)絡的發(fā)展過程離不開多學科融合的研究方法

科學技術內(nèi)部的交叉融合是科學技術發(fā)展的重要推力。如果說19世紀的科學是以學科不斷分化為主要特征，那么20世紀以來各學科體系在繼續(xù)分化的同時也在向高度綜合化[8]、整體化、社會化以及相互滲透、融合的方向發(fā)展。人工神經(jīng)網(wǎng)絡技術的發(fā)展當然也不是孤立的，它始終與其他學科的發(fā)展和密切相關。正如本文的第一部分所寫，神經(jīng)網(wǎng)絡第三次高潮時期，正是因為其他學科，如計算機科學、腦神經(jīng)科學、認知科學的不斷發(fā)展，才使得人工神經(jīng)網(wǎng)絡理論走出第二次低谷，才有了現(xiàn)在的人工智能的高潮時期，這也正反映了辯證法聯(lián)系與發(fā)展的思想。

神經(jīng)網(wǎng)絡技術涉及的學科范圍之廣，十分罕見，它涉及：數(shù)學、腦神經(jīng)科學、控制科學、計算機科學、心理學、哲學、信息科學、數(shù)據(jù)科學、認知科學、生物學、物理學、邏輯學、語言學、微電子學等等。人工神經(jīng)網(wǎng)絡技術正是在多個學科的基礎上發(fā)展起來，相反，隨著神經(jīng)網(wǎng)絡自身研究的深入也必然會帶動其他學科實現(xiàn)跨越。因此，本文認為，人工神經(jīng)網(wǎng)絡理論在與其他學科相互滲透、交叉、綜合中實現(xiàn)發(fā)展，正是反映了當今時代新工科技術的一大特點。

以人工神經(jīng)網(wǎng)絡與哲學的關系為例：當人工神經(jīng)網(wǎng)絡的研究者構建人工神經(jīng)網(wǎng)絡系統(tǒng)需要知識來源時，自然會傾向于從科學哲學這樣已經(jīng)相對成熟的學科中尋求有用的概念、理論和方法[9];反過來，人工神經(jīng)網(wǎng)絡形成和發(fā)展的規(guī)律及方法論，進而形成的新概念、新方法，反過來又為科學哲學工作者所利用和借鑒，并給科學哲學研究帶來新的機遇。

2.3 人工神經(jīng)網(wǎng)絡的發(fā)展過程體現(xiàn)了辯證法否定之否定規(guī)律

否定之否定規(guī)律是辯證法三大規(guī)律之一，最早是由德國古典哲學家黑格爾在《邏輯學》一書中提出來的，恩格斯將它總結和提煉出來，它揭示了事物發(fā)展的方向和道路。

回顧人工神經(jīng)網(wǎng)絡技術的發(fā)展歷程，是符合否定之否定規(guī)律的。即使，在現(xiàn)階段人工神經(jīng)網(wǎng)絡的研究正如火如荼地開展，但在人工神經(jīng)網(wǎng)絡歷史上，或存在低潮期，或存在高潮期，也會出現(xiàn)這樣的或那樣的問題（比如經(jīng)歷過計算機計算能力不足、腦神經(jīng)理論發(fā)展不足等），甚至會出現(xiàn)停滯不前甚至謬誤。然而人工神經(jīng)網(wǎng)絡的發(fā)展經(jīng)歷過低潮期之后，并不一成不變，并不是回到原點，而是螺旋式上升、曲折式前進，也是一種由內(nèi)部矛盾所引起的自我否定，再通過自我否定實現(xiàn)內(nèi)部矛盾的轉化，最終解決矛盾的過程。

對于人工神經(jīng)網(wǎng)絡理論，本文認為，應該回顧人工神經(jīng)網(wǎng)絡研究的歷史，并對其進行科學的解讀。要用正確的科學的、系統(tǒng)的研究方法，應對不斷出現(xiàn)的新問題，不斷發(fā)現(xiàn)錯誤，改正錯誤，不斷完善人工神經(jīng)網(wǎng)絡理論。

2.4 人工神經(jīng)網(wǎng)絡理論體現(xiàn)了數(shù)學方法及其精準認識事物的作用

恩格斯指出，“數(shù)學是辯證的輔助手段和表達方式”[10]。數(shù)學模型就是對于一個對象為了特定目的，根據(jù)事物特有的內(nèi)在規(guī)律，做出一些必要的簡化條件，得到的數(shù)學結構，而這種數(shù)學結構可以是數(shù)學公式、計算機算法、表格等等多種表現(xiàn)形式。

人工神經(jīng)網(wǎng)絡技術的發(fā)展離不開數(shù)學。人工神經(jīng)網(wǎng)絡的計算是一種低精度的并行計算，是一種非線性計算方式，這種計算方式正是傳統(tǒng)的計算機無法實現(xiàn)的。人工神經(jīng)網(wǎng)絡正是以工程技術的手段，利用數(shù)學模型來模擬生物大腦神經(jīng)系統(tǒng)的結構和功能，比如學習、分類等功能。神經(jīng)網(wǎng)絡系統(tǒng)一個高度復雜的非線性動力學系統(tǒng)，其不但具有一般非線性系統(tǒng)的共性，更重要的是它還具有自己的特點[11]，比如高維性、神經(jīng)元之間的廣泛互連性以及自適應性或自組織性等。

2.5 人工神經(jīng)網(wǎng)絡技術的發(fā)展體現(xiàn)了系統(tǒng)論和系統(tǒng)科學方法

系統(tǒng)思維是把事物當作系統(tǒng)來進行處理的一種思維方法。一些概念如系統(tǒng)、反饋、控制、輸入輸出等等從自然界中概括出來。人工神經(jīng)網(wǎng)絡理論作為控制理論的重要組成部分，其本身涉及的系統(tǒng)越來越復雜，出現(xiàn)了進化、自組織、自學習等等新概念，這些概念對人工神經(jīng)網(wǎng)絡這一復雜系統(tǒng)更深刻的描述。當代新工程技術的發(fā)展離不開系統(tǒng)論的指導，而人工神經(jīng)網(wǎng)絡技術，作為當代新工程技術的典型代表，必然也與系統(tǒng)論和系統(tǒng)科學方法聯(lián)系緊密。

人工神經(jīng)網(wǎng)絡等工程技術系統(tǒng)是人工與自然結合的復合系統(tǒng)，是一種復雜的系統(tǒng)，也是一種非線性系統(tǒng)，是人工智能這一復雜巨系統(tǒng)的子系統(tǒng)。神經(jīng)網(wǎng)絡與多學科的互聯(lián)互通，正反映了辯證法聯(lián)系的思想，也是神經(jīng)網(wǎng)絡這一復雜的系統(tǒng)工程的體現(xiàn)。

系統(tǒng)化的研究，是對人工神經(jīng)網(wǎng)絡理論研究的一個重要的方法，甚至在整個人工智能學術體系中都舉足輕重，一般包括系統(tǒng)分析和系統(tǒng)融合。這種研究方法要求我們要從全局和整體考慮問題，不可只見樹木、不見森林;注意事物之間的復雜關系，不可孤立地看待問題[7]。正如在對人工神經(jīng)網(wǎng)絡理論的研究中，不僅要對神經(jīng)網(wǎng)絡中每一個神經(jīng)元、突觸、信號等局部細節(jié)進行研究，還要對神經(jīng)元整體的連接方式、結構、功能等等宏觀理論進行研究，不可滿足于就事論事。還要對神經(jīng)網(wǎng)絡產(chǎn)生、演化、發(fā)展過程進行研究，對其未來發(fā)展進行預測。當然，從系統(tǒng)論的角度看，人工神經(jīng)網(wǎng)絡理論也有一定缺陷，比如，在模擬人腦的過程中忽視了人是一個整體，而大腦只是人這個整體中的一個部分[12]。近年來的腦科學研究也表明，大腦皮層的神經(jīng)系統(tǒng)與身體其他部分也進行著交互的作用。因此，在文獻[12]提出了人類智能的首個層次應該是個人單一系統(tǒng)，即智能是由人整個身體所呈現(xiàn)的結果。從這個方面來說，人工神經(jīng)網(wǎng)絡作為人工智能的子系統(tǒng)，也確實有很多不完善的地方，也需要優(yōu)化和改進。

3 結論

本文首先介紹了當下火熱的人工神經(jīng)網(wǎng)絡理論及其發(fā)展歷程，其次利用馬克思主義的基本原理和自然辯證法的內(nèi)容分析了該理論蘊含的哲學思想，為人工智能在哲學領域的發(fā)展提供參考。人工神經(jīng)網(wǎng)絡理論具有高度的復雜性，這就要求廣大科研人員在未來的人工神經(jīng)網(wǎng)絡探索過程中，要充分理解自然辯證法的理論并加以實踐。要樹立系統(tǒng)思維，充分理解聯(lián)系的觀點，把握人工神經(jīng)網(wǎng)絡學科及其相關學科的發(fā)展動向，準確分析神經(jīng)網(wǎng)絡發(fā)展的內(nèi)在邏輯，抓住其主要矛盾與矛盾的主要方面，以系統(tǒng)思維認識和實踐人工神經(jīng)網(wǎng)絡的相關理論，更好的實現(xiàn)社會主義科學技術的大發(fā)展、大繁榮。

參考文獻：

[1] 馬銳.人工神經(jīng)網(wǎng)絡原理[M].北京：機械工業(yè)出版社，2010.

[2] MINSKY M， PAPERT S. Perceptrons： an introduction to computational geometry[M].Cambridge： The MIT Press， 1969.

[3] Rumelhart D E，Hinton G E，Williams R J.Learning representations by back-propagating errors[J].Nature，1986，323（6088）：533-536.

[4] 顧險峰.人工智能的歷史回顧和發(fā)展現(xiàn)狀[J].自然雜志，2016，38（3）：157-166.

[5] Hinton G E，Osindero S，Teh Y W.A fast learning algorithm for deep belief nets[J].Neural Computation，2006，18（7）：1527-1554.

[6] 陳慶霞.人工智能研究綱領的基本問題和發(fā)展趨勢[D].南京：南京航空航天大學，2009.

[7] 王逢鑫.人民日報大家手筆：當代學術研究三法[EB/OL]. http：//opinion.people.com.cn/n1/2016/0111/c1003-28037329.html

[8] 陳慧萍，何坤金.人工神經(jīng)網(wǎng)絡發(fā)展的若干哲學思考[J].河海大學常州分校學報，2003（1）：38-42.

[9] 李雨欣.人工神經(jīng)網(wǎng)絡技術研究的哲學思考[D].武漢：武漢科技大學，2007.

[10]? 韋建樺.馬克思恩格斯文集第九卷（反杜林論 自然辯證法） [M]. 北京：人民出版社，2009.

[11] 巫影，陳定方，唐小兵，等.神經(jīng)網(wǎng)絡綜述[J].科技進步與對策，2002，19（6）：133-134.

[12] 陳俊波，高楊帆.系統(tǒng)論視角下的人工智能與人類智能[J].自然辯證法研究，2019，35（9）：99-104.

【通聯(lián)編輯：唐一東】