周永權(quán)，趙 斌

(1. 廣西民族大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院 南寧 530006; 2. 中央民族大學(xué)理學(xué)院 北京 海淀區(qū) 100083)

泛函網(wǎng)絡(luò)模型及應(yīng)用研究綜述

周永權(quán)1，趙 斌2

(1. 廣西民族大學(xué)數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院 南寧 530006; 2. 中央民族大學(xué)理學(xué)院 北京 海淀區(qū) 100083)

回顧了近年來(lái)泛函網(wǎng)絡(luò)模型及應(yīng)用的研究進(jìn)展，首先根據(jù)泛函網(wǎng)絡(luò)模型結(jié)構(gòu)的特點(diǎn)，將現(xiàn)有的泛函網(wǎng)絡(luò)模型歸結(jié)為兩類(lèi)典型的泛函網(wǎng)絡(luò)模型；其次，給出一般泛函網(wǎng)絡(luò)模型的學(xué)習(xí)過(guò)程；然后從時(shí)間序列分析、差分方程、CAD、非線性回歸、數(shù)值優(yōu)化計(jì)算、非線性系統(tǒng)辨識(shí)、檢測(cè)和預(yù)測(cè)、復(fù)雜系統(tǒng)建模8個(gè)方面，介紹了泛函網(wǎng)絡(luò)的應(yīng)用現(xiàn)狀；最后評(píng)述了泛函網(wǎng)絡(luò)今后的研究方向和研究?jī)?nèi)容。

泛函網(wǎng)絡(luò); 學(xué)習(xí)過(guò)程; 優(yōu)化問(wèn)題; 典型泛函網(wǎng)絡(luò)

泛函網(wǎng)絡(luò)(functional network，F(xiàn)Nt)[1]是人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)的一種拓展，它處理的僅是一般實(shí)泛函模型。與ANN不同，泛函網(wǎng)絡(luò)神經(jīng)元之間無(wú)聯(lián)接權(quán)值，神經(jīng)元函數(shù)不固定，是可學(xué)習(xí)的。泛函網(wǎng)絡(luò)通常是一些給定的基函數(shù)簇的線性組合，在實(shí)際應(yīng)用中可根據(jù)所求問(wèn)題的物理背景知識(shí)和結(jié)構(gòu)學(xué)習(xí)評(píng)價(jià)準(zhǔn)則，選擇不同的基函數(shù)簇(如多項(xiàng)式、三角函數(shù)、Fourier函數(shù)等)實(shí)現(xiàn)用較小的網(wǎng)絡(luò)規(guī)模獲得更滿意的泛化特性。

學(xué)者們提出的多種類(lèi)型泛函網(wǎng)絡(luò)，歸結(jié)起來(lái)，可分為可分離泛函網(wǎng)絡(luò)模型和可結(jié)合泛函網(wǎng)絡(luò)模型，這些模型在應(yīng)用方面都取得了較大的成功。例如，文獻(xiàn)[2-5]將泛函網(wǎng)絡(luò)應(yīng)用于線性及非線性回歸、非線性系統(tǒng)辨識(shí)和混沌時(shí)間序列預(yù)測(cè)，以及泛函方程求解等領(lǐng)域；文獻(xiàn)[6-7]將泛函網(wǎng)絡(luò)應(yīng)用于B樣條曲面重構(gòu)問(wèn)題及海洋捕魚(yú)技術(shù)；文獻(xiàn)[8]將泛函網(wǎng)絡(luò)應(yīng)用于實(shí)時(shí)洪水預(yù)測(cè)；文獻(xiàn)[9]將泛函網(wǎng)絡(luò)應(yīng)用于故障檢測(cè)；文獻(xiàn)[10]將泛函網(wǎng)絡(luò)和不變性分析結(jié)合用應(yīng)于特征選擇問(wèn)題；文獻(xiàn)[11]將泛函網(wǎng)絡(luò)應(yīng)用于分類(lèi)及回歸問(wèn)題；文獻(xiàn)[12]將泛函網(wǎng)絡(luò)、最小均方差逼近和遺傳算法結(jié)合形成一種混合算法，并將其用于求解三維點(diǎn)集的Bézier曲線和曲面擬合問(wèn)題；文獻(xiàn)[13]提出了復(fù)雜泛函網(wǎng)絡(luò)的進(jìn)化工程；文獻(xiàn)[14]將可結(jié)合泛函網(wǎng)絡(luò)應(yīng)用于植物生長(zhǎng)動(dòng)態(tài)建模；文獻(xiàn)[15]將泛函網(wǎng)絡(luò)應(yīng)用于軟件可靠性分析；文獻(xiàn)[16]又將泛函網(wǎng)絡(luò)應(yīng)用于礦山機(jī)械參數(shù)的優(yōu)化設(shè)計(jì)。

在國(guó)內(nèi)，文獻(xiàn)[17]提出基于泛函網(wǎng)絡(luò)的數(shù)值近似方法；文獻(xiàn)[18]給出了非線性系統(tǒng)辨識(shí)的一種泛函網(wǎng)絡(luò)方法，其基本原理是網(wǎng)絡(luò)參數(shù)利用梯度下降法進(jìn)行學(xué)習(xí)，該辨識(shí)方法具有較快的收斂速度和較優(yōu)的性能；文獻(xiàn)[19-22]提出了層次泛函網(wǎng)絡(luò)整體學(xué)習(xí)算法、復(fù)值可分離的泛函網(wǎng)絡(luò)學(xué)習(xí)算法、基于泛函網(wǎng)絡(luò)的多項(xiàng)式Euclidean算法和新型Sigma-Pi泛函網(wǎng)絡(luò)模型，這些方法能夠快速地獲得所求問(wèn)題的精確解；文獻(xiàn)[23]提出了基于多輸入泛函網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)策略，將泛函網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)看成是若干子泛函網(wǎng)絡(luò)模型的集成，分別對(duì)各個(gè)子泛函網(wǎng)絡(luò)進(jìn)行研究；文獻(xiàn)[24]提出了fuzzy插值及其fuzzy泛函網(wǎng)絡(luò)構(gòu)造理論，從理論上證明了泛函網(wǎng)絡(luò)能夠以任意精度逼近任意定義在有界閉集上的連續(xù)函數(shù)；文獻(xiàn)[25]用遞歸泛函網(wǎng)絡(luò)、序列泛函網(wǎng)絡(luò)模型及其學(xué)習(xí)算法解決了傳統(tǒng)的數(shù)值方法難以求解泛函方程這個(gè)難題；文獻(xiàn)[26]提出基于遺傳規(guī)劃實(shí)現(xiàn)泛函網(wǎng)絡(luò)神經(jīng)元的函數(shù)類(lèi)型優(yōu)化方法，可實(shí)現(xiàn)對(duì)神經(jīng)元函數(shù)類(lèi)型的優(yōu)化；文獻(xiàn)[27]提出了泛函網(wǎng)絡(luò)與模糊邏輯推理及支持向量機(jī)之間的等價(jià)關(guān)系。

研究表明，泛函網(wǎng)絡(luò)不僅表現(xiàn)在ANN可以解決的問(wèn)題泛函網(wǎng)絡(luò)同樣可以解決，而且對(duì)于某些ANN不能解決的問(wèn)題泛函網(wǎng)絡(luò)也可解決，泛函網(wǎng)絡(luò)的性能在很多方面優(yōu)于人工神經(jīng)網(wǎng)絡(luò)。目前，泛函網(wǎng)絡(luò)以其獨(dú)特的拓?fù)浣Y(jié)構(gòu)和處理信息方法，已在混沌時(shí)間序列預(yù)測(cè)、微分、差分方程求解、曲面重構(gòu)、線性、非線性回歸、故障診斷、工程結(jié)構(gòu)優(yōu)化設(shè)計(jì)、水資源預(yù)測(cè)、生物醫(yī)學(xué)工程等許多應(yīng)用領(lǐng)域中展現(xiàn)出了卓越性能。

本文首先根據(jù)泛函網(wǎng)絡(luò)模型結(jié)構(gòu)的特點(diǎn)，將現(xiàn)有的泛函網(wǎng)絡(luò)模型歸結(jié)為2類(lèi)典型的泛函網(wǎng)絡(luò)模型，然后從時(shí)間序列分析、差分方程、CAD、非線性回歸、數(shù)值優(yōu)化計(jì)算、非線性系統(tǒng)辨識(shí)、檢測(cè)和預(yù)測(cè)、復(fù)雜系統(tǒng)建模8個(gè)方面，介紹了近年來(lái)泛函網(wǎng)絡(luò)的應(yīng)用現(xiàn)狀；最后評(píng)述了泛函網(wǎng)絡(luò)今后的研究方向和研究?jī)?nèi)容。

1 典型的泛函網(wǎng)絡(luò)模型

1.1 泛函網(wǎng)絡(luò)基本組成

圖1是一個(gè)典型的泛函網(wǎng)絡(luò)模型[2]。

圖1 一個(gè)典型的泛函網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)模型

一般泛函網(wǎng)絡(luò)組成包括：(1)輸入層是輸入數(shù)據(jù)的一層單元，如圖1中的 { x1,x2,x3} ；(2)神經(jīng)元中的每一個(gè)神經(jīng)元是一個(gè)計(jì)算單元，計(jì)算一組來(lái)自前一層神經(jīng)元或輸入單元的輸入值，為給下一層神經(jīng)元或輸出單元提供一組輸入數(shù)據(jù)，如圖1中的 { f1,f2}和{f3}；(3)中間存貯單元層存儲(chǔ)由神經(jīng)元產(chǎn)生的信息，用于存儲(chǔ)神經(jīng)元 { f1,f2}產(chǎn)生的信息，如圖1中的{x4, x5}，即 x4=f(x1,x2)、x5= f(x2,x3)；(4)有向連接線將輸入層、第一層神經(jīng)元、第二層神經(jīng)元、……、最后一層神經(jīng)元及輸出單元連接起來(lái)，箭頭表示信息流動(dòng)的方向；(5)輸出層最后一層單元，輸出網(wǎng)絡(luò)的結(jié)果數(shù)據(jù)，比如圖1中的{x6}，輸出信息 x6= f3( x4, x5)= f3( f1(x1,x2), f2( x2, x3))。

所有這些元素組合在一起就形成了泛函網(wǎng)絡(luò)結(jié)構(gòu)，確定了網(wǎng)絡(luò)的泛函能力。網(wǎng)絡(luò)的結(jié)構(gòu)是指神經(jīng)元的組織及包含的連接。

1.2 泛函網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)類(lèi)型

1.2.1 一般泛函網(wǎng)絡(luò)模型

一般地，n層泛函網(wǎng)絡(luò)的模型可表示為：

對(duì)應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示：

圖2 一般泛函網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)

圖3 模型 u =F[G(x,y),z ]

圖4 模型 u =K[N(y,z),x]

圖5 可結(jié)合泛函網(wǎng)絡(luò)模型

該網(wǎng)絡(luò)模型表示的泛函方程為：

1.2.3 可分離泛函網(wǎng)絡(luò)模型

可分離泛函網(wǎng)絡(luò)是在泛函網(wǎng)絡(luò)中應(yīng)用最為廣泛的一種模型，它的泛函表達(dá)式是各輸入變量分離作用效果的組合，其網(wǎng)絡(luò)模型如圖6所示。

圖6 可分離泛函網(wǎng)絡(luò)模型

該網(wǎng)絡(luò)表示的泛函方程為：

2 泛函網(wǎng)絡(luò)學(xué)習(xí)過(guò)程

人工神經(jīng)網(wǎng)絡(luò)是對(duì)權(quán)值的學(xué)習(xí)，而泛函網(wǎng)絡(luò)是對(duì)網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的學(xué)習(xí)。學(xué)習(xí)方法可分為精確學(xué)習(xí)和近似學(xué)習(xí)兩種。精確學(xué)習(xí)就是確定泛函網(wǎng)絡(luò)所表示的泛函方程的解函數(shù)，近似學(xué)習(xí)就是依據(jù)給定樣本數(shù)據(jù)評(píng)價(jià)神經(jīng)元函數(shù)。其基本方法是線性組合基函數(shù)簇的函數(shù)，并優(yōu)化線性組合的系數(shù)。以下介紹泛函網(wǎng)絡(luò)的學(xué)習(xí)步驟。

(1)確定網(wǎng)絡(luò)初始結(jié)構(gòu)。根據(jù)問(wèn)題本身的知識(shí)和信息(已知數(shù)據(jù)、問(wèn)題的先驗(yàn)知識(shí)及函數(shù)的某些特性等)，設(shè)計(jì)出初始的泛函網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

(2)簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)。每一初始網(wǎng)絡(luò)結(jié)構(gòu)對(duì)應(yīng)一泛函方程，利用泛函方程解的特性找出與初始網(wǎng)絡(luò)結(jié)構(gòu)等價(jià)的泛函網(wǎng)絡(luò)類(lèi)，并從中選擇與其等價(jià)的簡(jiǎn)單網(wǎng)絡(luò)結(jié)構(gòu)。

(3)表達(dá)式的唯一性。在泛函網(wǎng)絡(luò)學(xué)習(xí)之前，確保網(wǎng)絡(luò)輸出表達(dá)式的唯一性，即對(duì)于一給定的泛函網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，在相同的初始條件，使得對(duì)于任意的輸入值，網(wǎng)絡(luò)都有相同的輸出值。

(5)模型選擇。對(duì)泛函網(wǎng)絡(luò)學(xué)習(xí)需要考慮選取何種類(lèi)型的基函數(shù)簇，一旦選定了基函數(shù)，考慮在基函數(shù)中如何選取函數(shù)項(xiàng)。關(guān)于問(wèn)題，即泛函網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)評(píng)價(jià)問(wèn)題，能否找到一行之有效方法來(lái)評(píng)價(jià)泛函網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)的性能，至今還沒(méi)有徹底解決。文獻(xiàn)[2]雖給出了5種方法，但在實(shí)際應(yīng)用中，存在著計(jì)算量大、使用不方便等不足。

(6)模型測(cè)試。對(duì)網(wǎng)絡(luò)學(xué)習(xí)效果進(jìn)行測(cè)試，學(xué)習(xí)樣本數(shù)據(jù)一部分用于學(xué)習(xí)，一部分用于測(cè)試。

下面通過(guò)一簡(jiǎn)單例子說(shuō)明泛函網(wǎng)絡(luò)學(xué)習(xí)過(guò)程。

(2)初始拓?fù)浣Y(jié)構(gòu)：其對(duì)應(yīng)的網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示。

圖7 對(duì)應(yīng)于(4)式的泛函網(wǎng)絡(luò)結(jié)構(gòu)

(3)結(jié)構(gòu)學(xué)習(xí)。式(4)給出了函數(shù) f1、f2、f3和 f4的約束條件，可簡(jiǎn)化其泛函結(jié)構(gòu)。泛函方程式(4)在實(shí)數(shù)矩陣連續(xù)的一般解為：

式中1F、F2、、F6是任意連續(xù)且嚴(yán)格單調(diào)函數(shù)。將式(5)代人式(4)，得到泛函方程(5)的最簡(jiǎn)單表達(dá)式

簡(jiǎn)化后的泛函網(wǎng)絡(luò)如圖8所示。

圖8 式(4)簡(jiǎn)化后的泛函網(wǎng)絡(luò)

(4)表達(dá)式唯一性。泛函方程式(4)在實(shí)數(shù)矩形連續(xù)的一般解為式(5)，式(4)給出了函數(shù) f1、f2、f3和f4的約束條件，經(jīng)過(guò)式(5)的形式轉(zhuǎn)換，無(wú)論初始條件為保，式(4)與式(6)得出的函數(shù)表達(dá)式是一樣的，即簡(jiǎn)化后的泛函網(wǎng)絡(luò)與初始的泛函網(wǎng)絡(luò)是等價(jià)的，所以初始條件不是必需的。

式中 系數(shù)aji是泛函網(wǎng)絡(luò)的參數(shù)。當(dāng)選定了合適的基函數(shù)簇后，對(duì)神經(jīng)元函數(shù)的學(xué)習(xí)便轉(zhuǎn)化為對(duì)網(wǎng)絡(luò)參數(shù)aji的學(xué)習(xí)。以下我們用線性學(xué)習(xí)方法：

對(duì)于圖8的網(wǎng)絡(luò)結(jié)構(gòu)，假設(shè)對(duì)于輸入 、y和輸出u，構(gòu)造的函數(shù)為：

3 泛函網(wǎng)絡(luò)應(yīng)用進(jìn)展

盡管泛函網(wǎng)絡(luò)的類(lèi)型不同，但在自適應(yīng)性、學(xué)習(xí)能力、線性與非線性、容錯(cuò)性、并行性等方面有一定的共性。本文從以下8個(gè)方面介紹泛函網(wǎng)絡(luò)的應(yīng)用現(xiàn)狀。

3.1 時(shí)間序列分析

時(shí)間序列分析是根據(jù)系統(tǒng)觀測(cè)得到的時(shí)間序列數(shù)據(jù)，通過(guò)曲線擬合和參數(shù)估計(jì)建立數(shù)學(xué)模型的理論和方法，一般采用曲線擬合和參數(shù)估計(jì)方法(如非線性最小二乘法)進(jìn)行。而傳統(tǒng)的曲線擬合和參數(shù)估計(jì)方法普遍存在著在人為給定所擬合曲線結(jié)構(gòu)的基礎(chǔ)上，對(duì)參數(shù)進(jìn)行確定，所獲得結(jié)果要么誤差過(guò)大；要么不符合客觀實(shí)際。泛函網(wǎng)絡(luò)提供一種新的曲線結(jié)構(gòu)擬合方法，結(jié)構(gòu)和參數(shù)共同學(xué)習(xí)，最終實(shí)現(xiàn)結(jié)構(gòu)和參數(shù)最優(yōu)。文獻(xiàn)[2]基于泛函網(wǎng)絡(luò)的結(jié)構(gòu)特點(diǎn)建立學(xué)習(xí)模型，針對(duì)一元Box-Jenkins 時(shí)間序列模型、多元Box-Jenkins時(shí)間序列模型、經(jīng)濟(jì)預(yù)測(cè)問(wèn)題、混沌時(shí)間序列模型等，給出了一系列泛函網(wǎng)絡(luò)求解時(shí)間序列的方法，取得了較大的成功。

3.2 差分、泛函方程

差分方程反映的是關(guān)于離散變量的取值與變化規(guī)律。差分方程就是針對(duì)要解決的目標(biāo)，引入系統(tǒng)或過(guò)程中的離散變量，根據(jù)實(shí)際背景的規(guī)律、性質(zhì)、平衡關(guān)系，建立離散變量所滿足的平衡關(guān)系等式，從而建立差分方程，求出和分析方程的解，或者分析得到方程解的。差分方程模型有著非常廣泛的實(shí)際背景，在經(jīng)濟(jì)金融保險(xiǎn)領(lǐng)域、生物種群的數(shù)量結(jié)構(gòu)規(guī)律分析、疾病和病蟲(chóng)害的控制與防治、遺傳規(guī)律的研究等許許多多的方面都有著非常重要的作用?？梢哉f(shuō)，只要牽涉到關(guān)于變量的規(guī)律、性質(zhì)，就可以適當(dāng)?shù)赜貌罘址匠棠Ｐ蛠?lái)表現(xiàn)與分析求解。

基于泛函網(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)，建立學(xué)習(xí)模型，文獻(xiàn)[2]給出了一種泛函網(wǎng)絡(luò)求解差分方程新方法；針對(duì)泛函方程求解目前還沒(méi)有行之有效的方法，文獻(xiàn)[25]提出了序列泛函網(wǎng)絡(luò)模型和學(xué)習(xí)算法，針對(duì)經(jīng)典的9類(lèi)泛函方程，給出了一求解的新方法，該方法也可用于求解一般泛函方程。

3.3 CAD

曲面重構(gòu)是逆向工程的關(guān)鍵，也是當(dāng)前研究的熱點(diǎn)，如何解決曲面重構(gòu)的速度和精度，是曲面重構(gòu)技術(shù)的核心和關(guān)鍵，也是各種算法所追求的最終目的?；诜汉W(wǎng)絡(luò)結(jié)構(gòu)特點(diǎn)建立學(xué)習(xí)模型，文獻(xiàn)[2]針對(duì)所構(gòu)造曲線方程 f (x,y,z)= 0 ，提出了一種基于泛函網(wǎng)絡(luò)曲面重構(gòu)方法；該方法最大的特點(diǎn)是通過(guò)學(xué)習(xí)訓(xùn)練，能獲得 f (x,y,z)= 0 的顯示函數(shù)的近似表達(dá)式；基于同樣的思想，文獻(xiàn)[6]將泛函網(wǎng)絡(luò)應(yīng)用于B樣條曲面重構(gòu)問(wèn)題。

3.4 線性、非線性回歸

對(duì)于非線性模型的回歸問(wèn)題，一般先將其化為線性模型，然后再用最小二乘法求出參數(shù)的估計(jì)值，最后再經(jīng)過(guò)適當(dāng)?shù)淖儞Q，得到所求回歸曲線。傳統(tǒng)確定曲線類(lèi)型的方法是一般從兩個(gè)方面考慮；(1)根據(jù)專(zhuān)業(yè)知識(shí)，從理論上推導(dǎo)或憑經(jīng)驗(yàn)推測(cè)；(2)在專(zhuān)業(yè)知識(shí)無(wú)能為力的情況下，通過(guò)繪制和觀測(cè)散點(diǎn)圖確定曲線大體類(lèi)型。但傳統(tǒng)方法給人們的應(yīng)用帶來(lái)了新的困難。于是，文獻(xiàn)[2]給出了基于泛函網(wǎng)絡(luò)的線性、非線性回歸方法，克服了目前傳統(tǒng)非線性回歸問(wèn)題所存在的不足。

3.5 數(shù)值優(yōu)化計(jì)算

隨著計(jì)算機(jī)技術(shù)的飛速發(fā)展，計(jì)算數(shù)學(xué)也得到了很大的發(fā)展。隨著研究的深入，人們發(fā)現(xiàn)傳統(tǒng)的數(shù)值方法存在著許多不足。比如，傳統(tǒng)的數(shù)值方法是一種串行結(jié)構(gòu)的算法，相對(duì)于并行結(jié)構(gòu)算法，其效率會(huì)低很多。而且，傳統(tǒng)算法的優(yōu)化結(jié)果依賴于初值，如果初值選取不當(dāng)，算法收斂速度慢，甚至可能發(fā)生不收斂現(xiàn)象。于是，文獻(xiàn)[17]提出基于泛函網(wǎng)絡(luò)的數(shù)值近似方法。文獻(xiàn)[29-30]針對(duì)在科學(xué)計(jì)算、工程技術(shù)應(yīng)用領(lǐng)域中常用的數(shù)值積分、級(jí)數(shù)展開(kāi)等問(wèn)題，提出了一種基于泛函網(wǎng)絡(luò)模型的數(shù)值積分方法，該方法可以求解任意函數(shù)的數(shù)值積分，且積分求解結(jié)果優(yōu)于其他方法。針對(duì)多重?cái)?shù)值積分，在構(gòu)造性地證明了層次泛函網(wǎng)絡(luò)具有全局逼近性的基礎(chǔ)上，將層次泛函網(wǎng)絡(luò)應(yīng)用于求解多重?cái)?shù)值積分，得到比較高的計(jì)算精度。另外，提出了一種基于泛函網(wǎng)絡(luò)的函數(shù)級(jí)數(shù)展開(kāi)方法，并分別就一元和多元函數(shù)的級(jí)數(shù)展開(kāi)，給出了對(duì)應(yīng)的泛函網(wǎng)絡(luò)模型和學(xué)習(xí)算法。

3.6 非線性系統(tǒng)辨識(shí)

系統(tǒng)辨識(shí)是控制理論研究的主要內(nèi)容之一。近年來(lái),非線性系統(tǒng)的辨識(shí)問(wèn)題受到廣泛關(guān)注，人們?cè)谂ふ乙环N本質(zhì)上能夠描述任意非線性系統(tǒng)的模型以及相應(yīng)的逼近算法。神經(jīng)網(wǎng)絡(luò)、小波和模糊等是目前研究得比較多的內(nèi)容。神經(jīng)網(wǎng)絡(luò)由于具有較好的逼近能力和內(nèi)在的自適應(yīng)特征而被廣泛用于系統(tǒng)辨識(shí)。但由于實(shí)際中神經(jīng)網(wǎng)絡(luò)存在結(jié)構(gòu)過(guò)于復(fù)雜、結(jié)點(diǎn)過(guò)多，并且在學(xué)習(xí)過(guò)程中容易陷入局部極小點(diǎn)而導(dǎo)致逼近能力有限等問(wèn)題，因而在對(duì)一些復(fù)雜系統(tǒng)建模時(shí)，常存在較大的建模誤差。文獻(xiàn)[18]提出了一種基于泛函網(wǎng)絡(luò)的非線性系統(tǒng)的辨識(shí)方法，而網(wǎng)絡(luò)參數(shù)利用梯度下降方法進(jìn)行學(xué)習(xí)。該基于泛函網(wǎng)絡(luò)的辨識(shí)方法具有收斂速度快，逼近能力強(qiáng)等優(yōu)點(diǎn)，為非線性系統(tǒng)辨識(shí)提供了一種新方法。

3.7 檢測(cè)與預(yù)測(cè)

目前常用的預(yù)測(cè)方法有基于神經(jīng)網(wǎng)絡(luò)的預(yù)測(cè)算法和基于自適應(yīng)濾波器的預(yù)測(cè)算法?；谏窠?jīng)網(wǎng)絡(luò)的預(yù)測(cè)算法，其優(yōu)點(diǎn)是可任意逼近非線性，缺點(diǎn)是計(jì)算復(fù)雜、運(yùn)算量大，不宜于數(shù)字化實(shí)現(xiàn)。因此，尋找一種計(jì)算模型簡(jiǎn)單、運(yùn)算量少的檢測(cè)與預(yù)測(cè)方法，有著極為重要的應(yīng)用價(jià)值。文獻(xiàn)[7]提出一種基于泛函網(wǎng)絡(luò)的預(yù)測(cè)魚(yú)群模型及方法，并與和神經(jīng)網(wǎng)絡(luò)技術(shù)作比較表明。泛函網(wǎng)絡(luò)模型簡(jiǎn)單、計(jì)算量小。文獻(xiàn)[15]將泛函網(wǎng)絡(luò)應(yīng)用于軟件可靠性分析；文獻(xiàn)[16]將泛函網(wǎng)絡(luò)應(yīng)用于礦山機(jī)械參數(shù)設(shè)計(jì)；文獻(xiàn)[8]將泛函網(wǎng)絡(luò)應(yīng)用于實(shí)時(shí)洪水預(yù)測(cè)等。

3.8 復(fù)雜系統(tǒng)建模

系統(tǒng)仿真技術(shù)正面臨著新的挑戰(zhàn)，即如何建立基于演化的復(fù)雜系統(tǒng)動(dòng)力學(xué)的建模與仿真方法。該領(lǐng)域的工作主要內(nèi)容包括：復(fù)雜性問(wèn)題的提出；主要命題；復(fù)雜系統(tǒng)的動(dòng)力學(xué)特征；復(fù)雜系統(tǒng)建模與仿真的理論研究、方法和軟件。文獻(xiàn)[14]將廣義可結(jié)合泛函網(wǎng)絡(luò)應(yīng)用于植物生長(zhǎng)動(dòng)態(tài)建模，提出了一種新的統(tǒng)計(jì)技術(shù)——Bayesian廣義可結(jié)合泛函網(wǎng)絡(luò)，給出了在溫室條件下的植物生長(zhǎng)動(dòng)態(tài)模型，該模型能將知識(shí)和數(shù)據(jù)有機(jī)地結(jié)合起來(lái)，通過(guò)對(duì)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練，完成植物生長(zhǎng)動(dòng)態(tài)建模。

4 結(jié) 束 語(yǔ)

泛函網(wǎng)絡(luò)作為計(jì)算智能學(xué)科一個(gè)嶄新的研究方向，其一些理論和應(yīng)用基礎(chǔ)并不完善，需要人們不斷地完善基礎(chǔ)理論和提出更適于所要解決的問(wèn)題的新的網(wǎng)絡(luò)結(jié)構(gòu)及新的算法。關(guān)于泛函網(wǎng)絡(luò)今后的研究方向和研究?jī)?nèi)容，筆者認(rèn)為可從以下幾方面進(jìn)行深入探討：

(1)盡管泛函網(wǎng)絡(luò)在多方面應(yīng)用均取得了比神經(jīng)網(wǎng)絡(luò)更優(yōu)的效果，但仍受到神經(jīng)網(wǎng)絡(luò)一些固有缺陷的限制，需要將問(wèn)題的解映射成合適的泛函網(wǎng)絡(luò)描述，還需考慮網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)的影響，使泛函網(wǎng)絡(luò)問(wèn)題比較復(fù)雜。應(yīng)進(jìn)一步研究簡(jiǎn)化泛函網(wǎng)絡(luò)結(jié)構(gòu)，以易于其算法計(jì)算和硬件實(shí)現(xiàn)。

(2)由于每一泛函網(wǎng)絡(luò)對(duì)應(yīng)著一泛函方程，泛函方程的解用于簡(jiǎn)化泛函網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)，因此，尋找一種高效的泛函方程求解算法，有著重要的理論意義。

(3)在泛函網(wǎng)絡(luò)應(yīng)用的多個(gè)方面，注重將泛函網(wǎng)絡(luò)與現(xiàn)有的其他群智能技術(shù)相結(jié)合，如分形、小波、進(jìn)化計(jì)算、群智能算法等，以便形成智能泛函網(wǎng)絡(luò)。

[1]CASTILLO E. Funetional networks [J]. Neural Proeessing Letters, 1998, 7: 151-159.

[2]CASTILLO E, COBO A, GUTIERREZ JM, et al.Functional networks with applications[M]. Boston: Kluwer Aeademic Publishers, 1999.

[3]CASTILLO E, HADI A S, et al. Semi-parametric nonlinear regression and transformation using functional networks[J].Computational Statistics & Data Analysis, 2008, 52:2129-2157.

[4]CASTILLO E, GUTIérrez J M. Nonlinear time series modeling and prediction using functional networks.Extracting Information M asked by Chaos[J]. Physics Letter Apply, 1998, 244: 71-84.

[5]CASTILLO E, COBO A, Gutiérrez J M. Working with differential, functional and difference equation using functional networks[J]. Applied Mathematical Modeling,1999, 23: 89-107.

[6]IGLESIAS G A. ECHEVARR′?a, A. G′Alveza. Functional networks for B-spline surface reconstruction[J]. Future Generation Computer Systems, 2004, 20: 1337-1353.

[7]ALFONSO I, BERNARDINO A, CTOS J M, et al. A comparison between functional networks and artificial neural networks for the prediction of fishing catches[J].Neural Computer & Applied, 2004, 13: 24-31.

[8]MICHAEL B, YANG Jian-qing. Functional networks in real-time flood forecasting—a novel application[J].Advances in Water Resources, 2005, 28: 899-909.

[9]OSCAR F R, CASTILLOB E, AMPARO A B, et al. A measure of fault tolerance for functional networks[J].Neurocomputing, 2004, 62: 327-347.

[10]NOELIA S M, MARía C F, CASTILLO E. Functional networks and analysis of variance for feature selection[J].IEEE Press, 2006, 4224: 1031-1038.

[11]BEATRIZ L, ANA P P. Functional networks for classification and regression problems[C]//International Conference on Mathematical and Statistical Modeling in Honor of Enrique Castillo, Department of Statistical Methods. Manama, Bahrain: [s.n.], 2006: 28-30.

[12]AKEMI G, ANDRés I, ANGEL C. Bézier curve and surface fitting of 3D point clouds through genetic algorithms[J]. Lecture Notes in Computer Science, 2007,4706: 680-693.

[13]PABLO K, HIROSHI K, MIKHAILOV A S. Evolutionary engineering of complex functional networks[J]. IEEE Press,2007, 4308: 1011-1019.

[14]QU Han-bing, HU Bao-gang. Variational learning for generalized associative functional networks in modeling dynamic process of plant growth[J]. Ecological Informatics,2009, 4: 163-176.

[15]EMAD A E. Functional networks as a novel data mining paradigm in forecasting software development efforts[J].Expert Systems with Applications, 2010.

[16]EMAD A E, ASPAROUHOV O, ABDULRAHEEM A. On utilizing functional networks computational intelligence in forecasting rock mechanical parameters for hydrocarbon reservoirs: methodology and comparative studies[C]//AAPG GEO 2010 Middle East Geoscience Conference &Exhibition, Innovative geoscience solutions-meeting hydrocarbon demand in changing times. Manama, Bahrain:[s.n.], 2010: 7-10.

[17]王東平, 周尚波, 虞厥邦. 基于泛函網(wǎng)絡(luò)的數(shù)值近似方法[J]. 四川大學(xué)學(xué)報(bào)(自然科學(xué)版), 2001, 38(5): 658-661.

WANG Dong-ping, ZHOU Shang-bo, YU Jue-bang.Numerical approximation based on a functional network[J].Journal of Sichuan University (Natural Science Edition).2001, 38(5): 658-661.

[18]李春光, 廖曉鋒, 何松柏, 等. 非線性系統(tǒng)辨識(shí)的一種泛函網(wǎng)絡(luò)方法[J]. 系統(tǒng)工程與電子技術(shù), 2001, 23(l): 50-53.

LI Chun-guang, LIAO Xiao-feng, HE Song-bai, et al.Functional network method for the identification of nonlinear systems[J]. Systems Engineering and Electronics,2001, 23(l): 50-53.

[19]周永權(quán), 焦李成. 層次泛函網(wǎng)絡(luò)整體學(xué)習(xí)算法[J]. 計(jì)算機(jī)學(xué)報(bào), 2005, 28(8): 1277-1286.

ZHOU Yong-quan, JIAO Li-cheng. Universal learning algorithm of hierarchical function networks[J]. Chinese Journal of Computer, 2005, 28(8): 1277-1286.

[20]周永權(quán), 趙 斌, 焦李成. 一種復(fù)值可分離的泛函網(wǎng)絡(luò)學(xué)習(xí)算法[J]. 系統(tǒng)工程與電子技術(shù), 2006, 28(8): 1244-1248.

ZHOU Yong-quan, ZHAO Bin, JIAO Li-cheng. Learning algorithm for separable complex-valued functional networks[J]. Systems Engineering and Electronics, 2006,28(8): 1244-1248.

[21]周永權(quán), 焦李成, 李陶深. 一種基于泛函網(wǎng)絡(luò)的多項(xiàng)式Euclidean算法[J]. 計(jì)算機(jī)科學(xué), 2006, 33(9): 131-134.

ZHOU Yong-quan, JIAO Li-cheng, LI Tao-shen. A learning algorithm of euclidean based on functional networks[J].Computer Science, 2006, 33(9): 131-134.

[22]周永權(quán), 陳東用, 李陶深. 新型Sigma-Pi泛函網(wǎng)絡(luò)模型[J]. 計(jì)算機(jī)工程, 2006, 32(19): 196-198.

ZHOU Yong-quan, CHEN Dong-yong, LI Tao-shen. New sigma-pi functional networks model[J]. Computer Engineering, 2006, 32(19): 196-198.

[23]崔明義, 張新祥. 基于多輸入泛函網(wǎng)絡(luò)的構(gòu)造和學(xué)習(xí)策略[J]. 計(jì)算機(jī)科學(xué), 2006, 33(10): 169-191.

CUI Ming-yi, ZHANG Xin-xiang. Strategy of structuring and learning based on multi-Input and single output functional network[J]. Computer Science, 2006, 33(10):169-191.

[24]周永權(quán), 焦李成, 李陶深. Fuzzy插值及其Fuzzy泛函網(wǎng)絡(luò)構(gòu)造理論[J]. 計(jì)算機(jī)科學(xué), 2007, 34(7): 5-9.

ZHOU Yong-quan, JIAO Li-cheng, LI Tao-shen. Fuzzy interpolation and fuzzy functional network constructive theory[J]. Computer Science, 2007, 34(7): 5-9.

[25]周永權(quán), 趙 斌, 焦李成. 序列泛函網(wǎng)絡(luò)模型及其學(xué)習(xí)算法與應(yīng)用[J]. 計(jì)算機(jī)學(xué)報(bào), 2008, 31(7): 1073-1081.

ZHOU Yong-quan,ZHAO Bin, JIAO Li-cheng, Serial function networks method and learning algorithm with applications[J]. Chinese Journal of Computer, 2008, 31(7):1073-1081.

[26]周永權(quán), 焦李成. 基于遺傳規(guī)劃實(shí)現(xiàn)泛函網(wǎng)絡(luò)神經(jīng)元的函數(shù)類(lèi)型優(yōu)化[J]. 計(jì)算機(jī)科學(xué), 2007, 34(2): 7-9.

ZHOU Yong-quan, JIAO Li-cheng. Optimizing neuron function types based on GP in functional network design[J].Computer Science, 2007, 34(2): 7-9.

[27]周永權(quán), 李陶深, 張顯全. 泛函網(wǎng)絡(luò)與模糊邏輯推理及支持向量機(jī)之間的等價(jià)關(guān)系[J]. 計(jì)算機(jī)學(xué)報(bào)(已錄用).

ZHOU Yong-quan, LI Tao-shen ZHANG Xian-quan.The relationship among functional network and fuzzy logic systems with SVM[J]. Chinese Journal of Computer,2010(Accept).

[28]周永權(quán). 泛函網(wǎng)絡(luò)理論及其學(xué)習(xí)算法研究[D]. 西安: 西安電子科技大學(xué), 2006.

ZHOU Yong-quan. Functional network theory and learning algorithms[D]. Xi’an: Xidian University Press, 2006.

[29]韋修喜, 周永權(quán), 藍(lán)曉玲. 一種基于泛函網(wǎng)絡(luò)求數(shù)值積分方法研究[J]. 計(jì)算機(jī)科學(xué), 2009, 36(4): 224-226，238.

WEI Xiu-xi, ZHOU Yong-quan. LAN Xiao-ling.Numerical integration method study based on function network[J]. Computer Science, 2009, 36(4): 224-226, 238.

[30]韋修喜, 周永權(quán), 李陶深. 層次泛函網(wǎng)絡(luò)構(gòu)造理論及其在多重?cái)?shù)值積分中的應(yīng)用[J]. 計(jì)算機(jī)應(yīng)用, 2008, 28(10):2711-2714.

WEI Xiu-xi, ZHOU Yong-quan, LI Tao-shen. Construct theory of hierarchical functional networks and its application in multiple numerical integral[J]. Journal of Computer Applications, 2008, 28(10): 2711-2714.

編 輯 蔣 曉

Progress of Functional Networks and Their Applications

ZHOU Yong-quan1and ZHAO Bin2

(1. College of Mathematics and Computer Science, Guangxi University for Nationalities Nanning 530006;2. School of Science, Central University for Nationalities Haidian Beijing 100081)

The research progress and applications of functional networks (FNt)models in recent years are reviewed. At first, according to the functional network model structure characteristics, FNt models are classified into two typical types in accordance with the functional networks. Secondly, recent applications of FNt are introduced in many fields, such as times series analysis, differential equations, CAD, nonlinear regression,numerical optimize computation, nonlinear system identification, detection and prediction, complex system modeling, etc. Finally, some remarks on the further research and directions of FNt are presented.

functional networks; learning process; optimization problem; typical type functional networks

TP18

A

10.3969/j.issn.1001-0548.2010.06.001

2010- 09- 15

國(guó)家自然科學(xué)基金(60461001)；廣西自然科學(xué)基金(0991086)；國(guó)家民委科研資助項(xiàng)目(08GX01)

周永權(quán)(1962- )，男，博士，主要從事計(jì)算智能、神經(jīng)網(wǎng)絡(luò)及應(yīng)用方面的研究.

·通信與信息工程·