武 悅 阮曉鋼 黃 靜 柴 潔

環(huán)境認(rèn)知是哺乳動(dòng)物覓食和生存的基本技能,研究表明[1?3],哺乳動(dòng)物普遍具有強(qiáng)大的環(huán)境認(rèn)知能力.研究并復(fù)現(xiàn)哺乳動(dòng)物的環(huán)境認(rèn)知機(jī)制對(duì)于提高智能體導(dǎo)航能力、增進(jìn)人們對(duì)生物環(huán)境認(rèn)知機(jī)制的理解有著重要意義.有研究發(fā)現(xiàn)[4],前額皮層與高層次的環(huán)境認(rèn)知有關(guān),對(duì)前額皮層實(shí)施組織切除術(shù)后的大鼠不能完成Morris 水魔方環(huán)境認(rèn)知任務(wù).皮層網(wǎng)絡(luò)實(shí)質(zhì)上是不同神經(jīng)元在大腦中的組織方式,其組成單元皮質(zhì)柱是一種按照神經(jīng)元功能排列的分層結(jié)構(gòu).皮層網(wǎng)絡(luò)對(duì)于哺乳動(dòng)物環(huán)境認(rèn)知的重要作用在于建立感官輸入與動(dòng)作決策之間的聯(lián)系,形成完整的環(huán)境認(rèn)知能力.

為了使機(jī)器人表現(xiàn)出像哺乳動(dòng)物那樣強(qiáng)大的環(huán)境認(rèn)知能力,很多學(xué)者對(duì)前額皮層網(wǎng)絡(luò)進(jìn)行了計(jì)算建模研究.皮層網(wǎng)絡(luò)建模通常涉及獎(jiǎng)勵(lì)傳播及路徑規(guī)劃兩個(gè)問題.對(duì)于前者,目前廣泛采用獎(jiǎng)勵(lì)擴(kuò)散[5?9](Reward diffusion)的方法.該方法以固定的傳播系數(shù)將獎(jiǎng)勵(lì)值傳播給周圍神經(jīng)元,具有計(jì)算簡(jiǎn)單的優(yōu)點(diǎn).但是,由于離子通道的隨機(jī)開閉或神經(jīng)元的形態(tài)變化,神經(jīng)元內(nèi)部存在著噪聲信號(hào),干擾了神經(jīng)元的規(guī)律放電[10].在考慮神經(jīng)元噪聲的情況下,基于獎(jiǎng)勵(lì)擴(kuò)散方法的模型由于噪聲在神經(jīng)元傳遞過(guò)程中的累積效應(yīng),導(dǎo)航表現(xiàn)有所下降,且獎(jiǎng)勵(lì)信息隨距離增加而發(fā)生衰減.對(duì)于路徑規(guī)劃問題,皮層網(wǎng)絡(luò)模型的路徑規(guī)劃主要采用向量法[11]和位置細(xì)胞法[12?13].向量法通過(guò)對(duì)頭朝向細(xì)胞的活動(dòng)加權(quán)平均作為動(dòng)作方向,位置細(xì)胞法以位置細(xì)胞中心為規(guī)劃路徑點(diǎn).雖然這兩種方法都能完成繞近路任務(wù)(例如托爾曼三通道迷宮[14]),但是規(guī)劃出的路徑均依賴于已探索區(qū)域,無(wú)法規(guī)劃出全局上最短的路徑.一些學(xué)者試圖將兩種方法結(jié)合起來(lái)以規(guī)避缺點(diǎn)[15?19],但其模型普遍存在易受神經(jīng)元噪聲影響的問題.

為了提高模型對(duì)于神經(jīng)元噪聲的魯棒性,本文將波前傳播(Wavefront propagation)方法引入模型.波前傳播方法[20?22]利用整合放電(Integrateand-fire,IF)神經(jīng)元避免獎(jiǎng)勵(lì)信息的衰減,由此增強(qiáng)模型抗神經(jīng)元噪聲的能力.其現(xiàn)象已在電生理學(xué)實(shí)驗(yàn)中被觀測(cè)證實(shí),是一種具有生物合理性(Bioplausibility)的計(jì)算方法[23].目前,已有學(xué)者將其應(yīng)用于基于圖的導(dǎo)航中[24?26],但關(guān)于該方法在皮層網(wǎng)絡(luò)模型中的應(yīng)用還鮮有報(bào)道.受此啟發(fā),本文將波前傳播應(yīng)用于模型的獎(jiǎng)勵(lì)傳播回路,結(jié)合全局抑制神經(jīng)元,提出一種改進(jìn)的皮層網(wǎng)絡(luò)模型以提高對(duì)神經(jīng)元噪聲的抗干擾性.另一方面,為了保證模型的路徑規(guī)劃效率,模型引入了位置細(xì)胞和時(shí)間細(xì)胞,利用時(shí)間細(xì)胞活動(dòng)隨時(shí)間增長(zhǎng)的特性及其時(shí)間常數(shù)衰減機(jī)制選出全局最佳路徑點(diǎn),進(jìn)而提高路徑規(guī)劃性能.

1 皮層網(wǎng)絡(luò)環(huán)境認(rèn)知與導(dǎo)航模型

生理學(xué)研究[27]表明,前額皮層中存在對(duì)獎(jiǎng)勵(lì)信息編碼的神經(jīng)元,提供與環(huán)境交互所需的動(dòng)機(jī)信號(hào).Preston 等證明了海馬體與前額皮層間存在信息交互[28],前額皮層接收海馬體感官信息的投射,其中包括對(duì)空間位置具有選擇性的位置細(xì)胞[29]和對(duì)時(shí)間編碼的時(shí)間細(xì)胞[30].此外,前額皮層中存在著同時(shí)傳輸獎(jiǎng)勵(lì)信息和運(yùn)動(dòng)信息的神經(jīng)元[31].

基于前額皮層生理學(xué)結(jié)構(gòu)及其環(huán)境認(rèn)知功能的研究結(jié)論,本文對(duì)前額皮層網(wǎng)絡(luò)進(jìn)行計(jì)算建模.如圖1 所示,皮層網(wǎng)絡(luò)包含獎(jiǎng)勵(lì)傳播回路和路徑規(guī)劃回路.獎(jiǎng)勵(lì)傳播回路由獎(jiǎng)勵(lì)細(xì)胞和中間神經(jīng)元構(gòu)成,負(fù)責(zé)在皮層網(wǎng)絡(luò)中傳播獎(jiǎng)勵(lì)信息,中間神經(jīng)元通過(guò)STDP 機(jī)制對(duì)獎(jiǎng)勵(lì)傳播路徑進(jìn)行記憶;路徑規(guī)劃回路由中間神經(jīng)元和位置偏好細(xì)胞構(gòu)成,并接收來(lái)自海馬體位置細(xì)胞和時(shí)間細(xì)胞的輸入,其作用是利用獎(jiǎng)勵(lì)傳播回路保存的環(huán)境信息進(jìn)行路徑規(guī)劃,通過(guò)時(shí)間細(xì)胞對(duì)位置偏好細(xì)胞的增長(zhǎng)性輸入提高路徑規(guī)劃效率.

圖1 皮層網(wǎng)絡(luò)模型結(jié)構(gòu)示意圖Fig.1 Scheme of the cortical column network model

1.1 獎(jiǎng)勵(lì)傳播回路

獎(jiǎng)勵(lì)傳播回路包含獎(jiǎng)勵(lì)細(xì)胞r、中間神經(jīng)元q1.獎(jiǎng)勵(lì)細(xì)胞對(duì)獎(jiǎng)勵(lì)信息進(jìn)行編碼,一旦機(jī)器人感知到獎(jiǎng)勵(lì)的存在(如到達(dá)逃生平臺(tái)或放置有食物、水的位置),該細(xì)胞即產(chǎn)生脈沖放電.為了實(shí)現(xiàn)獎(jiǎng)勵(lì)信息在皮層網(wǎng)絡(luò)中的傳播,獎(jiǎng)勵(lì)細(xì)胞之間存在雙向連接wrr.當(dāng)獎(jiǎng)勵(lì)細(xì)胞被激活后,脈沖放電向其他獎(jiǎng)勵(lì)細(xì)胞傳遞,同時(shí)也向中間神經(jīng)元q1傳播.獎(jiǎng)勵(lì)回路采用基于IF 神經(jīng)元的波前傳播方法,波前(某時(shí)刻所有放電的神經(jīng)元構(gòu)成的膜電位場(chǎng))從獎(jiǎng)勵(lì)位置出發(fā)傳播到自身位置.在波前傳播方法中,獎(jiǎng)勵(lì)細(xì)胞r和中間神經(jīng)元q1的膜電位服從式(1):

其中V(t)∈[0,1]是神經(jīng)元膜電位,τ是時(shí)間常數(shù),N(t)是神經(jīng)元噪聲,Vinh(t)是來(lái)自全局抑制神經(jīng)元的抑制性輸入.I(t)是接收其他神經(jīng)元的整合輸入,服從式(2):

其中V?,j為第j個(gè)皮質(zhì)柱中類型為?的神經(jīng)元.若V(t)超過(guò)放電閾值Vthr,則神經(jīng)元產(chǎn)生放電,膜電位提升至V(t)=1.放電后神經(jīng)元進(jìn)入一段時(shí)間的抑制狀態(tài),不接受其他神經(jīng)元的輸入,膜電位服從式(3):

其中tf是神經(jīng)元放電的時(shí)刻,td是神經(jīng)元進(jìn)入抑制狀態(tài)的持續(xù)時(shí)間.

中間神經(jīng)元q1之間的權(quán)值wji根據(jù)STDP 學(xué)習(xí)律變化,權(quán)值改變服從式(4):

其中M是幅值,是突觸后神經(jīng)元與突觸前神經(jīng)元間的放電時(shí)間差.τSTDP控制放電時(shí)間差對(duì)權(quán)值變化的影響.

文獻(xiàn)[32]證明了首個(gè)到達(dá)目標(biāo)點(diǎn)的波前總是通過(guò)最短的路徑,進(jìn)而得出波前傳播方法等價(jià)于Dijkstra 算法.因此,記錄首個(gè)到達(dá)目標(biāo)點(diǎn)的獎(jiǎng)勵(lì)信息波前傳播路徑即找到了通往獎(jiǎng)勵(lì)的最短路徑.為了實(shí)現(xiàn)對(duì)波前傳播路徑的記憶,并利用其逆路徑進(jìn)行路徑規(guī)劃,權(quán)值共享給路徑規(guī)劃回路中的中間神經(jīng)元q2用于路徑規(guī)劃.

由于每個(gè)神經(jīng)元接收來(lái)自相鄰神經(jīng)元的輸入,其中包含了噪聲,該噪聲在單一神經(jīng)元上的積累可能導(dǎo)致其誤放電,從而導(dǎo)致模型失效.為了解決這一問題,本模型在皮質(zhì)柱外引入了全局抑制性神經(jīng)元inh.抑制性輸入需要滿足一定的取值范圍,輸入過(guò)小無(wú)法達(dá)到消除神經(jīng)元的誤放電的目的,而輸入過(guò)大則有可能破壞神經(jīng)元的正常放電.考慮到神經(jīng)元噪聲的分布特性[10],本文將抑制性神經(jīng)元inh的膜電位Vinh取值范圍設(shè)置為服從式(5):

其中k為與當(dāng)前皮質(zhì)柱存在連接關(guān)系的皮質(zhì)柱數(shù)量,σ為神經(jīng)元噪聲標(biāo)準(zhǔn)差.

1.2 路徑規(guī)劃回路

路徑規(guī)劃回路負(fù)責(zé)根據(jù)獎(jiǎng)勵(lì)傳播回路保存的獎(jiǎng)勵(lì)信息進(jìn)行路徑規(guī)劃.該回路具體設(shè)計(jì)思路如下:如前所述,為了追求最短導(dǎo)航路徑,須使神經(jīng)元信號(hào)沿所記憶的波前傳播路線進(jìn)行傳播,令中間神經(jīng)元q2接受中間神經(jīng)元q1和位置細(xì)胞s的投射,利用獎(jiǎng)勵(lì)傳播回路權(quán)值在路徑規(guī)劃回路中的副本將波前傳播至目標(biāo)點(diǎn).但是,由于可能沒有位置細(xì)胞對(duì)全局最短路徑涉及的區(qū)域進(jìn)行編碼,該傳播路徑不一定是全局最短路徑.為了解決這一問題,在模型中引入時(shí)間細(xì)胞和位置偏好細(xì)胞,實(shí)現(xiàn)分段路徑規(guī)劃.時(shí)間細(xì)胞充當(dāng)計(jì)時(shí)器,并為位置偏好細(xì)胞提供增長(zhǎng)性輸入,使模型在子路徑點(diǎn)的規(guī)劃中經(jīng)過(guò)多個(gè)位置細(xì)胞,其構(gòu)成的直線路徑能夠穿越潛在的未探索區(qū)域,從而提高效率.

子目標(biāo)點(diǎn)由位置偏好細(xì)胞確定,由于選取子目標(biāo)點(diǎn)涉及不同位置偏好細(xì)胞的比較,而神經(jīng)元放電的瞬時(shí)性決定其無(wú)法提供這一比較,因此在該回路中除中間神經(jīng)元q2外均采用非放電神經(jīng)元模型.中間神經(jīng)元q2需為路徑規(guī)劃回路提供信息傳播時(shí)序,仍然采用整合放電神經(jīng)元模型.

中間神經(jīng)元q2采用式(1)描述的整合放電神經(jīng)元模型以實(shí)現(xiàn)波前傳播,其作用是充當(dāng)獎(jiǎng)勵(lì)傳播回路和路徑規(guī)劃回路的連接,并為路徑規(guī)劃提供時(shí)序.當(dāng)獎(jiǎng)勵(lì)傳播回路完成獎(jiǎng)勵(lì)信息從目標(biāo)點(diǎn)到自身位置的傳播后,中間神經(jīng)元q2被激活,進(jìn)入路徑規(guī)劃階段.為了使路徑規(guī)劃回路利用獎(jiǎng)勵(lì)傳播回路計(jì)算的獎(jiǎng)勵(lì)信息,中間神經(jīng)元q2共享中間神經(jīng)元q1的權(quán)值,即.

海馬體位置細(xì)胞s編碼空間位置,對(duì)特定空間位置產(chǎn)生強(qiáng)烈反應(yīng).O＇ Keefe 通過(guò)電生理實(shí)驗(yàn)得出海馬體位置細(xì)胞放電頻率的最佳擬合為一高斯函數(shù)[29],因此本模型位置細(xì)胞膜電位Vs采用高斯函數(shù)描述,服從式(6):

其中x是機(jī)器人位置,xc是位置細(xì)胞位置野中心,σs決定位置野的大小.位置細(xì)胞活動(dòng)是判斷是否新增皮質(zhì)柱的依據(jù),當(dāng)所有位置細(xì)胞膜電位均小于閾值Vs,thr時(shí),說(shuō)明在當(dāng)前位置沒有相應(yīng)的位置細(xì)胞對(duì)其編碼,則新增一個(gè)皮質(zhì)柱并與前一皮質(zhì)柱建立連接.

位置偏好細(xì)胞m編碼對(duì)皮質(zhì)柱所在位置的偏好程度,決定路徑規(guī)劃中的子路徑點(diǎn).在路徑規(guī)劃的每一個(gè)子段中,機(jī)器人向值最大的位置偏好細(xì)胞直線移動(dòng).位置偏好細(xì)胞采用非放電神經(jīng)元模型,接收來(lái)自中間神經(jīng)元q2和海馬體時(shí)間細(xì)胞t的輸入,其膜電位服從式(7):

其中Vq2(t)為中間神經(jīng)元q2的膜電位,Vt(t)為時(shí)間細(xì)胞的膜電位.

為了提高規(guī)劃路徑的效率及對(duì)動(dòng)態(tài)環(huán)境的自適應(yīng)性,在路徑規(guī)劃回路中引入時(shí)間細(xì)胞.時(shí)間細(xì)胞可以使模型在子路徑點(diǎn)的規(guī)劃中經(jīng)過(guò)多個(gè)位置細(xì)胞,構(gòu)成的直線路徑可以穿越潛在的未探索區(qū)域,從而提高路徑效率.在路徑規(guī)劃的每個(gè)子段中,時(shí)間細(xì)胞的活動(dòng)隨時(shí)間增長(zhǎng)而增加,從而增加接受其投射的位置偏好細(xì)胞活動(dòng),其膜電位服從式(8):

其中t0為路徑規(guī)劃中每個(gè)子段的初始時(shí)刻,即每個(gè)子段中神經(jīng)元q2首次放電的時(shí)刻,τt為時(shí)間常數(shù).

在時(shí)間細(xì)胞未飽和階段Vt(t)

1.3 認(rèn)知地圖(Cognitive Map)的構(gòu)建

根據(jù)模型的設(shè)定,在機(jī)器人探索過(guò)的區(qū)域需要有相應(yīng)的位置細(xì)胞對(duì)其進(jìn)行編碼.在對(duì)新環(huán)境的探索過(guò)程中,若所有位置細(xì)胞活動(dòng)均不足,不能對(duì)該位置做出有效的空間感知,則新增一個(gè)編碼當(dāng)前位置的皮質(zhì)柱,并建立與前一皮質(zhì)柱的連接.因此,在經(jīng)過(guò)一定時(shí)間或距離的運(yùn)動(dòng)后,將產(chǎn)生具有一定規(guī)模的皮層網(wǎng)絡(luò)拓?fù)鋱D.皮層網(wǎng)絡(luò)拓?fù)鋱D中的獎(jiǎng)勵(lì)細(xì)胞能夠?qū)Κ?jiǎng)勵(lì)信息進(jìn)行認(rèn)知,形成由獎(jiǎng)勵(lì)到空間位置的映射,由此生成的認(rèn)知地圖可以用于執(zhí)行尋找食物獎(jiǎng)勵(lì)或逃生等環(huán)境認(rèn)知任務(wù).

認(rèn)知地圖概念最早是由Tolman 等所提出[14].Tolman 等在三通道迷宮實(shí)驗(yàn)中發(fā)現(xiàn),無(wú)論環(huán)境如何改變,大鼠均能夠找到通往目標(biāo)點(diǎn)的最短路徑,由此提出大鼠記住的不是某些路徑,而是在腦中生成了一幅認(rèn)知地圖.本模型所生成的皮層網(wǎng)絡(luò)拓?fù)鋱D與認(rèn)知地圖相對(duì)應(yīng),是認(rèn)知地圖在計(jì)算模型上的體現(xiàn).

算法1.路徑規(guī)劃回路算法

2 實(shí)驗(yàn)設(shè)計(jì)與實(shí)驗(yàn)結(jié)果

本節(jié)通過(guò)兩個(gè)心理學(xué)上的經(jīng)典實(shí)驗(yàn) (托爾曼14 單元T 型迷宮、Morris 水迷宮)對(duì)模型的環(huán)境認(rèn)知能力、神經(jīng)元噪聲魯棒性、動(dòng)態(tài)環(huán)境的適應(yīng)能力及路徑規(guī)劃效率進(jìn)行測(cè)試.

2.1 仿真實(shí)驗(yàn)參數(shù)

本實(shí)驗(yàn)采用仿真機(jī)器人作為主體,具備距離傳感器,能夠探測(cè)正前方0.2 m 內(nèi)是否存在障礙物,忽略體積將其視為一個(gè)質(zhì)點(diǎn).仿真機(jī)器人采用本文提出的皮層網(wǎng)絡(luò)環(huán)境認(rèn)知模型.對(duì)于整合放電神經(jīng)元r、q1、q2,膜時(shí)間常數(shù)τ=0.8,放電閾值Vthr=0.3,放電后抑制階段持續(xù)時(shí)間td=0.3 s.神經(jīng)元的其他參數(shù)在表1 中列出.為了獎(jiǎng)勵(lì)信息在皮層網(wǎng)絡(luò)中傳播而不發(fā)生衰減,獎(jiǎng)勵(lì)細(xì)胞之間存在飽和雙向連接wrr=1.中間神經(jīng)元q2的激活條件是獎(jiǎng)勵(lì)信息傳播至自身所在位置,僅在中間神經(jīng)元q1和位置細(xì)胞s同時(shí)激活時(shí)放電,因此設(shè)置=0.1.將神經(jīng)元參數(shù)值代入式(5),同時(shí)考慮到實(shí)際的神經(jīng)元中抑制性輸入通常為較低水平,本實(shí)驗(yàn)設(shè)置Vinh=0.1 為基準(zhǔn)值.仿真時(shí)間間隔設(shè)置為Δt=0.02 s.

表1 模型參數(shù)值設(shè)定Table 1 Parameter setting of the model

2.2 托爾曼14 單元T 型迷宮實(shí)驗(yàn)

2.2.1 實(shí)驗(yàn)背景

托爾曼[33]曾設(shè)計(jì)了14 單元T 型迷宮實(shí)驗(yàn)來(lái)觀察大鼠在迷宮中的空間認(rèn)知表現(xiàn),并由此提出了認(rèn)知地圖的假設(shè).如圖2 所示,該迷宮有唯一一條通往獎(jiǎng)勵(lì)的路徑和14 個(gè)無(wú)效通道.將大鼠放置在迷宮的起點(diǎn),在另一端放置食物,測(cè)試大鼠直到獲取食物時(shí)經(jīng)過(guò)的無(wú)效通道的次數(shù),該指標(biāo)能夠反映大鼠對(duì)環(huán)境的認(rèn)知程度.本文采用該實(shí)驗(yàn)測(cè)試模型的噪聲魯棒性以及對(duì)動(dòng)態(tài)環(huán)境的自適應(yīng)性.

圖2 托爾曼14 單元T 型迷宮實(shí)驗(yàn)示意圖Fig.2 Sketch of Tolman 14-unit T-maze experiment

2.2.2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果

托爾曼14 單元T 型迷宮實(shí)驗(yàn)驗(yàn)證了認(rèn)知地圖理論,本文在相同的環(huán)境下對(duì)模型的認(rèn)知地圖構(gòu)建、神經(jīng)元噪聲魯棒性和對(duì)動(dòng)態(tài)環(huán)境的自適應(yīng)性進(jìn)行測(cè)試,實(shí)驗(yàn)分為準(zhǔn)備階段和測(cè)試階段.

1)認(rèn)知地圖構(gòu)建

在準(zhǔn)備階段中機(jī)器人從起點(diǎn)出發(fā)對(duì)迷宮進(jìn)行探索,直至找到放置在目標(biāo)點(diǎn)處的獎(jiǎng)勵(lì).機(jī)器人在每次直線前進(jìn)0.3 m 后進(jìn)行60°以內(nèi)的隨機(jī)偏轉(zhuǎn),若遇到障礙物則繼續(xù)改變朝向.經(jīng)過(guò)探索,機(jī)器人建立起皮層網(wǎng)絡(luò)(圖3).圖中,黑色圓點(diǎn)代表皮質(zhì)柱,它們?cè)谔剿鬟^(guò)程中動(dòng)態(tài)生成、連綴成網(wǎng),形成皮層拓?fù)渚W(wǎng)絡(luò),以這種形式反映智能體對(duì)環(huán)境的認(rèn)知,即構(gòu)成認(rèn)知地圖.

圖3 機(jī)器人探索迷宮后建立的皮層網(wǎng)絡(luò)拓?fù)鋱D (m)Fig.3 Cortical column topological map after exploring the maze (m)

2)神經(jīng)元噪聲影響

神經(jīng)元噪聲是神經(jīng)元內(nèi)部產(chǎn)生的一種噪聲電信號(hào),干擾神經(jīng)元的正常放電.文獻(xiàn)[10]通過(guò)電生理學(xué)實(shí)驗(yàn)得出神經(jīng)元噪聲服從高斯分布,基于此結(jié)論在本實(shí)驗(yàn)中向皮層網(wǎng)絡(luò)中所有神經(jīng)元添加高斯分布噪聲N～N(0,σ).在測(cè)試階段中,將機(jī)器人放置于起始位置,模擬的目標(biāo)點(diǎn)獎(jiǎng)勵(lì)使認(rèn)知地圖中對(duì)應(yīng)的獎(jiǎng)勵(lì)細(xì)胞放電,激活皮層網(wǎng)絡(luò)模型使機(jī)器人向目標(biāo)點(diǎn)導(dǎo)航.受神經(jīng)元噪聲的影響,皮層網(wǎng)絡(luò)內(nèi)的神經(jīng)元放電順序可能被打亂,造成部分獎(jiǎng)勵(lì)信息的丟失.若大鼠停留在同一位置超過(guò)5 s,則認(rèn)為模型陷入局部最優(yōu),此時(shí)仿真大鼠隨機(jī)移動(dòng)4 m 后重新進(jìn)行路徑規(guī)劃,記錄到達(dá)目標(biāo)點(diǎn)過(guò)程中經(jīng)過(guò)無(wú)效通道的次數(shù).為了使實(shí)驗(yàn)結(jié)果具有統(tǒng)計(jì)學(xué)意義,總共做18組實(shí)驗(yàn),在每組實(shí)驗(yàn)中設(shè)置不同的噪聲標(biāo)準(zhǔn)差進(jìn)行導(dǎo)航測(cè)試,并與采用獎(jiǎng)勵(lì)擴(kuò)散方法的皮層網(wǎng)絡(luò)模型進(jìn)行對(duì)比,獎(jiǎng)勵(lì)值傳播系數(shù)β=0.98,該系數(shù)為多次試驗(yàn)得出的能夠產(chǎn)生最佳的導(dǎo)航結(jié)果的系數(shù).

實(shí)驗(yàn)結(jié)果如圖4 所示,從箱線圖的上下邊緣、上下四分位數(shù)以及中位數(shù)上看,當(dāng)標(biāo)準(zhǔn)差在0.2 以內(nèi)時(shí),本模型經(jīng)過(guò)無(wú)效通道次數(shù)顯著少于獎(jiǎng)勵(lì)擴(kuò)散方法.箱線圖的箱體長(zhǎng)度代表數(shù)據(jù)的波動(dòng)程度,從圖中可以看出,兩種模型經(jīng)過(guò)無(wú)效通道次數(shù)的波動(dòng)程度均隨神經(jīng)元噪聲增大而增加,但是在神經(jīng)元噪聲標(biāo)準(zhǔn)差不超過(guò)0.2 的范圍內(nèi),本模型對(duì)應(yīng)的箱體更短,表明失敗次數(shù)的波動(dòng)更少,進(jìn)而說(shuō)明了本模型的路徑規(guī)劃性能相對(duì)穩(wěn)定(圖中雙星號(hào)代表在5 %的顯著性水平下存在顯著性差異).

圖4 噪聲標(biāo)準(zhǔn)差對(duì)導(dǎo)航結(jié)果的影響Fig.4 Influence of neuron noise standard variation on navigation results

當(dāng)噪聲標(biāo)準(zhǔn)差繼續(xù)增大至0.25 時(shí),兩種方法的導(dǎo)航表現(xiàn)均接近盲目探索(盲目探索時(shí)經(jīng)過(guò)無(wú)效通道的平均次數(shù)為122 次).然而在實(shí)際中,噪聲標(biāo)準(zhǔn)差超過(guò)0.2 是一個(gè)小概率事件[10].實(shí)驗(yàn)結(jié)果表明,在合理的神經(jīng)元噪聲范圍內(nèi),本模型的神經(jīng)元噪聲魯棒性優(yōu)于采用獎(jiǎng)勵(lì)擴(kuò)散方法的皮層網(wǎng)絡(luò)模型.

3)對(duì)動(dòng)態(tài)環(huán)境的自適應(yīng)性

當(dāng)環(huán)境發(fā)生變化時(shí),動(dòng)物能很快適應(yīng)這一變化,迅速做出調(diào)整,反映出動(dòng)物在環(huán)境認(rèn)知上的自適應(yīng)性.本實(shí)驗(yàn)?zāi)M這一過(guò)程,測(cè)試模型對(duì)動(dòng)態(tài)環(huán)境的自適應(yīng)能力.如圖5 所示,測(cè)試包含3 次實(shí)驗(yàn):第1 次,在托爾曼14 單元T 型迷宮中移除其中一處墻壁,標(biāo)記為“1”(圖5 (b));第2 次,恢復(fù)“1”處墻壁,標(biāo)記為“2”,再移除迷宮中另外兩處墻壁,分別標(biāo)記為“3”、“4”(圖5 (c));第3 次,在圖5 (c)的基礎(chǔ)上增加一處墻壁,標(biāo)記為“5”(圖5 (d)).3次實(shí)驗(yàn)對(duì)環(huán)境的改變逐漸增多,既包含對(duì)障礙的移除,也包含對(duì)障礙的增加.

令機(jī)器人利用準(zhǔn)備階段建立的認(rèn)知地圖在3 次實(shí)驗(yàn)中完成導(dǎo)航,結(jié)果如圖5 所示.可以看出,機(jī)器人在3 次環(huán)境改變中都能自適應(yīng)地調(diào)整巡航行為,重新找到通往目的地的較短路線,說(shuō)明模型具有對(duì)動(dòng)態(tài)環(huán)境的自適應(yīng)性.

圖5 機(jī)器人在環(huán)境發(fā)生變化前后采取的路線Fig.5 Path planned before and after environmental change

2.3 Morris 水迷宮實(shí)驗(yàn)

2.3.1 實(shí)驗(yàn)背景

1982 年Morris 等[34]在測(cè)試大鼠的空間記憶能力時(shí)設(shè)計(jì)了Morris 水迷宮實(shí)驗(yàn).如圖6 所示,Morris 水迷宮為一圓形水池,其中存在一個(gè)隱藏的逃生平臺(tái),被放置于水池中的大鼠需要找到并保持在逃生平臺(tái)上以繼續(xù)存活.實(shí)驗(yàn)結(jié)果表明,大鼠首次找到平臺(tái)后,在后續(xù)的測(cè)試階段從水池不同位置放入的大鼠均能夠采取一條近似直線的路徑逃往平臺(tái).然而,破壞海馬體組織后大鼠無(wú)法成功地找到逃生平臺(tái),證明海馬體具有空間記憶功能.此外,逃生時(shí)采取的路徑也體現(xiàn)了海馬體相關(guān)回路的路徑尋優(yōu)能力.本文采用該環(huán)境對(duì)模型的噪聲魯棒性和路徑規(guī)劃效率進(jìn)行測(cè)試.

圖6 Morris 水迷宮示意圖Fig.6 Sketch of Morris water maze

2.3.2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果

本文實(shí)驗(yàn)仿照Morris 水迷宮實(shí)驗(yàn)設(shè)計(jì)如下:水迷宮為一直徑10 m 的圓形水池,水池中有一邊長(zhǎng)為1 m 的正方形隱藏逃生平臺(tái);水池中的一組中心對(duì)稱的障礙物用來(lái)測(cè)試模型的避障能力,中心對(duì)稱結(jié)構(gòu)能夠防止逃生平臺(tái)與障礙物線索的關(guān)聯(lián).實(shí)驗(yàn)分為準(zhǔn)備階段和測(cè)試階段,首次逃生任務(wù)屬于準(zhǔn)備階段,后續(xù)逃生任務(wù)均屬于測(cè)試階段.

1)認(rèn)知地圖構(gòu)建

在準(zhǔn)備階段中機(jī)器人首次執(zhí)行逃生任務(wù),在逃生過(guò)程中對(duì)環(huán)境進(jìn)行初次探索.機(jī)器人在每次直線前進(jìn)0.3 m 后進(jìn)行30°以內(nèi)的隨機(jī)偏轉(zhuǎn).大鼠在Morris 水迷宮實(shí)驗(yàn)中表現(xiàn)出沿邊緣行進(jìn)而避開中央?yún)^(qū)域的行為,本實(shí)驗(yàn)采用相似的設(shè)置,使機(jī)器人避開距中心3 m 內(nèi)的區(qū)域.模型以皮層網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)來(lái)描述機(jī)器人逃生時(shí)經(jīng)過(guò)的區(qū)域,是認(rèn)知地圖在計(jì)算模型層面的具體體現(xiàn)(圖7).

圖7 Morris 水迷宮路逃生實(shí)驗(yàn)中的移動(dòng)軌跡(左)和建立的皮層網(wǎng)絡(luò)拓?fù)鋱D(右)(m)Fig.7 Moving trace on the preparing stage (left)and the established cortical column network (right)(m)

2)神經(jīng)元噪聲影響

為測(cè)試模型對(duì)神經(jīng)元噪聲的魯棒性,根據(jù)文獻(xiàn)[9]指出的神經(jīng)元噪聲服從高斯分布的結(jié)論,在實(shí)驗(yàn)中向皮層網(wǎng)絡(luò)中所有神經(jīng)元添加高斯分布噪聲N～N(0,σ).在測(cè)試階段中,將機(jī)器人放置于水池內(nèi)不同起始位置,模擬的逃生本能將對(duì)應(yīng)逃生平臺(tái)位置的獎(jiǎng)勵(lì)細(xì)胞激活,使機(jī)器人向逃生平臺(tái)導(dǎo)航.若大鼠停留在同一位置超過(guò)10 秒,則認(rèn)為模型陷入了局部最優(yōu),該次導(dǎo)航失敗.為排除偶然因素的干擾,共進(jìn)行18 組相同的測(cè)試,在每組中設(shè)置不同的噪聲標(biāo)準(zhǔn)差進(jìn)行導(dǎo)航測(cè)試,并與采用獎(jiǎng)勵(lì)擴(kuò)散方法的皮層網(wǎng)絡(luò)模型進(jìn)行對(duì)比.

實(shí)驗(yàn)結(jié)果如圖8 所示,由于波前傳播的整合放電特性以及全局抑制神經(jīng)元的抑制作用,本模型在神經(jīng)元噪聲標(biāo)準(zhǔn)差較小時(shí)(σ=0.02)導(dǎo)航未受影響,其導(dǎo)航失敗率為0,而獎(jiǎng)勵(lì)擴(kuò)散方法的失敗率中位數(shù)達(dá)到了20 %.當(dāng)噪聲標(biāo)準(zhǔn)差增大至0.05 和0.1 時(shí),本模型的導(dǎo)航失敗率的最大最小值、上下四分位數(shù)以及中位數(shù)始終低于獎(jiǎng)勵(lì)擴(kuò)散方法,當(dāng)噪聲標(biāo)準(zhǔn)差較大時(shí)(σ=0.2),本模型導(dǎo)航失敗率中位數(shù)達(dá)到0.77,而獎(jiǎng)勵(lì)擴(kuò)散方法完全失敗.該結(jié)果表明,本論文模型的神經(jīng)元噪聲魯棒性顯著優(yōu)于采用獎(jiǎng)勵(lì)擴(kuò)散方法的皮層網(wǎng)絡(luò)模型(p=0.05).

圖8 不同噪聲對(duì)導(dǎo)航的影響Fig.8 Influence of neuron noise on navigation results

3)路徑規(guī)劃效率

在測(cè)試階段,將機(jī)器人放置于水池內(nèi)不同起始位置執(zhí)行逃生任務(wù),神經(jīng)元噪聲設(shè)置為N～N(0,0.01).在其中幾次逃生中(圖9),機(jī)器人能夠穿越未探索過(guò)的區(qū)域(與圖7 所建立的認(rèn)知地圖相比),說(shuō)明本模型的路徑規(guī)劃是基于全局而完成的.

圖9 從不同位置出發(fā)的逃生路線 (m)Fig.9 Escape trace from different starting points (m)

為了說(shuō)明本模型的路徑規(guī)劃效果,本實(shí)驗(yàn)選擇了A*算法[35]和滾動(dòng)窗口快速擴(kuò)展隨機(jī)樹算法(Rapid-exploring random tree,RRT)[36]進(jìn)行了對(duì)比.兩者均為路徑規(guī)劃中經(jīng)常使用的流行算法.為使A* 算法與RRT 算法在本實(shí)驗(yàn)中表現(xiàn)出最佳效果,本文通過(guò)多次實(shí)驗(yàn)設(shè)計(jì)算法細(xì)節(jié)及參數(shù)如下:A* 算法中節(jié)點(diǎn)評(píng)估函數(shù)為f(x)=g(x)+h(x),其中g(shù)(x)為已選取節(jié)點(diǎn)的累計(jì)路程,h(x)為當(dāng)前位置到目標(biāo)點(diǎn)的歐氏距離;滾動(dòng)窗口RRT 算法中窗口半徑r=1.5 m,隨機(jī)樹生長(zhǎng)步長(zhǎng)ρ=0.3 m,窗口范圍內(nèi)隨機(jī)樹節(jié)點(diǎn)數(shù)量K=25.步長(zhǎng)與本論文中皮質(zhì)柱平均間隔相近,以保證在相近的條件下進(jìn)行路徑規(guī)劃的比較.

在路徑規(guī)劃效果指標(biāo)的選取上,本文參考了文獻(xiàn)[37],采用轉(zhuǎn)彎次數(shù)、角度以及路徑長(zhǎng)度作為對(duì)比指標(biāo).轉(zhuǎn)彎次數(shù)及角度的增加通常對(duì)機(jī)器人的運(yùn)動(dòng)速度帶來(lái)限制,造成頻繁的減速、停止和加速,降低導(dǎo)航效率.因此,較少的轉(zhuǎn)彎次數(shù)、轉(zhuǎn)彎角度以及較短的導(dǎo)航路徑通常意味著更好的路徑規(guī)劃效果.

圖10 對(duì)不同方法所規(guī)劃的路徑長(zhǎng)度進(jìn)行了對(duì)比.從該圖可以看出,除出發(fā)點(diǎn)角度(出發(fā)點(diǎn)與水池中心的連線與x軸正半軸夾角的絕對(duì)值)為60° 時(shí)本模型規(guī)劃的路徑長(zhǎng)度無(wú)明顯優(yōu)勢(shì)外,其余出發(fā)點(diǎn)角度下本模型規(guī)劃的路徑長(zhǎng)度都明顯短于另兩種算法.

圖10 不同規(guī)劃方法所規(guī)劃路徑長(zhǎng)度Fig.10 Length of planned path by different planning method

表2 列出了本實(shí)驗(yàn)中從所有角度出發(fā)的平均轉(zhuǎn)彎次數(shù)和平均累計(jì)轉(zhuǎn)彎角度.由實(shí)驗(yàn)結(jié)果可以看出,本模型的平均轉(zhuǎn)彎次數(shù)及平均累計(jì)轉(zhuǎn)彎角度遠(yuǎn)低于A* 算法和滾動(dòng)窗口RRT 算法,說(shuō)明規(guī)劃的路徑更加平滑,有效地提高了路徑規(guī)劃及導(dǎo)航的效率.

表2 不同方法規(guī)劃路徑的轉(zhuǎn)彎次數(shù)及轉(zhuǎn)彎角度對(duì)比Table 2 Comparison of turning counts and angle of path planned by different path planning methods

3 結(jié)論

哺乳動(dòng)物的皮層網(wǎng)絡(luò)整合感官信息并輸出動(dòng)作決策,該信息處理中樞對(duì)環(huán)境認(rèn)知的重要性引起了許多對(duì)皮層網(wǎng)絡(luò)的計(jì)算建模研究.針對(duì)目前的皮層網(wǎng)絡(luò)模型受神經(jīng)元噪聲影響較大的問題,本文利用整合放電模型的非線性特性對(duì)神經(jīng)元進(jìn)行建模,將波前傳播方法引入獎(jiǎng)勵(lì)傳播回路,同時(shí)結(jié)合全局抑制神經(jīng)元,使模型具有更強(qiáng)的抗噪聲干擾性.同時(shí),為了防止路徑規(guī)劃效率的下降,在路徑規(guī)劃回路中引入位置偏好細(xì)胞和來(lái)自海馬體的時(shí)間細(xì)胞,通過(guò)時(shí)間細(xì)胞及其時(shí)間常數(shù)衰減機(jī)制選出全局最佳路徑點(diǎn).模型結(jié)構(gòu)、各神經(jīng)元功能設(shè)計(jì)及波前傳播方法都基于目前的神經(jīng)生理學(xué)研究結(jié)論,具有一定的生物合理性.

為了驗(yàn)證模型的有效性,本文復(fù)現(xiàn)了心理學(xué)上兩個(gè)經(jīng)典的環(huán)境認(rèn)知實(shí)驗(yàn):托爾曼14 單元T 型迷宮實(shí)驗(yàn)和Morris 水迷宮實(shí)驗(yàn),并與其他皮層網(wǎng)絡(luò)模型和路徑規(guī)劃方法進(jìn)行了對(duì)比.實(shí)驗(yàn)數(shù)據(jù)表明,本文所提出的模型與其他皮層網(wǎng)絡(luò)模型相比具有更強(qiáng)的神經(jīng)元噪聲魯棒性,較之A* 算法和滾動(dòng)窗口RRT算法具有更好的路徑規(guī)劃效果.同時(shí),模型也表現(xiàn)出較強(qiáng)的對(duì)動(dòng)態(tài)環(huán)境的自適應(yīng)能力.

另一方面,目前模型中時(shí)間細(xì)胞的時(shí)間常數(shù)衰減機(jī)制較為簡(jiǎn)單,需要進(jìn)一步優(yōu)化以提高最佳路徑點(diǎn)的選取能力及搜尋速度.為了使模型具有更佳的環(huán)境適應(yīng)能力,時(shí)間常數(shù)隨環(huán)境的變化機(jī)制需要進(jìn)一步探討.如何構(gòu)建時(shí)間常數(shù)衰減機(jī)制涉及的回路,使其符合生理學(xué)研究發(fā)現(xiàn),也是下一步研究的重點(diǎn).