呂 燚,潘 皓,李 鋒,王 娟
(中國(guó)西南電子技術(shù)研究所,成都 610036)
隨著航空電子綜合化技術(shù)的發(fā)展,座艙技術(shù)的發(fā)展趨勢(shì)為實(shí)現(xiàn)人-系統(tǒng)的綜合[1],提供智能高效的人機(jī)交互,最大程度發(fā)揮人體工效。聽覺(jué)系統(tǒng)作為人類除視覺(jué)系統(tǒng)外獲取信息的最主要途徑,利用三維音頻技術(shù)豐富音頻信號(hào)傳遞的信息量,降低視覺(jué)負(fù)擔(dān),是一種提升飛行員態(tài)勢(shì)感知能力的有效手段。
三維音頻技術(shù)是根據(jù)人耳對(duì)聲音信號(hào)的感知特點(diǎn),使用數(shù)字信號(hào)處理的方法對(duì)聲源到雙耳之間的傳遞函數(shù)進(jìn)行模擬,重構(gòu)復(fù)雜虛擬空間聲場(chǎng),以通過(guò)耳機(jī)或揚(yáng)聲器模擬出包含距離、運(yùn)動(dòng)特性、方位信息的三維立體聲[2-3]。通過(guò)聲音表現(xiàn)目標(biāo)的方位、距離等信息以提升飛行員的反應(yīng)時(shí)間。
美國(guó)軍方早在20 世紀(jì)90年代已對(duì)三維音頻處理技術(shù)在航空領(lǐng)域的應(yīng)用展開了研究,目前在其F-16、F-22 及F-35 戰(zhàn)斗機(jī)中已經(jīng)應(yīng)用[4]。此外,荷蘭應(yīng)用科學(xué)研究組織、澳大利亞國(guó)防科學(xué)技術(shù)組織、英國(guó)國(guó)防科技研究院、加拿大國(guó)防研發(fā)機(jī)構(gòu)及法國(guó)航太研發(fā)顧問(wèn)團(tuán)等多國(guó)國(guó)防科研機(jī)構(gòu)均對(duì)三維音頻技術(shù)在軍事領(lǐng)域的應(yīng)用展開了研究,其研究結(jié)果均表明應(yīng)用三維音頻技術(shù)將顯著提升作戰(zhàn)效能[5]。
本文對(duì)國(guó)外機(jī)載三維音頻技術(shù)的發(fā)展現(xiàn)狀、基本原理及作戰(zhàn)應(yīng)用場(chǎng)景展開研究,并分析其特點(diǎn)及關(guān)鍵技術(shù),總結(jié)目前存在的問(wèn)題,展望未來(lái)的發(fā)展趨勢(shì),以期為相關(guān)領(lǐng)域的研究人員提供參考。
機(jī)載三維音頻技術(shù)是以基于頭相關(guān)傳遞函數(shù)(Head Related Transfer Function,HRTF)為核心的虛擬聽覺(jué)技術(shù)結(jié)合機(jī)載特定環(huán)境所應(yīng)用的技術(shù),其基本原理是利用機(jī)載傳感器所獲得的態(tài)勢(shì)信息采用虛擬聽覺(jué)算法模擬目標(biāo)聲源到雙耳的頭傳遞相關(guān)函數(shù),重構(gòu)復(fù)雜虛擬空間聲場(chǎng),以通過(guò)耳機(jī)或揚(yáng)聲器生成包含距離、運(yùn)動(dòng)特性、方位信息的三維立體聲,以達(dá)到通過(guò)聽覺(jué)系統(tǒng)傳遞信息的目的。
圖1 給出了機(jī)載三維音頻技術(shù)的基本原理框圖。當(dāng)接收到音頻指令需要向飛行員耳機(jī)傳送音頻數(shù)據(jù)時(shí),首先根據(jù)目標(biāo)來(lái)源(話音通信、告警音或?qū)Ш揭?及威脅等級(jí)從聲源庫(kù)中選擇相應(yīng)的音頻數(shù)據(jù)送出,而后利用數(shù)字信號(hào)處理模擬多普勒頻移來(lái)實(shí)現(xiàn)音頻對(duì)速度信息的變現(xiàn);接著通過(guò)對(duì)音頻增益的控制模擬因距離引起聲強(qiáng)的衰減;最后根據(jù)方位角信息從HRTF 數(shù)據(jù)庫(kù)中讀取對(duì)應(yīng)位置的HRTF 數(shù)據(jù),利用虛擬聽覺(jué)重建算法實(shí)現(xiàn)對(duì)不同方位聲源的模擬,得到最終輸出的三維音頻數(shù)據(jù),其包含了目標(biāo)類別、速度快慢、距離遠(yuǎn)近及方位位置的態(tài)勢(shì)信息,從而實(shí)現(xiàn)通過(guò)音頻數(shù)據(jù)對(duì)態(tài)勢(shì)信息的傳遞。
圖1 機(jī)載三維音頻技術(shù)原理框圖Fig.1 The principle block diagram of airborne 3D audio technology
美國(guó)航空航天局艾姆斯研究中心從1993年開始對(duì)機(jī)載三維音頻技術(shù)的應(yīng)用展開了大量預(yù)先性研究[6-9],其以空中防撞系統(tǒng)(Traffic Alert and Collision Avoidance System,TCAS)作為應(yīng)用場(chǎng)景,利用三維音頻技術(shù)生成各種防撞的三維告警音,飛行員利用聲音的方向性確定侵入目標(biāo)方位,結(jié)果表明利用三維音頻告警可提升0.5 s 的響應(yīng)速度,同時(shí)可大幅度降低飛行員長(zhǎng)時(shí)間執(zhí)行任務(wù)的疲勞度,該結(jié)論得到美國(guó)民航及軍用航空領(lǐng)域的廣泛認(rèn)可,推動(dòng)了三維音頻在航空領(lǐng)域中的發(fā)展。
2002年,美國(guó)陸軍累計(jì)出資2 億美元開展了虛擬座艙計(jì)劃(Virtual Cockpit Optimization Program,VCOP),三維音頻作為關(guān)鍵技術(shù)展開探索性研究,其擬通過(guò)“以耳替目”傳遞信息,實(shí)現(xiàn)視覺(jué)、聽覺(jué)以及觸覺(jué)的高度融合,挖掘飛行員各種感覺(jué)器官綜合處理三維空間信息的能力,相關(guān)報(bào)告表明其研究成果后期直接服務(wù)于軍民兩種飛機(jī)中[10]。
美國(guó)洛馬公司針對(duì)三維音頻在戰(zhàn)斗機(jī)的應(yīng)用需求對(duì)72 名飛行員進(jìn)行問(wèn)卷調(diào)查[11],其調(diào)研結(jié)果表明飛行員對(duì)于三維音頻需求明確,從而美國(guó)空軍展開了三維音頻在型號(hào)項(xiàng)目中的推廣。目前,在美軍F-16 戰(zhàn)斗機(jī)上已裝備了丹麥TERMA 公司研發(fā)的三維音響設(shè)備,其產(chǎn)品支持8 路三維音頻通路,理論情況下水平角度分辨率低于5°,音頻存儲(chǔ)能力大于512 MB,兼容F-16 戰(zhàn)斗機(jī)原有的頭盔及耳機(jī)。
目前,三維音頻在F-16 戰(zhàn)斗機(jī)的應(yīng)用主要在雷達(dá)告警接收機(jī)(Radar Warning Receiver,RWR)及導(dǎo)彈告警系統(tǒng)(Missile Warning Sensor,MWS)中威脅方向提示以及機(jī)外通話中多通道聲源的分離。同時(shí),該三維音頻設(shè)備已集成在F-35 戰(zhàn)機(jī)的聯(lián)合頭盔指示系統(tǒng)(Joint Helmet Mounted Cueing System,JHMCS)上進(jìn)行系統(tǒng)聯(lián)試。
此外,TERMA 公司于2010年加入美軍先進(jìn)分布式孔徑系統(tǒng)(The Advanced Distributed Aperture System,ADAS)研發(fā)計(jì)劃擬在直升機(jī)平臺(tái)下推廣三維音頻技術(shù),系統(tǒng)將以UH-60“黑鷹”直升機(jī)作為論證平臺(tái)。
西方其余各國(guó)同樣對(duì)機(jī)載三維音頻技術(shù)展開了不同程度的研究。早在1996年由法國(guó)航太研發(fā)顧問(wèn)團(tuán)組辦,荷蘭應(yīng)用科學(xué)研究組織、英國(guó)國(guó)防科技研究院等多國(guó)國(guó)防科研機(jī)構(gòu)參加的機(jī)載音頻有效性專題研討會(huì)上將三維音頻技術(shù)作為專題進(jìn)行探討,各國(guó)科研機(jī)構(gòu)對(duì)三維音頻在航空領(lǐng)域應(yīng)用的有效性達(dá)成一致,隨后各國(guó)均成立專門的研究小組對(duì)相關(guān)技術(shù)進(jìn)行研究,其中以荷蘭應(yīng)用科學(xué)研究組織的研究最具有代表性,其對(duì)三維音頻輔助視覺(jué)搜索及定位展開了深入研究,針對(duì)三維音頻技術(shù)與多功能顯示器、平視顯示器及頭盔顯示器等多類座艙顯示系統(tǒng)配合應(yīng)用的效果進(jìn)行了實(shí)驗(yàn)驗(yàn)證,結(jié)果表明應(yīng)用三維音頻可提升10%~30% 的響應(yīng)速度[12-13]。此外,澳大利亞國(guó)防科學(xué)技術(shù)組織對(duì)三維音頻在飛行任務(wù)中多人對(duì)話的應(yīng)用展開了研究,其結(jié)果表明在多人通話時(shí)應(yīng)用三維音頻技術(shù)可明顯提高話音可懂度[14]。2015年3 月,英國(guó)航空航天公司(BAE Systems)與TERMA 公司簽訂合同,為歐洲臺(tái)風(fēng)戰(zhàn)斗機(jī)開發(fā)基于智能頭盔的三維立體聲音響系統(tǒng)。
除了在飛行任務(wù)中的直接應(yīng)用,三維音頻技術(shù)還被應(yīng)用于飛行員訓(xùn)練模擬器[15-17]以及無(wú)人機(jī)操控[18-20]等多個(gè)領(lǐng)域。
本文根據(jù)機(jī)載三維音頻技術(shù)目的及應(yīng)用的不同,將航空三維音頻應(yīng)用場(chǎng)景歸納4 類,即3D 告警應(yīng)用、話音通信應(yīng)用、飛訓(xùn)模擬應(yīng)用及無(wú)人機(jī)操控應(yīng)用,如圖2 所示。
圖2 航空三維音頻應(yīng)用分類Fig.2 The classification of aircraft 3D-audio applications
在音頻告警方面應(yīng)用,主要是在傳統(tǒng)話音告警的基礎(chǔ)上利用三維音頻具有態(tài)勢(shì)信息的特點(diǎn)對(duì)威脅等級(jí)、距離等級(jí)、速度等級(jí)及方位感等多種信息連續(xù)提示,豐富音頻告警信息量,提升飛行員對(duì)告警的響應(yīng)速度,是目前三維音頻在航空領(lǐng)域中最為廣泛的應(yīng)用,其根據(jù)告警類別的不同可分為威脅類告警和提示類告警。
3.1.1 威脅類告警
威脅類告警是指當(dāng)距離本機(jī)一定范圍內(nèi)出現(xiàn)威脅物時(shí)通過(guò)視覺(jué)及聽覺(jué)的方式向本機(jī)飛行員告警,以便飛行員迅速發(fā)現(xiàn)威脅,并采取相應(yīng)措施。此類告警產(chǎn)生于敵機(jī)跟蹤、導(dǎo)彈逼近以及潛在碰撞威脅等情景,主要來(lái)自于雷達(dá)系統(tǒng)、電子戰(zhàn)系統(tǒng)以及空中防撞系統(tǒng)等。
對(duì)于威脅類告警應(yīng)用,目前主要的應(yīng)用方法為根據(jù)探測(cè)到的威脅態(tài)勢(shì)信息利用三維音頻技術(shù)在聽覺(jué)環(huán)境中模擬出威脅物的方位、距離以及運(yùn)動(dòng)軌跡。
對(duì)于三維音頻技術(shù)在該類告警中的應(yīng)用,其好處是可利用三維音頻的定位信息實(shí)現(xiàn)對(duì)威脅態(tài)勢(shì)狀態(tài)“以耳代目”的傳遞方式,避免在視野欠佳(夜間行駛等狀態(tài))或威脅物來(lái)至視線不可見(jiàn)方向(本機(jī)后方等)的情況下加快飛行員對(duì)威脅的響應(yīng)速度,同時(shí)避免飛行員由于視線頻繁切換于儀表與機(jī)艙外而出現(xiàn)空間定向障礙的概率,達(dá)到提升態(tài)勢(shì)感知能力的目的。
對(duì)于該類應(yīng)用對(duì)聲源定位的精度有著較高的要求,依據(jù)目前雷達(dá)、電子戰(zhàn)等設(shè)備的探測(cè)精度,最終三維音頻的方向分辨率應(yīng)優(yōu)于5°。
3.1.2 提示類告警
提示類告警主要用于對(duì)本機(jī)系統(tǒng)狀態(tài)及故障產(chǎn)生的提示或警告,通過(guò)聽覺(jué)告警提示故障類型,通過(guò)燈光閃爍及文字提示等視覺(jué)告警方式進(jìn)一步明確故障原因及需進(jìn)行的后續(xù)操作。飛行員根據(jù)告警信息執(zhí)行相關(guān)應(yīng)急操作。
目前三維音頻技術(shù)在提示類告警中主要有三種應(yīng)用方法。
(1)告警音方向來(lái)自實(shí)際故障方向
設(shè)定三維告警音的虛擬方位來(lái)自于實(shí)際故障位置,例如,當(dāng)左側(cè)發(fā)動(dòng)機(jī)故障,則模擬告警音來(lái)源于駕駛艙左側(cè)。該方法的好處是除文字提示外利用聲音方向進(jìn)一步明確故障位置,強(qiáng)化飛行員認(rèn)知意識(shí),避免由于緊張環(huán)境出現(xiàn)的短時(shí)認(rèn)知錯(cuò)亂而執(zhí)行錯(cuò)誤操作。
(2)告警音方向來(lái)自視覺(jué)告警方向
考慮到提示類聽覺(jué)告警的根本目的是用于提醒故障,輔助飛行員迅速發(fā)現(xiàn)視覺(jué)告警,明確故障類別并進(jìn)行相應(yīng)的操作。因此,該方法以提升發(fā)現(xiàn)視覺(jué)告警的速度為需求,利用三維音頻技術(shù)設(shè)定告警音虛擬方位為視覺(jué)告警的方位(燈光閃爍或文字提醒的位置),將聽覺(jué)告警作為引導(dǎo)視覺(jué)告警的一種輔助手段,達(dá)到提升飛行員對(duì)告警的響應(yīng)速度的目的。
(3)虛擬三維運(yùn)動(dòng)告警音
該應(yīng)用方法僅利用三維音頻技術(shù)模擬出具有運(yùn)動(dòng)特性的告警音達(dá)到提示作用,豐富告警音類別,如當(dāng)飛機(jī)油量不多時(shí)發(fā)出如水滴滴下的告警音或當(dāng)數(shù)據(jù)鏈?zhǔn)盏叫畔r(shí)發(fā)出類似于計(jì)算機(jī)調(diào)制解調(diào)連接的聲音。該應(yīng)用方法較適用于非重要信息的提示,其避免了語(yǔ)言告警對(duì)飛行員專注度的干擾,同時(shí)告警音更加自然,可有效降低長(zhǎng)時(shí)間監(jiān)聽的疲憊。
上述三種應(yīng)用方法各有優(yōu)勢(shì),實(shí)際3D 告警系統(tǒng)設(shè)計(jì)中應(yīng)結(jié)合心里聲學(xué)及人體工效學(xué)對(duì)告警音逐條分析,根據(jù)具體應(yīng)用場(chǎng)景分類,為每類告警音設(shè)計(jì)定制三維告警策略,同時(shí)綜合各類告警的特點(diǎn)制定3D音頻告警規(guī)則,以達(dá)到提升態(tài)勢(shì)感知能力的需求。
在傳統(tǒng)機(jī)載平臺(tái)下話音通信中存在如下兩個(gè)問(wèn)題:
(1)多人通話可懂度低:當(dāng)多人同時(shí)通話時(shí),多路音頻數(shù)據(jù)混音輸出,由于雙耳效應(yīng)的丟失會(huì)造成話音可懂度急劇下降,長(zhǎng)時(shí)間監(jiān)聽還會(huì)增加收聽者的疲勞度;
(2)說(shuō)話人辨識(shí):當(dāng)同時(shí)監(jiān)聽多通道音頻數(shù)據(jù)時(shí),對(duì)于某通道突然傳來(lái)的話音信息,收聽者無(wú)法及時(shí)辨認(rèn)其來(lái)源,影響任務(wù)執(zhí)行效率。
三維音頻在話音通信中的應(yīng)用可解決上述兩個(gè)問(wèn)題,利用三維音頻技術(shù)對(duì)不同音頻通道設(shè)定不同的虛擬聲源方位,實(shí)現(xiàn)對(duì)各通道音頻數(shù)據(jù)的分離,達(dá)到音頻信號(hào)空間信息重構(gòu)的目的,使得“雞尾酒會(huì)效應(yīng)”重現(xiàn),可提升多人通話的話音可懂度;同時(shí)不同通道的虛擬聲源方位不同,收聽者可根據(jù)聽到音頻的方位信息快速定位話音來(lái)源,提升響應(yīng)速度。根據(jù)應(yīng)用場(chǎng)景不同可分類為機(jī)外三維通話和機(jī)內(nèi)三維通話。
3.2.1 機(jī)外通話
機(jī)外通話是指本機(jī)通過(guò)超短波電臺(tái)等通信設(shè)備與地面或僚機(jī)完成話音通信。
圖3 給出了F-16 機(jī)外三維通話及其與傳統(tǒng)機(jī)外通話的效果示意圖。假設(shè)存在超短波電臺(tái)1、超短波電臺(tái)2、短波、衛(wèi)通4 路通信設(shè)備,傳統(tǒng)模式下對(duì)4 路通信設(shè)備輸入音頻直接混音后通過(guò)耳機(jī)輸出,如圖所示其呈現(xiàn)的音像為“頭中成像”,即人體感覺(jué)聲音均來(lái)自于頭表,無(wú)法區(qū)分各通道信息。而利用三維音頻技術(shù)可將4 路不同通道的聲源模擬至不同方位,飛行任務(wù)中各通道的虛擬方位固定,通過(guò)前期訓(xùn)練可使得飛行員根據(jù)不同方位的聲音快速辨別通道類別,例如當(dāng)聲音來(lái)至正右方即立刻判斷其來(lái)至于超短波1,以便給予及時(shí)反饋。
圖3 機(jī)外通信應(yīng)用場(chǎng)景示意圖Fig.3 The schematic diagram of wingman-communication
該方法的特點(diǎn)是各類通信設(shè)備的虛擬音頻方位固定,不隨任務(wù)不同或相對(duì)位置改變而改變,無(wú)需輸入額外狀態(tài)信息即可實(shí)現(xiàn)通道分離,有利于工程化應(yīng)用推廣。
但該方法無(wú)法反應(yīng)目標(biāo)態(tài)勢(shì),不適用于編隊(duì)?wèi)?zhàn)術(shù)這類任務(wù)。因此,目前另一類廣泛研究的三維通話應(yīng)用場(chǎng)景為動(dòng)態(tài)方位實(shí)現(xiàn),其根據(jù)僚機(jī)間相對(duì)方位虛擬話音聲源方位,使得本機(jī)成員通過(guò)話音方向即可確定僚機(jī)的大體方位,強(qiáng)化編隊(duì)位置信息,同時(shí)也完成了對(duì)各通道音頻的分離。但實(shí)現(xiàn)該類方法需傳輸僚機(jī)的方位、距離和速度等態(tài)勢(shì)信息至音頻設(shè)備,造成對(duì)現(xiàn)有通信體制的改變,因此目前仍處于仿真模擬階段。
對(duì)于三維話音通信應(yīng)用,其對(duì)定位的精度要求較告警類應(yīng)用較低,但需重點(diǎn)關(guān)注在滿足可懂度需求的前提下可同時(shí)支持的最大音頻通道數(shù)目??赏ㄟ^(guò)虛擬方位間隔靈活設(shè)定及通道音頻動(dòng)態(tài)增益等方法實(shí)現(xiàn)對(duì)通道數(shù)目的提升,最大程度發(fā)揮三維音頻的作用。
3.2.2 機(jī)內(nèi)通話
三維音頻在機(jī)內(nèi)通話的應(yīng)用方法與機(jī)外通話基本相同,主要實(shí)現(xiàn)對(duì)不同機(jī)組人員間通話的音頻分離,具體應(yīng)用方法如圖4 所示,根據(jù)機(jī)組成員的相對(duì)方位模擬真實(shí)環(huán)境下“面對(duì)面”談話的感覺(jué),達(dá)到提升話音可懂度的目的。
圖4 機(jī)內(nèi)通話應(yīng)用場(chǎng)景示意圖Fig.4 The schematic diagram of intercom
飛行模擬器作為飛行員訓(xùn)練的一種有效手段廣泛應(yīng)用。虛擬訓(xùn)練作為虛擬現(xiàn)實(shí)的一個(gè)重要應(yīng)用方向,其是三維音頻技術(shù)在航空領(lǐng)域最早應(yīng)用的方向,用于實(shí)現(xiàn)對(duì)機(jī)內(nèi)聽覺(jué)環(huán)境的虛擬,其需要虛擬的聲音聽覺(jué)環(huán)境包括:
(1)發(fā)動(dòng)機(jī)聲,與速度有關(guān),空間方位固定;
(2)氣流聲,與速度及機(jī)體結(jié)構(gòu)有關(guān),空間方位相對(duì)固定;
(3)武器發(fā)射、爆炸聲,與相對(duì)方位有關(guān);
(4)接地及滑跑時(shí)輪胎與地面的摩擦聲,與速度和路面相關(guān);
(5)液壓、冷氣、除霧等各類系統(tǒng)的工作聲,空間方位固定;
(6)其余各類環(huán)境噪聲,如雷、雨聲以及無(wú)線電雜波聲等。
虛擬聽覺(jué)環(huán)境系統(tǒng)根據(jù)飛行員控制飛行模擬器的運(yùn)行狀態(tài),動(dòng)態(tài)從預(yù)先錄制的音頻數(shù)據(jù)庫(kù)調(diào)用聲音數(shù)據(jù),并經(jīng)過(guò)三維音頻技術(shù)處理后通過(guò)揚(yáng)聲器或耳機(jī)輸出。對(duì)于該類應(yīng)用其重點(diǎn)在于提供逼近實(shí)際飛行中的聽覺(jué)環(huán)境,以便飛行員熟悉飛行任務(wù)中可能遇到的各類情況下的聽覺(jué)環(huán)境,提高態(tài)勢(shì)感知能力。
由于該類應(yīng)用對(duì)定位精度要求較低,目前通常利用商業(yè)音頻處理算法庫(kù)(如OpenAL、DirecSound等)通過(guò)純軟件的形式實(shí)現(xiàn),無(wú)需專用的硬件設(shè)備。
三維音頻技術(shù)主要應(yīng)用于有人操控類無(wú)人機(jī)中,其主要應(yīng)用方法與有人飛機(jī)類似,利用三維音頻技術(shù)從多方面提升態(tài)勢(shì)感知能力:
(1)環(huán)境聲重構(gòu):重構(gòu)無(wú)人機(jī)上麥克風(fēng)所采集到的環(huán)境聲,增加地面操控人員侵入感,提高操作效率;
(2)引導(dǎo)目標(biāo)捕獲:引導(dǎo)操控員在多個(gè)顯示屏中快速捕獲重要信息,避免出現(xiàn)視覺(jué)無(wú)法聚焦的情況;
(3)3D 告警應(yīng)用:對(duì)入侵威脅或系統(tǒng)狀態(tài)完成3D 音頻告警,提升態(tài)勢(shì)感知能力;
(4)話音通信應(yīng)用:通過(guò)操控員之間的三維話音通信實(shí)現(xiàn)機(jī)間方位態(tài)勢(shì)信息的感知,提供更好的編隊(duì)?wèi)B(tài)勢(shì)感知信息。
由于無(wú)人機(jī)操控及顯示環(huán)境的差異,操控員視覺(jué)感知態(tài)勢(shì)能力減弱,因此在無(wú)人機(jī)應(yīng)用中除關(guān)注定位精度、通道數(shù)目等指標(biāo)外,還應(yīng)重點(diǎn)設(shè)計(jì)更具引導(dǎo)性的聲源信息,避免視覺(jué)頻繁切換所造成的定向障礙。
目前三維音頻技術(shù)的理論相對(duì)成熟,在游戲、多媒體等商用領(lǐng)域已有大量的應(yīng)用。但不同于商用領(lǐng)域中僅為增加傾聽者的侵入感,三維音頻技術(shù)在航空領(lǐng)域的應(yīng)用對(duì)于定位精度、環(huán)境適應(yīng)性等多個(gè)方面提出了更高的需求。針對(duì)機(jī)載環(huán)境的特殊條件,本節(jié)分析討論其不同于商業(yè)應(yīng)用的關(guān)鍵技術(shù)。
HRTF 數(shù)據(jù)庫(kù)的測(cè)量精度決定了模擬聽覺(jué)空間分辨率。為滿足雷達(dá)、電子戰(zhàn)等威脅告警應(yīng)用的需求,數(shù)據(jù)庫(kù)測(cè)量精度應(yīng)優(yōu)于5°,目前大部分商用HRTF 數(shù)據(jù)庫(kù)無(wú)法滿足該需求。
除測(cè)量精度外,個(gè)性化因素是HRTF 數(shù)據(jù)庫(kù)的另一個(gè)重要指標(biāo)。由于人耳本身的差異導(dǎo)致不同個(gè)體的HRTF 差異較大,屬個(gè)性化參數(shù),應(yīng)通過(guò)個(gè)性化測(cè)量或大量樣本統(tǒng)計(jì)的方法降低個(gè)性化影響。
在航空領(lǐng)域的應(yīng)用中,由于飛行員人數(shù)有限且相對(duì)穩(wěn)定,因此可考慮為每位飛行員定制專屬HRTF 數(shù)據(jù)庫(kù),可有效解決精度不足和個(gè)性化兩大問(wèn)題,同時(shí)強(qiáng)化前期訓(xùn)練,以在實(shí)際應(yīng)用中達(dá)到最佳的性能。
頭部的轉(zhuǎn)動(dòng)會(huì)引起相對(duì)方位的變化,降低定位的精度,因此在航空高精度應(yīng)用的需求下應(yīng)對(duì)飛行員頭部位置實(shí)時(shí)跟蹤。
對(duì)于頭部跟蹤器在機(jī)載三維音頻技術(shù)中的應(yīng)用需要重點(diǎn)考慮以下三點(diǎn)[21]:
(1)測(cè)量自由度(DOF)數(shù):頭部跟蹤器應(yīng)滿足所謂的“六自由度”測(cè)量,即3 個(gè)平移自由度和3 個(gè)轉(zhuǎn)動(dòng)自由度,同時(shí)轉(zhuǎn)動(dòng)方向的精度不應(yīng)低于HRTF數(shù)據(jù)庫(kù)的精度;
(2)參數(shù)刷新率:為避免對(duì)聽覺(jué)定位造成影響,頭部位置的刷新率大于10 Hz;
(3)系統(tǒng)延時(shí):在機(jī)載環(huán)境下為不影響感知,系統(tǒng)延時(shí)不能超過(guò)10 ms。
目前高端的電磁式或光電式頭部跟蹤技術(shù)均能滿足機(jī)載應(yīng)用的性能要求,在F-22、F-35 等機(jī)型中均已得到應(yīng)用[22]。
機(jī)載環(huán)境有著高噪聲、高加速度、任務(wù)負(fù)擔(dān)重及注意力高度集中等特點(diǎn),應(yīng)通過(guò)主觀實(shí)驗(yàn)評(píng)估環(huán)境因素對(duì)方位分辨率、語(yǔ)音可懂度及飛行員響應(yīng)速度等多個(gè)方面的影響,以確定三維音頻在機(jī)載環(huán)境下的環(huán)境適應(yīng)性,設(shè)計(jì)出適用于機(jī)載環(huán)境的三維音頻聲源數(shù)據(jù)庫(kù)。
此外,應(yīng)考慮與主動(dòng)降噪技術(shù)等其他音頻技術(shù)相結(jié)合的方式來(lái)提高環(huán)境適應(yīng)性。
三維音頻作為利用聽覺(jué)系統(tǒng)提升態(tài)勢(shì)感知能力的一種有效手段,目前已在航空領(lǐng)域得到了一定的應(yīng)用。隨著信息融合技術(shù)的發(fā)展,三維音頻技術(shù)的重要性將更加突出,但在算法性能及工程應(yīng)用方面仍存在一些問(wèn)題有待深入研究:
(1)個(gè)性化HRTF 數(shù)據(jù)庫(kù)獲取:目前個(gè)性化HRTF 通常采用實(shí)驗(yàn)方法獲取,其時(shí)間及經(jīng)濟(jì)成本較高,數(shù)據(jù)可重復(fù)性不強(qiáng),因此急需理論技術(shù)、數(shù)值分析與實(shí)驗(yàn)測(cè)量相結(jié)合的HRTF 個(gè)性化測(cè)量方法,在降低測(cè)量成本的同時(shí)保證數(shù)據(jù)的有效性;
(2)三維音頻客觀評(píng)價(jià)體系的建立:目前三維音頻技術(shù)的性能評(píng)估主要依賴于主觀評(píng)價(jià),受個(gè)體影響較大,因此有必要根據(jù)人耳聽覺(jué)特點(diǎn)及機(jī)載環(huán)境特性制定出完善的客觀評(píng)價(jià)體系;
(3)機(jī)載應(yīng)用場(chǎng)景的設(shè)計(jì):結(jié)合三維音頻技術(shù)的特點(diǎn),制定良好的機(jī)載應(yīng)用場(chǎng)景,對(duì)現(xiàn)有音頻通信體制進(jìn)行一定的修改,將有利于更大程度提升三維音頻對(duì)態(tài)勢(shì)感知能力的作用,在三維音頻技術(shù)理論日益完善的情況下機(jī)載應(yīng)用場(chǎng)景設(shè)計(jì)也是一個(gè)非常關(guān)鍵的課題。
此外,在機(jī)載音頻設(shè)備方面,未來(lái)三維音頻技術(shù)將與語(yǔ)音識(shí)別、語(yǔ)音合成等先進(jìn)音頻處理技術(shù)相融合,實(shí)現(xiàn)智能化音頻處理系統(tǒng),并最終將聽覺(jué)系統(tǒng)與視覺(jué)系統(tǒng)、觸覺(jué)系統(tǒng)、嗅覺(jué)系統(tǒng)等人體感知系統(tǒng)實(shí)現(xiàn)高度綜合化,以智能頭盔或座艙一體化設(shè)備等形式存在,真正實(shí)現(xiàn)人-系統(tǒng)綜合。
[1]馬建毅,鄭連澤.未來(lái)航空電子系統(tǒng)的發(fā)展方向[J].艦船電子工程,2014,34(3):4-8.MA Jianyi,ZHEN Lianze.Key Technology Analysis and Development Trend Prediction of Early Warning Airplane[J].Ship Electronic Engineering,2014,34(3):4-8.(in Chinese)
[2]胡瑞敏,王曉晨,張茂勝,等.三維音頻技術(shù)綜述[J].數(shù)據(jù)采集與處理,2014,29(5):661-676.HU Ruimin,WANG Xiaochen,ZHANG Maosheng,et al.Review on Three- Dimension Audio Technology[J].Journal of Data Acquisition & Processing,2014,29(5):661-676.(in Chinese)
[3]XIE B S.Head Related Transfer Function and Virual Auditory Display[M].Florida:J ROSS Publishing,2013.
[4]MCKINLEY R L.Auditory and Acoustic Research and Development at Air Force Research Laboratory (AFRL)[R].Fairborn:Ball Aerospace and Technologies Corporation,2010.
[5]NEHME C E,CUMMINGS M L.Audio Decision support for Supervisory Control of Unmanned Vechicles[R].Cambridge,MA:Humans and Automation Laboratory,2006.
[6]BEGAULT D R.Head- up auditory displays for traffic collision avoidance system advisories:A preliminary investigation[J].Human Factors,1993,35(4):707-717.
[7]BEGAULT D R,PITTMAN.Three- dimensional audio versus head- down traffic alert and collision avoidance system displays[J].International Journal of Aviation Psychology,1996,6(1):79-93.
[8]BEGAULT D R,ANDERSON M R,MCCLAIN B U.Spatially modulated auditory alerts[J].Journal of the Audio Engineering Society,2006,54(4):276-282.
[9]KOTESKEY R W,WU S C,BATTISTE.Enhanced Audio for NextGen Flight Deck[J].Advances in Human Aspecets of Aviation,2012:33.
[10]BEASLEY H H,HARDING T H,MARTIN J S.Laboratory system for the evaluation of helmet- mounted displays[C]//Proceedings of 2004 SPIE.Beijing:SPIE,2004:204-212.
[11]LEE M D,PATTERSON R W,F(xiàn)OLDS D J.Application of simulated three-dimensional audio displays to fighter cockpits:a user survey[C]//Proceedings of Aerospace and Electronics Confrence.Dayton,OH:IEEE,1993:654-660.
[12]VELTMAN J A,OVING A B,BRONKHORST A W.3-D audio in the fighter cockpit improves task performance[J].International Journal of Aviation Psychology,2014,14(3):239-256.
[13]PARKER S P A,SIMITH S E,STEPHAN K L,et al.Effect of supplementing head-down displays with 3-D audio during visual target acquisition[J].International Journal of aviation psychology,2004,14(3):277-295.
[14]MCANALLY K,MARTIN R,DOMAN J,et al.Detection and Identification of Simultaneous Communications in a Simulated Flying Task[R].Melbourne:Defense Science and Technology Organization Melbourne (Australia)Air Operations Div,2005.
[15]ARNTZEN M,RIZZI S A,VISSER H G,et al.Framework for Simulating Aircraft Flyover Noise Through Nonstandard Atmospherrs[J].Journal of Aircraft,2014,51(3):956-966.
[16]MCMULLEN K,WAKEFIELD G H.3D sound memory in virtual environments[C]//Proceedings of 2014 IEEE Symposium on 3D User Interfaces.Minneapolis,MN:IEEE,2014:99-102.
[17]盛曉偉,鄭淑濤,韓俊偉.飛行模擬器音效系統(tǒng)聲音分析與合成技術(shù)[J].吉林大學(xué)學(xué)報(bào)(工學(xué)版),2013,43(5):1433-1440.SHENG Xiaowei,ZHEN Shutao,HAN Junwei.Technologies of sound analysis and synthesis for audio system of flight simulator.[J]Journal of Jilin University(Engineering and Technology Edition),2013,43(5):1433-1440.(in Chinese)
[18]SODNIK J,TOMAZI CˇS.Spatial Auditory Human-Computer Interfaces[M].Heidelberg,Berlin:Springer,2015.
[19]PHILBRICK R M,COLTON M B.Effects of Haptic and 3D Audio Feedback on Operator Performance and Workload for Quadrotor UAVs in Indoor Environments[J].Journal of Robotics and Mechatronics,2014,26(5):580-591.
[20]BRILL J C,LAWSON B D,RUPERT A.Tactile Situation Awareness System (TSAS)as a Compensatory Aid for Sensory Loss[C]//Proceedings of the Human Factors and Ergonomics Society Annual Meeting.Chicago,Illinois,USA:[s.n.],2014:1028-1032.
[21]周忠,周頤,肖江劍.虛擬現(xiàn)實(shí)增強(qiáng)技術(shù)綜述[J].中國(guó)科學(xué) 信息科學(xué),2015,45(2):157-180.ZHOU Zhong,ZHOU Yi,XIAO Jiangjian.Survey on augmented virtual environment and augmented reality[J].SCIENTIA SINICA Informationis,2015,45(2):157-180.(in Chinese)
[22]羅巧云.美軍F-22 的先進(jìn)航空電子系統(tǒng)[J].電訊技術(shù),2006,46(6):7-12.LUO Qiaoyun.The Advanced Avionics System of F-22[J].Telecommunication Engineering,2006,46(6):7-12.(in Chinese)