陳 鑫，高 博，龔 敏

（1.微電子技術(shù)四川省重點(diǎn)實(shí)驗(yàn)室，成都 610064；2.四川大學(xué)物理學(xué)院，成都 610064）

1 引言

頭相關(guān)傳輸函數(shù)（Head-Related Transfer Function，HRTF）由于包含著重要的聲源定位信息，常被用來(lái)實(shí)現(xiàn)虛擬聽(tīng)覺(jué)。從信號(hào)處理的角度來(lái)看，使用HRTF 實(shí)現(xiàn)虛擬聽(tīng)覺(jué)的實(shí)質(zhì)就是在頻域上求HRTF 與輸入音頻信號(hào)的乘積[1]。但是，如果直接對(duì)輸入音頻信號(hào)進(jìn)行頻域乘積運(yùn)算，需要連續(xù)進(jìn)行傅里葉正逆變換才能獲得最終結(jié)果；為了提高系統(tǒng)的實(shí)時(shí)性，人們常選擇用數(shù)字濾波器來(lái)進(jìn)行等價(jià)的時(shí)域卷積運(yùn)算。FPGA 由于具有靈活性高、實(shí)時(shí)性好等優(yōu)點(diǎn)，常被用來(lái)實(shí)現(xiàn)數(shù)字濾波器，被很多人選為虛擬聽(tīng)覺(jué)系統(tǒng)的實(shí)現(xiàn)平臺(tái)。

丁林[2]設(shè)計(jì)了一個(gè)以4 階級(jí)聯(lián)型無(wú)限脈沖響應(yīng)（Infinite Impulse Response，IIR）濾波器組為核心的虛擬聽(tīng)覺(jué)系統(tǒng)，通過(guò)降低濾波器階數(shù)的方式減少了硬件資源消耗，但其設(shè)計(jì)仍使用了過(guò)多的乘法器資源。此外，由于這個(gè)系統(tǒng)采用的是傳統(tǒng)的虛擬三維音頻合成方式，因此還存在著垂直方向正確率低的問(wèn)題。KUGLER 等人[3]采用對(duì)輸入音頻信號(hào)進(jìn)行上采樣和增加濾波器組通道數(shù)的方法來(lái)改進(jìn)IIR 濾波器組，成功地提高了虛擬聽(tīng)覺(jué)系統(tǒng)的平均正確率，但這同時(shí)也增大了乘法器的資源消耗。SINGHANI 等人[4]設(shè)計(jì)了一個(gè)以有限脈沖響應(yīng)（Finite Impulse Response，F(xiàn)IR）濾波器組為核心的虛擬聽(tīng)覺(jué)系統(tǒng)，通過(guò)把FIR 濾波器改進(jìn)為折疊型結(jié)構(gòu)，將乘法器的使用量減少到8 個(gè)，但是依舊忽視了系統(tǒng)垂直方向正確率低的問(wèn)題。

本文提出了一種基于輸出聲音響度來(lái)辨別垂直方向的方法，并設(shè)計(jì)了一個(gè)折疊型FIR 濾波器，在此基礎(chǔ)上構(gòu)建了一個(gè)基于FPGA 的虛擬聽(tīng)覺(jué)系統(tǒng)。

2 虛擬聽(tīng)覺(jué)的基本原理

在自由場(chǎng)中，聲波從聲源到雙耳的傳輸過(guò)程可以看作一個(gè)線性時(shí)不變的聲濾波系統(tǒng)，這個(gè)系統(tǒng)的傳輸函數(shù)就是HRTF[5]。HRTF 的時(shí)域形式被稱(chēng)為頭相關(guān)脈沖響應(yīng)（Head-Related Impulse Response，HRIR），與HRTF 互為傅里葉變換對(duì)。本文采用的耳間極坐標(biāo)系如圖1 所示[6]，該坐標(biāo)系使用方位角和仰角來(lái)確定一個(gè)聲源的方向。方位角θ 定義為聲源矢量P 和雙耳中垂面的夾角，取值范圍為－90°～90°；仰角φ 定義為P0和水平面前半部分的夾角，取值范圍為－90°～270°。在主觀聽(tīng)音實(shí)驗(yàn)中，為了減小受試者辨別聲源方位的難度，大多數(shù)工作[1-4]都選擇只對(duì)水平面和雙耳中垂面上的方向進(jìn)行測(cè)試。其中，水平面上的方向被稱(chēng)為水平方向，雙耳中垂面上的方向則被稱(chēng)為垂直方向。

圖1 耳間極坐標(biāo)系

在設(shè)計(jì)數(shù)字濾波器時(shí)，一般采用HRIR 數(shù)據(jù)作為濾波器的系數(shù)。本文所使用的HRIR 數(shù)據(jù)來(lái)源于CIPIC 數(shù)據(jù)庫(kù)[6]，這個(gè)數(shù)據(jù)庫(kù)包含43 個(gè)成人和2 個(gè)KEMAR 人體模型的HRIR 測(cè)量數(shù)據(jù)。對(duì)于一個(gè)受試者，測(cè)試人員會(huì)對(duì)其在25 個(gè)方位角和50 個(gè)仰角上的HRIR 進(jìn)行測(cè)量，再加上左右耳的HRIR 一般是不同的，因此每個(gè)受試者都會(huì)有2500 組HRIR 數(shù)據(jù)[6]。HRIR 數(shù)據(jù)的采樣頻率為44.1 kHz，采樣點(diǎn)數(shù)為200個(gè)，使用高精度的浮點(diǎn)數(shù)進(jìn)行表示。本文最后選擇用KEMAR 人體模型的HRIR 數(shù)據(jù)作為FIR 濾波器的系數(shù)，這可以有效減小由于沒(méi)有使用個(gè)體化的HRIR 數(shù)據(jù)所帶來(lái)的系統(tǒng)定位誤差[7]。此外，考慮到耳機(jī)等音頻播放設(shè)備一般只有兩個(gè)輸出通道，因此本文采用一個(gè)兩通道的FIR 濾波器組來(lái)進(jìn)行數(shù)據(jù)處理。

3 虛擬聽(tīng)覺(jué)系統(tǒng)設(shè)計(jì)

3.1 系統(tǒng)設(shè)計(jì)思路

為了減小量化誤差，本文將FIR 濾波器的系數(shù)數(shù)據(jù)與輸入音頻數(shù)據(jù)都量化為補(bǔ)碼表示的16 位定點(diǎn)數(shù)。如前所述，KEMAR 人體模型共有2500 組HRIR 數(shù)據(jù)。為減小存儲(chǔ)系數(shù)數(shù)據(jù)所需的內(nèi)存空間，此處選擇對(duì)仰角進(jìn)行間隔采樣，將HRIR 數(shù)據(jù)的數(shù)量先減少一半。在進(jìn)行定點(diǎn)量化后，每組HRIR 數(shù)據(jù)都會(huì)轉(zhuǎn)化為200 個(gè)16 位補(bǔ)碼，也就是400 B 的數(shù)據(jù)。那么，1250 組HRIR 數(shù)據(jù)在量化后就是大約488 kB 的數(shù)據(jù)，使用512 kB 的SRAM 可以裝下它們。在對(duì)仰角進(jìn)行間隔采樣后，方位角和仰角都只有25 個(gè)角度值；然后按照角度值從小到大的順序，使用自然數(shù)對(duì)方位角和仰角分別進(jìn)行編號(hào)，并將方位角編號(hào)和仰角編號(hào)分別記為Iaz和Iel，二者的取值范圍均為0～24。

研究表明，在主觀聽(tīng)音實(shí)驗(yàn)中，受試者對(duì)垂直方向上的聲源進(jìn)行辨別時(shí)，正確率要明顯低很多，會(huì)出現(xiàn)聲源定位上下顛倒和前后混淆的現(xiàn)象[1,8]。在經(jīng)過(guò)多次實(shí)驗(yàn)后，發(fā)現(xiàn)造成這種現(xiàn)象的主要原因是垂直方向上的聲源在兩耳之間產(chǎn)生的雙耳時(shí)間差十分接近，并且耳機(jī)輸出聲音響度在不同垂直方向上的差異非常小，導(dǎo)致受試者很難進(jìn)行區(qū)分。為了解決這個(gè)問(wèn)題，本文提出了一種基于輸出聲音響度來(lái)辨別垂直方向的方法。FIR 濾波器組的響度因子kL的表達(dá)式為：

其中，α 是仰角編號(hào)為0 時(shí)的響度因子；β 是仰角編號(hào)的總數(shù)，這里取值為25。在進(jìn)行系統(tǒng)測(cè)試時(shí)發(fā)現(xiàn)，當(dāng)α大于4 或小于2 時(shí)，系統(tǒng)的虛擬聽(tīng)覺(jué)效果都會(huì)變差，因此本文選擇將α 設(shè)為3。將FIR 濾波器的系統(tǒng)差分方程y(n)乘以kL，得到修訂后的系統(tǒng)差分方程y′(n)。

其中，x(n)是濾波器輸入數(shù)據(jù)，h(k)是濾波器系數(shù)，N 是濾波器抽頭數(shù)。

對(duì)于垂直方向而言，其方位角是相同的（θ=0°），只有仰角存在差異；當(dāng)仰角編號(hào)從0 增大到24 時(shí)，表示聲源方位逐漸由下方移動(dòng)到前方，再經(jīng)過(guò)上方和后方，最后回到下方[6]。與此同時(shí)，響度因子kL會(huì)變得越來(lái)越小，導(dǎo)致耳機(jī)輸出聲音的響度同樣也會(huì)變小。因此，不同垂直方向的輸出聲音響度是不同的，受試者可以根據(jù)輸出聲音響度來(lái)區(qū)分不同的垂直方向，從而有效提高系統(tǒng)的垂直方向正確率。

3.2 系統(tǒng)的總體架構(gòu)

虛擬聽(tīng)覺(jué)系統(tǒng)的總體架構(gòu)如圖2 所示，主要可分為上位機(jī)端和FPGA 端兩部分。上位機(jī)通過(guò)通用異步收發(fā)傳輸器（Universal Asynchronous Receiver/Transmitter，UART）串口與FPGA 進(jìn)行通信，在它上面有1 個(gè)用QT 開(kāi)發(fā)的上位機(jī)軟件。這個(gè)上位機(jī)軟件主要用于產(chǎn)生由仰角編號(hào)與方位角編號(hào)組成的定位信號(hào)，以及將所有的濾波器系數(shù)從上位機(jī)端發(fā)送到FPGA 端。FPGA 端主要包含F(xiàn)IR 濾波器組、系數(shù)更新器、UART 接口和音頻編解碼器驅(qū)動(dòng)等模塊。其中FIR濾波器組由兩個(gè)FIR 濾波器組成，用于輸入音頻信號(hào)進(jìn)行濾波處理；而系數(shù)更新器則是定位信號(hào)的處理單元，用于對(duì)FIR 濾波器組的系數(shù)和響度因子進(jìn)行更新。

圖2 虛擬聽(tīng)覺(jué)系統(tǒng)的總體架構(gòu)

在系統(tǒng)進(jìn)行初始化前，需要先使用上位機(jī)軟件將所有的系數(shù)數(shù)據(jù)通過(guò)UART 串口發(fā)送到FPGA 端，并預(yù)先存儲(chǔ)到一個(gè)512 kB 的SRAM 中。當(dāng)上位機(jī)軟件發(fā)出新的定位信號(hào)時(shí)，系數(shù)更新器會(huì)執(zhí)行兩個(gè)操作：一是根據(jù)仰角信號(hào)更新FIR 濾波器組的響度因子，以調(diào)節(jié)耳機(jī)輸出聲音的響度；二是根據(jù)定位信號(hào)對(duì)SRAM進(jìn)行尋址，從SRAM 中讀取出所需的系數(shù)數(shù)據(jù)，并用這些系數(shù)數(shù)據(jù)對(duì)FIR 濾波器組的系數(shù)進(jìn)行更新。由于濾波器的傳輸函數(shù)與濾波器系數(shù)相對(duì)應(yīng)，因此更新濾波器組的系數(shù)就能夠更改定位方向。

系統(tǒng)正常工作時(shí)，由手機(jī)或PC 等音頻播放設(shè)備產(chǎn)生的模擬音頻信號(hào)（輸入音頻流）會(huì)通過(guò)3.5 mm 音頻線傳輸?shù)紽PGA 端。FPGA 端的音頻ADC 會(huì)將輸入音頻流轉(zhuǎn)換為數(shù)字音頻信號(hào)，再通過(guò)FIR 濾波器組完成濾波處理。音頻DAC 會(huì)將FIR 濾波器組的輸出還原為模擬音頻信號(hào)（即輸出音頻流），并用耳機(jī)進(jìn)行重放。一般來(lái)說(shuō)，系統(tǒng)的輸入音頻流是單聲道音頻信號(hào)，即左右聲道信號(hào)完全一樣的音頻信號(hào)。在經(jīng)過(guò)濾波處理后，輸出音頻流的左右聲道信號(hào)會(huì)產(chǎn)生差異，受試者可以根據(jù)這種差異來(lái)辨別聲源方向[9]。

3.3 FIR 濾波器設(shè)計(jì)

FIR 濾波器的濾波功能是通過(guò)一系列乘法運(yùn)算和加法運(yùn)算來(lái)實(shí)現(xiàn)的，因此可以用乘累加器（Multiply Accumulator，MAC）來(lái)實(shí)現(xiàn)FIR 濾波器。如果FIR 濾波器采用傳統(tǒng)的直接型結(jié)構(gòu)，要實(shí)現(xiàn)199 階的FIR 濾波器需要200 個(gè)MAC，這將占用過(guò)多的乘法器資源。為了減少濾波器的乘法器資源消耗，此處將FIR 濾波器改進(jìn)為折疊型結(jié)構(gòu)。改進(jìn)后的FIR 濾波器采用一個(gè)數(shù)據(jù)RAM 來(lái)緩存最新的200 個(gè)輸入音頻數(shù)據(jù)，通過(guò)對(duì)MAC 進(jìn)行時(shí)分復(fù)用，只使用1 個(gè)MAC 來(lái)完成200 次乘累加運(yùn)算。折疊型FIR 濾波器的結(jié)構(gòu)如圖3 所示，主要由FIR 控制器、數(shù)據(jù)RAM、MAC、響度因子乘法器和系數(shù)交替緩沖器組成。其中，F(xiàn)IR 控制器是濾波器的控制單元，它采用滑動(dòng)對(duì)齊機(jī)制來(lái)實(shí)現(xiàn)系數(shù)數(shù)據(jù)與音頻數(shù)據(jù)的對(duì)齊。數(shù)據(jù)RAM 是一個(gè)深度為200 位、位寬為16 位的RAM，最多可以存儲(chǔ)200 個(gè)音頻數(shù)據(jù)。MAC 是濾波器的運(yùn)算單元，用于完成系數(shù)數(shù)據(jù)與音頻數(shù)據(jù)的乘累加運(yùn)算。響度因子乘法器是1 個(gè)16 位的乘法器，用于完成MAC 輸出結(jié)果與響度因子的乘法運(yùn)算。系數(shù)交替緩沖器主要由2 個(gè)系數(shù)RAM 組成，用于對(duì)系數(shù)數(shù)據(jù)進(jìn)行交替緩存。這兩個(gè)系數(shù)RAM 都是深度為200 位、位寬為16 位的RAM，最多可以存儲(chǔ)200 個(gè)系數(shù)數(shù)據(jù)。當(dāng)系數(shù)更新器對(duì)FIR 濾波器的系數(shù)進(jìn)行更新操作時(shí)，它會(huì)先將新的系數(shù)數(shù)據(jù)寫(xiě)入空閑的系數(shù)RAM；然后在系數(shù)寫(xiě)入操作完成后，再讓FIR 控制器讀取空閑的系數(shù)RAM。

圖3 折疊型FIR 濾波器的結(jié)構(gòu)

3.4 滑動(dòng)對(duì)齊機(jī)制

FIR 濾波器采用滑動(dòng)對(duì)齊機(jī)制來(lái)實(shí)現(xiàn)系數(shù)數(shù)據(jù)與音頻數(shù)據(jù)的對(duì)齊。在FIR 控制器中有兩個(gè)計(jì)數(shù)器，分別為計(jì)數(shù)器0 和計(jì)數(shù)器1。計(jì)數(shù)器0 用于產(chǎn)生數(shù)據(jù)RAM 的寫(xiě)地址，而計(jì)數(shù)器1 則用于產(chǎn)生數(shù)據(jù)RAM 和系數(shù)RAM 的讀地址。圖4 為滑動(dòng)對(duì)齊機(jī)制的示意圖，此處假設(shè)FIR 濾波器正在進(jìn)行第i 次濾波處理，而j是i 除以200 的余數(shù)。

圖4 滑動(dòng)對(duì)齊機(jī)制

在最開(kāi)始，濾波器會(huì)先將最新的1 個(gè)音頻數(shù)據(jù)寫(xiě)入到數(shù)據(jù)RAM 的地址j 處，替換掉數(shù)據(jù)RAM 中最舊的那個(gè)音頻數(shù)據(jù)。然后，濾波器會(huì)讓數(shù)據(jù)RAM 的讀地址指針指向地址j+1 處，并讓系數(shù)RAM 的讀地址指針指向地址1 處，以實(shí)現(xiàn)系數(shù)數(shù)據(jù)與音頻數(shù)據(jù)的對(duì)齊。在這種對(duì)齊機(jī)制下，系數(shù)RAM 的讀起始地址是不變的，而數(shù)據(jù)RAM 的讀起始地址會(huì)不斷往右滑動(dòng)，因此這種對(duì)齊機(jī)制被形象地稱(chēng)為“滑動(dòng)對(duì)齊機(jī)制”。

接著，濾波器會(huì)讓數(shù)據(jù)RAM 和系數(shù)RAM 的讀地址指針一起逐漸右移，從數(shù)據(jù)RAM 和系數(shù)RAM 中逐對(duì)地讀出音頻數(shù)據(jù)和系數(shù)數(shù)據(jù)，并進(jìn)行乘累加運(yùn)算。當(dāng)兩個(gè)讀地址指針到達(dá)數(shù)據(jù)RAM 或系數(shù)RAM 的最右側(cè)時(shí)，都會(huì)以環(huán)形方式繞回到它們的最左側(cè)。FIR 濾波器每完成一次濾波處理，都需要進(jìn)行200 次這樣的乘累加運(yùn)算，最后可以得到1 個(gè)新的16 位輸出數(shù)據(jù)。

4 FPGA 上板驗(yàn)證

在進(jìn)行FPGA 上板驗(yàn)證時(shí)，本文選用的FPGA 器件是Altera Cyclone II EP2C35F672C6N。為了測(cè)試虛擬聽(tīng)覺(jué)系統(tǒng)的性能，本文選取了10 位受試者來(lái)進(jìn)行主觀聽(tīng)音實(shí)驗(yàn)。在主觀聽(tīng)音實(shí)驗(yàn)中，受試者們需要對(duì)來(lái)自10 個(gè)不同方向的聲音進(jìn)行方位辨別。這10 個(gè)方向可以分為水平方向和垂直方向兩類(lèi)，其（θ,φ）坐標(biāo)分別為（－80°,0°）、（80°,0°）、（－45°,0°）、（45°,0°）、（－45°,180°）、（45°,180°）、（0°,0°）、（0°,180°）、（0°,90°）、（0°,－45°）。在進(jìn)行實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)時(shí)，平均正確率為：

其中，AH是水平方向正確率，AV是垂直方向正確率。

實(shí)驗(yàn)在一個(gè)相對(duì)安靜的房間里進(jìn)行，每位受試者需要參與20 次測(cè)試，每個(gè)方向的聲音都會(huì)出現(xiàn)2 次，但出現(xiàn)的順序是隨機(jī)的。在一次測(cè)試中，受試者需要戴上頭戴式耳機(jī)，聽(tīng)一段時(shí)長(zhǎng)為5 s 的音樂(lè)片段，然后在紙上記下自己感覺(jué)到的聲源方向。為避免測(cè)試選用的音樂(lè)片段對(duì)測(cè)試結(jié)果產(chǎn)生影響，整個(gè)實(shí)驗(yàn)都采用同一段單聲道的純音樂(lè)片段來(lái)作為原始音頻。在實(shí)驗(yàn)開(kāi)始前，受試者們需要先對(duì)原始音頻進(jìn)行試聽(tīng)，以確保原始音頻本身沒(méi)有方向感，并在不知道聲源方位的情況下試聽(tīng)一組測(cè)試音頻，以熟悉聲音的方位感。

經(jīng)過(guò)實(shí)驗(yàn)和數(shù)據(jù)統(tǒng)計(jì)，表1 給出了不同系統(tǒng)的關(guān)鍵參數(shù)。本設(shè)計(jì)在主觀聽(tīng)音實(shí)驗(yàn)中取得了78.8%的垂直方向正確率和76.9%的平均正確率，均高于文獻(xiàn)[2,4]的正確率。這主要得益于本設(shè)計(jì)采用了基于輸出聲音響度來(lái)辨別垂直方向的方法，有效地解決了系統(tǒng)垂直方向正確率低的問(wèn)題。此外，本設(shè)計(jì)的乘法器使用量?jī)H為4個(gè)，相比于文獻(xiàn)[2]減小了93.75%，相比于文獻(xiàn)[4]減小了50%。這主要得益于本設(shè)計(jì)采用了折疊型FIR 濾波器作為系統(tǒng)的核心數(shù)據(jù)處理單元，同時(shí)減小了濾波器組的通道數(shù)。

表1 不同系統(tǒng)的關(guān)鍵參數(shù)

值得注意的是，文獻(xiàn)[4]沒(méi)有直接給出虛擬聽(tīng)覺(jué)系統(tǒng)的3 種正確率，而只給出了對(duì)應(yīng)的角度誤差平均值和標(biāo)準(zhǔn)差，但這兩者之間存在著某種轉(zhuǎn)換關(guān)系[10]。本文采用逐步回歸分析方法來(lái)獲取轉(zhuǎn)換公式，在對(duì)本文的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行逐步回歸分析后，得到的轉(zhuǎn)換公式為：

其中，AF是某種正確率，EM是角度誤差平均值，ESD是角度誤差標(biāo)準(zhǔn)差。文獻(xiàn)[4]一共進(jìn)行了3 項(xiàng)測(cè)試，由測(cè)試2 和測(cè)試3 的結(jié)果可以分別計(jì)算出水平方向正確率和平均正確率，垂直方向正確率則可通過(guò)式（4）求得。

5 結(jié)論

本文構(gòu)建了一個(gè)基于FPGA 的虛擬聽(tīng)覺(jué)系統(tǒng)，該系統(tǒng)很好地實(shí)現(xiàn)了虛擬聽(tīng)覺(jué)功能，并具有以下兩個(gè)優(yōu)點(diǎn)：一是通過(guò)把FIR 濾波器改進(jìn)為折疊結(jié)構(gòu)以及減小濾波器組的通道數(shù)，進(jìn)一步減少了乘法器資源消耗；二是提出了一種基于輸出聲音響度來(lái)辨別垂直方向的方法，有效提高了系統(tǒng)的平均正確率。FPGA 上板驗(yàn)證結(jié)果表明，該系統(tǒng)將乘法器的使用量減少到了4 個(gè)，并在主觀聽(tīng)音實(shí)驗(yàn)中取得了76.9%的平均正確率。由于只用很少的硬件資源就能實(shí)現(xiàn)該系統(tǒng)，在后續(xù)工作中可以考慮將該系統(tǒng)定制為一個(gè)小型化的芯片，并將其制作成一個(gè)電池供電的便攜式設(shè)備。