孫浩鵬

(1.長(zhǎng)春工程學(xué)院；2.長(zhǎng)白山歷史文化與VR技術(shù)重構(gòu)吉林省重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)春130012)

0 前言

在當(dāng)前商業(yè)行為中，廣告和信息發(fā)布一直是提高客流量和增加商品知名度的常用方法，在室外廣告手段上最具有性?xún)r(jià)比的當(dāng)屬LED大屏廣告系統(tǒng)。為增加傳播過(guò)程中的信息關(guān)注度和獲得受眾接受廣告信息的反饋，在LED大屏廣告系統(tǒng)中添加交互行為是至關(guān)重要的。現(xiàn)行的體感交互技術(shù)一般是利用微軟的Kinect體感交互或者紅外傳感器制作的觸摸框等來(lái)實(shí)現(xiàn)的。Kinect是利用RGB、激光、紅外多種攝像機(jī)進(jìn)行混合拍攝，獲得交互者的輪廓和位置深度等信息，從而分析交互者的骨架運(yùn)動(dòng)數(shù)據(jù)來(lái)進(jìn)行交互的。紅外觸摸框安裝在LED屏幕表面外側(cè)，利用人體紅外傳感信息的數(shù)據(jù)進(jìn)行分析，產(chǎn)生的實(shí)際動(dòng)作模擬鼠標(biāo)輸入，可以實(shí)現(xiàn)點(diǎn)擊、翻頁(yè)和滑動(dòng)等多種動(dòng)作。目前，國(guó)外也有利用雷達(dá)進(jìn)行數(shù)據(jù)采集進(jìn)而實(shí)現(xiàn)交互的，但技術(shù)相對(duì)不成熟還未商用。

廣告戶(hù)外大屏的交互一般都存在流動(dòng)性和不確定性，不能在隨機(jī)流動(dòng)的用戶(hù)與大屏交互前指定用戶(hù)的位置，也無(wú)法提前訓(xùn)練其動(dòng)作或手勢(shì)。在屏幕沒(méi)有正對(duì)交互者或者交互人員較多時(shí)，Kinect就無(wú)法使用了。同時(shí)由于戶(hù)外大屏無(wú)法避免灰塵，也不適合利用紅外觸摸技術(shù)。本文提出利用多種類(lèi)型傳感器進(jìn)行搭配，建立合理的傳感器矩陣，以實(shí)現(xiàn)戶(hù)外LED大屏的流動(dòng)性交互。這種方法是利用虛擬現(xiàn)實(shí)和物聯(lián)網(wǎng)技術(shù)對(duì)廣告LED大屏的一種嘗試。因?yàn)長(zhǎng)ED大屏均為模塊化，擬在各個(gè)LED模塊安裝的接縫處添加紅外傳感器或激光傳感器進(jìn)行數(shù)據(jù)采集和檢測(cè)，實(shí)現(xiàn)距離LED大屏幕最近人員的動(dòng)作檢測(cè)，例如隨機(jī)揮手或者在LED屏幕前來(lái)回走動(dòng)等。同時(shí)，利用其他傳感器進(jìn)行人員的位置移動(dòng)檢測(cè)，以實(shí)現(xiàn)其他意圖的交互行為。

1 多種傳感器構(gòu)建傳感器陣列

單一傳感器無(wú)法滿(mǎn)足隨機(jī)流動(dòng)性的交互要求，只有多種傳感器組合才可以滿(mǎn)足交互的任意性。在分布上，如果多種傳感器隨機(jī)分布會(huì)造成布線(xiàn)、信號(hào)等各方面的困擾，最佳方法是將傳感器分類(lèi)后建立傳感器矩陣。傳感器矩陣指將一組同類(lèi)的傳感器按照設(shè)計(jì)的幾何圖案進(jìn)行部署，用于收集各種傳感器采集的信號(hào)，其優(yōu)點(diǎn)是可增加信號(hào)源的維度和擴(kuò)大信號(hào)輻射角度等。這里所說(shuō)的幾何圖案目前常用的有矩形、六角形、三角形等。為實(shí)現(xiàn)大量無(wú)規(guī)律人流和LED大屏內(nèi)容的交互，設(shè)計(jì)了兩種結(jié)構(gòu)模式：第一種是將紅外線(xiàn)傳感器按正方形頂點(diǎn)擺放和激光傳感器按照正方形相鄰擺放，主要間距是參考各LED屏幕的尺寸，傳感器設(shè)置于LED屏幕的四角接縫處，優(yōu)點(diǎn)是對(duì)LED屏幕破壞小，LED拼接本身就有縫隙，在縫隙處對(duì)LED拼接框架打孔即可。第二種是將激光傳感器按正六邊形進(jìn)行擺放，中心點(diǎn)擺放紅外線(xiàn)傳感器。運(yùn)用時(shí)先關(guān)閉激光傳感器，當(dāng)六邊形中間的紅外傳感器激活時(shí)才開(kāi)啟周邊的激光傳感器，由于紅外傳感器的發(fā)射和接受角度較大，可以很容易地判斷出是否有人體經(jīng)過(guò)相關(guān)區(qū)域，在平時(shí)可大大減少激光傳感器的數(shù)據(jù)數(shù)量，其缺點(diǎn)是需要在LED屏幕中間打孔，破環(huán)LED燈珠。具體采取方式應(yīng)根據(jù)其顯示內(nèi)容、交互需求、數(shù)據(jù)量多少等條件具體分析。

2 數(shù)據(jù)采集方式的確定

多種傳感器的數(shù)據(jù)采集一般有集中式和分布式兩種。集中式數(shù)據(jù)采集設(shè)計(jì)簡(jiǎn)單，一般通過(guò)有線(xiàn)方式連接各傳感器，所有數(shù)據(jù)線(xiàn)最后匯聚在某個(gè)節(jié)點(diǎn)統(tǒng)一采集數(shù)據(jù)，干擾少、穩(wěn)定性高，但是對(duì)主機(jī)和網(wǎng)絡(luò)負(fù)載要求高。分布式數(shù)據(jù)采集主要面向多地點(diǎn)、多種類(lèi)的情況，每個(gè)地點(diǎn)都要有單片機(jī)和通信模塊，其通信模塊主要考慮各點(diǎn)間數(shù)據(jù)同步和干擾等，優(yōu)點(diǎn)是便于橫向擴(kuò)展。

對(duì)于單一化的LED大屏，在內(nèi)容和地點(diǎn)上不要求頻繁變化，應(yīng)采用集中式數(shù)據(jù)采集，通過(guò)有線(xiàn)方式將各個(gè)傳感器按區(qū)域或者按類(lèi)型分組并連，每組均可關(guān)閉和打開(kāi)，其匯聚節(jié)點(diǎn)可直接為主機(jī)。

對(duì)于連鎖商家的多地點(diǎn)的LED大屏，如果想實(shí)現(xiàn)交互并聯(lián)(多地點(diǎn)一起交互)，應(yīng)采用分布式采集，將單個(gè)集中式采集匯聚點(diǎn)聯(lián)機(jī)至通信模塊，將數(shù)據(jù)通過(guò)云計(jì)算方式進(jìn)行分析。

3 數(shù)據(jù)獲取后的融合和優(yōu)化

由于數(shù)據(jù)獲取在虛擬現(xiàn)實(shí)系統(tǒng)中是按幀采集的，例如UNITY3D中在不指定采集速率的情況下每秒采集25幀(次)，對(duì)多個(gè)傳感器的采集數(shù)據(jù)來(lái)說(shuō)數(shù)據(jù)量就相當(dāng)可觀了，如果每個(gè)傳感器的數(shù)據(jù)都直接傳回虛擬現(xiàn)實(shí)系統(tǒng)會(huì)造成數(shù)據(jù)冗余。同時(shí)，利用各個(gè)激光傳感器對(duì)同一個(gè)目標(biāo)采集信息也會(huì)減少系統(tǒng)的誤差，增大精度和準(zhǔn)確度，所以在虛擬現(xiàn)實(shí)平臺(tái)進(jìn)行交互前實(shí)現(xiàn)數(shù)據(jù)融合是非常必要的。數(shù)據(jù)融合最初是美國(guó)國(guó)防部的項(xiàng)目[1]，數(shù)據(jù)融合一般分為數(shù)據(jù)、特征、決策這3個(gè)層次融合[2]，本文只討論數(shù)據(jù)融合。數(shù)據(jù)融合方法有嵌入約束、證據(jù)組合、人工神經(jīng)網(wǎng)絡(luò)等。各種方法的最后結(jié)果均統(tǒng)一處理并得出結(jié)果，虛擬現(xiàn)實(shí)系統(tǒng)將根據(jù)這個(gè)結(jié)果進(jìn)行交互判斷。由于傳感器的分布和整體物理規(guī)律已經(jīng)確定，所以主要討論嵌入約束法，其常用算法有貝葉斯估算和卡爾曼濾波。

3.1 貝葉斯估算

貝葉斯理論是統(tǒng)計(jì)決策理論的重要分支，貝葉斯提出在先驗(yàn)概率和條件概率密度都已知的情況下，可以利用公式計(jì)算出后驗(yàn)概率，進(jìn)而可以利用后驗(yàn)概率的值做決策[3]。貝葉斯估算法要求系統(tǒng)的各種決策都是獨(dú)立的，一般把決策當(dāng)作樣本空間，在傳感器數(shù)據(jù)融合過(guò)程中可以先將某些傳感器的噪聲分析一次，將其作為某種條件，再按照概率原則，把后驗(yàn)概率當(dāng)作測(cè)量結(jié)果的不確定性，這樣就可以很容易地將所有后驗(yàn)概率在一定范圍內(nèi)的測(cè)量結(jié)果當(dāng)作不確定或者干擾結(jié)果，進(jìn)而進(jìn)行過(guò)濾。

3.2 卡爾曼濾波法

卡爾曼(Kalman)濾波法[4]主要用檢測(cè)傳感器過(guò)程中的統(tǒng)計(jì)特征來(lái)做數(shù)據(jù)融合，實(shí)質(zhì)是利用統(tǒng)計(jì)結(jié)果的遞推來(lái)確定數(shù)據(jù)是否是最優(yōu)數(shù)據(jù)，從而去除流動(dòng)交互條件下的傳感器冗余數(shù)據(jù)，利用遞歸算法對(duì)數(shù)據(jù)存儲(chǔ)空間要求較高，如果存儲(chǔ)空間足夠，該算法具有最優(yōu)化、防發(fā)散等優(yōu)點(diǎn)。目前，Kalman按數(shù)據(jù)處理方法可分為分散濾波(DKF)和擴(kuò)展濾波(EKF)兩種。DKF可實(shí)現(xiàn)多傳感器數(shù)據(jù)融合的全部分散化，這樣即使某個(gè)傳感器失效也不影響整個(gè)系統(tǒng)的穩(wěn)定性。EKF則可克服數(shù)據(jù)采集的不穩(wěn)定性和減少系統(tǒng)線(xiàn)型程度的誤差對(duì)融合過(guò)程產(chǎn)生的影響。

通過(guò)對(duì)比，在虛擬交互的過(guò)程中應(yīng)該采用Kalman方法進(jìn)行數(shù)據(jù)融合，由于LED大屏的交互要求的精確性，所以其傳感器的感應(yīng)區(qū)域必須有重疊，導(dǎo)致數(shù)據(jù)的冗余，那么如何將冗余數(shù)據(jù)剔除就是數(shù)據(jù)融合技術(shù)的研究?jī)?nèi)容。目前，數(shù)據(jù)融合主要考慮通信能力、計(jì)算資源和整個(gè)傳感器的整體穩(wěn)定性。比較經(jīng)典的算法是k-means[5-6]。k-means算法先將所有的對(duì)象假設(shè)為n個(gè)，從這n個(gè)傳感器中隨機(jī)選k個(gè)傳感器作為聚類(lèi)的中心點(diǎn)，再根據(jù)和這k個(gè)傳感器的關(guān)系(即相關(guān)程度)，將其他所有傳感器分配給相同關(guān)系或者類(lèi)似關(guān)系的中心，并把這個(gè)分配單元叫做簇，計(jì)算每個(gè)簇的傳感器數(shù)值的平均值。將這個(gè)方法不斷重復(fù)，當(dāng)標(biāo)準(zhǔn)測(cè)量函數(shù)開(kāi)始收斂則證明這個(gè)分類(lèi)有效，得到的每一個(gè)聚類(lèi)(簇)也就代表一個(gè)合格的分組。其算法概率模型設(shè)計(jì)如下，假設(shè)空間樣本的條件概率模型如式(1)：

p(x|θ)=∑j=1∶kP(Cj)pj(x|θ2，Cj)，

(1)

式中：θ=(θ1，θ2，…，θk)為等待估計(jì)參數(shù)向量，參數(shù)θj未知；p(x|θ2，Cj)是分量密度，意思為簇類(lèi)型為j的概率密度；先驗(yàn)概率函數(shù)P(Cj)為混合計(jì)算因子。

當(dāng)傳感器數(shù)據(jù)獲得后，假設(shè)每個(gè)簇的概率密度函數(shù)都是滿(mǎn)足高斯分布的θj=(μj，∑)，并且每個(gè)傳感器都屬于唯一的一個(gè)簇，那么此時(shí)可以將式(1)簡(jiǎn)化為式(2)：

(2)

上述函數(shù)可通過(guò)最大似然法則求解，假設(shè)觀察樣本為X=(x1，…xn)，對(duì)應(yīng)的似然函數(shù)為式(3)：

(3)

通過(guò)對(duì)式(3)該似然函數(shù)的最大化，即可得到k-means的誤差平方和準(zhǔn)則函數(shù)，該函數(shù)為所有節(jié)點(diǎn)對(duì)象的誤差平方的綜合：

(4)

式中：p代表給定的傳感器；mi是分簇Ci的平均數(shù)據(jù)。

再對(duì)式(4)進(jìn)行計(jì)算，可以得出各符合高斯分布的傳感器數(shù)據(jù)平均值及對(duì)應(yīng)的協(xié)方差矩陣如式(5)：

(5)

該算法對(duì)于分類(lèi)形狀相似的簇效果最好，如果簇的數(shù)量較大且處理效果也很高，其復(fù)雜度與總體數(shù)量，簇的數(shù)量有關(guān)。一般來(lái)說(shuō)簇的數(shù)量要小于總傳感器數(shù)量，此時(shí)可以保證數(shù)據(jù)快速收斂到局部最優(yōu)解，初始節(jié)點(diǎn)的選擇會(huì)對(duì)結(jié)果有巨大影響，通過(guò)式(4)可以看出任意一個(gè)傳感器的準(zhǔn)則函數(shù)都會(huì)對(duì)結(jié)果產(chǎn)生決定性的影響，所以準(zhǔn)則函數(shù)的確定是式(5)準(zhǔn)確的前提條件。

通過(guò)測(cè)試發(fā)現(xiàn)，式(5)計(jì)算出的數(shù)據(jù)與真實(shí)情況有較大的誤差，這是因?yàn)樵谌梭w交互行為過(guò)程中的數(shù)據(jù)屬于典型的非線(xiàn)性數(shù)據(jù)，所以在理論上沒(méi)有完美的準(zhǔn)則函數(shù)可以適應(yīng)非線(xiàn)性條件下的計(jì)算。對(duì)當(dāng)前激光傳感器的數(shù)據(jù)采集，主要需要采集人體經(jīng)過(guò)某傳感器整體或者肢體在設(shè)定時(shí)間內(nèi)沒(méi)有進(jìn)行擴(kuò)散的數(shù)據(jù)，如果擴(kuò)散則證明人體或肢體有移動(dòng)的可能，由于人體移動(dòng)的規(guī)律性，必然是強(qiáng)調(diào)對(duì)相鄰傳感器數(shù)據(jù)的變化監(jiān)控。

對(duì)式(4)構(gòu)造一個(gè)增量函數(shù)，由于傳感器物理排列為統(tǒng)一形態(tài)，以六邊形為例，如果分簇后將相關(guān)簇的中心定義為周邊6個(gè)激光傳感器的數(shù)據(jù)中心，再將此中心的值與紅外線(xiàn)傳感器對(duì)比，即可得知是否有增量，所以中心數(shù)據(jù)如式(6)：

(6)

式中：C為中心；Ci為相同簇的傳感器的數(shù)據(jù)；ni為具有同樣中心數(shù)據(jù)的簇。

增量函數(shù)根據(jù)需求定義如式(7)：

(7)

式中Ci和ni都隨著簇的變化而變化，這個(gè)增量函數(shù)可以很容易判斷出周邊簇的變化類(lèi)別，確定唯一的增量值向量。將式(7)與式(4)相乘，得出的公式即為帶有增量函數(shù)的準(zhǔn)則函數(shù)，這樣可以大大減少計(jì)算量，當(dāng)增量函數(shù)小于給出的范圍時(shí)，則跳過(guò)該簇的誤差平方和計(jì)算，提高了運(yùn)算速度。當(dāng)增量函數(shù)大于給出的范圍時(shí)，則計(jì)算該點(diǎn)相鄰簇的中心值，可以很容易判斷出人體或者肢體的運(yùn)動(dòng)方向。

4 算法評(píng)價(jià)和實(shí)驗(yàn)分析

在數(shù)據(jù)融合后，需要建立一套評(píng)價(jià)方法來(lái)評(píng)估數(shù)據(jù)融合的改進(jìn)算法和傳統(tǒng)算法的優(yōu)劣，從而可以客觀有效地選擇各種情況對(duì)應(yīng)的算法。由于本文面向的是體感交互，所以考核評(píng)價(jià)的目標(biāo)應(yīng)該從數(shù)據(jù)融合速度、人體動(dòng)作的反應(yīng)完整度兩個(gè)方面來(lái)綜合評(píng)價(jià)。

其中數(shù)據(jù)融合速度主要測(cè)試簇運(yùn)算的速度，雖然增量函數(shù)的判斷減少了簇的計(jì)算數(shù)量，但增量函數(shù)的計(jì)算又增加了新的計(jì)算時(shí)間，對(duì)此，數(shù)據(jù)的測(cè)試是非常必要的。人體動(dòng)作的反應(yīng)完整度主要檢測(cè)數(shù)據(jù)融合過(guò)程中對(duì)人體邊界的破壞程度，如果融合過(guò)程對(duì)人體邊界和動(dòng)作完整度破壞較高就失去了融合的意義。由于數(shù)據(jù)均來(lái)自傳感器信號(hào)，本文將之定義為漏信率。漏信率主要測(cè)試方法判別融合后的簇是否包含人體數(shù)據(jù)，其百分比定義如式(8)：

(8)

式中ρlx為判斷信號(hào)丟失概率，如式(9)：

(9)

式中Len代表數(shù)據(jù)單幀的總長(zhǎng)度，可以判斷出實(shí)際的數(shù)據(jù)融合后取舍的數(shù)據(jù)比率。此處要特殊說(shuō)明的是該數(shù)據(jù)應(yīng)該考慮傳感器的波特率和計(jì)算機(jī)接收的數(shù)據(jù)量，如果數(shù)據(jù)量不足，即使沒(méi)有數(shù)據(jù)融合，數(shù)據(jù)幀丟失的數(shù)據(jù)也不在上述公式計(jì)算之內(nèi)。

為了更好地對(duì)比和評(píng)價(jià)，本文將紅外線(xiàn)傳感器、激光傳感器、面陣固態(tài)激光雷達(dá)傳感器和超聲波傳感器的數(shù)據(jù)運(yùn)用傳統(tǒng)k-means算法和帶有增量函數(shù)的算法進(jìn)行了計(jì)算，計(jì)算速度見(jiàn)表1，漏信率詳細(xì)數(shù)據(jù)見(jiàn)表2。

表1 數(shù)據(jù)融合計(jì)算速度實(shí)驗(yàn)結(jié)果

表2 數(shù)據(jù)融合漏信率實(shí)驗(yàn)結(jié)果

通過(guò)測(cè)試表明，增加了增量函數(shù)的數(shù)據(jù)融合方法對(duì)紅外線(xiàn)傳感器和激光傳感器數(shù)據(jù)計(jì)算速度提高很小，對(duì)超聲波傳感器和面陣激光雷達(dá)的速度增加明顯，在漏信率方面，帶增量函數(shù)的算法對(duì)超聲波傳感器影響較大。綜合比較，本文提出的算法比較適合利用面陣激光雷達(dá)進(jìn)行數(shù)據(jù)的融合。

虛擬現(xiàn)實(shí)內(nèi)容要完成適合的交互，必須對(duì)人的意圖進(jìn)行預(yù)測(cè)[7]，從傳感器得到的數(shù)據(jù)不論怎樣計(jì)算，對(duì)計(jì)算機(jī)而言都是模糊的，是否能依據(jù)這些模糊數(shù)據(jù)理解用戶(hù)交互，虛擬現(xiàn)實(shí)內(nèi)容是否能及時(shí)響應(yīng)用戶(hù)都是目前研究的內(nèi)容。其主要方法仍然是通過(guò)知識(shí)庫(kù)和交互式學(xué)習(xí)，其理論在1986年由Kautz等[8]提出，目前常用的算法都關(guān)注于智能體在行動(dòng)的感知方面，如隱馬爾可夫模型、動(dòng)態(tài)貝葉斯、混合高斯等。

5 結(jié)語(yǔ)

目前，視覺(jué)識(shí)別和傳感器識(shí)別都是虛擬現(xiàn)實(shí)領(lǐng)域的重點(diǎn)發(fā)展方向，在非指定條件下的流動(dòng)交互還有很多問(wèn)題要解決，本文所提出的激光傳感器矩陣雖然實(shí)現(xiàn)了戶(hù)外交互，但在數(shù)據(jù)獲取的數(shù)據(jù)融合速度與響應(yīng)時(shí)間、互相覆蓋范圍的傳感器冗余濾波、交互行為知識(shí)庫(kù)、受眾反饋獲取、偏差是否可以自動(dòng)校正等方面還有很多內(nèi)容要實(shí)現(xiàn)。

未來(lái)主要研究如何融合多種感知手段，減少不同模態(tài)感知手段在距離上、特性上的差異，對(duì)多種感知手段得到的信息進(jìn)行融合，對(duì)多種傳感器進(jìn)行匹配，建立相應(yīng)的傳感器矩陣，從而提升虛擬現(xiàn)實(shí)內(nèi)容對(duì)外界的感知能力。將虛擬現(xiàn)實(shí)技術(shù)、智能感知技術(shù)與體感交互相結(jié)合，改變虛擬或增強(qiáng)現(xiàn)實(shí)內(nèi)容與使用者的交互模式。對(duì)傳感器采集得到的體感交互類(lèi)信息和環(huán)境信息進(jìn)行有效的分析，獲得人體的生理、行為、情緒等信息，挖掘體感交互信息內(nèi)在特征，通過(guò)自動(dòng)分類(lèi)，將體感行為作為屬性建立意圖層面的類(lèi)別，通過(guò)對(duì)交互意圖的大量學(xué)習(xí)，實(shí)現(xiàn)通過(guò)建立的交互類(lèi)別理解虛擬現(xiàn)實(shí)內(nèi)容，從而做出不同反應(yīng)，并實(shí)現(xiàn)根據(jù)交互方法與尺度的不同展現(xiàn)虛擬現(xiàn)實(shí)內(nèi)容不同的形態(tài)，使得虛擬或增強(qiáng)現(xiàn)實(shí)內(nèi)容具有智能體的特性，讓受眾在交互過(guò)程中從接受者、控制者進(jìn)化為環(huán)境融入者。