嚴(yán)一鳴，郭 星

(1.安徽師范大學(xué)皖江學(xué)院 電子工程系，安徽 蕪湖 241000; 2.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230031)

基于計(jì)算機(jī)視覺(jué)的交互式電子沙盤(pán)系統(tǒng)研究

嚴(yán)一鳴1，郭 星2

(1.安徽師范大學(xué)皖江學(xué)院 電子工程系，安徽 蕪湖 241000; 2.安徽大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，安徽 合肥 230031)

傳統(tǒng)的沙盤(pán)模型只是單純的模型展示。隨著社會(huì)的發(fā)展，交互性是影響沙盤(pán)性能的一個(gè)非常重要的標(biāo)準(zhǔn)。交互性越高，講解人員與沙盤(pán)的互動(dòng)性就越強(qiáng)，講解效果就越好。為此，充分利用計(jì)算機(jī)視覺(jué)技術(shù)，結(jié)合沙盤(pán)介紹中激光筆的運(yùn)用特點(diǎn)，提出并實(shí)現(xiàn)了一種通過(guò)激光點(diǎn)來(lái)進(jìn)行交互的電子沙盤(pán)系統(tǒng)。該系統(tǒng)采用攝像頭采集沙盤(pán)區(qū)域圖像，利用差分技術(shù)識(shí)別出激光點(diǎn)，通過(guò)分區(qū)對(duì)角線坐標(biāo)轉(zhuǎn)換算法得到激光點(diǎn)所指的沙盤(pán)區(qū)域，將轉(zhuǎn)換后的坐標(biāo)信息按照消息傳遞機(jī)制發(fā)送給電子沙盤(pán)系統(tǒng)的主控制顯示模塊，主控制顯示模塊根據(jù)接收的坐標(biāo)信息，通過(guò)函數(shù)調(diào)用播放對(duì)應(yīng)區(qū)域的語(yǔ)音或視頻文件，以實(shí)現(xiàn)語(yǔ)音或者視頻介紹功能。模擬仿真運(yùn)行結(jié)果表明，所建立的系統(tǒng)通過(guò)MFC與DirectShow的有機(jī)結(jié)合，可100%識(shí)別出激光點(diǎn)所指示的區(qū)域，并顯示出對(duì)應(yīng)的視頻；且該系統(tǒng)互動(dòng)效果良好，為講解人員提供了一種更加高效、自然的交互方式，提高了講解人員的效率，充分體現(xiàn)了展示效果。

人機(jī)交互;計(jì)算機(jī)視覺(jué);圖像識(shí)別;沙盤(pán)

0 引 言

傳統(tǒng)的實(shí)物沙盤(pán)主要應(yīng)用在傳統(tǒng)的軍事指揮領(lǐng)域。由于可以形象地模擬作戰(zhàn)地形以及便于參與者進(jìn)行交流互動(dòng)，因此傳統(tǒng)的實(shí)物沙盤(pán)成為之前軍事指揮的重要演示工具，也是指揮人員進(jìn)行作戰(zhàn)計(jì)劃和決策演示的重要工具和手段[1-2]。隨著計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展，帶聲、光、電的電子沙盤(pán)應(yīng)運(yùn)而生。這種沙盤(pán)大大提升了顯示效果，但是與人的交互還有所欠缺，使得沙盤(pán)展示效果不盡人意[3]。利用計(jì)算機(jī)視覺(jué)技術(shù)，結(jié)合傳統(tǒng)沙盤(pán)需要使用激光筆的特點(diǎn)，提出一種交互式電子沙盤(pán)，大大提高了人機(jī)交互能力，提升了沙盤(pán)的展示效果。所設(shè)計(jì)的電子沙盤(pán)是把實(shí)物實(shí)景模型建造出來(lái)，再以此為基礎(chǔ)為其配備攝像頭、計(jì)算機(jī)、語(yǔ)音播報(bào)設(shè)備等。把攝像頭安裝在電子沙盤(pán)模型的正上方，對(duì)沙盤(pán)模型進(jìn)行監(jiān)控。參觀人員可以通過(guò)激光筆指向?qū)嵨锬Ｐ?。?dāng)指揮人員進(jìn)行激光筆操作時(shí)，攝像頭就會(huì)對(duì)視頻圖像進(jìn)行采集，利用采集圖像把激光點(diǎn)和手勢(shì)識(shí)別出來(lái)并對(duì)它們的坐標(biāo)信息進(jìn)行坐標(biāo)轉(zhuǎn)換，然后轉(zhuǎn)換后的坐標(biāo)信息通過(guò)消息傳遞機(jī)制發(fā)送給電子沙盤(pán)系統(tǒng)的主控制顯示模塊。電子沙盤(pán)系統(tǒng)的主控制顯示模塊會(huì)根據(jù)接收的坐標(biāo)信息，通過(guò)函數(shù)調(diào)用該區(qū)域?qū)?yīng)的語(yǔ)音或視頻介紹文件進(jìn)行播放，最終實(shí)現(xiàn)語(yǔ)音或視頻介紹的功能。

1 系統(tǒng)設(shè)計(jì)

實(shí)現(xiàn)的交互功能是使用者用激光筆對(duì)電子沙盤(pán)進(jìn)行操作。整個(gè)系統(tǒng)的工作流程如圖1所示。

圖1 總體工作流程圖

置于物理模型上方的攝像頭時(shí)刻采集沙盤(pán)模型的圖像，當(dāng)有人使用激光筆或者用手在沙盤(pán)上進(jìn)行操作時(shí)，攝像頭就會(huì)采集到包含人手或者激光點(diǎn)的圖像，系統(tǒng)對(duì)激光點(diǎn)和手勢(shì)進(jìn)行識(shí)別，檢測(cè)出激光點(diǎn)和手勢(shì)，把檢測(cè)結(jié)果發(fā)送給系統(tǒng)主控制程序，主控程序接收消息，調(diào)用相應(yīng)函數(shù)播放相應(yīng)的語(yǔ)音或者視頻進(jìn)行信息介紹。

2 系統(tǒng)實(shí)現(xiàn)

根據(jù)系統(tǒng)功能，主要實(shí)現(xiàn)兩個(gè)模塊：激光點(diǎn)識(shí)別定位模塊、主控制顯示模塊。

2.1 激光點(diǎn)識(shí)別定位模塊

根據(jù)激光點(diǎn)定位模塊的工作流程和所要實(shí)現(xiàn)的功能，設(shè)計(jì)出的模塊流程如圖2所示。

2.1.1 激光點(diǎn)圖像的獲取

計(jì)算機(jī)只能對(duì)數(shù)字圖像進(jìn)行識(shí)別處理，不能對(duì)現(xiàn)場(chǎng)實(shí)景中的圖像直接進(jìn)行處理，而視頻采集是獲取數(shù)字圖像的一個(gè)主要來(lái)源。當(dāng)今市場(chǎng)上視頻采集設(shè)備主要有USB攝像機(jī)、數(shù)碼攝像機(jī)以及視頻采集卡等。文中使用USB攝像頭作為圖像采集的硬件，因?yàn)樗梢院陀?jì)算機(jī)直接進(jìn)行數(shù)字圖像傳輸，應(yīng)用比較廣泛，而且采集的圖像分辨率也能滿足實(shí)驗(yàn)要求。在Windows系統(tǒng)中視頻數(shù)據(jù)流的采集軟件有Video for Windows和DirectShow，文中選擇DirectShow進(jìn)行圖像采集處理，因?yàn)樵撥浖牟杉俣容^快，實(shí)時(shí)性較好。所設(shè)計(jì)的電子沙盤(pán)系統(tǒng)是把USB攝像頭安放在沙盤(pán)模型的正上方進(jìn)行監(jiān)控來(lái)獲取數(shù)字圖像，當(dāng)激光點(diǎn)打在模型上，攝像頭就會(huì)對(duì)圖像進(jìn)行采集，從而獲取激光點(diǎn)的圖像。

圖2 模塊流程圖

2.1.2 激光點(diǎn)檢測(cè)

對(duì)激光點(diǎn)進(jìn)行識(shí)別時(shí)，電子沙盤(pán)系統(tǒng)需要從攝像頭捕獲的序列圖像中把激光點(diǎn)從圖片背景中單獨(dú)提取出來(lái)，也就相當(dāng)于電子沙盤(pán)系統(tǒng)能及時(shí)地識(shí)別激光點(diǎn)并把它準(zhǔn)確地從攝像頭拍攝的序列圖像中提取出來(lái)。文中設(shè)計(jì)的電子沙盤(pán)系統(tǒng)對(duì)激光點(diǎn)的位置識(shí)別和跟蹤，先通過(guò)攝像頭對(duì)激光點(diǎn)圖像視頻進(jìn)行拍攝，然后再對(duì)獲取到的激光點(diǎn)圖像進(jìn)行分析處理，把激光點(diǎn)在圖像中的位置檢測(cè)出來(lái)，最后計(jì)算出激光點(diǎn)的坐標(biāo)位置信息。也可以利用攝像頭所拍攝圖像的激光點(diǎn)圖像，對(duì)連續(xù)幾幀的圖像進(jìn)行比較分析就可以實(shí)現(xiàn)對(duì)激光點(diǎn)的跟蹤。設(shè)備架構(gòu)是攝像頭固定在電子沙盤(pán)模型的正上方，因此攝像機(jī)一直保持靜止，也就是說(shuō)攝像機(jī)所拍攝的圖像背景都是保持不變的，指揮人員使用激光筆發(fā)射到沙盤(pán)模型上的激光點(diǎn)是運(yùn)動(dòng)的，因此只需研究靜態(tài)背景下的激光點(diǎn)的識(shí)別方法。在圖像采集時(shí)，對(duì)背景是靜止的、目標(biāo)是運(yùn)動(dòng)的情況，差分法在目前最合適。通過(guò)比較分析，采用背景差分算法對(duì)激光點(diǎn)進(jìn)行識(shí)別[4-5]。

設(shè)Ft和Bt分別是t時(shí)刻的視頻圖像和背景圖像，則前景點(diǎn)滿足：

(1)

因?yàn)榧す恻c(diǎn)很亮，所以可將閾值T設(shè)置為一個(gè)較大的值，從而較好地提取出激光點(diǎn)，得到激光點(diǎn)在采集圖像中的坐標(biāo)(X,Y)[5-6]。

2.1.3 激光點(diǎn)坐標(biāo)轉(zhuǎn)換

因?yàn)閷?duì)激光點(diǎn)進(jìn)行識(shí)別操作后獲得的激光點(diǎn)位置信息是在USB攝像頭拍攝區(qū)域內(nèi)的激光點(diǎn)坐標(biāo)位置信息，這和計(jì)算機(jī)屏幕上電子沙盤(pán)模型上的位置不一樣，因此需要對(duì)攝像頭拍攝區(qū)域上的激光點(diǎn)位置信息進(jìn)行坐標(biāo)轉(zhuǎn)換，將拍攝區(qū)域上的激光點(diǎn)坐標(biāo)轉(zhuǎn)化為沙盤(pán)模型的坐標(biāo)，也即計(jì)算機(jī)的屏幕坐標(biāo)。對(duì)于坐標(biāo)轉(zhuǎn)換,采用分區(qū)對(duì)角線坐標(biāo)轉(zhuǎn)換算法,因?yàn)樵撍惴梢院芎玫亟鉀Q攝像頭捕獲圖像存在畸變所帶來(lái)的誤差問(wèn)題,得到的激光點(diǎn)的邏輯坐標(biāo)更加精確,尤其是在圖像邊緣區(qū)域。在實(shí)現(xiàn)激光點(diǎn)在圖像上的準(zhǔn)確定位后，通過(guò)該算法將該激光點(diǎn)在攝像頭上的坐標(biāo)轉(zhuǎn)換為計(jì)算機(jī)屏幕上電子沙盤(pán)模型桌面上的坐標(biāo)[6-7]。

算法步驟如下:

(1)以白色背景顯示20*16黑色小矩陣將計(jì)算機(jī)桌面上的電子沙盤(pán)模型進(jìn)行分區(qū)[8]，如圖3所示。

圖3 顯示黑色小矩形

假設(shè)這些小矩形的寬度和高度分別為width和height。drow為整個(gè)電子沙盤(pán)模型在橫向左右邊緣各保留20個(gè)像素后剩下寬度范圍平均選取20個(gè)點(diǎn)的相鄰兩點(diǎn)間的距離。dcol是以整個(gè)電子沙盤(pán)上下邊緣各保留16個(gè)像素后剩下高度范圍平均選取16個(gè)點(diǎn)的相鄰兩點(diǎn)間的距離。如果drow>dcol，則w=h=dcol/3，否則w=h=drow/3。將選取的16*20個(gè)點(diǎn)作為小矩形的左上角坐標(biāo)點(diǎn)，那么每個(gè)小矩形中心點(diǎn)坐標(biāo)(xi,yi)為:

(2)

將小矩形中心點(diǎn)的坐標(biāo)存入數(shù)組nScreenPt[N],N=320。然后對(duì)攝像頭捕獲到的幀圖像從上到下、從左到右逐行掃描,找到圖像上這些黑色小矩形的中心點(diǎn)在圖像平面上的坐標(biāo)，并把這些坐標(biāo)寫(xiě)入數(shù)組nCameraPt[N]。根據(jù)攝像捕獲的數(shù)字圖像，位圖的行數(shù)據(jù)存儲(chǔ)次序是顛倒的，可以看出位圖文件中第一行數(shù)據(jù)對(duì)應(yīng)的是圖像最低行的數(shù)據(jù)[3]，因此可以得到：

nCameraPt[N]=nScreenPt[N-(i+1)*20]

(3)

換算后把數(shù)組中的值保存成文件，文件名為“zuobiao.txt”。以后每次系統(tǒng)啟動(dòng)都會(huì)讀取，作為系統(tǒng)參數(shù)。

(2)執(zhí)行完第一步，系統(tǒng)啟動(dòng)后，當(dāng)指揮者使用激光筆打在電子沙盤(pán)模型上時(shí)，攝像頭就會(huì)對(duì)圖像進(jìn)行采集，系統(tǒng)經(jīng)過(guò)圖像的識(shí)別和處理，激光點(diǎn)檢測(cè)得到攝像頭上激光點(diǎn)的坐標(biāo)值(X,Y)。然后在第一次操作生成的“zuobiao.txt”文件中找出對(duì)應(yīng)的激光點(diǎn)在計(jì)算機(jī)屏幕上的坐標(biāo)，從上面所選的第二行的點(diǎn)開(kāi)始,由該點(diǎn)及其周?chē)狞c(diǎn)，計(jì)算出這些點(diǎn)和激光點(diǎn)在圖像平面上的X坐標(biāo)值之差和Y坐標(biāo)值之差的絕對(duì)值之和di。以此類推，一直進(jìn)行到圖像坐標(biāo)的倒數(shù)第二個(gè)點(diǎn),即數(shù)組nCameraPt[N]的第319個(gè)元素，計(jì)算出最小的di。激光點(diǎn)就落在由最小di所對(duì)應(yīng)的四個(gè)點(diǎn)構(gòu)成的小矩形區(qū)域，如圖4所示。根據(jù)存儲(chǔ)在坐標(biāo)文件“zuobiao.txt”中的攝像頭拍攝的電子沙盤(pán)圖像的成像平面坐標(biāo)點(diǎn)數(shù)組nCameraPt[N]和計(jì)算機(jī)桌面上的邏輯坐標(biāo)點(diǎn)數(shù)組nScreenPt[N]的對(duì)應(yīng)關(guān)系，找到激光點(diǎn)在計(jì)算機(jī)桌面所在區(qū)域的四個(gè)邏輯點(diǎn)的坐標(biāo)[3]。

圖4 計(jì)算機(jī)桌面上激光點(diǎn)的位置

(3)根據(jù)步驟(2)確定的激光點(diǎn)所在的矩形區(qū)域，利用對(duì)角線法確定激光點(diǎn)在計(jì)算機(jī)桌面上的電子沙盤(pán)模型邏輯坐標(biāo)值。具體算法如下：設(shè)激光點(diǎn)在攝像頭圖像成像平面的坐標(biāo)為(x,y)，其在計(jì)算機(jī)桌面上的坐標(biāo)為(X,Y)，通過(guò)式(4)進(jìn)行求解:

(4)

其中，(x1,y1),(x2,y2),(x3,y3),(x4,y4)是激光點(diǎn)在圖像屏幕小矩形的左下角,左上角,右上角,右下角的坐標(biāo)值；(X1,Y1),(X2,Y2),(X3,Y3),(X4,Y4)是對(duì)應(yīng)計(jì)算機(jī)桌面上電子沙盤(pán)模型上小矩形相應(yīng)的坐標(biāo)值。

2.1.4 激光點(diǎn)信息的發(fā)送

當(dāng)定位激光點(diǎn)的位置坐標(biāo)后，激光點(diǎn)定位模塊會(huì)通過(guò)串口將位置信息發(fā)送到主控模塊，主控模塊接收到信息，對(duì)與接收的坐標(biāo)信息相對(duì)應(yīng)的語(yǔ)音或者視頻文件進(jìn)行播放，實(shí)現(xiàn)語(yǔ)音或者視頻介紹[9]。

2.2 主控制顯示模塊

電子沙盤(pán)系統(tǒng)各個(gè)功能能否正常實(shí)現(xiàn)，關(guān)鍵在于系統(tǒng)主控制程序能否正常運(yùn)行。電子沙盤(pán)主控制模塊是電子沙盤(pán)系統(tǒng)的核心部分，影響整個(gè)系統(tǒng)各個(gè)功能的實(shí)現(xiàn)。在電子沙盤(pán)系統(tǒng)的主控制顯示模塊啟動(dòng)時(shí)，調(diào)用函數(shù)對(duì)配置文件進(jìn)行初始化和讀取相應(yīng)的配置文件內(nèi)容，把電子沙盤(pán)模型在計(jì)算機(jī)屏幕上顯示出來(lái)。當(dāng)操作人員進(jìn)行激光筆操作時(shí)，激光點(diǎn)定位模塊會(huì)發(fā)送消息將被點(diǎn)擊區(qū)域的坐標(biāo)信息發(fā)送出去，主控制顯示模塊就會(huì)對(duì)消息進(jìn)行接收和響應(yīng)，并根據(jù)接收到的坐標(biāo)信息，選取相應(yīng)的語(yǔ)音或者視頻文件進(jìn)行語(yǔ)音或者視頻介紹。根據(jù)主控制模塊的主要功能設(shè)計(jì)的流程圖如圖5所示。

圖5 主控制顯示模塊設(shè)計(jì)流程圖

主控顯示模塊中的語(yǔ)音與視頻和沙盤(pán)具體風(fēng)景是一一對(duì)應(yīng)的關(guān)系。采用二維矩陣表示電子沙盤(pán)模型[10-12]：

在電子沙盤(pán)模型中有哪些建筑物和風(fēng)景需要系統(tǒng)進(jìn)行介紹，就將該建筑物或者風(fēng)景區(qū)域從沙盤(pán)模型圖片中相應(yīng)摳出來(lái)進(jìn)行編號(hào)，將上述二維矩陣用編號(hào)進(jìn)行賦值，并對(duì)編號(hào)添加與之對(duì)應(yīng)的語(yǔ)音或者視頻文件。比如在作為實(shí)驗(yàn)對(duì)象的校園沙盤(pán)中，將圖書(shū)館選中標(biāo)記為1號(hào)，利用軟件給其添加上與之對(duì)應(yīng)的語(yǔ)音或者視頻文件。當(dāng)主控制顯示模塊通過(guò)串口接收到激光檢測(cè)模塊發(fā)送過(guò)來(lái)的坐標(biāo)信息時(shí)，根據(jù)坐標(biāo)所對(duì)應(yīng)的值所在的區(qū)域編號(hào)(如1號(hào))，顯示模塊調(diào)用(1號(hào))對(duì)應(yīng)的配置文件中的視頻或語(yǔ)音文件。點(diǎn)擊不同的區(qū)域就對(duì)應(yīng)不同的語(yǔ)音和視頻，因此顯示效果也不一樣。比如點(diǎn)擊湖面時(shí)，在進(jìn)行語(yǔ)音介紹的同時(shí)也會(huì)出現(xiàn)湖水波動(dòng)、小船游動(dòng)的畫(huà)面，點(diǎn)擊道路也會(huì)同時(shí)進(jìn)行語(yǔ)音介紹和顯示汽車(chē)跑動(dòng)的畫(huà)面。其他區(qū)域同理。

2.3 實(shí)現(xiàn)效果

系統(tǒng)利用MFC結(jié)合DirectShow框架實(shí)現(xiàn)，效果良好，能100%識(shí)別出激光點(diǎn)所指示的區(qū)域，正確顯示視頻文件，互動(dòng)效果良好，如圖6所示。

3 結(jié)束語(yǔ)

為提高電子沙盤(pán)模型多媒體展示的光電自動(dòng)化控制水平，充分利用計(jì)算機(jī)視覺(jué)技術(shù)，設(shè)計(jì)并構(gòu)建了一種基于激光筆控制的交互式電子沙盤(pán)系統(tǒng)。該系統(tǒng)應(yīng)用攝像頭感應(yīng)用戶激光筆激光對(duì)電子沙盤(pán)的相應(yīng)區(qū)域音頻或視頻的控制，避免了傳統(tǒng)沙盤(pán)的單方面被動(dòng)展示，提高了電子沙盤(pán)的交互性、新穎性和擴(kuò)展性。今后還可擴(kuò)展電子沙盤(pán)的控制方式，如利用手勢(shì)[13]等，進(jìn)一步提高其應(yīng)用效果。

圖6 系統(tǒng)實(shí)現(xiàn)效果圖

[1] 程忠波.淺析數(shù)字沙盤(pán)的設(shè)計(jì)與應(yīng)用[J].電子制作,2014(24):68.

[2] 王亞麗.基于圖像的激光光斑識(shí)別和特性分析[D].長(zhǎng)春:長(zhǎng)春理工大學(xué),2008.

[3] 陳海漢.面向航跡規(guī)劃的電子沙盤(pán)技術(shù)研究[D].合肥:合肥工業(yè)大學(xué),2009.

[4] 丁 磊,宮寧生.基于改進(jìn)的三幀差分法運(yùn)動(dòng)目標(biāo)檢測(cè)[J].電視技術(shù),2013,37(1):151-153.

[5] 李 志.基于圖像識(shí)別的大屏幕人機(jī)交互系統(tǒng)研究[D].合肥:安徽大學(xué),2010.

[6] 李孟歆,范靜靜,張 穎,等.一種基于多重判別的運(yùn)動(dòng)目標(biāo)檢測(cè)算法[J].沈陽(yáng)建筑大學(xué)學(xué)報(bào):自然科學(xué)版,2013,29(4):750-756.

[7] 徐衛(wèi)星,王蘭英,李秀娟.一種基于OpenCV實(shí)現(xiàn)的三幀差分運(yùn)動(dòng)目標(biāo)檢測(cè)算法研究[J].計(jì)算機(jī)與數(shù)字工程,2011,39(11):141-144.

[8] 陳遠(yuǎn)祥.視頻圖像運(yùn)動(dòng)目標(biāo)跟蹤技術(shù)的研究[D].鎮(zhèn)江:江蘇大學(xué),2010.

[9] Paragios N,Deriche R.Geodesic:active contours and levelsets for the detection and tracking of moving objects[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(3):266-280.

[10] Park S,Yu S,Kim J,et al.3D hand tracking using Kalman filter in depth space[J].EURASIP Journal on Advances in Signal Processing,2012,2012(1):1-18.

[11] 張圓圓.基于視覺(jué)的手勢(shì)識(shí)別技術(shù)及其應(yīng)用研究[J].計(jì)算技術(shù)與自動(dòng)化,2015,34(1):131-135.

[12] 楊小岡,付光遠(yuǎn),繆 棟,等.基于圖像NMI特征的目標(biāo)識(shí)別新方法[J].計(jì)算機(jī)工程,2002,28(6):149-151.

[13] Lin Daogui.Research on presentation of multimedia interactive electronic sand table[C]//International conference on education technology and economic management.[s.l.]:Atlantis Press,2015.

Investigation on Interactive Electronic Sand Table System with Computer Vision

YAN Yi-ming1,GUO Xing2

(1.Department of Electronic Engineering,Wanjiang College of Anhui Normal University,Wuhu 241000,China; 2.College of Computer Science and Technology,Anhui University,Hefei 230031,China)

The traditional sand table model is just a show of simple model.With the development of society,interactivity is a very important criterion which influences sand table performance.The higher the interactivity becomes,the stronger the interaction between the staff and the sand table will be,thus the better the effect of interpretation is.Therefore,making full use of computer vision technology and applying the characteristics of the laser pen in sand table presentation,an electronic sand table system has been proposed and established,which is composed of cameras to collect the image of sand table and distinguish the laser spot with difference technique.The sand table area located with laser point has been acquired with diagonal coordinate conversion algorithm of partition area and then the location information transformed has been sent to main control display module of the electronic sand table system according to message transmission mechanism.According to coordination information accepted the main control display module plays the relevant audio or video file of the corresponding region to carry out interpretation function.The simulation operation results show that the region located with laser point can be fully identified to launch the relevant audio or video player to indicate fine interactive effect of this established system is satisfactory and that the system has provided a natural and effective interactive style for interpreters to enhance the interpretation efficiency and effects.

human-computer interaction;computer vision;image recognition;sand table

2016-07-27

2016-11-03 網(wǎng)絡(luò)出版時(shí)間：2017-04-28

國(guó)家科技支撐計(jì)劃(2015BAK24B00)

嚴(yán)一鳴(1994-)，男，研究方向?yàn)樾盘?hào)處理；郭 星，博士，講師，研究方向?yàn)橛?jì)算機(jī)視覺(jué)。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170428.1704.078.html

TP302

A

1673-629X(2017)06-0195-04

10.3969/j.issn.1673-629X.2017.06.041