国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于圖像處理技術(shù)的人機(jī)交互系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2018-12-14 09:05張青常能
現(xiàn)代電子技術(shù) 2018年24期
關(guān)鍵詞:人機(jī)交互數(shù)字信號(hào)系統(tǒng)設(shè)計(jì)

張青 常能

關(guān)鍵詞: 圖像處理; 人機(jī)交互; 系統(tǒng)設(shè)計(jì); 特征點(diǎn)坐標(biāo); 數(shù)字信號(hào); 維納濾波算法

中圖分類號(hào): TN911.73?34; TP393 ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼: A ? ? ? ? ? ? ? ? 文章編號(hào): 1004?373X(2018)24?0149?04

Design and implementation of human?machine interaction system

based on image processing technology

ZHANG Qing, CHANG Neng

(ShanDong JiaoTong University, Jinan 250357, China)

Abstract: Since the human?machine interaction system based on mixed EEG signals and visual information cannot effectively repair the defective images in complex environments, and has poor human?machine interaction performance, a human?machine interaction system based on the image processing technology is designed. The system is divided into the on?chip functional module and external circuit module. The image processing module in the on?chip functional module preprocesses images, restores images, and collects the feature point coordinates. In the system, the 8255A chip is used as the hardware interface of the human?machine interface. The A, B and C interfaces of the chip are respectively connected to the data line, control line, and alignment line, so as to realize information transmission of the human?machine interaction interface. The system converts images into digital signals by using a camera with a USB. After sending the digital signals to the computer, images are repaired by using the Wiener filtering algorithm. The experimental results show that the designed system can complete the applicator′s action instructions accurately, has a high instruction recognition accuracy rate and recognition speed, and has good human?machine interaction performance.

Keywords: image processing; human?machine interaction; system design; feature point coordinate; digital signal; Wiener filtering algorithm

0 ?引 ?言

人機(jī)交互系統(tǒng)是指通過計(jì)算機(jī)的輸入、輸出設(shè)備,運(yùn)用有效的方式實(shí)現(xiàn)人和機(jī)器交流、對(duì)話、交換信息的系統(tǒng)。應(yīng)用者可以使用鍵盤、鼠標(biāo)、操作桿和位置追蹤器等設(shè)備,通過手、腳、聲音、肢體動(dòng)作甚至腦電波等向人機(jī)交互系統(tǒng)中傳達(dá)信息,人機(jī)交互系統(tǒng)則依照應(yīng)用者的指示完成相應(yīng)的指令和操作。因此,人機(jī)交互系統(tǒng)在醫(yī)療、軍事、工業(yè)等領(lǐng)域具有重要的應(yīng)用價(jià)值。當(dāng)前人機(jī)交互系統(tǒng)已經(jīng)處于多通道、多媒體的智能人機(jī)交互階段。相關(guān)人員設(shè)計(jì)出的人機(jī)交互系統(tǒng)都存在一定的問題,如文獻(xiàn)[1]中設(shè)計(jì)的基于混合腦電信號(hào)及視覺信息的智能輪椅人機(jī)交互系統(tǒng),基于海量電腦信號(hào)以及視覺信息進(jìn)行交互分析,在復(fù)雜環(huán)境中無法對(duì)瑕疵圖像進(jìn)行有效修復(fù),人機(jī)交互性能差;文獻(xiàn)[2]設(shè)計(jì)了基于Leap Motion的虛擬農(nóng)作物人機(jī)交互系統(tǒng),該系統(tǒng)采用Leap Motion仿真軟件實(shí)現(xiàn)虛擬人機(jī)交互,交互過程存在圖像呈現(xiàn)效果差,對(duì)操作人員的指令識(shí)別正確率較低的弊端。因此,設(shè)計(jì)基于圖像處理技術(shù)的人機(jī)交互系統(tǒng),實(shí)現(xiàn)高質(zhì)量高效率的人機(jī)交互體驗(yàn)。

1 ?基于圖像處理技術(shù)的人機(jī)交互系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

1.1 ?系統(tǒng)框圖設(shè)計(jì)

本文設(shè)計(jì)的基于圖像處理技術(shù)的人機(jī)交互系統(tǒng)使用國(guó)外某公司的DE2主板[3]作為系統(tǒng)硬件平臺(tái),其由片上功能模塊以及外部電路模塊構(gòu)成,系統(tǒng)整體框圖如圖1所示。圖中虛線內(nèi)部分是Verilog語言編輯的片上功能模塊,采用AVALON?MM總線[4?5]和NIOS接口;虛線外是不能在片內(nèi)實(shí)現(xiàn)的外部電路模塊。系統(tǒng)所有圖像特征點(diǎn)坐標(biāo)的獲取都是由圖像處理模塊單獨(dú)實(shí)現(xiàn),該模塊在NIOS CPU的協(xié)助下,與PS/2模塊共同構(gòu)成一個(gè)用于選取參考點(diǎn)的用戶接口[6]。CPU通過圖像處理模塊讀取當(dāng)下幀的特征點(diǎn)坐標(biāo),并根據(jù)連續(xù)幾幀圖像中特征點(diǎn)方位的變化情況通過USB通信接口以鼠標(biāo)和鍵盤的方式把指令傳送給計(jì)算機(jī)。

1.2 ?系統(tǒng)軟件設(shè)計(jì)

1.2.1 ?利用維納濾波算法對(duì)圖像進(jìn)行修復(fù)

運(yùn)動(dòng)模糊圖像的恢復(fù)是圖像模型化的一個(gè)重要方式,即根據(jù)圖像的物理特征推算它的數(shù)學(xué)模型[7?8]。以運(yùn)動(dòng)模糊圖像恢復(fù)為例,當(dāng)圖像傳感器和被拍攝物體間的相對(duì)運(yùn)動(dòng)足夠快時(shí),圖像傳感器所獲取的圖像就會(huì)產(chǎn)生“運(yùn)動(dòng)模糊”,即圖像拍攝時(shí)受到圖像和傳感器間的均勻線性運(yùn)動(dòng)影響而產(chǎn)生的模糊現(xiàn)象[9]。有很多算法可以從噪聲中獲取信號(hào)波形,維納濾波算法是最基礎(chǔ)的算法,該算法適用于需要從噪聲中提取出整個(gè)有效信號(hào)的處理。維納濾波算法的計(jì)算過程框圖如圖2所示。

圖2中,圖像被線性點(diǎn)擴(kuò)展函數(shù)模糊,并且圖像在疊加噪聲中形成了退化圖像,維納濾波算法通過濾波器去除卷積,得到恢復(fù)圖像。

1.2.2 ?VC++上位機(jī)利用串口發(fā)送數(shù)據(jù)

所設(shè)計(jì)的系統(tǒng)中,人機(jī)交互界面與芯片控制器是通過無線通信進(jìn)行信息交流的,芯片控制器能夠應(yīng)用標(biāo)準(zhǔn)SCI通信協(xié)議,因此在VC++上位機(jī)中采用MSComm部件進(jìn)行開發(fā)。此部件允許應(yīng)用程序訪問串口,在應(yīng)用程序中嵌入MSComm部件后便能夠?qū)崿F(xiàn)計(jì)算機(jī)串口接收發(fā)送數(shù)據(jù)的操作[10]。

操作時(shí)只需將VC++上位機(jī)設(shè)定成串口通信模式,運(yùn)用通信模塊將信號(hào)傳輸出去,芯片控制器便能夠準(zhǔn)確獲取信號(hào)并展開相應(yīng)的數(shù)據(jù)處理工作。串口發(fā)送數(shù)據(jù)流程圖如圖3所示。

2 ?實(shí)驗(yàn)分析

2.1 ?指令識(shí)別正確率和識(shí)別速度驗(yàn)證

為了驗(yàn)證本文系統(tǒng)的性能,實(shí)驗(yàn)在不同光照條件、不同指令數(shù)的情況下,對(duì)本文系統(tǒng)進(jìn)行性能測(cè)試。實(shí)驗(yàn)采用主頻為2.5 Hz,內(nèi)存為512 MB的計(jì)算機(jī),圖像獲取設(shè)備采用帶有USB接口的CMOS彩色攝像頭,獲取圖像的大小為640×480像素,此外實(shí)驗(yàn)還運(yùn)用了照度計(jì)和色溫箱。

本文系統(tǒng)中手指被攝像頭捕捉的細(xì)微動(dòng)作通過處理后轉(zhuǎn)換成操控計(jì)算機(jī)的指令代碼。實(shí)驗(yàn)時(shí),某位操作人員任意選取指令數(shù)1~16中的一個(gè)數(shù)值,另一位操作人員將手指在攝像頭前做出與指令相對(duì)應(yīng)的細(xì)微動(dòng)作,攝像頭捕獲一系列手指細(xì)微動(dòng)作的視頻流,通過人機(jī)交互系統(tǒng)的解析,通過屏幕顯示出指令識(shí)別的結(jié)果。實(shí)驗(yàn)主要通過識(shí)別率、識(shí)別速度和識(shí)別指令來衡量本文系統(tǒng)的性能;選取基于混合腦電信號(hào)及視覺信息的人機(jī)交互系統(tǒng)和基于Leap Motion的人機(jī)交互系統(tǒng)作為對(duì)比對(duì)象。當(dāng)指令數(shù)為5時(shí)本文系統(tǒng)的實(shí)驗(yàn)數(shù)據(jù)如表1所示,另外兩種系統(tǒng)的實(shí)驗(yàn)數(shù)據(jù)分別見表2、表3。

根據(jù)表1~表3的實(shí)驗(yàn)數(shù)據(jù),可以得出以下結(jié)論:

當(dāng)環(huán)境照度在10 lux以上時(shí),光照強(qiáng)度的變化對(duì)系統(tǒng)的識(shí)別速度和識(shí)別效果影響不大,當(dāng)照度低于10 lux時(shí),三個(gè)系統(tǒng)的正確率均較低,人機(jī)交互系統(tǒng)基本無法正常工作。當(dāng)照度高于10 lux時(shí),相同光照條件下,本文系統(tǒng)對(duì)指令識(shí)別的正確率均在99%以上,而另外兩個(gè)系統(tǒng)的正確率僅在80%~90% 之間。此外,在指令識(shí)別速度上,本文系統(tǒng)平均每次識(shí)別的時(shí)間在140 ms左右,而另外兩個(gè)系統(tǒng)平均每次識(shí)別的時(shí)間分別為160 ms左右和180 ms左右。由此可見,本文系統(tǒng)具有較高的指令識(shí)別正確率和識(shí)別速度。

2.2 ?輸出圖像精確度驗(yàn)證

將本文系統(tǒng)與基于混合腦電信號(hào)及視覺信息的人機(jī)交互系統(tǒng)、基于Leap Motion的人機(jī)交互系統(tǒng)的輸出圖像的穩(wěn)定性進(jìn)行對(duì)比實(shí)驗(yàn)。測(cè)試人員在屏幕上輸出6個(gè)不同的點(diǎn)作為標(biāo)記點(diǎn),同時(shí)在攝像頭獲取到的圖像點(diǎn)上添加了標(biāo)準(zhǔn)差為2像素的高斯噪聲。實(shí)驗(yàn)對(duì)系統(tǒng)輸出的投影圖像進(jìn)行100次運(yùn)算,計(jì)算因修改標(biāo)記點(diǎn)和投影基點(diǎn)數(shù)量造成的圖像誤差的平均值,實(shí)驗(yàn)得到3個(gè)系統(tǒng)輸出圖像的精確度結(jié)果如圖4所示,由該圖可以看出,相對(duì)于其他兩種系統(tǒng),本文系統(tǒng)在相同標(biāo)記點(diǎn)和投影點(diǎn)的情況下,具有較低的輸出圖像誤差,說明本文系統(tǒng)輸出的圖像具有較高的精確度。

3 ?結(jié) ?論

本文基于圖像處理技術(shù)的人機(jī)交互系統(tǒng)通過識(shí)別操作者的肢體動(dòng)作來實(shí)現(xiàn)對(duì)PC的控制。實(shí)驗(yàn)表明,本文系統(tǒng)在光照良好、光照一般條件下進(jìn)行人機(jī)交互過程中,對(duì)于指令識(shí)別正確率都高于99.4%,而在光照很暗的條件下利用本文系統(tǒng)進(jìn)行識(shí)別的正確率達(dá)到62.3%,說明本文系統(tǒng)進(jìn)行人機(jī)交互時(shí)精度高、穩(wěn)定性強(qiáng);并且本文系統(tǒng)進(jìn)行人機(jī)交互的時(shí)間保持在141~143 ms之間,低于其他兩種系統(tǒng)的識(shí)別速度,說明本文系統(tǒng)是一種高質(zhì)量的人機(jī)交互系統(tǒng)。

參考文獻(xiàn)

[1] 張毅,尹春林,蔡軍.混合腦電信號(hào)及視覺信息的智能輪椅人機(jī)交互系統(tǒng)[J].智能系統(tǒng)學(xué)報(bào),2016,11(5):648?654.

ZHANG Yi, YIN Chunlin, CAI Jun. On a hybrid electroencephalograph and visual information intelligent wheelchair human?machine interactive system [J]. CAAI transactions on intelligent systems, 2016, 11(5): 648?654.

[2] 吳福理,丁胤,丁維龍,等.基于Leap Motion的虛擬農(nóng)作物人機(jī)交互系統(tǒng)設(shè)計(jì)[J].農(nóng)業(yè)工程學(xué)報(bào),2016,32(23):144?151.

WU Fuli, DING Yin, DING Weilong, et al. Design of human computer interaction system of virtual crops based on Leap Motion [J]. Transactions of the Chinese Society of Agricultural Engineering, 2016, 32(23): 144?151.

[3] LI J, BAI Y F, HE J L. Design and implementation of embedded video surveillance system based on human detection [J]. Applied mechanics & materials, 2014, 513: 4535?4538.

[4] 馬莉,王建國(guó),韋勇宇,等.基于圖元的火控系統(tǒng)人機(jī)交互界面的實(shí)現(xiàn)[J].火力與指揮控制,2017,42(7):170?174.

MA Li, WANG Jianguo, WEI Yongyu, et al. Realization of the human?computer interaction interface of fire control system based on graphic element [J]. Fire control & command control, 2017, 42(7): 170?174.

[5] 符斌,任鴻翔,李小濤.觸控式航海模擬器人機(jī)交互系統(tǒng)優(yōu)化設(shè)計(jì)[J].艦船科學(xué)技術(shù),2017,39(11):110?114.

FU Bin, REN Hongxiang, LI Xiaotao. Optimal design of touch?sensitive human?computer interaction of ship maneuvering simulator [J]. Ship science and technology, 2017, 39(11): 110?114.

[6] 夏鯤,曾彥能,葛越,等.戶用光伏并網(wǎng)逆變器人機(jī)交互系統(tǒng)開發(fā)及應(yīng)用[J].電源技術(shù),2016,40(2):379?381.

XIA Kun, ZENG Yanneng, GE Yue, et al. Development and applications of human machine interface system in photovoltaic grid?connected inverter for household [J]. Chinese journal of power sources, 2016, 40(2): 379?381.

[7] 胡云普,麥宋平,謝翔.一種基于高頻率投影儀—攝像頭的人機(jī)交互系統(tǒng)[J].計(jì)算機(jī)應(yīng)用研究,2017,34(3):907?910.

HU Yunpu, MAI Songping, XIE Xiang. High?frequency pro?cam based human?computer interaction system [J]. Application research of computers, 2017, 34(3): 907?910.

[8] 王道檔,趙超杰,孔明,等.基于圖像處理的膠囊外形快速檢測(cè)系統(tǒng)設(shè)計(jì)[J].電視技術(shù),2014,38(19):216?220.

WANG Daodang, ZHAO Chaojie, KONG Ming, et al. Design of rapid detection system for capsule shapes based on image processing [J]. Video engineering, 2014, 38(19): 216?220.

[9] 羅杰,張之明.基于圖像處理技術(shù)自動(dòng)報(bào)靶系統(tǒng)綜述[J].激光雜志,2016,37(7):1?6.

LUO Jie, ZHANG Zhiming. Survey on automatic target?scoring system based on image processing technology [J]. Laser journal, 2016, 37(7): 1?6.

[10] 戴美松,張小斌,李秀根,等.基于圖像處理技術(shù)梨果實(shí)尺寸測(cè)定系統(tǒng)的研發(fā)與應(yīng)用[J].園藝學(xué)報(bào),2016,43(4):763?770.

DAI Meisong, ZHANG Xiaobin, LI Xiugen, et al. Development of a size measurement system for pear fruit based on image processing technology [J]. Acta Horticulturae Sinica, 2016, 43(4): 763?770.

猜你喜歡
人機(jī)交互數(shù)字信號(hào)系統(tǒng)設(shè)計(jì)
數(shù)字信號(hào)分析中存在的誤區(qū)與解決對(duì)策
兩種數(shù)字信號(hào)浪涌保護(hù)器(SPD)測(cè)試分析
數(shù)字電子技術(shù)中的數(shù)字信號(hào)和數(shù)字電路
基于小波神經(jīng)網(wǎng)絡(luò)的數(shù)字信號(hào)調(diào)制方式識(shí)別
某型柴油機(jī)虛擬維修系統(tǒng)研究
人機(jī)交互課程創(chuàng)新實(shí)驗(yàn)
一種基于SATA硬盤陣列的數(shù)據(jù)存儲(chǔ)與控制系統(tǒng)設(shè)計(jì)研究
目標(biāo)特性測(cè)量雷達(dá)平臺(tái)建設(shè)構(gòu)想