摘要：作為實現(xiàn)人機交互技術的必要途徑，媒體認知技術及其領域受到越來越多的關注，媒體認知實驗課程是清華大學電子信息學科在課程體系改革過程中創(chuàng)立的一門全新課程。文章通過闡述覆蓋軟件姿勢操控、安卓平臺人臉識別等媒體信息交互基本內容的基本項目，以及由學生自主提出與英特爾RealSense等許多國際一流技術接軌的實際項目如音樂節(jié)奏控制交互、手勢模擬電腦鍵盤等，旨在激發(fā)學生對相關研究領域的熱情與興趣，進一步培養(yǎng)高層次人才的創(chuàng)新能力。

關鍵詞：媒體認知；智能感知；RealSense；學生自主項目

1 媒體認知實驗課程簡介

信息一詞在我國由來已久，但迄今為止尚未得到普遍接受的有關廣義信息的定義，信息作為一個可以用嚴格數(shù)學公式定義的科學名詞，首先出現(xiàn)在統(tǒng)計數(shù)學中，隨后又出現(xiàn)在通信技術中。文中的信息指的是通信系統(tǒng)中用于傳輸和處理的對象，特指消息和信號的具體內容和含義。電子信息科學與技術是以物理和數(shù)學為基礎，研究通過電學形式表達操控信息的基本規(guī)律以及運用這些基本規(guī)律實現(xiàn)各種電子系統(tǒng)的方法。在進入電子時代和信息社會的今天，電子信息科學技術已滲透到各個領域。

2008年，Bill Gates首次提出“自然用戶界面”（ natural user interface）的概念并預言人機交互在未來幾年會有很大的改觀，鍵盤和鼠標將會逐漸被更自然的觸摸式、視覺型以及語音控制界面所替代。與此同時，“有機用戶界面”（ organic userinterface）也開始悄然興起，其包括生物識別傳感器、皮膚顯示器乃至大腦與計算機直接對接，這些技術無疑都給人類的生活帶來重大影響。隨著計算機技術和傳感器的普遍應用，現(xiàn)實世界也逐漸出現(xiàn)其“數(shù)字版”的一面，而自然人機交互技術正是現(xiàn)實與虛擬世界之間的橋梁。現(xiàn)存的或已經(jīng)比較成熟的人機交互技術主要有虛擬現(xiàn)實、增強現(xiàn)實、多點觸控、語音識別、眼球追蹤、人臉識別、體感操作、腦機界面等。

當遇到一個人的時候，大腦立即將注意力集中在對方身上并根據(jù)經(jīng)驗辨識出他的身份，這一過程并不是通過數(shù)百層的決策樹實現(xiàn)，而是人腦就是知道。嬰兒很難區(qū)分出兩個人的不同，但我們通過多年的學習和訓練可以在幾分之一秒內做到。事實上，人腦也許還能準確地估摸出他們的年齡、性別、心情甚至個性，這也是讓我們成就為人類的原因之一。媒體認知技術的目的就是創(chuàng)造類似的設備和方法，主動觀察身邊的世界并與人類用戶操作和互動，進行自主學習，甚至可以影響人類產(chǎn)生新的文化和藝術，徹底改變人類從外界學習知識和與外界及其他人類互動的手段和方式。

媒體認知實驗課程從媒體認知技術出發(fā)，面向電子信息學科學生設立多個全新的媒體認知實踐項目與環(huán)節(jié)，通過大量實踐與實驗訓練，幫助學生深刻理解基于數(shù)字信號處理的媒體認知基本理論，培養(yǎng)學生在真實環(huán)境下建模和解決問題的能力。此外，自主研究環(huán)節(jié)還可極大地激發(fā)學生的學習熱情，在課內外投入大量時間進行媒體認知技術相關領域的科學探索和研究。連續(xù)幾年的學生調查反饋數(shù)據(jù)表明，媒體認知實驗課程提高了學生的創(chuàng)新能力，對進一步培養(yǎng)高層次人才具有很大的意義。

2 媒體認知實驗基本項目

人機交互的實質是媒體信息的交互。虛擬現(xiàn)實技術是20世紀末興起的一種綜合性信息媒體處理前沿技術，該技術作為新媒體和新一代人機交互技術，給人類帶來了全新的認知體驗。虛擬現(xiàn)實技術采用多通道媒體界面技術，顯示出未來人機交互的發(fā)展趨勢，即追求“人機和諧”的多維信息空間交互和自然人機交互。為了實現(xiàn)以上目標，機器需要通過多種媒體識別人的身體姿態(tài)、手勢及語音等，判斷出人的意圖。

2.1 軟件姿勢操控項目

英特爾的RealSense設備是一種能通過采集視覺、深度、音頻等多種媒體信息獲得手勢、語音等表征意圖的智能感知設備，可以廣泛應用于自然互動、沉浸式協(xié)作與創(chuàng)作等創(chuàng)新應用，能夠幫助開發(fā)人員在游戲、娛樂和內容創(chuàng)建交互方面實現(xiàn)新的突破。通過設計基于RealSense的一系列媒體認知系統(tǒng)項目，學生可以對媒體與認知相互作用的內涵有更深入的理解。該項目的目標是利用RealSense的骨骼節(jié)點跟蹤功能控制幻燈片的播放，免去演講者按鍵進行幻燈片切換的過程；同時根據(jù)同樣的原理，預定義一些動作實現(xiàn)幻燈片播放過程中需要的其他功能。實現(xiàn)ReaISense控制幻燈片播放的主要方法包括姿勢（ pose）識別和手勢（gesture）識別，這兩種方法的本質都是通過骨骼數(shù)據(jù)的分析識別出已經(jīng)定義好的動作，并根據(jù)不同的動作觸發(fā)向前、向后、首頁、尾頁等按鍵的事件，使得幻燈片能夠切換。不同之處在于姿勢識別主要對單幀數(shù)據(jù)進行動作識別，其流程如圖1所示；手勢識別需要對連續(xù)多幀數(shù)據(jù)進行動作識別，其流程如圖2所示。

2.2 安卓平臺人臉識別項目

該項目基于主成分分析（ PCA）算法，利用劍橋大學AT&T實驗室的ORL人臉數(shù)據(jù)庫中的40個人、每個人10種姿態(tài)的圖片樣本作為訓練集，將二維人臉灰度圖像變換為一向量矩陣，隨后計算出特征集，將矩陣規(guī)范化后，求出樣本的協(xié)方差矩陣的特征值與向量，選出主成分特征向量，得到樣本的特征矩陣。安卓平臺人臉識別的流程如圖3所示。

在訓練階段，經(jīng)過預處理規(guī)范化后的圖像矩陣每一列向量被投影到特征子空間，形成特征庫。在識別階段，待識別人臉圖像經(jīng)過預處理規(guī)范化后，同樣被投影到特征子空間，使用最近鄰法分類器歐幾里得距離作為判決分類，將距離最小的訓練圖像與測試圖像進行匹配。

在具體教學中，基礎項目環(huán)節(jié)每一層中的實踐項目都按照知識點的深度分解為多個基礎題目，幫助學生從實現(xiàn)基礎題目的角度出發(fā)主動尋找解決問題需要的各個知識點，逐步形成知識體系結構。廣泛的題材和前沿的題目也激發(fā)了學生對相關領域繼續(xù)深入研究的興趣。

3 媒體認知實驗自主項目

自主項目是由學生提出研究題目并全部獨立設計完成的一種教學方式，在媒體認知實驗中作為選修環(huán)節(jié)，在設計之初主要考慮和面向部分優(yōu)秀學生，但在實際教學過程中，全部學牛均主動積極參與完成了自主項目環(huán)節(jié)。事實上，在學生的參與和建議下，部分學生提出的自主項目的成熟內容正在逐步轉化為基本項目，這種教學相長的方式極大地調動了學生的參與性、主觀能動性和創(chuàng)造性。完成該實驗課程后，許多學牛在研究生階段繼續(xù)從事該媒體認知方向的研究工作，部分自主項目如下。

3.1 音樂節(jié)奏控制交互

音樂節(jié)奏控制交互類應用的目的是根據(jù)音樂節(jié)奏與其提示按下不同的鍵模擬敲打鼓面或者敲打鼓邊，系統(tǒng)根據(jù)敲打鼓面或鼓邊的時機判斷該次擊打的得分并綜合得出最終評價。通過PC端進行音樂節(jié)奏控制交互的主要問題是通過鍵盤無法很好地進行“擊鼓”這一類型的人機交互，人通過按下某個鍵模仿?lián)艄倪@一動作的真實感太低，不能形成很好的人機交互的用戶體驗，，通過RealSense設備實現(xiàn)手勢操作則可以極大提升該游戲的體驗度，用戶可以直接通過做出模仿?lián)艄牡氖謩葸M行操作，增強游戲體驗的同時還能開發(fā)該游戲鍛煉身體的功效。音樂節(jié)奏控制交互項目界面如圖4所示。

3.2 手勢模擬電腦鍵盤

鍵盤作為人類與計算機交互的重要工具已經(jīng)有很長時間，用鍵盤幾乎可以完成與計算機的所有交流活動。ReaISense作為一種體感感知設備能夠很好地實現(xiàn)人體和機器的交流。手勢模擬電腦鍵盤的目的是將手勢與電腦鍵盤一一對應起來，使得用戶進行某個手勢動作就相當于在電腦鍵盤上輸入對應的鍵值。具體方案為首先對RealSense采集到的原始數(shù)據(jù)進行判別、加工；接著使用紅外鏡頭提供的骨骼數(shù)據(jù)判斷動作類型，發(fā)送不同指令；針對檢測到多個骨骼的問題，采用提取與設備最近的目標作為主要操縱者的辦法提高魯棒性，同時在窗口繪出彩色視頻流輔助調試。通過用手勢替代鍵盤完成一些工作，并采用后臺＼客戶端模式進行封裝來提高系統(tǒng)易用性，理論上可以無需接觸鍵盤就完成所有鍵盤控制的工作。手勢模擬電腦鍵盤項目界面如圖5所示。

4 結語

媒體認知實驗教學課程主要涉及的內容包括媒體數(shù)據(jù)獲取與人機交互、生物特征識別、虛擬交互行為及分析、智能感知與識別等交叉學科領域。通過該實驗課程的建立，學生能夠了解國際科學界及工業(yè)界最前沿的媒體認知及智能感知技術熱點和難點問題，掌握利用平臺的基礎設施和設備構建并實施多種解決方案的技能。媒體認知實驗作為跨行業(yè)、跨領域、跨學科的電子信息前沿綜合實驗課程，通過借助智能感知及人機交互知識作為工具和手段解決媒體信息處理、虛擬現(xiàn)實及人機交互的問題，充分挖掘和激發(fā)理工科背景的學生在交叉學科和前沿技術方面的實力和潛力，逐步實現(xiàn)“在傳統(tǒng)信息領域研究優(yōu)勢的基礎上積極拓展新興學科，在與能源、環(huán)境、生物等學科的交叉融合中尋求廣闊的創(chuàng)新空間”。