王會(huì)芹，樊欣嚴(yán)

(中國(guó)傳媒大學(xué)信息與通信工程學(xué)院，北京100024)

1 引言

舞臺(tái)燈光是演出場(chǎng)景中一個(gè)重要的環(huán)節(jié)。在舞臺(tái)演出中，運(yùn)用舞臺(tái)燈光設(shè)備和技術(shù)手段，隨著節(jié)目和劇情的發(fā)展，改變燈光顏色和亮度，可以烘托演出效果，渲染舞臺(tái)氣氛。所以舞臺(tái)燈光設(shè)計(jì)與控制是舞臺(tái)場(chǎng)景設(shè)計(jì)中的一個(gè)重要組成部分。目前舞臺(tái)燈光的控制效果和方案主要由設(shè)計(jì)人員根據(jù)演出節(jié)目和劇目的具體內(nèi)容預(yù)先通過(guò)設(shè)計(jì)軟件制作設(shè)計(jì)，然后在演出中利用控制系統(tǒng)進(jìn)行操作、控制實(shí)現(xiàn)的。但是隨著欣賞水平的日益提高，人們對(duì)演出節(jié)目的感染力和節(jié)目互動(dòng)性有了更高的要求。許多表演場(chǎng)合例如音樂(lè)會(huì)、戲劇表演和服裝走秀等，經(jīng)常需要舞臺(tái)背景變化與表演者之間進(jìn)行實(shí)時(shí)互動(dòng)，以增強(qiáng)和激發(fā)參與者的共鳴，使演出更具吸引力。這時(shí)照明效果需要根據(jù)現(xiàn)場(chǎng)情況實(shí)時(shí)改變，預(yù)先設(shè)計(jì)的舞臺(tái)燈光效果無(wú)法完全滿足這些這種交互性和實(shí)時(shí)性要求。為此，本文提出了基于體感技術(shù)的舞臺(tái)燈光交互式控制系統(tǒng)，該系統(tǒng)不需要預(yù)先設(shè)計(jì)，僅通過(guò)表演者的各種姿勢(shì)和動(dòng)作實(shí)時(shí)控制現(xiàn)場(chǎng)的舞臺(tái)燈光效果，使燈光的隨著演員的動(dòng)作交互變化，使演出更具有感染力。

體感技術(shù)亦稱為體感交互技術(shù)，是一種直接利用人體聲音、動(dòng)作等與周圍環(huán)境或設(shè)備進(jìn)行互動(dòng)，并對(duì)用戶動(dòng)作進(jìn)行識(shí)別、解析、做出反饋的人機(jī)交互技術(shù)。體感交互主要通過(guò)體感硬件設(shè)備和體感軟件控制系統(tǒng)來(lái)實(shí)現(xiàn)。硬件設(shè)備用來(lái)識(shí)別控制者的動(dòng)作，然后將動(dòng)作圖像以信息數(shù)據(jù)的方式傳入計(jì)算機(jī)，通過(guò)計(jì)算機(jī)的電子屏幕與用戶產(chǎn)生運(yùn)動(dòng)式的交互活動(dòng)；體感軟件系統(tǒng)主要完成體感硬件設(shè)備輸出的數(shù)據(jù)信息的進(jìn)行處理與加工，并控制機(jī)器端做出相應(yīng)的反饋[1]。

在眾多體感交互設(shè)備中微軟公司開(kāi)發(fā)Kinect由于不需要手柄，直接通過(guò)動(dòng)作、聲音等方式來(lái)控制終端的特點(diǎn)，使之成為人機(jī)交互領(lǐng)域的研究熱點(diǎn)，用于醫(yī)療、康復(fù)和機(jī)器人控制等領(lǐng)域[2]。

本文提出的交互式舞臺(tái)燈光控制系統(tǒng)利用Kinect作為交互設(shè)備，用來(lái)跟蹤表演者的雙臂動(dòng)作，然后通過(guò)體感軟件系統(tǒng)識(shí)別這些動(dòng)作，并將其和舞臺(tái)燈光效果結(jié)合起來(lái)設(shè)計(jì)調(diào)光控制信號(hào)，最終實(shí)現(xiàn)輸入信號(hào)和輸出燈光信號(hào)的交互動(dòng)作。

2 交互式舞臺(tái)燈光控制系統(tǒng)結(jié)構(gòu)

整個(gè)交互式舞臺(tái)燈光控制系統(tǒng)結(jié)構(gòu)如圖1所示。首先由Kinect采集表演者的動(dòng)作，然后通過(guò)安裝在計(jì)算機(jī)上的體感軟件——TouchDesigner對(duì)這些動(dòng)作信號(hào)進(jìn)行識(shí)別和處理，再將不同的動(dòng)作和舞臺(tái)燈的對(duì)應(yīng)效果聯(lián)系起來(lái)，從而實(shí)現(xiàn)了基于人體動(dòng)作的交互燈光控制系統(tǒng)。因?yàn)門(mén)ouchDesigner軟件的輸出信號(hào)滿足Art-Net協(xié)議，而舞臺(tái)燈接收的調(diào)光信號(hào)服從DMX協(xié)議，所以利用一個(gè)Art-Net和DMX的轉(zhuǎn)換接口實(shí)現(xiàn)數(shù)據(jù)格式的變換，最后將調(diào)光控制信號(hào)送入舞臺(tái)燈，實(shí)現(xiàn)對(duì)舞臺(tái)燈效的實(shí)時(shí)控制，具體內(nèi)容介紹如下。

圖1 交互式舞臺(tái)燈光控制系統(tǒng)結(jié)構(gòu)圖

2.1 Kinect

Kinect主要由彩色攝像頭、紅外發(fā)射裝置、紅外攝像頭、麥克風(fēng)陣列等部件構(gòu)成。通過(guò)紅外裝置和紅外攝像頭可以完成深度數(shù)據(jù)的采集。深度數(shù)據(jù)是指 Kinect 視野范圍內(nèi)的物體到 Kinect 的三維空間距離。利用骨骼追蹤技術(shù)可以從深度數(shù)據(jù)中得到人體骨架節(jié)點(diǎn)信息，它可以同時(shí)追蹤6個(gè)用戶，準(zhǔn)確識(shí)別兩個(gè)人的具體動(dòng)作。這里的準(zhǔn)確識(shí)別是通過(guò)準(zhǔn)確標(biāo)定人體的20個(gè)關(guān)節(jié)點(diǎn)，實(shí)現(xiàn)對(duì)人體動(dòng)作地實(shí)時(shí)追蹤。這些關(guān)節(jié)點(diǎn)的信息如圖2所示。它是以Kinect所處位置作為原點(diǎn)，用米作為坐標(biāo)單位，構(gòu)建感應(yīng)實(shí)體的空間坐標(biāo)軸，通過(guò)三維坐標(biāo)(X，Y，Z)來(lái)表示每個(gè)關(guān)節(jié)的位置(每個(gè)關(guān)節(jié)點(diǎn)用圓形顯示)。其中X代表水平移動(dòng)距離，Y代表垂直距離，Z代表和Kinect的距離。坐標(biāo)系的設(shè)定依據(jù)右手螺旋準(zhǔn)則，Z則是與上述體感器方向保持相同。而Y逐步向上攀升的是正半軸部分，另外有X向左邊外延的是正方向[3]。

圖2 Kinect可識(shí)別的20個(gè)關(guān)節(jié)點(diǎn)信息

這樣表演者的動(dòng)作不同，關(guān)節(jié)點(diǎn)所處的位置不同，坐標(biāo)值亦不相同，如果將不同的位置和燈光效果結(jié)合起來(lái)，例如利用Z坐標(biāo)值不同改變舞臺(tái)燈亮度。燈的亮度會(huì)隨著表演者的動(dòng)作實(shí)時(shí)改變，實(shí)現(xiàn)了亮度的交互控制。

2.2 Art-Net/DMX 轉(zhuǎn)換器

Art-Net是一種基于TCP/IP協(xié)議的以太網(wǎng)協(xié)議。目的在于使用目前現(xiàn)有的標(biāo)準(zhǔn)網(wǎng)絡(luò)技術(shù)，在廣域內(nèi)傳遞大量DMX512數(shù)據(jù)。其燈光控制信息包含在網(wǎng)絡(luò)數(shù)據(jù)包傳送，通常建立在一個(gè)局域網(wǎng)絡(luò)中，在硬件滿足其穩(wěn)定性的情況下，甚至可以通過(guò)無(wú)線WIFI網(wǎng)絡(luò)直接完成各終端以及交換機(jī)之間的聯(lián)通。Art-Net支持的功能包括發(fā)送和接收的燈光的數(shù)據(jù)；管理功能，如檢測(cè)節(jié)點(diǎn)，節(jié)點(diǎn)控制參數(shù)更新和發(fā)送時(shí)間碼等，是一種即將普及的下一代燈光系統(tǒng)的協(xié)議。

DMX512協(xié)議由美國(guó)劇院技術(shù)協(xié)會(huì)最先提出的目前舞臺(tái)設(shè)備中通用的一種數(shù)據(jù)協(xié)議。它的傳輸速率固定為250kbps，每個(gè)數(shù)據(jù)位的時(shí)間是4us，512個(gè)字節(jié)的數(shù)據(jù)傳輸時(shí)間為22.528ms。數(shù)據(jù)的幀頭通常是88us，數(shù)據(jù)的幀頭隨后是一個(gè)空閑幀，空閑幀時(shí)間長(zhǎng)度是8us-1ms。

由于Touchdesigner軟件輸出信號(hào)滿足Art-Net協(xié)議，而舞臺(tái)設(shè)備的輸入類型多滿足DMX協(xié)議，兩類數(shù)據(jù)格式不同，所以需要Art-Net/DMX轉(zhuǎn)換器。

Art-Net/DMX轉(zhuǎn)換器通過(guò)設(shè)置IP地址將Art-Net信號(hào)通過(guò)各種類型的網(wǎng)絡(luò)傳輸至低層的DMX設(shè)備，極大的方便了燈光控制信號(hào)的輸出。

3 交互式舞臺(tái)燈光控制系統(tǒng)軟件設(shè)計(jì)

舞臺(tái)燈光的交互控制效果由TouchDesigner軟件設(shè)計(jì)實(shí)現(xiàn)。TouchDesigner是一款基于數(shù)據(jù)流的一個(gè)可視化開(kāi)發(fā)平臺(tái)，它可以根據(jù)不同需要?jiǎng)?chuàng)建各種的實(shí)時(shí)效果。例如可以創(chuàng)建互動(dòng)的多媒體系統(tǒng)、建筑投影，也可以實(shí)現(xiàn)現(xiàn)場(chǎng)音樂(lè)的實(shí)時(shí)視覺(jué)效果，或者進(jìn)行最原始的原型類的創(chuàng)作。

舞臺(tái)燈光交互控制系統(tǒng)軟件設(shè)計(jì)主要包括采集和整合表演者手臂動(dòng)作信號(hào)，對(duì)動(dòng)作信號(hào)進(jìn)行二次處理，然后以它為控制數(shù)據(jù)實(shí)現(xiàn)不同的燈光效果，并輸出控制信號(hào)來(lái)驅(qū)動(dòng)舞臺(tái)燈光設(shè)備，從而實(shí)現(xiàn)輸入和輸出信號(hào)的交互式動(dòng)作[4]-[6]。

3.1 交互式燈光效果設(shè)計(jì)

系統(tǒng)主要針對(duì)手臂動(dòng)作設(shè)計(jì)不同的燈光效果。表演者位于Kinect前方1.2-3.5米的范圍，由Kinect捕捉他的手臂動(dòng)作。手臂動(dòng)作可以分解成三種情況，如圖3所示。圖(a)是代表原始狀態(tài)，這時(shí)手臂自然下垂在身體兩側(cè)；圖(b)對(duì)應(yīng)擴(kuò)展動(dòng)作，兩臂分別向左右兩側(cè)拉伸，上臂關(guān)節(jié)點(diǎn)X坐標(biāo)值發(fā)生改變；圖(c)兩臂向上伸展，上臂關(guān)節(jié)點(diǎn)Y坐標(biāo)值發(fā)生改變；圖(d)兩臂向前伸展，上臂關(guān)節(jié)點(diǎn)Z坐標(biāo)值發(fā)生改變。通過(guò)圖3可以看出，這種動(dòng)作的變化可以通過(guò)手部關(guān)節(jié)點(diǎn)位置體現(xiàn)出來(lái)(圖中紅色圓點(diǎn))，所以手臂動(dòng)作的變化可以通過(guò)手部坐標(biāo)顯示出來(lái)。

(a) (b) (c) (d)圖3 手臂的三種分解動(dòng)作

根據(jù)利用左、右手各控制若干只舞臺(tái)燈，由手部關(guān)節(jié)點(diǎn)坐標(biāo)的變換設(shè)計(jì)燈光效果如下。

(1)選取左右手的空間中的X坐標(biāo)信號(hào)控制左右燈具跟隨左右手進(jìn)行水平交互運(yùn)動(dòng)，即手的空間坐標(biāo)值X控制燈光的水平軸，其運(yùn)動(dòng)范圍是由初始位置(圖3(a))到兩手完全伸直(圖3(b))對(duì)應(yīng)舞臺(tái)燈具的Pan軸變化到左右各120度的位置；

(2)選取左右手的空間中的Y坐標(biāo)信號(hào)控制左右燈具跟隨左右手進(jìn)行垂直交互跟隨運(yùn)動(dòng)，手的Y坐標(biāo)控制對(duì)于燈具垂直方向的運(yùn)動(dòng)，其運(yùn)動(dòng)范圍是在手自然垂下(圖3(a))到完全舉到最高(圖3(c))對(duì)應(yīng)舞臺(tái)燈的Tilt軸的最低位置即135度的時(shí)候和垂直0度的時(shí)候；

(3)手的Z坐標(biāo)對(duì)應(yīng)燈具的亮度通道的變化，其運(yùn)動(dòng)范圍是在手臂自然下垂時(shí)(3(a))為燈光亮度Dimmer值為0，手臂完全伸直后(圖3(d))燈光的Dimmer值；

(4)其它燈光效果設(shè)計(jì)

在以上效果基礎(chǔ)上，可以利用TouchDesigner內(nèi)置函數(shù)塊實(shí)現(xiàn)其它燈光效果。如加入濾波函數(shù)進(jìn)行延時(shí)，使燈的各個(gè)軸實(shí)現(xiàn)波浪效果等。

3.2 程序?qū)崿F(xiàn)

上述燈光效果程序?qū)崿F(xiàn)過(guò)程如圖4所示。首先對(duì)端口進(jìn)行初始化，在Touchdesigner軟件中建立Kinect輸入通道用來(lái)采集深度數(shù)據(jù)。輸出端口設(shè)置為dmxout輸出模，令其輸出口為Art-Net形式，并根據(jù)Art-Net/DMX轉(zhuǎn)換器的IP地址設(shè)置dmxout模塊的網(wǎng)絡(luò)地址；然后開(kāi)始采集Kinect輸出的深度數(shù)據(jù)，對(duì)深度數(shù)據(jù)進(jìn)行二值化處理，將表演者的數(shù)據(jù)信息從背景中分離出來(lái)，獲得表演者的深度數(shù)據(jù)，再利用骨骼獲取函數(shù)，得到兩只手的三維坐標(biāo)。根據(jù)3.1的內(nèi)容，結(jié)合雙手的坐標(biāo)值設(shè)計(jì)燈光效果，最后將控制信號(hào)送到dmxout輸出端，通過(guò)Art-Net/DMX轉(zhuǎn)換器送給舞臺(tái)燈，同時(shí)觸發(fā)定時(shí)器，重新獲取手部坐標(biāo)信息，實(shí)現(xiàn)對(duì)表演者動(dòng)作的實(shí)時(shí)跟蹤和對(duì)舞臺(tái)燈的實(shí)時(shí)控制[6]。

4 實(shí)驗(yàn)測(cè)試

為了體現(xiàn)舞臺(tái)燈光交互式控制的效果，實(shí)驗(yàn)選擇極強(qiáng)的律動(dòng)性的歌曲“In The Name Of Love”為背景音樂(lè)，控制的舞臺(tái)燈包括12只LED Par燈，2只搖頭電腦燈和激光燈。輸出設(shè)備較多，對(duì)于此演出設(shè)計(jì)控制復(fù)雜，需要來(lái)回切換控制模式，且人員的動(dòng)作幅度不可能過(guò)大，所以測(cè)試實(shí)驗(yàn)僅用左手作為體感輸入，右手控制模式的切換。具體效果如圖5所示。

(a)歌曲開(kāi)始

(b)歌曲高潮

(c)歌曲結(jié)束圖5 舞臺(tái)燈交互式控制效果

在歌曲開(kāi)始時(shí)候加入了LED Par燈，照射在背后的墻上，跟隨著歌曲的律動(dòng)揮舞左手，令電腦燈的跟隨手的動(dòng)作進(jìn)行擺動(dòng)，燈光的閃爍的速率跟隨節(jié)奏變化如圖5(a)所示，在歌聲高潮的時(shí)候伸出左手，增強(qiáng)燈光的亮度與亮區(qū)大小如圖5(b)。在歌曲結(jié)束時(shí)，手回到原位，電腦燈回到原始位置并全部熄滅，激光照射在表演者的背上，形成了一個(gè)煙霧繚繞的逆光剪影效果，并保持其效果至音樂(lè)徹底結(jié)束。整個(gè)過(guò)程舞臺(tái)燈光隨著歌曲節(jié)奏變化而變化，充分體現(xiàn)了演出的交互性和實(shí)時(shí)性，烘托了舞臺(tái)氛圍，增強(qiáng)了演出效果。整個(gè)過(guò)程燈光效果跟隨手部動(dòng)作的變化而發(fā)生變化。

5 結(jié)論

本文將體感交互技術(shù)引入舞臺(tái)燈光控制系統(tǒng)，設(shè)計(jì)了一種基于Kinect體感設(shè)備的舞臺(tái)燈光交互式控制系統(tǒng)。該系統(tǒng)可以直接利用表演者的手臂動(dòng)作控制舞臺(tái)燈光效果的變化。和常規(guī)的舞臺(tái)燈光控制系統(tǒng)相比較，本文提出的方案增強(qiáng)了舞臺(tái)燈光控制的交互性，可以更好的激發(fā)觀眾的共鳴。通過(guò)測(cè)試實(shí)驗(yàn)說(shuō)明基于體感技術(shù)的交互式舞臺(tái)燈光控制系統(tǒng)是有效和可行的。在實(shí)際應(yīng)用中可以作為傳統(tǒng)舞臺(tái)燈光控制系統(tǒng)的一種有效的補(bǔ)充形式。