田　豐，宋　瑩，王　攀

(上海大學(xué) 上海電影學(xué)院，上海 200072)

?

實(shí)景動(dòng)畫拍攝系統(tǒng)研制

田豐，宋瑩，王攀

(上海大學(xué) 上海電影學(xué)院，上海 200072)

為實(shí)現(xiàn)實(shí)景動(dòng)畫拍攝系統(tǒng)，設(shè)計(jì)了一種基于嵌入式控制器的實(shí)體拍攝支架。針對國外拍攝機(jī)器人價(jià)格超高的問題，設(shè)計(jì)了低成本、簡便易用的實(shí)景動(dòng)畫拍攝系統(tǒng)，完成了計(jì)算機(jī)端插件、通信接口、嵌入式控制器、運(yùn)動(dòng)控制支架。經(jīng)實(shí)際應(yīng)用，3DMAX中虛擬相機(jī)姿態(tài)導(dǎo)出精度和分辨率達(dá)到30 f/s(幀/秒)，實(shí)體相機(jī)旋轉(zhuǎn)方向和速率與虛擬相機(jī)保持完全同步，實(shí)景動(dòng)畫系統(tǒng)同步虛擬相機(jī)和實(shí)體相機(jī)運(yùn)動(dòng)路后能獲得準(zhǔn)確影視內(nèi)容合成效果。

虛擬相機(jī)；實(shí)體相機(jī)；嵌入式系統(tǒng)；影視特效

1　實(shí)景動(dòng)畫拍攝

隨著現(xiàn)代影視制作技術(shù)的飛速發(fā)展，影視特效合成是后期制作的關(guān)鍵步驟[1-7]。特殊拍攝與特效合成也是國內(nèi)影視信息學(xué)科關(guān)注的問題[8-10]。實(shí)景動(dòng)畫制作合成是特殊拍攝與特效合成的關(guān)鍵技術(shù)之一。實(shí)景動(dòng)畫技術(shù)為內(nèi)容展示帶來了一種全新表達(dá)方式，并在國內(nèi)外影視大片中成為后期制作的最流行手段?，F(xiàn)有特效鏡頭基本都以軟件三維跟蹤合成方式開展，而軟件跟蹤方式的約束條件過多：1)實(shí)拍畫面色彩不能過于豐富或單調(diào)，不然跟蹤點(diǎn)容易失聯(lián)；2)實(shí)拍攝像機(jī)運(yùn)動(dòng)不能過快，且受光干擾影響較大，否則也容易失聯(lián)；3)實(shí)拍鏡頭手持穩(wěn)定性較低，無法重復(fù)拍攝；4)三維跟蹤由完備的計(jì)算機(jī)視覺理論體系支撐，但受到相機(jī)分辨率的限制，距離較遠(yuǎn)處的跟蹤精度較低；5)無法提前設(shè)置人工拍攝的準(zhǔn)確路徑；6)反復(fù)人工標(biāo)記跟蹤的工作量大；7)虛擬相機(jī)跟隨實(shí)體相機(jī)，而無法實(shí)現(xiàn)實(shí)體相機(jī)跟隨虛擬相機(jī)。

近年來，拍攝機(jī)器人已在好萊塢影視節(jié)目制作中廣泛使用?！暗匦囊Α迸臄z中的Motion Control和光盒聯(lián)合拍攝給影迷留下深刻印象[11]。拍攝機(jī)器人已在國外數(shù)字制作中占有非常重要的作用，拍攝自動(dòng)化、信息預(yù)覽、拍攝前規(guī)劃等能夠快速實(shí)現(xiàn)。重復(fù)拍攝和指令拍攝使得影視制作的質(zhì)量和效率大大提高。

拍攝機(jī)器人售價(jià)近千萬，而影視廣告市場迫切需要一類低成本、功能簡化的微型拍攝系統(tǒng)。本文為實(shí)現(xiàn)低成本實(shí)景動(dòng)畫(虛實(shí)結(jié)合)拍攝系統(tǒng)開展了初步實(shí)驗(yàn)，完成了整套單軸轉(zhuǎn)動(dòng)拍攝支架系統(tǒng)，設(shè)計(jì)了基于3DMAX的控制插件和嵌入式控制器，最后完成了虛擬鏡頭同步控制實(shí)體相機(jī)的拍攝任務(wù)。

2　系統(tǒng)設(shè)計(jì)

2.1實(shí)景動(dòng)畫系統(tǒng)運(yùn)作總體流程

如圖1所示，實(shí)景動(dòng)畫系統(tǒng)運(yùn)作總體流程可分為4個(gè)模塊：1)計(jì)算機(jī)端插件；2)通信插件和電纜；3)嵌入式系統(tǒng)軟件；4)支架端。計(jì)算機(jī)端有虛擬相機(jī)運(yùn)動(dòng)設(shè)計(jì)、虛擬相機(jī)相對運(yùn)動(dòng)計(jì)算、虛擬相機(jī)數(shù)據(jù)保存等功能單元；通信插件和電纜有數(shù)據(jù)發(fā)送插件、USB轉(zhuǎn)串口傳輸電纜；嵌入式系統(tǒng)端有嵌入式系統(tǒng)數(shù)據(jù)存儲、運(yùn)動(dòng)數(shù)據(jù)與PWM數(shù)據(jù)解碼、PWM信號輸出等功能模塊；支架端有步進(jìn)電機(jī)驅(qū)動(dòng)、支架同步旋轉(zhuǎn)等功能模塊。數(shù)據(jù)鏈路由虛擬相機(jī)端傳輸轉(zhuǎn)移到實(shí)體相機(jī)端，即把虛擬相機(jī)運(yùn)動(dòng)數(shù)據(jù)識別、保存、傳輸、解碼、發(fā)送到實(shí)體相機(jī)，實(shí)現(xiàn)了實(shí)體相機(jī)同步跟隨虛擬相機(jī)運(yùn)動(dòng)，本文完成跟隨單軸旋轉(zhuǎn)運(yùn)動(dòng)。

圖1　實(shí)景動(dòng)畫系統(tǒng)運(yùn)作總體流程

2.2硬件系統(tǒng)設(shè)計(jì)

如圖2所示，實(shí)景動(dòng)畫拍攝系統(tǒng)由計(jì)算機(jī)、USB轉(zhuǎn)串口、JTAG、ARM控制器、5 V和24 V電源、控制線、步進(jìn)電機(jī)、驅(qū)動(dòng)器、軸承、旋轉(zhuǎn)支架、攝像機(jī)等模塊和部件組成。計(jì)算機(jī)通過JTAG把計(jì)算機(jī)編寫的嵌入式軟件燒錄ARM控制器并能夠做單步調(diào)試；USB和RS-232通信接口把3DMAX或MAYA軟件內(nèi)部虛擬相機(jī)的運(yùn)動(dòng)路徑數(shù)據(jù)傳輸給ARM控制器；ARM控制器保存相機(jī)運(yùn)動(dòng)路徑，接受計(jì)算機(jī)運(yùn)行指令后立即把運(yùn)動(dòng)編碼轉(zhuǎn)化為PWM信號；步進(jìn)電機(jī)接受PWM信號后根據(jù)細(xì)分編碼執(zhí)行步進(jìn)指令，保證每1/30 s內(nèi)與虛擬相機(jī)同步。

圖2　實(shí)景動(dòng)畫拍攝支架結(jié)構(gòu)總體框架

如圖3a所示，JTAG連接ARM控制器，USB-RS-232連接計(jì)算機(jī)。如圖3b所示，步進(jìn)電機(jī)驅(qū)動(dòng)軸承，軸承帶動(dòng)拍攝支架旋轉(zhuǎn)。如圖3c所示，PWM控制線包括PWM信號線、DIR方向信號線、地線共3組。

圖3　實(shí)景動(dòng)畫拍攝系統(tǒng)

ARM控制器采用STM32L152VBT6，128 kbyte片內(nèi)內(nèi)存和16 kbyte片內(nèi)RAM滿足數(shù)據(jù)存儲和拍攝系統(tǒng)運(yùn)行要求，內(nèi)核包含超過6個(gè)可編程定時(shí)器計(jì)數(shù)器，可支持未來6軸實(shí)景動(dòng)畫拍攝系統(tǒng)。本文試驗(yàn)了單軸旋轉(zhuǎn)拍攝支架，故僅使用處理器內(nèi)部1路定時(shí)器計(jì)數(shù)器產(chǎn)生PWM信號。ARM控制器使用5 V供電，步進(jìn)電機(jī)驅(qū)動(dòng)使用24 V供電。步進(jìn)電機(jī)驅(qū)動(dòng)支持3.3 V電壓控制信號，故ARM控制器的3.3 V電壓能夠直接驅(qū)動(dòng)步進(jìn)電機(jī)旋轉(zhuǎn)。

2.33DMAX數(shù)據(jù)輸出插件設(shè)計(jì)

3DMAX數(shù)據(jù)輸出插件是獲取虛擬相機(jī)運(yùn)動(dòng)數(shù)據(jù)并發(fā)送的關(guān)鍵模塊，其中包括初始化數(shù)據(jù)、解讀運(yùn)動(dòng)數(shù)據(jù)和保存發(fā)送數(shù)據(jù)模塊，如圖4所示。在初始化數(shù)據(jù)模塊中，首先插件獲取當(dāng)前虛擬相機(jī)的角度，其次新建運(yùn)動(dòng)數(shù)據(jù)文件，最后初始化至第1動(dòng)畫幀；在解讀運(yùn)動(dòng)數(shù)據(jù)模塊中，首先插件累加動(dòng)畫幀，其次判斷動(dòng)畫是否結(jié)束，如有下列幀即獲取虛擬相機(jī)幀角度，清洗越界數(shù)據(jù)，識別運(yùn)動(dòng)方向，最后保存方向和旋轉(zhuǎn)角度數(shù)據(jù)；在保存發(fā)送數(shù)據(jù)模塊中，首先插件保存數(shù)據(jù)文件并關(guān)閉，接著從串口發(fā)送運(yùn)動(dòng)數(shù)據(jù)。

圖4　3DMAX數(shù)據(jù)輸出插件流程圖

其中解讀運(yùn)動(dòng)數(shù)據(jù)流程如下：

1)時(shí)間軸Time++。

2)如果Time<=TimeAll，那么繼續(xù)執(zhí)行運(yùn)動(dòng)數(shù)據(jù)解讀步驟3)，執(zhí)行；如果Time>TimeAll，就跳出循環(huán)，結(jié)束運(yùn)動(dòng)數(shù)據(jù)獲取。

3)獲取虛擬相機(jī)角度，當(dāng)前幀相機(jī)角度與初始化相機(jī)角度相減，獲得相對旋轉(zhuǎn)角度Rydelta。

4)在對1/30 s內(nèi)限定轉(zhuǎn)速的前提下清洗數(shù)據(jù)，如果Rydelta<-60，則Rydelta=Rydelta+360；如果Rydelta>60，則Rydelta=Rydelta-360；如果Rydelta>2.34，則提示超標(biāo)報(bào)錯(cuò)；如果Rydelta<-2.34，則提示超標(biāo)報(bào)錯(cuò)。

5)識別運(yùn)動(dòng)過方向，如果Rydelta<0，則方向WriteByte=255；否則WriteByte=254。

6)取絕對值保存運(yùn)動(dòng)數(shù)據(jù)temp=abs(Rydelta)×100，寫文件Writetemp，跳轉(zhuǎn)到步驟1)。

設(shè)時(shí)間軸時(shí)刻為Time，總時(shí)間為TimeAll，相對旋轉(zhuǎn)角度Rydelta，方向變量為WriteByte，被保存的運(yùn)動(dòng)數(shù)據(jù)為temp，保存文件名為Writetemp。

2.4嵌入式控制軟件設(shè)計(jì)

嵌入式系統(tǒng)是實(shí)體相機(jī)同步虛擬相機(jī)運(yùn)動(dòng)數(shù)據(jù)的核心模塊，其中包括嵌入式系統(tǒng)初始化、控制PWM使能和PWM輸出模塊，如圖5所示。在嵌入式系統(tǒng)初始化模塊中，首先初始化GPIO，其次初始化系統(tǒng)時(shí)鐘，初始化1組1/30 s中斷，初始化6組PWM定時(shí)器，最后程序進(jìn)入死循環(huán)；在控制PWM使能模塊中，首先串口中斷1獲取計(jì)算機(jī)端控制指令，包括接受數(shù)據(jù)并轉(zhuǎn)碼、使能PWM定時(shí)器1和關(guān)閉PWM定時(shí)器1；在PWM輸出模塊中，對PWM定時(shí)器1進(jìn)行1/30 s一次的轉(zhuǎn)碼數(shù)據(jù)更新。

圖5　嵌入式控制器軟件流程圖

接受旋轉(zhuǎn)角度數(shù)據(jù)并轉(zhuǎn)碼是為了實(shí)現(xiàn)旋轉(zhuǎn)角度與PWM定時(shí)器數(shù)值的轉(zhuǎn)換，達(dá)到步進(jìn)電機(jī)與虛擬相機(jī)同步旋轉(zhuǎn)的效果。設(shè)置步進(jìn)電機(jī)細(xì)分?jǐn)?shù)為128脈沖旋轉(zhuǎn)0.9°。設(shè)Y為定時(shí)器發(fā)出的脈沖數(shù)，n為步進(jìn)電機(jī)旋轉(zhuǎn)的角度，則其關(guān)系為

Y/128=n/0.9

(1)

ARM控制器系統(tǒng)時(shí)鐘為8 MHz，根據(jù)主時(shí)鐘設(shè)定中斷及定時(shí)器。設(shè)X為處理器內(nèi)部定時(shí)器的分頻數(shù)，30 f/s對應(yīng)每個(gè)時(shí)間周期為1/30 s，則X與Y的關(guān)系為

X=8 000 000/30×Y

(2)

把式(1)代入式(2)，則獲得定時(shí)器分頻數(shù)X與旋轉(zhuǎn)角度n的關(guān)系為

X=1 875/n

(3)

3　實(shí)驗(yàn)

連接USB轉(zhuǎn)串口線、電源線、PWM控制信號線、嵌入式控制板、拍攝支架。如圖6所示，架設(shè)手機(jī)到支架上。

如圖7a，在3DMAX軟件中導(dǎo)入模型車，設(shè)定模型車運(yùn)動(dòng)軌跡，在適當(dāng)位置架設(shè)虛擬相機(jī)，設(shè)定虛擬相機(jī)

圖6　實(shí)體相機(jī)安裝

旋轉(zhuǎn)方向和速度。測量虛擬相機(jī)與桌面的角度，測量虛擬相機(jī)與模型車初始相對位置，按虛擬位置和角度等比例放置實(shí)體相機(jī)，使其相對角度和距離與虛擬相機(jī)一致。連續(xù)導(dǎo)出虛擬相機(jī)旋轉(zhuǎn)角度，下載數(shù)據(jù)到嵌入式控制板，下達(dá)控制指令，使實(shí)體相機(jī)也按照虛擬相機(jī)連續(xù)旋轉(zhuǎn)角度而運(yùn)動(dòng)，實(shí)體相機(jī)獲取如圖7b的連續(xù)影像，對圖7a連續(xù)渲染影像摳圖并疊加在圖7b上，最后合成圖7c的連續(xù)實(shí)景動(dòng)畫影像。

圖7　合成過程

4　小結(jié)

針對拍攝機(jī)器人價(jià)格高昂的問題，設(shè)計(jì)了基于運(yùn)動(dòng)控制的實(shí)景動(dòng)畫拍攝系統(tǒng)。經(jīng)實(shí)際的室內(nèi)應(yīng)用，實(shí)景動(dòng)畫拍攝系統(tǒng)可單軸變速旋轉(zhuǎn)拍攝，動(dòng)畫軟件中的虛擬相機(jī)和真實(shí)世界實(shí)體相機(jī)保持同步。實(shí)景動(dòng)畫拍攝合成是特效制作的重點(diǎn)技術(shù)之一，它能夠應(yīng)用到先設(shè)置虛擬動(dòng)畫再開展實(shí)景拍攝的特殊影視節(jié)目制作過程中，此項(xiàng)技術(shù)已應(yīng)用在裝備工業(yè)的富媒體制作過程中。在下一階段，本課題還能對拍攝系統(tǒng)進(jìn)行升級，擴(kuò)展到6自由度拍攝支架，滿足范圍內(nèi)任意運(yùn)動(dòng)路徑的拍攝任務(wù)。

[1]HANIKA J，DROSKE M，F(xiàn)ASCIONE L. Manifold next event estimation[J]. Computer graphics forum， 2015， 34(4)：87-97.

[2]NOWROUZEZAHRAI D， JOHNSON J， SELLE A， et al. A programmable system for artistic volumetric lighting[J]. ACM transactions on graphics (TOG)， 2011， 30(4)： 76-79.

[3]SEO J，IRVING G，LEWIS J P， et al. Compression and direct manipulation of complex blendshape models[J].ACM transactions on graphics， 2011，30(6)：61-64.

[4]劉毅.淺析計(jì)算機(jī)技術(shù)在電影后期處理中的應(yīng)用[J].視聽界廣播電視技術(shù)，2015(3)：115-118.

[5]胡軍民.數(shù)字特效在影視作品中的應(yīng)用[J].電子技術(shù)與軟件工程，2014(19)：193.

[6]魏良.全球影視后期特技制作發(fā)展趨勢淺析[J].大眾文藝，2011(7)：167.

[7]郭勁鋒.數(shù)字思維模式下電影與技術(shù)的互動(dòng)[J].當(dāng)代電影，2015(6)：4-8.

[8]佟志強(qiáng)，劉波.立體電視中特效鏡頭合成的分析[J].電視技術(shù)，2010，34(3)：73-75.

[9]湛永松，陳顯軍，劉文兆.基于粒子系統(tǒng)的影視特效生成技術(shù)[J].電視技術(shù)，2009，33(9)：12-14.

[10]沈承祖，張文俊，張目.“時(shí)間凍結(jié)”數(shù)字影視特效拍攝系統(tǒng)[J].電視技術(shù)，2007，31(8)：97-99.

[11]《地心引力》：誕生記——逆天特效主宰一切[EB/OL].[2016-01-02].http：//107cine.com/stream/25582/.

田豐(1976— )，博士，碩士生導(dǎo)師，主要研究方向?yàn)殡娪凹夹g(shù)；

宋瑩(1977— )，碩士，主要研究方向?yàn)?D特效技術(shù)；

王攀(1992— )，碩士生，主要研究領(lǐng)域?yàn)殡娪凹夹g(shù)。

責(zé)任編輯：時(shí)雯

Development of live-action and virtual shooting system

TIAN Feng，SONG Ying，WANG Pan

(ShanghaiFilmAcademyinShanghaiUniversity，Shanghai200072，China)

To achieve the live-action and virtual shooting system， an entity shooting bracket based on embedded controller is designed. In the light of the problem of ultra-high price of shooting robot in foreign countries， a low cost， easy to use live-action and virtual shooting system is designed， the computer end plug， communication interface， embedded controller， motion control support are completed. By practical application， the accuracy and resolution of virtual camera pose reach 30 f/s， the rotation direction and speed of live-action camera remain completely synchronized with the virtual camera. After the live-action and virtual system synchronize the motion path of virtual camera and camera， the accurate video content synthesis effect is obtained.

virtual camera； live-action camera； embedded system； film special effects

TN871

ADOI：10.16280/j.videoe.2016.07.005

上海市科委“科技創(chuàng)新行動(dòng)計(jì)劃”高新技術(shù)領(lǐng)域項(xiàng)目(14511108202)；2016年度上海大學(xué)電影學(xué)高峰學(xué)科項(xiàng)目

2016-01-10

文獻(xiàn)引用格式：田豐，宋瑩，王攀. 實(shí)景動(dòng)畫拍攝系統(tǒng)研制[J].電視技術(shù)，2016，40(7)：20-23.

TIAN F，SONG Y，WANG P. Development of live-action and virtual shooting system [J].Video engineering，2016，40(7)：20-23.