韓志宏，余 剛，謝世斌

（成都索貝數(shù)碼科技股份有限公司 基礎(chǔ)技術(shù)研究院，四川 成都 610041）

立體視覺(jué)編輯技術(shù)研究與設(shè)計(jì)

韓志宏，余 剛，謝世斌

（成都索貝數(shù)碼科技股份有限公司 基礎(chǔ)技術(shù)研究院，四川 成都 610041）

首先對(duì)立體視覺(jué)編輯的關(guān)鍵技術(shù)如3D IO硬件、編解碼效率優(yōu)化、渲染引擎以及編輯系統(tǒng)的功能和流程等進(jìn)行了研究和闡述，并對(duì)目前3D編輯設(shè)備的支持情況進(jìn)行了介紹。然后，重點(diǎn)介紹了索貝公司的E10系列非線(xiàn)性編輯系統(tǒng)。最后，對(duì)立體視覺(jué)編輯的關(guān)鍵技術(shù)進(jìn)行總結(jié)。

3D編輯；3D IO硬件；渲染引擎

立體視覺(jué)內(nèi)容基于人眼雙目立體視覺(jué)特性，一般采用雙視點(diǎn)同步視頻或圖像，利用立體顯示設(shè)備為觀眾提供立體內(nèi)容。視音頻及圖文等多媒體內(nèi)容，由于容易創(chuàng)作及接受，在文化產(chǎn)業(yè)中處于重要的地位。而基于立體視覺(jué)的視音頻及圖文等多媒體內(nèi)容（以下簡(jiǎn)稱(chēng)3D），對(duì)受眾有越來(lái)越強(qiáng)的吸引力。近年來(lái)，大量的3D大片、動(dòng)畫(huà)上映，收視火爆，也印證了這個(gè)趨勢(shì)。

相比于傳統(tǒng)的視覺(jué)內(nèi)容制作，在立體視覺(jué)內(nèi)容制作方面，需要通過(guò)控制雙目攝像機(jī)的同步拍攝來(lái)獲取立體內(nèi)容。同時(shí)，在立體視覺(jué)內(nèi)容的加工過(guò)程中，需要支持對(duì)雙軌立體視頻內(nèi)容進(jìn)行同步處理，如調(diào)色、特效、字幕等，傳統(tǒng)的非線(xiàn)性編輯軟件無(wú)法支持。因此，立體視覺(jué)內(nèi)容制作需要投入大量成本，建設(shè)立體拍攝平臺(tái)、立體內(nèi)容后期處理制作平臺(tái)，這形成了立體視覺(jué)內(nèi)容制作的成本門(mén)檻。

立體視覺(jué)內(nèi)容相比于傳統(tǒng)的平面視覺(jué)內(nèi)容，由于利用了人眼的雙目立體視覺(jué)特性，通過(guò)人眼的匯聚以及大腦的視覺(jué)融合得到內(nèi)容場(chǎng)景中的深度感。在這個(gè)過(guò)程中，不合適的立體內(nèi)容將導(dǎo)致人眼的立體視覺(jué)疲勞，并由此影響人體健康。因此立體視覺(jué)內(nèi)容制作有著更高的技術(shù)要求。

1 立體視覺(jué)編輯技術(shù)

立體視覺(jué)編輯的關(guān)鍵技術(shù)包括3D IO硬件、編解碼效率優(yōu)化、渲染引擎以及編輯系統(tǒng)的流程開(kāi)發(fā)等。

1.1 3D IO硬件

3D IO硬件開(kāi)發(fā)中主要存在的難點(diǎn)在于解決數(shù)據(jù)量問(wèn)題，以3D SDI的輸入、輸出出為例，其基帶數(shù)據(jù)是之前的兩倍。3D IO采集卡，必須具備更高的數(shù)據(jù)帶寬，以及更快的DSP處理速度。

索貝公司的MG 5000E板卡在設(shè)計(jì)中，采用PCI-EXPRESS×8接口技術(shù)，高達(dá)20 Gbit/s的雙向帶寬，支持同時(shí)播出和采集4路高清信號(hào)，由于有充足的傳輸帶寬，視頻可支持10 bit量化處理，同時(shí)也兼容其他量化精度。板卡支持DDR2-SDRAM內(nèi)存，更高的內(nèi)存帶寬，更低的芯片價(jià)格，滿(mǎn)足板卡處理大批量數(shù)據(jù)的要求。圖1是MG5000E的外觀圖。

圖1 MG5000E外觀圖

1.2 編解碼效率優(yōu)化

針對(duì)3D立體視覺(jué)的應(yīng)用流程，本文在設(shè)計(jì)中采用了3D代理文件，通過(guò)存儲(chǔ)若干個(gè)一般視頻和音頻信息，形成一個(gè)3D文件。它是一個(gè)虛擬文件，即它的音頻和視頻文件是單獨(dú)存儲(chǔ)在磁盤(pán)上的。通過(guò)3D代理文件索引找到視頻和音頻文件，從而模擬普通的文件格式。

在開(kāi)發(fā)和設(shè)計(jì)中，需做好并行調(diào)度和同步處理，同時(shí)對(duì)3D代理的左右眼及音頻文件進(jìn)行解碼，以滿(mǎn)足3D非編處理的需要。圖2為編解碼引擎的架構(gòu)圖。

圖2 3D文件解碼架構(gòu)圖

1.3 渲染引擎

GPU并行圖像渲染能力是CPU幾十倍以上，采用CPU+GPU視頻圖像處理技術(shù)，可提高圖像處理速度的同時(shí)解放了CPU，利用CPU提高視頻解碼、編碼的速度和IO操作的能力，設(shè)計(jì)中需完成CPU和GPU協(xié)作工作的圖像處理流程[1-2]。

其中，CPU主要負(fù)責(zé)視頻數(shù)據(jù)的硬盤(pán)讀取和解碼、視頻的幀率變換、數(shù)據(jù)關(guān)鍵幀處理、數(shù)據(jù)流程控制，對(duì)GPU處理后的圖像基帶數(shù)據(jù)進(jìn)行編碼并寫(xiě)入硬盤(pán)或傳遞到IO設(shè)備、信號(hào)質(zhì)量監(jiān)控等。GPU主要負(fù)責(zé)圖像的顏色空間轉(zhuǎn)換，高標(biāo)清、不同幅面之間適配，圖像疊加、渲染和特技處理等[3-4]。

本設(shè)計(jì)中，首先對(duì)數(shù)據(jù)量進(jìn)行充分的壓縮，并統(tǒng)一調(diào)度CPU與GPU的任務(wù)，從而提高整體性能。該技術(shù)的突破是CPU+GPU實(shí)現(xiàn)3D非編技術(shù)的關(guān)鍵。同時(shí)實(shí)現(xiàn)非編引擎針對(duì)以下場(chǎng)景的優(yōu)化：

1）核心引擎對(duì)2K和4K幅面的支持，擴(kuò)展高端應(yīng)用領(lǐng)域；2）支持10 bit和16 bit，可提供更好的圖像質(zhì)量；3）采用DirectX 11構(gòu)建視覺(jué)效果平臺(tái)，煙霧、新粒子系統(tǒng)等；4）面向高端制作、3D合成、超高清的優(yōu)化處理流程。

1.4 3D非編流程及功能設(shè)計(jì)

1）編輯流程

圖3為3D編輯的主體流程，包括雙目信號(hào)實(shí)時(shí)采集和輸出、文件上下載、實(shí)時(shí)預(yù)監(jiān)、3D full side by side文件生成等，編碼格式可選擇高清MPEG-2 I幀、高清H.264、高清WMV等。

圖3 3D立體視覺(jué)編輯流程圖

2）左右眼調(diào)節(jié)實(shí)現(xiàn)

3D左右眼調(diào)節(jié)功能偏重于左右眼獨(dú)立調(diào)節(jié)，配合豐富的調(diào)節(jié)參數(shù)，提高3D非編對(duì)3D視頻的處理能力，滿(mǎn)足客戶(hù)的實(shí)際需求。調(diào)整界面如圖4所示。

圖4 3D左右眼調(diào)節(jié)界面示意圖（截圖）

3）與第三方軟件協(xié)同交互機(jī)制

如圖5所示，通過(guò)AAF，EDL等實(shí)現(xiàn)與米斯泰克、SMOKE、達(dá)芬奇、FCP、Avid、第三方音頻工作站的文件交換。

圖5 與第三方軟件協(xié)同示意

4）絢麗的視頻圖文特效的實(shí)現(xiàn)

通過(guò)高質(zhì)量的圖形圖形算法與GPU實(shí)現(xiàn)相結(jié)合[5]，以實(shí)現(xiàn)絢麗的視頻圖文特效，如圖6所示。

圖6 頻圖文特效（截圖）

2 3D非線(xiàn)性編輯軟件

目前國(guó)內(nèi)外主流廠商已推出了支持雙目3D制作的非線(xiàn)性編輯產(chǎn)品。

索貝公司的E10采用自行開(kāi)發(fā)的MG5000E板卡進(jìn)行dual-link 3D雙目信號(hào)實(shí)時(shí)采集和輸出，采用基于ART4引擎的3D立體視覺(jué)編輯核心，以及全面更新的引擎，實(shí)現(xiàn)分辨率無(wú)關(guān)以及格式無(wú)關(guān)的混合編輯技術(shù)可以幫助用戶(hù)靈活使用各種素材進(jìn)行節(jié)目制作，平滑完成高標(biāo)清兼容與過(guò)渡。優(yōu)秀的高清GPU特技能力，性能領(lǐng)先；豐富的高清實(shí)時(shí)特技種類(lèi)，達(dá)到包裝級(jí)效果；并具有強(qiáng)大的音頻編輯功能。

E10可以對(duì)CG施加通用視頻特技、可以設(shè)置CG對(duì)象沿任意軌跡運(yùn)動(dòng)；具有自己獨(dú)立的入屏、出屏和停留特技，可與視頻特技一起組合出非常復(fù)雜的特技效果。

E10實(shí)現(xiàn)了AFAP（As Fast As Possible）高效率設(shè)計(jì)，界面設(shè)計(jì)人性化，用戶(hù)可自定義界面組合并隨時(shí)呼叫不同的界面模式來(lái)配合不同的編輯工作，并提供了大量的便捷工具，大幅度地幫助用戶(hù)提高節(jié)目制作效率。

3 結(jié)束語(yǔ)

本文對(duì)立體視覺(jué)編輯的關(guān)鍵技術(shù)進(jìn)行了研究和闡述，包括：

1）3D IO硬件。主要包括3D IO硬件MG5000E板卡的結(jié)構(gòu)設(shè)計(jì)和解決3D數(shù)據(jù)量問(wèn)題的基本方法。

2）編解碼效率優(yōu)化方面。同時(shí)對(duì)3D代理的左右眼及音頻文件進(jìn)行解碼，做好并行調(diào)度和同步處理，以滿(mǎn)足3D非編處理的需要。

3）渲染引擎。采用DirectX11的GPU平臺(tái)，提高CPU和GPU的調(diào)度優(yōu)化，并實(shí)現(xiàn)絢麗的3D效果。

4）雙目3D非編。需涵蓋立體視覺(jué)影視節(jié)目編輯全流程的系統(tǒng)功能模塊，并兼容2D影視節(jié)目編輯內(nèi)容。

[1]CHONG A，SOURIN A，LEVINSKIK.Grid-based computer ani?mation rendering[C]//Proc.4th International Conference on Com?puter Graphics and Interactive Techniques in Australasia and Southeast Asia.Kuala Lumpur，Malaysia：[s.n.]，2006：39-47.

[2]MILLER K，PRZYBYLA D，PEGAH M.Soothing the many-head?ed beast：improving the rendering process in the world of 3D ani?mation[C]//Proc.32nd Annual ACM SIGUCCSConference on Us?er Services.New York，USA：[s.n.]，2004：381-384.

[3]李建明，萬(wàn)單領(lǐng)，遲忠先，等.一種基于GPU加速的細(xì)粒度并行粒子群算法[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2006，38（12）：2162-2166.

[4]PHARR M．GPU精粹2——高性能圖形芯片和通用計(jì)算編成技巧[M]．龔敏敏，譯．北京：清華大學(xué)出版社，2007．

[5]昊恩華.圖形處理器用于通用計(jì)算的技術(shù)現(xiàn)狀及其挑戰(zhàn)[J].軟件學(xué)報(bào)，2004，15（10）：1493-1504．

TP391

B

?? 雯

2014-09-24

【本文獻(xiàn)信息】韓志宏，余剛，謝世斌.立體視覺(jué)編輯技術(shù)研究與設(shè)計(jì)[J].電視技術(shù)，2014，38（22）.