曾 捷
未來的世界是多媒體的世界,確切的說是移動(dòng)多媒體的世界。移動(dòng)多媒體技術(shù)作為新一代的傳媒技術(shù)對(duì)我們的信息傳播方式和理念都有著深刻的影響。移動(dòng)多媒體技術(shù)蘊(yùn)含的活力和生存潛力使其將成為下一代媒體。
隨著社會(huì)信息技術(shù)的飛速發(fā)展,人們的通訊工具已經(jīng)越來越向移動(dòng)化、多媒體化發(fā)展。從手機(jī)到PDA再到無線寬帶網(wǎng)絡(luò),移動(dòng)多媒體平臺(tái)不僅成為人們之間傳遞信息的手段,而且也日益成為媒體發(fā)布新聞的平臺(tái)[1]。人們隨時(shí)隨地地交流多媒體信息,獲取高質(zhì)量的多媒體新聞的夢(mèng)想正在變成現(xiàn)實(shí)。多媒體技術(shù)的出現(xiàn)大大拓展了人們之間信息傳播的深度和維度,移動(dòng)無線接入技術(shù)與移動(dòng)流媒體技術(shù)相結(jié)合,使與第四媒體一同興起的多媒體信息傳播產(chǎn)生了飛躍,由此產(chǎn)生的移動(dòng)多媒體技術(shù)有可能成為下一代媒體的主流技術(shù)。隨著把一切基于電子技術(shù)的傳媒形態(tài)都視為具有以數(shù)字技術(shù)為基礎(chǔ)的共同技術(shù)內(nèi)核、運(yùn)作規(guī)則、分享基礎(chǔ)的統(tǒng)一體的數(shù)字媒體觀的逐漸確立,移動(dòng)多媒體技術(shù)將會(huì)在未來的社會(huì)信息傳播系統(tǒng)的構(gòu)建中起到越來越重要的作用。
在現(xiàn)在的移動(dòng)通信產(chǎn)品上,多媒體功能是標(biāo)準(zhǔn)配置,移動(dòng)多媒體技術(shù)正在迅猛發(fā)展。未來的移動(dòng)多媒體產(chǎn)業(yè)發(fā)展將有以下特點(diǎn):
① 全球多媒體智能手機(jī)的年需求量將達(dá)到2.4億臺(tái)以上;
② MP5成為移動(dòng)多媒體終端的主流;
③ 家用電話將和網(wǎng)絡(luò)電話融合,VOIP將溶入每個(gè)傳統(tǒng)的電話之中;
④ 移動(dòng)數(shù)字電視將給人們帶來全新的數(shù)字生活新境界;
⑤ 嵌入式多媒體技術(shù)成為這個(gè)市場(chǎng)上最為活躍需求最大的主流技術(shù)。
據(jù)有關(guān)部門的資料,2006-2010年中國(guó)移動(dòng)多媒體市場(chǎng)前景預(yù)測(cè)如下頁表1[2]。
下頁圖1以WAP業(yè)務(wù)收入為例,預(yù)測(cè)2006-2010年中國(guó)WAP業(yè)務(wù)收入發(fā)展。
表1 中國(guó)移動(dòng)多媒體市場(chǎng)前景預(yù)測(cè)
圖1 中國(guó)WAP業(yè)務(wù)收入發(fā)展預(yù)測(cè)
總之,移動(dòng)多媒體娛樂終端的市場(chǎng)前景是令業(yè)界和專業(yè)領(lǐng)域廣泛關(guān)注的。專業(yè)人士預(yù)測(cè),未來移動(dòng)多媒體終端產(chǎn)品的量產(chǎn)化發(fā)展,不會(huì)在PMP方面有所突破,但會(huì)在PMP的延伸性應(yīng)用方面,特別是移動(dòng)數(shù)字電視機(jī)產(chǎn)品、GPS手持?jǐn)?shù)字地圖、WLAN的移動(dòng)網(wǎng)絡(luò)終端VOIP等方面,其市場(chǎng)的量產(chǎn)化前景之巨大,是不容質(zhì)疑的。因此,移動(dòng)多媒體作為未來數(shù)字消費(fèi)產(chǎn)業(yè)的主流趨勢(shì),在市場(chǎng)規(guī)模、消費(fèi)需求、產(chǎn)業(yè)化前景方面,顯示出巨大的吸引力。
移動(dòng)多媒體多采用Linux嵌入式系統(tǒng)或兼容系統(tǒng),軟件和硬體的復(fù)雜度都極高。目前國(guó)內(nèi)移動(dòng)多媒體系統(tǒng)的開發(fā)主要存在三重障礙:
① 是高復(fù)雜的系統(tǒng)硬件集成,除音/視頻格式較MP3的多樣化所導(dǎo)致的復(fù)雜程度升級(jí)外,功耗問題也首當(dāng)其沖。而復(fù)雜性的增加,又在一定程度上引發(fā)了EMC/EMI問題的嚴(yán)重性;
② 是嵌入式多媒體處理軟件開發(fā)和應(yīng)用軟件開發(fā)。圖形的加速、圖像的編解碼功能、各種文件格式的兼容都增加了移動(dòng)多媒體系統(tǒng)的中間軟件的復(fù)雜度,特別是可拓展的高性能技術(shù)平臺(tái),有待多層面的技術(shù)攻關(guān);
③ 目前市場(chǎng)上流行的專門針對(duì)移動(dòng)多媒體應(yīng)用的處理器有十多種,類型和結(jié)構(gòu)也不盡相同,但基本上是國(guó)外公司壟斷,芯片價(jià)格壟斷和方案核心技術(shù)壟斷是中國(guó)應(yīng)用產(chǎn)業(yè)的一個(gè)制約因素。目前國(guó)內(nèi)的芯片公司,雖然也在瞄準(zhǔn)該方向努力攻關(guān),但如何在系統(tǒng)構(gòu)架、核心算法等方向?qū)崿F(xiàn)技術(shù)創(chuàng)新,缺乏技術(shù)積累和投資支持,往往僅僅在低端方案和傳統(tǒng)技術(shù)構(gòu)架上的實(shí)現(xiàn),對(duì)未來新一代移動(dòng)多媒體核心芯片 SOC需求把握不夠,缺乏在技術(shù)底層的自主研發(fā)的支持。
移動(dòng)多媒體技術(shù)是多媒體內(nèi)容以及內(nèi)容獲取方式相關(guān)聯(lián)的綜合技術(shù),強(qiáng)調(diào)4C(消費(fèi)電子、計(jì)算機(jī)、通信、多媒體內(nèi)容)產(chǎn)品的新概念的同時(shí),高度重視體系構(gòu)架、操作平臺(tái)及中間件及核心算法等關(guān)鍵技術(shù)研究,主要包括:
① 移動(dòng)多媒體SOC的新型體系構(gòu)架的建立和驗(yàn)證;
② 移動(dòng)多媒體系統(tǒng)的操作平臺(tái)及中間件研究;
③ 多視點(diǎn)視頻編碼失真模型及算法研究。
下面針對(duì)這三項(xiàng)主要關(guān)鍵技術(shù)的內(nèi)容分別進(jìn)行分析和闡述。
主要是針對(duì)移動(dòng)多媒體處理中的硬件平臺(tái)系統(tǒng)體系構(gòu)架的建立和完善。重點(diǎn)針對(duì)當(dāng)前主流的數(shù)字視頻處理 SOC平臺(tái)設(shè)計(jì)中缺乏統(tǒng)一的原型系統(tǒng)架構(gòu),因此難于實(shí)現(xiàn)系統(tǒng)體系的標(biāo)準(zhǔn)化的問題,需要提出一種統(tǒng)一的可重構(gòu)原型系統(tǒng)體系架構(gòu)[3],主要涉及:①基于該體系架構(gòu)的原型系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)中所涉及的硬件系統(tǒng)可重構(gòu)技術(shù)和實(shí)現(xiàn)方法,包括可編程視頻處理引擎與視頻處理算法的最佳映射、視頻處理引擎子系統(tǒng)重配置策略、實(shí)現(xiàn)視頻處理引擎子系統(tǒng)的最佳調(diào)度策略等。硬件系統(tǒng)可重構(gòu)技術(shù)是保證系統(tǒng)結(jié)構(gòu)和原型系統(tǒng)的統(tǒng)一性和通用性的關(guān)鍵因素。系統(tǒng)重構(gòu)技術(shù)的引入和實(shí)現(xiàn),對(duì)算法效率的提高和芯片面積和功耗的設(shè)計(jì)具有重要的意義;②基于該原型系統(tǒng)進(jìn)行的軟件固件庫建設(shè)、軟件裁減、開發(fā)工具和開發(fā)平臺(tái)標(biāo)準(zhǔn)化建設(shè),主要是數(shù)字視頻處理 SOC原型系統(tǒng)中軟件系統(tǒng)設(shè)計(jì),對(duì)原型系統(tǒng)所涉及的低層驅(qū)動(dòng)BSP、操作系統(tǒng)、視頻處理引擎的微代碼程序進(jìn)行整合和裁減,從而保證原型系統(tǒng)高效率地運(yùn)作;③基于該原型系統(tǒng)進(jìn)行的高端/中檔/低端全系列各種數(shù)字視頻終端設(shè)備用戶定制和最終 SOC芯片實(shí)現(xiàn)的標(biāo)準(zhǔn)化策略和通用化方法,保證系統(tǒng)體系架構(gòu)的先進(jìn)性,針對(duì)高端/中檔/低端全系列各種數(shù)字視頻終端的用戶定制策略和完整解決方案,為最終SOC芯片實(shí)現(xiàn)打下良好的基礎(chǔ)。
移動(dòng)多媒體系統(tǒng)的操作平臺(tái)及中間件研究是移動(dòng)多媒體技術(shù)的關(guān)鍵領(lǐng)域之一。目前多媒體系統(tǒng)的操作平臺(tái)主要是WINDOMS/CE和開源的LINUX。在高層次的操作系統(tǒng)方面,基于開源的LINUX裁減和移植是產(chǎn)業(yè)需求量較大的方面,特別是針對(duì)不同的平臺(tái),移植過程中,有大量的具體研究工作需要開展,其不僅涉及到系統(tǒng)的體系構(gòu)架和軟件體系定義,也關(guān)系到系統(tǒng)穩(wěn)定性、功能拓展性和軟件運(yùn)行效率;所以,從算法層、中間件和應(yīng)用層等多方面綜合考慮,實(shí)現(xiàn)一個(gè)或多個(gè)標(biāo)準(zhǔn)化的嵌入式操作系統(tǒng)的移植和優(yōu)化,是非常關(guān)鍵和重要的一環(huán)。其內(nèi)容主要包括:①基于FREESCALE的MX31的LINUX多媒體平臺(tái)的建立和優(yōu)化,特別是針對(duì)該操作系統(tǒng)的不同應(yīng)用的平臺(tái)集成及其可靠性;②基于TI 320系統(tǒng)的LINUX多媒體平臺(tái)的建立和優(yōu)化,亦即針對(duì)該操作系統(tǒng)的不同應(yīng)用的平臺(tái)集成和可靠性;③基于上述平臺(tái)的WINDOMS CE的移植和應(yīng)用系統(tǒng)的設(shè)立,如PMP應(yīng)用、GPS電子地圖應(yīng)用;④適合于移動(dòng)多媒體應(yīng)用的FLASH動(dòng)漫制作標(biāo)準(zhǔn)和FLASH動(dòng)漫課件的設(shè)計(jì)研究,推動(dòng)移動(dòng)多媒體的FLASH動(dòng)漫標(biāo)準(zhǔn)的建立和應(yīng)用普及。
多視點(diǎn)視頻面臨的一個(gè)巨大的挑戰(zhàn)來自于其海量的視頻數(shù)據(jù)[4],多視點(diǎn)視頻的應(yīng)用特點(diǎn)決定了其壓縮與編碼需要解決以下關(guān)鍵問題:①壓縮效率。多路同步視頻的實(shí)時(shí)采集將產(chǎn)生隨攝像機(jī)數(shù)量線性增長(zhǎng)的視頻數(shù)據(jù)[5],高效的視頻壓縮是多視點(diǎn)視頻存儲(chǔ)與網(wǎng)絡(luò)傳輸?shù)那疤?;②可擴(kuò)展性。為了能夠在不同的終端和不同網(wǎng)絡(luò)條件下,對(duì)同樣的多視點(diǎn)視頻內(nèi)容進(jìn)行顯示交互,多視點(diǎn)視頻編碼需要支持不同類型的可擴(kuò)展性,包括質(zhì)量(SNR)擴(kuò)展性、空域擴(kuò)展性、時(shí)域擴(kuò)展性、復(fù)雜度擴(kuò)展性和視點(diǎn)擴(kuò)展性等;③性能效率。編碼框架一方面要適應(yīng)多路視頻具有空間相關(guān)性的特點(diǎn),在視點(diǎn)增加時(shí)能夠有效利用系統(tǒng)資源并具有并行性,同時(shí)編碼方法還要考慮解碼端基于視點(diǎn)合成的解碼需求,能夠在有限增加解碼系統(tǒng)復(fù)雜度的前提下支持用戶進(jìn)行交互選擇視點(diǎn)和觀察方向[6];④低延遲。多視點(diǎn)視頻編解碼需要支持低的編解碼延遲,用戶視點(diǎn)切換延遲,端到端延遲等;⑤魯棒性。為支持在網(wǎng)絡(luò)尤其是無線網(wǎng)絡(luò)上傳輸分發(fā)多視點(diǎn)視頻內(nèi)容,多視點(diǎn)視頻編碼需要提供容錯(cuò)或錯(cuò)誤隱藏的機(jī)制,在傳統(tǒng)的視頻容錯(cuò)編碼技術(shù)基礎(chǔ)上引入空域關(guān)聯(lián)的視點(diǎn)差錯(cuò)控制與恢復(fù)算法;⑥視點(diǎn)質(zhì)量一致性。解碼端同一時(shí)刻恢復(fù)的不同視點(diǎn)視頻應(yīng)當(dāng)具有可接受的相似視覺質(zhì)量,不能因?yàn)榫幋a端消除相鄰視點(diǎn)間的空間冗余而導(dǎo)致明顯的質(zhì)量差異;⑦基于視點(diǎn)的隨機(jī)訪問。由于用戶具有切換視點(diǎn)、在場(chǎng)景中漫游的交互能力,需要多視點(diǎn)視頻編碼支持隨機(jī)的視點(diǎn)訪問,以及某一視點(diǎn)內(nèi)的部分解碼與繪制合成;⑧基于時(shí)間的隨機(jī)訪問。
本文就移動(dòng)多媒體技術(shù)中的關(guān)鍵技術(shù)及其發(fā)展前景進(jìn)行了一些分析和討論。建立在更高性能架構(gòu)和平臺(tái)之上的移動(dòng)多媒體終端、抗干擾的音視頻編解碼標(biāo)準(zhǔn)、新型的無線傳輸控制協(xié)議及移動(dòng)通信技術(shù)之上的無線實(shí)時(shí)移動(dòng)多媒體通信系統(tǒng)具有寬帶、高壓縮比、碼率可擴(kuò)展及抗誤碼等特性[7]??梢詷酚^的預(yù)計(jì):在未來移動(dòng)通信網(wǎng)絡(luò)中,各類高速實(shí)時(shí)移動(dòng)多媒體系統(tǒng)的應(yīng)用前景將會(huì)是十分廣闊的,此外,基于多網(wǎng)融合的移動(dòng)多媒體技術(shù),實(shí)現(xiàn)多媒體的有線網(wǎng)絡(luò)與無線網(wǎng)路業(yè)務(wù)的融合,也是必然的發(fā)展方向。
[1] 李武銀.淺析中國(guó)移動(dòng)多媒體的發(fā)展[J].廣播電視信息 Radio &Television Information,2007(06):6-9.
[2] 賽迪顧問股份有限公司. 2003-2004年中國(guó)多媒體業(yè)務(wù)市場(chǎng)研究年度報(bào)告[R].北京:賽迪顧問股份有限公司出版社,2005.
[3] Werner Schoegler.移動(dòng)多媒體播放器SoC設(shè)計(jì)挑戰(zhàn)與解決方案[J].電子與電腦,2008(11):40-45.
[4] 陳劼,文凱,楊豐瑞.移動(dòng)通信視頻新技術(shù) Nancy Codec[J].移動(dòng)通信,2003,27(03):30-32.
[5] 左健存,宋文濤,錢良.基于TDD-CDMA的集成可變速率多媒體業(yè)務(wù)傳輸?shù)腗AC協(xié)議[J]. 通信技術(shù),2008,41(10):130-136.
[6] 吳進(jìn),賀輝,洪輝.多媒體數(shù)據(jù)流實(shí)時(shí)傳輸技術(shù)研究[J].通信技術(shù),2009,42(01):342-344.
[7] 曹淑敏.第三代移動(dòng)通信的概念及發(fā)展演進(jìn)[J].世界電信,2003,16(06):28-32.