鄒 羚

(南京鐵道職業(yè)技術(shù)學(xué)院蘇州校區(qū) 信息工程系,江蘇 蘇州 215137)

0 引言

流媒體技術(shù)是一種新興的網(wǎng)絡(luò)媒體傳輸技術(shù),它可以將音頻、視頻和其他多媒體在網(wǎng)絡(luò)上以實(shí)時(shí)的、無(wú)需下載等待的方式進(jìn)行播放。其傳輸音像文件時(shí)具有“占用硬盤小、速度快、高保真”等性能，并具有播放功能、交互功能和緩沖區(qū)功能，因此得到了廣泛的使用。多流媒體播放技術(shù)是指多個(gè)媒體流，如音頻、視頻流等同時(shí)傳輸和播放的技術(shù)。這些媒體流在時(shí)間和空間上彼此關(guān)聯(lián)，互相約束。在連續(xù)的視頻流或音頻流中，少數(shù)數(shù)據(jù)幀的丟失或不及時(shí)處理，并不會(huì)導(dǎo)致播放質(zhì)量的明顯下降，但是，如果各媒體流不同步則會(huì)造成相關(guān)畫面中語(yǔ)音和動(dòng)作的不協(xié)調(diào)，或者不同畫面之間存在相對(duì)時(shí)延等。因此，多流媒體的同步技術(shù)是一個(gè)值得研究的問(wèn)題。在教學(xué)研究的實(shí)驗(yàn)平臺(tái)上，對(duì)教學(xué)過(guò)程中教師使用的電子教案，老師上課的實(shí)況錄像，教室的學(xué)生學(xué)習(xí)情況等多種邏輯關(guān)聯(lián)音視頻流進(jìn)行錄制、傳輸，保證這些媒體流傳輸后播放時(shí)仍然要保持它們之間的同步關(guān)系[1-2]。利用所提出的算法，對(duì)四種流媒體進(jìn)行同步測(cè)試，確定同步時(shí)間為1000 ms。測(cè)試結(jié)果表明,該算法對(duì)多流媒體實(shí)現(xiàn)同步播放是有效的。

目前研究流媒體技術(shù)的公司分別是Real Networks公司的Real System、Microsoft公司的Windows Media Technology和Apple公司的QuickTime，它們擁有著流媒體傳輸系統(tǒng)的主流技術(shù)[3]。

1 流媒體同步解決技術(shù)

目前流媒體播放的同步技術(shù)大致有三種。

1.1 利用Windows Media Tools實(shí)現(xiàn)同步

此法需要在ASF流中利用ASFINDEXER工具設(shè)定標(biāo)記，每個(gè)標(biāo)記有相應(yīng)的名稱說(shuō)明標(biāo)記的內(nèi)容，在導(dǎo)航區(qū)中點(diǎn)擊標(biāo)記名稱并利用相應(yīng)的調(diào)用語(yǔ)句，就能使媒體播放器跳到標(biāo)記所在位置開始播放。

Microsoft公司的Windows Media Technology技術(shù)中Media Tools主要提供了創(chuàng)建工具和編輯工具幫助用戶生成.asf格式的多媒體流，即把實(shí)時(shí)視頻/音頻信息、現(xiàn)有的聲音文件、圖片以及AVI或MOV文件轉(zhuǎn)換為ASF文件，也可以將轉(zhuǎn)換成ASF格式的多媒體流信息進(jìn)行編輯與管理，如增加有關(guān)流的名稱（Title）、描述（Description）、作者（Author）、版權(quán)（Copyright）、速率（Rating）等信息，這些信息在ASF流播放時(shí)會(huì)顯示在播放器的信息窗口中。利用這些信息，設(shè)定的標(biāo)記，能夠?qū)崿F(xiàn)各種視頻、音頻、導(dǎo)航區(qū)標(biāo)題等之間的同步。

1.2 用Microsoft Producer實(shí)現(xiàn)同步

此法是用工具將視頻導(dǎo)入，并將其分割若干片斷（Create Clips），依次把片斷拖拽到時(shí)間線上，然后點(diǎn)擊同步按鈕自動(dòng)生成標(biāo)題、音視頻等信息的同步。

1.3 使用SMIL語(yǔ)言實(shí)現(xiàn)同步

同步多媒體集成語(yǔ)言（SMIL，Synchronized Multimedia Integration Language），屬于擴(kuò)展型標(biāo)記語(yǔ)言XML的范疇。可以用任何文本編輯器編寫，是一種標(biāo)準(zhǔn)的純文本文件，很方便實(shí)現(xiàn)編輯和修改。采用SMIL可以方便地描述各種媒體之間的時(shí)間同步關(guān)系和空間編排關(guān)系，是Internet上用于集成多媒體節(jié)目，尤其是流媒體的主要語(yǔ)言工具。SMIL語(yǔ)言是通過(guò)編輯SMIL文件將各種媒體文件如音頻、視頻、文字、圖片等關(guān)聯(lián)起來(lái)，它沒(méi)有將它們?nèi)跒橐惑w，當(dāng)想要重新組合生成新的多媒體節(jié)目時(shí)，只需要重新編輯而無(wú)需對(duì)各媒體文件做任何改變，這樣可以極大程度地提高媒體素材的重用性?？梢?，通過(guò)SMIL語(yǔ)言可以實(shí)現(xiàn)各種視頻、音頻、導(dǎo)航區(qū)標(biāo)題等之間的同步[4-5]。

此法微軟的Media是不支持的。

2 基本思想

這里所設(shè)計(jì)的同步思想是：設(shè)定一個(gè)多流媒體標(biāo)記文件，其中定義了流媒體文件的數(shù)量、名稱、路徑，并通過(guò)一個(gè)Common Dialog來(lái)打開流媒體文件及同步文件。利用同步文本文件記錄的同步信息，讀取同步時(shí)間頭后，在流媒體播放起始時(shí)間進(jìn)行同步，然后在播放器中設(shè)置函數(shù)每1 000 ms檢測(cè)一次同步信息，通過(guò)播放時(shí)間與同步時(shí)間數(shù)組對(duì)比，如果發(fā)現(xiàn)多個(gè)流媒體播放時(shí)間點(diǎn)與文本文件中記錄同步信息一致，則無(wú)需同步，如果不同就需按文本文件記錄的同步信息調(diào)整。圖1為同步實(shí)現(xiàn)機(jī)理實(shí)現(xiàn)圖[6-8]。

2.1 編寫多流媒體標(biāo)記文件

多流媒體標(biāo)記文件是用來(lái)記錄多個(gè)流媒體文件的基本信息，以便播放器進(jìn)行調(diào)用。記錄格式如下：流媒體數(shù)量，流媒體名稱，流媒體1的路徑，流媒體2的路徑，流媒體3的路徑，流媒體4的路徑，流媒體1的起始時(shí)間，流媒體2的起始時(shí)間，流媒體3的起始時(shí)間，流媒體4的起始時(shí)間，流媒體的同步文件路徑。

文檔示例為：

4,教學(xué)演示,F：微格教室教師授課.wmv,F：微格教室課堂情況.avi,F：微格教室反饋.mpg,F：微格教室授課講義.rm,0,0,0,0,F：微格教室XMediaPlayersyc.dat。

2.2 編寫流媒體同步文件（以流媒體1為參考時(shí)間軸）

流媒體同步文件是用來(lái)記錄多個(gè)流媒體文件需要進(jìn)行同步的時(shí)間和同步的次數(shù)。其格式如下：

我國(guó)的經(jīng)濟(jì)建設(shè)正處于快速發(fā)展的軌道，科學(xué)技術(shù)和行業(yè)發(fā)展日新月異。建筑行業(yè)在尋找新型的技術(shù)手段進(jìn)行改革創(chuàng)新的同時(shí)，流水施工作業(yè)作為一種行之有效的組織管理方法，有利于加快施工進(jìn)度，保證建筑工程質(zhì)量，保證施工過(guò)程中每個(gè)環(huán)節(jié)的流暢性和均衡性，一直在現(xiàn)代施工項(xiàng)目管理中有著不可替代的獨(dú)特作用。

同步點(diǎn)數(shù)量。

流媒體1需同步時(shí)間，流媒體2需同步時(shí)間，流媒體3需同步時(shí)間，流媒體4需同步時(shí)間。

文檔示例為：

2

10,10,2 ,10

20,20,2 ,20

圖1 同步機(jī)理實(shí)現(xiàn)

3 同步機(jī)理的算法實(shí)現(xiàn)

3.1 基本算法

根據(jù)同步技術(shù)思想，筆者對(duì)設(shè)置同步點(diǎn)、播放時(shí)間和同步點(diǎn)比較、同步多個(gè)媒體等方面進(jìn)行程序設(shè)計(jì)。設(shè)有四個(gè)播放文件，其算法如下：

①打開同步文件sycFile,設(shè)定動(dòng)態(tài)數(shù)組WMP1time(sycQt),WMP2time(sycQt),WMP3time(sycQt), WMP4time(sycQt)；

②讀取同步文件中的各流媒體的同步時(shí)間，將其讀入到動(dòng)態(tài)數(shù)組中；

③關(guān)閉文件，并設(shè)置第一個(gè)同步點(diǎn)，將sycponit置1；

④讀取流媒體標(biāo)記文件中的多個(gè)流媒體的路徑，持續(xù)播放；

⑤檢測(cè)每個(gè)流媒體文件播放時(shí)間curtime，并將它和同步文件中的各流媒體的同步時(shí)間相比較，以第一個(gè)流媒體文件為主；

⑥當(dāng)WMP1time(sycpoint) =curtime時(shí)，將流媒體播放文件1暫停，流媒體播放文件2、3、4停止，即將文件的Controls屬性設(shè)置為stop；

⑦將流媒體播放文件2、3、4的播放時(shí)間轉(zhuǎn)到同步點(diǎn)，將currentPosition設(shè)置為同步時(shí)間點(diǎn)；

⑧同時(shí)將暫停的流媒體文件同時(shí)播放；

3.2 算法性能

通過(guò)實(shí)驗(yàn)來(lái)對(duì)比流媒體播放不同步和采用同步技術(shù)的性能差異。實(shí)驗(yàn)中，選取多比特率編碼的MV作為媒體源。播放300 s，選取10個(gè)同步點(diǎn)。其間觀察各個(gè)流媒體播放和同步情況；實(shí)驗(yàn)重復(fù)20次，采用同步技術(shù)的流媒體播放比較流暢、未出現(xiàn)流媒體不同步現(xiàn)象，平均播放幀可達(dá)28.6左右；而沒(méi)有采用同步技術(shù)的流媒體播放時(shí)明顯出現(xiàn)不同步現(xiàn)象，平均播放幀只能到19.3左右。性能差異非常明顯。

4 同步掃描時(shí)間的確定及模擬實(shí)驗(yàn)

在確定同步掃描時(shí)間時(shí)，最早使用200 ms進(jìn)行播放測(cè)試，即200 ms檢測(cè)一次同步，其同步時(shí)間需要820 ms，運(yùn)行時(shí)由于太過(guò)于頻繁的同步導(dǎo)致四個(gè)流媒體不能協(xié)調(diào)，后來(lái)測(cè)試了300 ms、500 ms、800 ms、1200 ms、1500 ms等不同測(cè)試時(shí)間。圖2就是在不同掃描時(shí)間所測(cè)得的同步時(shí)間，其中1t為掃描時(shí)間，2t為同步時(shí)間。

圖2 同步時(shí)間實(shí)測(cè)

可以發(fā)現(xiàn)，在同步掃描時(shí)間1 000 ms處即無(wú)過(guò)多同步開銷，也能做到媒體間很好的同步，因此，文中確定采用1000 ms。

該實(shí)驗(yàn)對(duì)于不同的硬件配置數(shù)據(jù)略有不同,同步點(diǎn)的選取對(duì)于實(shí)現(xiàn)流媒體同步具有比較重要的意義：首先，必須合理的確定同步點(diǎn)的數(shù)量，過(guò)多會(huì)增加系統(tǒng)開銷導(dǎo)致不能很好的同步，過(guò)少可能會(huì)起不了作用；其次，必須合理的確定同步點(diǎn)時(shí)間(第一流媒體為時(shí)間軸)，它可以根據(jù)系統(tǒng)配置好壞、資源狀況作一合理確定。

5 結(jié)語(yǔ)

流媒體技術(shù)有著廣泛的應(yīng)用前景，在教學(xué)、會(huì)議和娛樂(lè)領(lǐng)域已得到很好的例證?；诼曇袅?、圖像流、文字流、音頻流等多種媒體流的同步播放是多流媒體播放的關(guān)鍵技術(shù)。在多流媒體同步技術(shù)方面，提出利用文本文件記錄同步信息和跟蹤跳轉(zhuǎn)時(shí)間以實(shí)現(xiàn)多個(gè)流媒體之間同步，設(shè)計(jì)出同步播放算法以實(shí)現(xiàn)同步播放，確定同步掃描時(shí)間以優(yōu)化媒體間的同步，這種新的解決多流媒體同步播放問(wèn)題的技術(shù)，十分簡(jiǎn)便，又是一個(gè)比較方便和廉價(jià)的解決方案。

[1] 李曉燕,嚴(yán)殊.嵌入式流媒體播放器的設(shè)計(jì)與實(shí)現(xiàn)[J].通信技術(shù),2007,40(12)：403-404；410．

[2] 曹靖,陸琳琳,邢雪峰,等．基于媒體技術(shù)的遠(yuǎn)程教育平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)環(huán)境管理干部學(xué)院學(xué)報(bào),2007,17(03)：91-94．

[3] 王儒昇.流媒體技術(shù)綜述[J].中華素質(zhì)教育,2004(09)：55-57．

[4] 胡曉,高鷹,余群,等.移動(dòng)數(shù)字化校園中流媒體的實(shí)現(xiàn)[J].通信技術(shù),2008,41(12)：399-401．

[5] 張炳卓,蘇恭.建立Real流媒體技術(shù)的網(wǎng)絡(luò)教學(xué)系統(tǒng)[J].中國(guó)電化教育,2004(06)：83-85．

[6] 鐘玉琢,向哲,沈洪.流媒體和視頻服務(wù)器[M].北京：清華大學(xué)出版社,2003：183-186．

[7] 陸其明．DirectShow開發(fā)指南[M].北京：清華大學(xué)出版社，2003：1-3．

[8] 李海.Visual Basic編程晉級(jí),ActiveX控件[M].北京：清華大學(xué)出版社,2000：100-120．