黃學(xué)超,張衛(wèi)寧

(山東大學(xué)信息科學(xué)與工程學(xué)院 ,山東濟(jì)南 250100）

AVS編碼變換量化和掃描硬件設(shè)計(jì)與實(shí)現(xiàn)

黃學(xué)超,張衛(wèi)寧

(山東大學(xué)信息科學(xué)與工程學(xué)院 ,山東濟(jì)南 250100）

本文提出了滿足AVS實(shí)時(shí)高清視頻編碼的變換、量化、反量化、反變換和掃描的硬件設(shè)計(jì)方案。該設(shè)計(jì)方案以宏塊為單位進(jìn)行操作,通過采用乒乓操作和流水線技術(shù),提供了高性能的并行數(shù)據(jù)處理能力。本文根據(jù)AVS變換和反變換的特點(diǎn),設(shè)計(jì)了RAM行列存儲(chǔ)器,實(shí)現(xiàn)高速并行轉(zhuǎn)置,同時(shí),提出了利用RAM實(shí)現(xiàn)并行掃描的方法及其結(jié)構(gòu),提供高數(shù)據(jù)吞吐速率.用FPGA驗(yàn)證結(jié)果表明,該設(shè)計(jì)滿足高清序列1080i 30H z實(shí)時(shí)編碼要求。

AVS;實(shí)時(shí)高清視頻編碼;RAM行列存儲(chǔ)器;并行掃描

0 引言

AVS(Audio Video coding Standard)是我國(guó)自主制定的、具有自主知識(shí)產(chǎn)權(quán)的音視頻信源編碼標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)技術(shù)方案簡(jiǎn)潔,芯片實(shí)現(xiàn)復(fù)雜度低,編碼效率比第一代標(biāo)準(zhǔn)(M PEG-2)高 2-3倍,在和H.264標(biāo)準(zhǔn)編碼效率相當(dāng)?shù)耐瑫r(shí)具有較低的編碼復(fù)雜度。目前視頻部分已正式成為國(guó)家標(biāo)準(zhǔn)[1-2]。

火災(zāi)自動(dòng)報(bào)警系統(tǒng)工程的發(fā)展非常迅速，新技術(shù)、新工藝、新材料、新設(shè)備不斷涌現(xiàn)，設(shè)備的更新?lián)Q代速度快，在工程設(shè)計(jì)中必須考慮現(xiàn)代水利建筑智能防火方面發(fā)展的要求，要有一定的前瞻性，因此在設(shè)計(jì)階段各項(xiàng)設(shè)計(jì)內(nèi)容的質(zhì)量控制顯得尤為重要。

變換、量化、反量化、反變換和掃描是AVS編碼中數(shù)據(jù)處理流程的中間部分,既將殘差經(jīng)過變換、量化、反量化和反變換后返回給幀內(nèi)和幀間部分,又將掃描后生成的(run,level)對(duì)傳送至熵編碼部分,因此其實(shí)現(xiàn)結(jié)構(gòu)的優(yōu)劣直接影響到編碼器的性能。

本文基于 AVS編解碼標(biāo)準(zhǔn),以實(shí)現(xiàn) 1080i 30H z格式視頻實(shí)時(shí)高清編碼為目標(biāo),設(shè)計(jì)了一種高速并行處理結(jié)構(gòu)。變換和反變換處理一個(gè)8x8塊的時(shí)間僅需14個(gè)時(shí)鐘。本文并設(shè)計(jì)了RAM行列存儲(chǔ)器而不是轉(zhuǎn)置寄存器實(shí)現(xiàn)了轉(zhuǎn)置,轉(zhuǎn)置操作僅需8個(gè)時(shí)鐘,節(jié)省了大量的寄存器和選擇器資源。同時(shí),筆者利用RAM 實(shí)現(xiàn)并行掃描,加快整個(gè)模塊的數(shù)據(jù)吞吐速率。

1 整數(shù)DCT、掃描

1)整數(shù)變換和反變換

3.要立足于互聯(lián)網(wǎng)的經(jīng)濟(jì)特點(diǎn)，形成相匹配的包裝思路。在互聯(lián)網(wǎng)電商日益成熟的今天，運(yùn)輸物流尤其是跨境電商模式在逐漸成熟。在這一背景下，探索包裝設(shè)計(jì)活動(dòng)的新方向，同時(shí)對(duì)大眾消費(fèi)者自身的興趣與關(guān)注度進(jìn)行分析，這是當(dāng)前整個(gè)包裝設(shè)計(jì)活動(dòng)實(shí)施進(jìn)程中的重要內(nèi)容。要想做好商品的包裝設(shè)計(jì)，企業(yè)必須從包裝圖案、文字使用和色彩選擇、色彩搭配這三個(gè)重要角度出發(fā)，通過合理搭配和巧妙應(yīng)用，從而在詮釋其設(shè)計(jì)活動(dòng)文化特性的基礎(chǔ)上，實(shí)現(xiàn)其藝術(shù)性的詮釋與觀賞性的表達(dá)。

AVS采用基于88塊大小的類DCT整數(shù)變換,避免了變換和反變換過程中產(chǎn)生的誤差,使編解碼端數(shù)據(jù)相匹配。AVS變換和反變換的公式如下:

式中,TT8為 T8的轉(zhuǎn)置,有

為了減少變換和量化過程中取整帶來(lái)的誤差,H.264中將正向縮放和量化結(jié)合在一起操作,反向縮放和反量化一起操作。而在AVS-P2中,則采用帶PIT(預(yù)縮放整數(shù)變換)的8x8整數(shù)余弦變換技術(shù),把所有的縮放都放在編碼端完成,極大地簡(jiǎn)化了解碼器的計(jì)算量。

每個(gè)時(shí)鐘依據(jù)掃描次序得到兩個(gè)像素地址,分別由輸入緩存RAM的雙口讀出兩個(gè)掃描數(shù)據(jù),32個(gè)時(shí)鐘掃描完成一個(gè)子塊。

...I am in no humour at present to give consequence to young ladieswhoareslighted by other men[4].

2 AVS編碼器結(jié)構(gòu)

圖1為AVS編碼系統(tǒng)框圖。在硬件上編碼系統(tǒng)主要由幀內(nèi)預(yù)測(cè)、幀間預(yù)測(cè)、變換量化反變換反量化掃描、環(huán)路濾波和熵編碼等五部分組成。由編碼框圖可知,AVS編碼路徑非常長(zhǎng),若采用順序處理方式,會(huì)降低硬件的利用率和吞吐率,而且不能滿足時(shí)序要求。

為了加快處理速度,通常采用宏塊級(jí)流水線處理,如圖2所示。在幀內(nèi)預(yù)測(cè)時(shí),子塊預(yù)測(cè)需用到同一宏塊內(nèi)相鄰子塊的重建像素,幀內(nèi)預(yù)測(cè)、變換、量化、反量化、反變換和重構(gòu)構(gòu)成了一個(gè)編碼環(huán)路。因此,將變換、量化、反量化和反變換集成到一起進(jìn)行優(yōu)化,采用合理的流水線成為必然。在幀間預(yù)測(cè)時(shí),有可能同時(shí)獲得多個(gè)殘差塊,需要連續(xù)處理。若是掃描模塊處理速度不夠快,則將影響整個(gè)系統(tǒng)的數(shù)據(jù)吞吐速率,所以,掃描模塊也必須進(jìn)行優(yōu)化。

圖1 AVS編碼系統(tǒng)框圖

圖2 AVS編碼器流水線流程

3 硬件結(jié)構(gòu)

本文的設(shè)計(jì)目標(biāo)是支持19201088,30fps格式視頻的 AVS實(shí)時(shí)高清編碼,系統(tǒng)工作頻率為100MHz?？梢杂?jì)算得到一個(gè)宏塊的處理時(shí)間為256/(1920108830)=4085ns,即不超過408個(gè)時(shí)鐘周期,否則就不能滿足編碼要求。

王婆什么觀察力也失去了！不自覺地退縮在趙三的背后，就連那永久帶著笑臉，常來(lái)王婆家搜查的日本官長(zhǎng)，她也不認(rèn)識(shí)了。臨走時(shí)那人向王婆說“再見”，她直直遲疑著而不回答一聲。

圖3為本設(shè)計(jì)的硬件頂層結(jié)構(gòu)框圖。系統(tǒng)通過FIFO與幀內(nèi)預(yù)測(cè)和幀間預(yù)測(cè)部分接口,接口寬度為144bit。控制模塊依據(jù)掃描模塊乒乓緩存RAM的狀態(tài)產(chǎn)生讀 FIFO命令,收到讀 FIFO命令后,FIFO發(fā)送殘差塊數(shù)據(jù),每個(gè)周期輸出兩列數(shù)據(jù)。殘差數(shù)據(jù)經(jīng)過變換后從查找表LUT單元得到量化和反量化參數(shù)進(jìn)行量化反量化[3],量化數(shù)據(jù)保存至乒乓緩存RAM,由掃描模塊控制并行掃描,掃描模塊輸出逆序后的(run,level)對(duì)。反量化數(shù)據(jù)經(jīng)過反變換后輸出,反變換模塊每個(gè)時(shí)鐘輸出兩列數(shù)據(jù)。量化反量化單元的處理周期固定為3個(gè)時(shí)鐘。

業(yè)內(nèi)人士估算，整個(gè)共享單車領(lǐng)域這幾年已經(jīng)燒掉了超過百億美元，但是，也有數(shù)億用戶形成了使用共享單車的習(xí)慣。但這一切，只是棋至中局。

圖3 硬件頂層結(jié)構(gòu)框圖

1)變換和反變換模塊

傳統(tǒng)的行列分解法是AVS變換和反變換最常用并行處理方法,即將變換和反變換用8次水平變換和8次垂直變換實(shí)現(xiàn)。在本設(shè)計(jì)中,變換和反變換模塊采用改進(jìn)的行列分解法每次單步運(yùn)算處理兩行或兩列的數(shù)據(jù)。變換模塊先列變換后行變換,反變換模塊先行變換后列變換。

一般,殘差經(jīng)過變換量化后會(huì)產(chǎn)生很多零系數(shù),為了更有效的去除編碼冗余,在熵編碼之前要進(jìn)行Zig-Zag掃描和游程編碼。AVS規(guī)定了兩種掃描模式,幀掃描模式和場(chǎng)掃描模式,其選擇決定于當(dāng)前圖像的編碼方式[2]。根據(jù)兩種掃描模式可以得到掃描次序和像素點(diǎn)坐標(biāo)的對(duì)應(yīng)關(guān)系。

與傳統(tǒng)方法相比,本設(shè)計(jì)將變換和反變換的時(shí)間縮短一半,而僅僅增加了一個(gè)一維變換模塊和一維反變換模塊。而一維變換和一維反變換模塊,可以只用加法和移位實(shí)現(xiàn),因此,只增加了很少的硬件開銷。變換、反變換的結(jié)構(gòu)框圖如圖4所示。本設(shè)計(jì)中,單步變換或反變換為3級(jí)流水結(jié)構(gòu)。

圖4 變換或反變換結(jié)構(gòu)框圖

PFD最常見的癥狀是POP、SUI，對(duì)女性正常生活影響最大。POP是盆底支持組織(肌肉和筋膜)松弛導(dǎo)致盆腔組織器官移位而出現(xiàn)的盆腔功能異常，子宮脫垂發(fā)生率較高，其次是陰道前壁膨出、陰道后壁膨出。我國(guó)中老年婦女POP患病率為30%，美國(guó)老年女性POP患病率為50%[10]。71%POP患者伴有SUI，59%SUI患者伴有POP[11]。PFD病因尚不十分清楚，流行病學(xué)研究[12]顯示，年齡、雌激素水平下降、妊娠和陰道分娩、便秘、肥胖、盆腔手術(shù)史等是PFD的主要致病因素,其中年齡、經(jīng)陰道分娩、多產(chǎn)是PFD獨(dú)立危險(xiǎn)因素，肥胖、便秘、雌激素分泌減少、慢性咳嗽是非獨(dú)立危險(xiǎn)因素。

全國(guó)有200多種常用藥材已開展人工種植[21]。規(guī)范中藥材的種植，建立健全的中藥材種植質(zhì)量控制標(biāo)準(zhǔn)可確保從源頭控制質(zhì)量。盡可能固定藥材基原、產(chǎn)地、種植條件、采收期等影響藥材質(zhì)量的各種因素，可在一定程度上保證中藥材質(zhì)量均一穩(wěn)定[22]。

變換反變換單元都需對(duì)中間結(jié)果進(jìn)行轉(zhuǎn)置,該轉(zhuǎn)置要能存儲(chǔ)一個(gè)塊的數(shù)據(jù),且能按照兩行或兩列的方式并行輸入輸出數(shù)據(jù)。若采用文獻(xiàn)[4]結(jié)構(gòu)實(shí)現(xiàn),將耗費(fèi)大量的寄存器。若采用文獻(xiàn)[5]所用的RAM實(shí)現(xiàn),僅反變換就需要40個(gè)時(shí)鐘,變換和反變換需要80個(gè)時(shí)鐘,一個(gè)宏塊就需要480個(gè)時(shí)鐘周期,不滿足編碼要求。

本文設(shè)計(jì)了 RAM行列存儲(chǔ)器實(shí)現(xiàn)轉(zhuǎn)置,該存儲(chǔ)器不僅能按照兩行或兩列的方式并行輸入輸出數(shù)據(jù),且能同時(shí)進(jìn)行兩次轉(zhuǎn)置操作,實(shí)現(xiàn)乒乓轉(zhuǎn)置。該轉(zhuǎn)置存儲(chǔ)器由8個(gè)大小為832bit的RAM 組成,每個(gè)RAM都由XilinxISE10.1 03綜合工具IPCORE Generators生成為雙端口RAM,寫寬度為32,深度為8,讀寬度為128,深度為2。其結(jié)構(gòu)如圖5所示。

圖5 RAM行列存儲(chǔ)器

變換模塊轉(zhuǎn)置時(shí),每塊RAM的A端口輸入數(shù)據(jù),每個(gè)時(shí)鐘輸入兩個(gè)像素值,按時(shí)鐘分別寫入0,1,2,3單元,共輸入一列數(shù)據(jù)。輸出時(shí)第一個(gè)時(shí)鐘輸出0,1塊0單元數(shù)據(jù),第二個(gè)時(shí)鐘輸出2,3塊0單元數(shù)據(jù),直到第四個(gè)時(shí)鐘輸出6,7塊0地址數(shù)據(jù)。反變換模塊轉(zhuǎn)置時(shí),B端口輸入數(shù)據(jù),寫入4,5,6,7單元,輸出時(shí)輸出地址為1。轉(zhuǎn)置操作共需要8個(gè)時(shí)鐘,88像素塊完成變換或反變換只需14個(gè)時(shí)鐘。

3)掃描模塊

方勛梅沒有主動(dòng)出擊，程曉也懶得理她，只是每天，方勛梅剛剛鉆出尼桑車，他的凱迪拉克也悄然駛?cè)霃S區(qū)；每天下班后，方勛梅的車剛一駛上公路，程曉的凱迪拉克就如一尾快魚從她身邊穿過，在暮色中倏地?zé)o影無(wú)蹤。

傳統(tǒng)的Zig-Zag掃描處理方法,掃描模塊每個(gè)時(shí)鐘掃描一個(gè)數(shù)據(jù),掃描一個(gè)塊需要64個(gè)時(shí)鐘,在加上存儲(chǔ)所需的4個(gè)時(shí)鐘,處理一個(gè)宏塊至少需要408個(gè)時(shí)鐘。而編碼一個(gè)宏塊最多要408個(gè)時(shí)鐘,顯然不滿足編碼要求。又因I幀宏塊內(nèi)子塊間隔時(shí)間不均勻,亮度子塊的時(shí)間間隔一般較長(zhǎng),與上文所提的編碼環(huán)路周期有關(guān),色度子塊和幀間子塊間隔一般較小。這樣很難保證子塊的流水處理,系統(tǒng)難以滿實(shí)時(shí)處理要求。本文通過并行掃描和乒乓操作技術(shù),大大減少掃描所需的時(shí)鐘,其結(jié)構(gòu)如圖6所示。

圖6 掃描模塊結(jié)構(gòu)框圖

當(dāng)有輸入緩存RAM處于空狀態(tài)時(shí),掃描控制向系統(tǒng)發(fā)出請(qǐng)求數(shù)據(jù)信號(hào),系統(tǒng)發(fā)送殘差塊,經(jīng)變換量化后存入輸入緩存,輸入緩存是大小為896bit的雙口RAM,寫寬度為 96,深度為8,讀寬度為12,深度為64?？刂颇K判斷有輸出緩存為空時(shí),便可開始掃描。

2)RAM行列存儲(chǔ)器

2)掃描

由于AVS編碼是從高頻系數(shù)開始,與掃描的順序相反,所以輸出緩存需要逆序輸出(run,level)對(duì)。并行掃描有可能同時(shí)獲得兩個(gè)(run,level)對(duì),所以輸出緩存由雙口RAM組成,大小為6518bit。掃描結(jié)束后,輸出緩存開始從當(dāng)前地址讀取數(shù)據(jù),一直讀到零地址數(shù)據(jù)(存儲(chǔ)0),即EOB碼,輸出一個(gè)子塊最多需要65個(gè)時(shí)鐘(所有量化系數(shù)都不為零時(shí))。由于乒乓掃描操作,掃描模塊處理一個(gè)宏塊最多需要390個(gè)時(shí)鐘。

4 結(jié)果分析與仿真綜合結(jié)果

1)結(jié)果分析

1996年我國(guó)開始啟動(dòng)超級(jí)稻研究。近20年來(lái)，我國(guó)水稻單產(chǎn)有了大幅度提高。雙季超級(jí)稻總產(chǎn)優(yōu)勢(shì)明顯高于一季超級(jí)稻，雙季超級(jí)稻開始進(jìn)入了推廣階段。隨后，袁隆平開始大膽設(shè)想“種三產(chǎn)四”的雜交水稻工程，即用“3畝（1畝≈667 m2）地生產(chǎn)出4畝地的糧食”[2]。在南方地區(qū)大力推廣雙季超級(jí)稻種植，大幅度提高單產(chǎn)，滿足了我國(guó)日益增長(zhǎng)的糧食需求。

文獻(xiàn)[4]和[5]在反變換模塊的設(shè)計(jì)上都采用傳統(tǒng)的行列分解法。在轉(zhuǎn)置操作的實(shí)現(xiàn)上,文獻(xiàn)[4]采用64個(gè)寄存器實(shí)現(xiàn),文獻(xiàn)[5]采用 RAM 實(shí)現(xiàn),兩種設(shè)計(jì)反變換所需時(shí)間分別為24和40個(gè)時(shí)鐘。

本設(shè)計(jì)中,設(shè)計(jì)了RAM行列存儲(chǔ)器存儲(chǔ)變換和反變換的中間結(jié)果并在在8個(gè)時(shí)鐘內(nèi)實(shí)現(xiàn)了轉(zhuǎn)置,將變換、量化、反量化、反變換合成到同一流水線。變換和反變換都僅需14個(gè)時(shí)鐘,一個(gè)子塊完成變換、量化、反量化和反變換只需30個(gè)時(shí)鐘,大大減少了幀內(nèi)預(yù)測(cè)時(shí)編碼環(huán)路所用時(shí)間,給幀內(nèi)預(yù)測(cè)預(yù)留了充足的時(shí)鐘。同時(shí),系統(tǒng)根據(jù)掃描模塊輸入和緩存的狀態(tài),發(fā)送數(shù)據(jù)請(qǐng)求信號(hào),根據(jù)輸出緩存狀態(tài),進(jìn)行掃描。而掃描模塊掃描子塊最少需要32個(gè)時(shí)鐘,輸出子塊(run,level)最多需要65個(gè)時(shí)鐘。因此,系統(tǒng)處理一個(gè)宏塊的時(shí)間取決于掃描模塊,最高為390個(gè)時(shí)鐘(所有量化系數(shù)不為零時(shí)),滿足編碼要求。

2)仿真綜合結(jié)果

本設(shè)計(jì)使用Verilog HDL硬件描述語(yǔ)言進(jìn)行實(shí)現(xiàn)。Modelsim 6.2i進(jìn)行仿真,并采用 Xilinx-ISE10.103綜合工具,選擇XC5VFX100t-1FF1136器件。綜合占用資源如表1所示,綜合布局布線后的結(jié)果表明該結(jié)構(gòu)最高工作頻率高于150MH z。

表1 硬件綜合結(jié)果

利用ChipScope下載驗(yàn)證,與AVS參考軟件RM 52G生成的測(cè)試向量進(jìn)行對(duì)比,下載驗(yàn)證結(jié)果正確,該結(jié)構(gòu)完全滿足高清編碼需要。

下載驗(yàn)證結(jié)果表明,該結(jié)構(gòu)可以滿足AVS實(shí)時(shí)高清編碼需要。

[1] Iain E.G.Richardson著,歐陽(yáng)合,韓軍譯.H.264和MPEG-4視頻壓縮[M].長(zhǎng)沙:國(guó)防科技大學(xué)出版社,2004

[2] 中國(guó)音視頻標(biāo)準(zhǔn)工作組.信息技術(shù)先進(jìn)音視頻編碼第二部分:視頻(Information technology-Advance coding of audio and video-part2:video(報(bào)批稿),2005

[3] Sheng Bin,Gao W en,W u Di.A n Im plem ented VLSI A rchitectu re of Inverse Quantizer for AVS HDTV V ideo Decoder[C].The 6th IEEE International Conference On ASIC(ASICON),Oct 24-27,2005(1):306-309

[4] 趙策,劉佩林.AVS游程解碼、反掃描、反量化和反變換優(yōu)化設(shè)計(jì)[J].哈爾濱:信息技術(shù),2007(2):54-57

[5] 黃友文,陳詠恩.AVS反掃描、反量化和反變換的一種優(yōu)化設(shè)計(jì)[J].北京:計(jì)算機(jī)工程與應(yīng)用,2008,44(19):93-95

Hardware Design and Implem entation of Transform Quantization and Scan in AVSCoding

HUANG Xue-chao,ZHANGWei-ning

(Co llegeo f In formation Science and Engineer ing,Shan Dong University,Jinan 250100,China)

A hardware architecture of transform,quantization,inverse quantization,inverse transform and scan for AVS real-time HD video coding is p roposed.The design operates on macroblock leveland p rovides high parallelization,in w hich ping-pong technique and pipelining technique are used.According to the specialty of transform and inverse transform,a row-line RAM m emorizer which can realize fast parallel transpose is designed.A parallel scan method using RAM and its hardware architectureare proposed to provide high data throughput.The FPGA verification show s that the design supports 1080i 30Hz real-time HD video coding.

AVS;real-time high definition video coding;row-line RAM memorizer;parallel scan

TN 919.81

A

1008-0686(2011)02-0034-04

2010-08-08;

2010-11-08

黃學(xué)超(1985-),男,碩士研究生,研究方向?yàn)閿?shù)字視頻處理,E-mail:hxc.421@126.com

張衛(wèi)寧(1953-),女,教授,主要從事數(shù)字信號(hào)處理與分析,嵌入式應(yīng)用系統(tǒng)設(shè)計(jì)技術(shù)等研究工作,E-mail:zw ning@sdu.edu.cn