王京生

【摘 要】 在了解圖像的狀態(tài)的基礎(chǔ)上，利用高動(dòng)態(tài)范圍圖像存儲(chǔ)格式、改善顯示設(shè)備的電光轉(zhuǎn)換特性，做到盡可能多地 保留原始圖像中細(xì)節(jié)。

【關(guān)鍵詞】 圖像狀態(tài)；4K圖像；圖像文件格式；圖像顯示；標(biāo)準(zhǔn)動(dòng)態(tài)范圍；高動(dòng)態(tài)范圍（HDR）；OpenEXR

文章編號(hào)： 10.3969/j.issn.1674-8239.2017.03.008

Image Status and HDR Image

WANG Jing-sheng

（CCTV，Beijing 100020，China）

【Abstract】On the basis of understanding the state of the image， using high dynamic range image storage format， improving the electro-optical conversion characteristics of display devices， do keep in the original image details as much as possible.

【Key Words】image states；4K image；image file format； image display； SDR； High Dynamic Range（HDR）； OpenEXR

1 圖像狀態(tài)及其轉(zhuǎn)換

1.1 攝影機(jī)記錄圖像文件格式的分類

目前，各廠家的超高清（4K）攝影機(jī)記錄的文件格式根據(jù)OETF（光-電轉(zhuǎn)換函數(shù)）的不同大致分為三類：

（1）正常視頻圖像，即按照γ=0.45，色域采用ITU-R BT.709記錄圖像；

（2）log（對(duì)數(shù)曲線）圖像，即按照廠商提供的log曲線記錄圖像；

（3）RAW格式，即在線性（linear）空間下，元數(shù)據(jù)保留最多的一種圖像格式。

如果要在普通的具有標(biāo)準(zhǔn)動(dòng)態(tài)范圍、γ（伽馬）值采用2.2或2.4的顯示器或監(jiān)視器上回放上述三種格式的文件，由圖1可見，只有正常視頻圖像是可正常還原的；log圖像明顯很灰，飽和度也不足；RAW格式圖像對(duì)比度過大，整體亮度偏暗。雖然已有部分校色軟件提供log和線性空間圖像的顯示模式，但大多數(shù)電視工作者還是習(xí)慣在正常的視頻模式下工作。怎樣才能讓log和線性空間下的圖像在監(jiān)看和預(yù)覽時(shí)看到正常的色彩還原呢？這時(shí)，就需要在圖像狀態(tài)之間進(jìn)行轉(zhuǎn)換。

1.2 圖像狀態(tài)的定義及種類

圖像狀態(tài)是指圖像在數(shù)字化處理過程中，因數(shù)據(jù)結(jié)構(gòu)格式的不同，而使用的多種色彩編碼方式?，F(xiàn)已是一個(gè)標(biāo)準(zhǔn)的概念框架（ISO 22028-1），用于在色彩空間上有著相似特點(diǎn)和需要同樣處理的圖像分類，主要可分為以下三種。

（1）場(chǎng)景相關(guān)（Scene-referred）圖像

場(chǎng)景相關(guān)圖像是具有高動(dòng)態(tài)范圍（High Dynamic Range，HDR）的圖像，無論是真實(shí)或三維虛擬場(chǎng)景中使用的都是與場(chǎng)景中的亮度或光譜輻射成正比的編碼值；沒有加載色調(diào)映射算法，編碼值容許大于1。如果編碼使用線性坐標(biāo)，圖像為場(chǎng)景線性（Scene-Linear）。大多數(shù)的RAW格式文件都是線性場(chǎng)景相關(guān)圖像的文件。

如果要在普通顯示器上顯示HDR圖像，需要采用一些方法，如可采用與log曲線相似的平滑S型曲線壓縮超亮部分以及提高對(duì)比度來補(bǔ)償顯示效果，把像素的數(shù)值映射到這臺(tái)顯示器的色彩空間里，這種映射方法稱為色調(diào)映射（Tone-mapping）。目前，大部分SDR（標(biāo)準(zhǔn)動(dòng)態(tài)范圍）顯示設(shè)備在顯示HDR圖像時(shí)都是通過加載色調(diào)映射算法。但是，大多數(shù)色調(diào)映射算法沒有考慮到圖像亮度信號(hào)范圍被壓縮時(shí)，色度信號(hào)范圍同時(shí)也被壓縮了，導(dǎo)致顯示圖像的色彩不夠鮮艷。盡管一些算法根據(jù)色彩模型對(duì)壓縮圖像的顏色還原進(jìn)行了一定的補(bǔ)償，但還是不能在視覺上完全恢復(fù)HDR圖像的原始色彩。

（2）輸出相關(guān)（Output-referred）圖像

輸出相關(guān)圖像也被稱為“顯示相關(guān)圖像”，是具有正常的動(dòng)態(tài)范圍圖像，是被色調(diào)映射算法修正過的，編碼的最大值是1（在整數(shù)的情況下，歸一化后），但圖像亮度值與原始場(chǎng)景中亮度不成正比。輸出相關(guān)圖像理論上是為顯示準(zhǔn)備的，但并不意味著簡單地顯示在某個(gè)特定的設(shè)備上，如在一個(gè)特定的監(jiān)視器上顯示時(shí)，可能已加載了色調(diào)映射算法，但還需要加載特定的γ曲線進(jìn)行修正。例如sRGB（standard Red Green Blue，微軟聯(lián)合惠普、三菱、愛普生等廠商聯(lián)合開發(fā)的通用色彩標(biāo)準(zhǔn)）圖像、高清視頻、DCI（Digital Cinema Initiatives，數(shù)字電影倡導(dǎo)組織）數(shù)字電影，都是輸出相關(guān)圖像的類型。

（3）中間參考圖像

中間參考圖像（或稱中間媒介圖像）指介于場(chǎng)景相關(guān)和輸出相關(guān)之間的圖像，顏色已經(jīng)被處理，所以圖像亮度值與原始場(chǎng)景亮度不成正比，也不能正確地在顯示器中顯示。中間參考圖像的例子包括log編碼的膠片掃描圖像、學(xué)院密度交流（ADX）圖像及一些數(shù)字電影攝像機(jī)的輸出圖像等。

1.3 圖像狀態(tài)的轉(zhuǎn)換

線性圖像工作流程中CG（Computer Graphics，計(jì)算機(jī)圖形）渲染和合成時(shí)如何轉(zhuǎn)換彼此間的圖像狀態(tài)是很容易混淆的。大部分的混亂來自“線性”一詞，實(shí)際上有不同的線性編碼：場(chǎng)景相關(guān)和輸出相關(guān)。理解線性場(chǎng)景相關(guān)圖像和線性輸出相關(guān)圖像（也被稱為“線性化的輸出相關(guān)圖像”）之間的差異是非常重要。在這兩種情況下，編碼與亮度是成正比，換句話說，沒有經(jīng)過γ校正。 但差異在于，線性場(chǎng)景相關(guān)圖像中編碼值與原始場(chǎng)景的亮度成正比，而線性輸出相關(guān)圖像的編碼值與顯示的亮度成正比。這種算法是讓計(jì)算機(jī)圖形學(xué)采用線性的色彩空間，“線性”通常指的是場(chǎng)景線性色彩空間，而不是指輸出線性的色彩空間。

線性場(chǎng)景相關(guān)圖像具有很高的動(dòng)態(tài)范圍，如要在一種動(dòng)態(tài)范圍有限的顯示設(shè)備上觀看，為了讓圖像看起來還原度高，在γ校正之前需要加載相應(yīng)的色調(diào)映射算法。相反，將視頻圖像轉(zhuǎn)換到線性場(chǎng)景相關(guān)圖像時(shí)，簡單地去除γ校正還不行，還需要加載逆向色調(diào)映射算法來恢復(fù)原始場(chǎng)景的亮度值。但是，如果一個(gè)輸出相關(guān)圖像作為紋理來控制漫反射或類似的屬性，那么它可能不適合加載逆向色調(diào)映射算法。

為了便于理解，相對(duì)log圖像而言，視頻圖像有時(shí)也被稱為“線性”。視頻圖像實(shí)際上是經(jīng)過γ校正的輸出中間參考圖像，所以一定要去除γ校正轉(zhuǎn)換為線性輸出相關(guān)圖像，再加載逆向色調(diào)映射算法轉(zhuǎn)換為線性場(chǎng)景相關(guān)圖像。

log編碼的膠片掃描圖像、場(chǎng)景相關(guān)圖像、視頻圖像與線性的輸出相關(guān)圖像之間的轉(zhuǎn)換方式如圖2所示。

2 HDR及實(shí)現(xiàn)技術(shù)

2.1 HDR

動(dòng)態(tài)范圍是指圖像中所包含的從“最亮”至“最暗”的比值，也就是圖像從“最亮”到“最暗”之間灰度劃分的等級(jí)數(shù)。動(dòng)態(tài)范圍越大，所能表示的層次越豐富，所包含的色彩空間也越寬廣。

大家熟知的CIE-xy色度圖（見圖3）是CIE-Yxy（或稱作CIE-xyY）模型（見圖4）在x-y平面上的投影。而 CIE-Yxy是由CIE-XYZ變換得來，其中：。Yxy中的Y表示光的亮度，x、y分量的取值范圍是[0，1]，如圖4所示，色域是立體的，Y值越大，亮度越高，動(dòng)態(tài)范圍越大，圖像包含的細(xì)節(jié)就越豐富，色域的容積越大。BT.709中規(guī)定最高亮度為100 nit（cd/m2），目前HDR圖像最高亮度可達(dá)1 000 nit，甚至10 000 nit。圖5所示為在同等亮度下，BT.2020與BT.709色域的比較示意圖（圖中灰白色網(wǎng)格表示BT.2020色域，彩色網(wǎng)格表示BT.709色域）?？梢?，隨著HDR圖像最高亮度的增加，色彩的容積越大（見圖6），在高亮度區(qū)域可觀察到的色彩細(xì)節(jié)越豐富。

高動(dòng)態(tài)范圍（HDR），顧名思義就是從“最亮”到“最暗”可以達(dá)到非常高的比值。對(duì)最大亮度除以最低亮度的結(jié)果取對(duì)數(shù)，得到的結(jié)果就是動(dòng)態(tài)范圍的相對(duì)數(shù)值，單位為dB。

公式中，Intensity是指光線的強(qiáng)度。

根據(jù)公式計(jì)算，在亮度通道使用8 bit量化的情況下，可計(jì)算得出動(dòng)態(tài)范圍的數(shù)值約為2.4，加上單位就是48 dB；同理，可以計(jì)算得出16 bit的亮度通道的動(dòng)態(tài)范圍的數(shù)值約是4.8，即96 dB，是使用8 bit亮度通道的一倍。

真實(shí)場(chǎng)景中的動(dòng)態(tài)范圍從星光（10-6 cd/m2）到日光（108 cd/m2），能夠跨越1014個(gè)數(shù)量級(jí)。人類視覺系統(tǒng)的動(dòng)態(tài)范圍很廣，通過調(diào)節(jié)瞳孔的收縮，人眼可以適應(yīng)夜晚的星光，也能適應(yīng)白天強(qiáng)烈的日光，視覺系統(tǒng)可分辨的亮度動(dòng)態(tài)范圍達(dá)109數(shù)量級(jí)，如果視覺系統(tǒng)不進(jìn)行適應(yīng)性的調(diào)節(jié)，也能分辨105數(shù)量級(jí)的動(dòng)態(tài)范圍，在100 dB左右（為19擋～20擋光圈），見圖7。

在HDR模式下，理論上動(dòng)態(tài)范圍的數(shù)值最高可以到達(dá)76.8。在OpenEXR文件格式中表現(xiàn)出來的HDR的數(shù)值最大值為12.0，約為240 dB，遠(yuǎn)遠(yuǎn)高出單純使用16 bit亮度通道的所帶來的動(dòng)態(tài)范圍，這是采用了優(yōu)秀算法的結(jié)果。OpenEXR所能實(shí)現(xiàn)的最大動(dòng)態(tài)范圍已經(jīng)超過了人眼的109數(shù)量級(jí)，帶來了更加真實(shí)的視覺體驗(yàn)。

2.2 OpenEXR高動(dòng)態(tài)范圍圖像格式

目前，影視后期合成及校色過程中通常使用OpenEXR（或簡稱為exr格式）作為文件的交換及歸檔格式，這是一種開放標(biāo)準(zhǔn)的高動(dòng)態(tài)范圍圖像格式，可以存儲(chǔ)一些后期合成處理所需的數(shù)據(jù)，也可存儲(chǔ)比常規(guī)的8 bit和10 bit圖像格式更高的動(dòng)態(tài)范圍和顏色精度；支持16 bit浮點(diǎn)數(shù)、32 bit浮點(diǎn)數(shù)和32 bit整數(shù)的像素顏色值（IEEE 754 標(biāo)準(zhǔn)）。OpenEXR采用了SM10E5編碼格式，取16 bit表示亮度數(shù)值，其中包括1個(gè)符號(hào)位、5個(gè)指數(shù)位和10個(gè)浮點(diǎn)數(shù)位，能存儲(chǔ)超過30擋光圈動(dòng)態(tài)范圍的圖像（一般數(shù)字?jǐn)z影機(jī)動(dòng)態(tài)范圍在14擋光圈左右），如圖8所示。這樣通過浮點(diǎn)數(shù)值的方法，大大拓寬了動(dòng)態(tài)范圍。

根據(jù)實(shí)際的計(jì)算結(jié)果，在通常情況下，OpenEXR可以提供和人眼基本相同的動(dòng)態(tài)范圍：最小值為 0 00001 0000000000=2-14≈6.10352×10-5，最大值為 0 11110 1111111111=（2-2-10）×215=65 504，動(dòng)態(tài)范圍約為180 dB。

在擴(kuò)展的模式下，OpenEXR可以提供從最暗到最亮的數(shù)值分別為0 00000 0000000001=2-24≈5.96046×10-8和65 504，化為動(dòng)態(tài)范圍表示就是240 dB（約為40擋光圈動(dòng)態(tài)范圍）。

OpenEXR的多級(jí)分辨率和任意數(shù)據(jù)通道存儲(chǔ)使其非常適合用于合成，它能把高光（specular）、漫反射（diffuse）、陰影、Alpha通道、RGB、法線和其他對(duì)后期合成有用的數(shù)據(jù)存儲(chǔ)于一個(gè)文件里，如果對(duì)三維渲染出來的圖像畫面高光或漫反射不滿意，合成師可以根據(jù)導(dǎo)演要求在合成軟件里對(duì)指定的通道進(jìn)行調(diào)整。

OpenEXR內(nèi)置三種無損壓縮算法，包括兩種不同的zip壓縮算法，對(duì)于沒有很多噪點(diǎn)的圖像，這兩種zip壓縮方法最有效；而PIZ壓縮算法則更適合于噪點(diǎn)較多的圖像。渲染exr格式圖像時(shí)，通常有以下壓縮選項(xiàng)。

None：無壓縮。

RLE：與TGA圖像格式的標(biāo)準(zhǔn)壓縮算法相似的壓縮算法。

zip（單行）：對(duì)單行像素信息使用zip方式的壓縮。

zip（16行像素塊）：對(duì)16行像素塊進(jìn)行的zip方式壓縮，對(duì)膠片噪點(diǎn)不多的計(jì)算機(jī)繪制圖像是最有效的壓縮算法。

PIZ（小波壓縮）：一種新的結(jié)合小波和霍夫曼編碼的壓縮算法，對(duì)噪點(diǎn)比較多的圖像最為有效。

PXR24：來自皮克斯的壓縮算法，先把數(shù)據(jù)轉(zhuǎn)換為24 bit，再進(jìn)行zip壓縮，它對(duì)于16 bit和32 bit整數(shù)值數(shù)據(jù)是無損的，但對(duì)于32 bit浮點(diǎn)數(shù)據(jù)則有輕微損失。

B44：對(duì)半浮點(diǎn)數(shù)據(jù)是有損的，對(duì)32 bit浮點(diǎn)數(shù)據(jù)不進(jìn)行壓縮。

B44A：對(duì)相同顏色的區(qū)域進(jìn)行進(jìn)一步壓縮，是對(duì)B44的擴(kuò)展，常規(guī)B44壓縮則無視圖像的內(nèi)容。

2.3 改善EOTF（電—光轉(zhuǎn)換函數(shù)）

近些年來，圖像顯示技術(shù)有了突飛猛進(jìn)的發(fā)展，而SDR監(jiān)視器顯示的最高亮度只有100 nit，最低亮度為0.1 nit，對(duì)比度為1 000∶1，動(dòng)態(tài)范圍值是3，也就是說SDR監(jiān)視器最多只能顯示10擋光圈的動(dòng)態(tài)范圍。真正的HDR顯示設(shè)備首先要提高最高亮度值，最好要達(dá)到1 000 nit（已有廠家可做到4 000 nit）；第二，增強(qiáng)對(duì)比度，最好達(dá)到1 000 000∶1，動(dòng)態(tài)范圍值是6，可顯示20擋光圈左右的動(dòng)態(tài)范圍（已與人眼的動(dòng)態(tài)范圍非常接近）；第三，還要改善顯示設(shè)備的EOTF，幾種不同電光轉(zhuǎn)換函數(shù)的特性見圖9。目前，有兩個(gè)新的轉(zhuǎn)換曲線在ITU-R BT.2100標(biāo)準(zhǔn)中被推薦：（1）杜比實(shí)驗(yàn)室的Dobly Vision HDR方案提出的感知量化編碼（PQ，perceptual quantizer），（2）由BBC和NHK聯(lián)合研發(fā)的混合對(duì)數(shù)伽馬（HLG， Hybrid Log Gamma）。

杜比PQ采用12 bit色彩深度，其亮度最高可達(dá)到10 000 nit。該方案根據(jù)顯示端人眼對(duì)亮度分辨的閾值來確定量化比特的要求，符合人的視覺的生理和心理，對(duì)量化比特的使用更為經(jīng)濟(jì)。

而BBC與NHK提出的HLG方案通過混合兩種不同的曲線來分別對(duì)HDR信號(hào)當(dāng)中所包含的高亮和暗部區(qū)域進(jìn)行解碼，其中暗部區(qū)域使用標(biāo)準(zhǔn)伽馬曲線（這與BT.709的標(biāo)準(zhǔn)基本相同），而高光部分（超過100 nit）則使用對(duì)數(shù)曲線，在支持HDR的同時(shí)也可以兼容SDR圖像的顯示。

3 結(jié)束語

高動(dòng)態(tài)范圍電視圖像將為廣大觀眾帶來全新的視覺體驗(yàn)，更加明亮、色彩豐富、更高對(duì)比度的圖像，將使娛樂節(jié)目生動(dòng)艷麗，令新聞報(bào)道節(jié)目現(xiàn)場(chǎng)感十足，大大提高觀眾們的視覺感官效果。