祖寶明 謝志峰

摘要：現(xiàn)如今可視媒體應(yīng)用需求巨大，針對(duì)可視媒體資源具有的海量、多源、異構(gòu)的特點(diǎn)，研究高效智能的可視媒體處理技術(shù)成為當(dāng)務(wù)之急。本文重點(diǎn)綜述了可視媒體技術(shù)中的編輯處理方面的研究現(xiàn)狀，寄望于解決編輯處理中的結(jié)構(gòu)問題，從而提升可視媒體應(yīng)用的質(zhì)量和效率。鑒于人們對(duì)可視媒體資源深度開發(fā)的迫切需要，本領(lǐng)域的研究對(duì)促進(jìn)影視后期、動(dòng)畫創(chuàng)作、互動(dòng)娛樂等數(shù)字內(nèi)容產(chǎn)業(yè)的發(fā)展，具有重要的研究與應(yīng)用意義。

關(guān)鍵詞：可視媒體;編輯處理;色彩

中圖分類號(hào)：TP31 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）32-0236-03

1概述

當(dāng)前可視媒體的應(yīng)用需求非常巨大，但因?yàn)榭梢暶襟w資源本身所具有的海量、多元等特點(diǎn)使得可視媒體的編輯處理技術(shù)具有一定的難度，這是當(dāng)下急需解決的一個(gè)難題?？梢暶襟w編輯處理主要是通過靈活多樣的編輯技術(shù)，在顏色、細(xì)節(jié)、紋理和邊緣等方面改變其固有特征，從而獲得新媒體素材。編輯處理技術(shù)的形式多種多樣，主要涉及的編輯內(nèi)容有媒體風(fēng)格化處理、畫質(zhì)增強(qiáng)、色彩轉(zhuǎn)移、顯著度提取等，但在編輯過程中由于各種因素的影響可能會(huì)導(dǎo)致在對(duì)比度、環(huán)境協(xié)調(diào)、色彩等方面無法獲得最佳效果。因此，利用結(jié)構(gòu)分解進(jìn)行高精度的可視媒體編輯處理技術(shù)，從而獲得平滑、光照和反射等屬性，進(jìn)而構(gòu)建結(jié)構(gòu)感知模型，消除各種缺陷，提升處理質(zhì)量和效率是本研究的目標(biāo)。

2國(guó)內(nèi)外研究現(xiàn)狀

可視媒體領(lǐng)域的研究分為結(jié)構(gòu)分解與編輯處理，其中是技術(shù)核心，編輯處理則是應(yīng)用聚焦，兩者相互關(guān)聯(lián)、協(xié)調(diào)統(tǒng)一，一方面竭力提升結(jié)構(gòu)分解的精度，另一方面在屬性分離的基礎(chǔ)上努力解決編輯處理中的結(jié)構(gòu)問題?？梢暶襟w的編輯處理的研究符合對(duì)可視媒體資源深度開發(fā)的迫切需要，有望促進(jìn)我國(guó)數(shù)字內(nèi)容產(chǎn)業(yè)的發(fā)展，具有重要的研究與應(yīng)用意義。在編輯處理方面的研究重點(diǎn)，主要包括風(fēng)格化處理、色調(diào)映射、畫質(zhì)增強(qiáng)、顏色轉(zhuǎn)移、無縫融合、顯著度提取等。

2.1可視媒體編輯處理

2.1.1風(fēng)格化處理

風(fēng)格化處理，又稱非真實(shí)感渲染，是計(jì)算機(jī)技術(shù)和繪畫技術(shù)相結(jié)合的一個(gè)研究領(lǐng)域，指利用計(jì)算機(jī)生成不具有照片般真實(shí)感，而是具有手繪風(fēng)格的圖形技術(shù)。其目標(biāo)不在于圖形的真實(shí)性，而主要是表現(xiàn)圖形的藝術(shù)特質(zhì)，模擬藝術(shù)作品。目前，很多藝術(shù)風(fēng)格已經(jīng)被成功的模擬出來，如鉛筆畫、卡通畫、水彩畫、油畫、水墨畫等。如圖1所示，左圖為輸入的圖片集，右圖為風(fēng)格化后的結(jié)果。

目前的風(fēng)格化方法，從處理方式上可以分為四類：基于筆畫的方法、基于區(qū)域的方法嘲、基于樣例的方法和基于圖像處理和濾波器的方法。第一類基于筆畫的方法中又能分為基于筆刷的和基于拼貼的，基于筆刷的方法通常定義不同風(fēng)格、不同顏色、不同寬度的筆刷，在畫布上進(jìn)行全局或者局部性的繪制;基于拼貼的方法通常根據(jù)不同的風(fēng)格形式，定義小的貼片，用這些貼片去拼接形成風(fēng)格化的結(jié)果。第二類基于區(qū)域的方法通常需要圖像分割作為前提，在分割的局部區(qū)域內(nèi)進(jìn)行風(fēng)格繪制。第三類基于樣例的方法通常在樣例中學(xué)習(xí)顏色和紋理的映射關(guān)系，通過風(fēng)格之間的映射操作來實(shí)現(xiàn)風(fēng)格變換。第四類基于圖像處理和濾波器的方法通常在空間域或梯度域內(nèi)借助圖像處理操作，結(jié)合各種類型的濾波器，對(duì)結(jié)構(gòu)、顏色等信息進(jìn)行風(fēng)格繪制。

2.1.2色調(diào)映射

色調(diào)映射是指將高動(dòng)態(tài)范圍（HDR）圖片壓縮為低動(dòng)態(tài)范圍（LDR）圖片的操作。通常，自然場(chǎng)景中的亮度變化在10^-3至10⁵cd/m2之間，而普通的數(shù)字顯示器一般是低動(dòng)態(tài)范圍在10²cd/m2左右，色調(diào)映射正是要填充它們之間的間隔，使高動(dòng)態(tài)范圍圖片也能在低動(dòng)態(tài)范圍的顯示器上高質(zhì)量地顯示出來。如圖2所示，左圖為沒有經(jīng)過映射處理直接顯示的高動(dòng)態(tài)范圍圖片，中間和右圖為經(jīng)過色調(diào)映射處理后形成的不同的顯示效果。

目前的色調(diào)映射方面，主要可以分為四類：基于視覺感知的方法、基于梯度操作的方法、基于人工交互的方法和基于圖像質(zhì)量索引的方法。第一類基于視覺感知的方法具有執(zhí)行快速，不引入光暈等優(yōu)點(diǎn)，但是對(duì)比度方面顯示效果比較差，可以分為全局和局部?jī)煞N處理方式，其中有基于Stevens理論的方法、類似Naka-Rushton方程的方法、考慮時(shí)間自適應(yīng)性的方法、基于局部細(xì)節(jié)的方法、基于Retinex理論的方法、基于Anchoring理論的方法等。第二類基于梯度操作的方法采用收縮大梯度，保留小細(xì)節(jié)的思想，和前述的細(xì)節(jié)分解一致，其中有采用偏微分方程的方法、基于雙邊濾波器的方法、基于梯度域內(nèi)壓縮因子的方法等。第三類基于人工交互的方法通過用戶選擇亮度空間，借助交互方式生成滿意的映射效果。第四類基于圖像質(zhì)量索引的方法，通過定義質(zhì)量索引，自動(dòng)地調(diào)整映射的參數(shù)，生成達(dá)到一定質(zhì)量要求的映射結(jié)果。

2.1.3畫質(zhì)增強(qiáng)

畫質(zhì)增強(qiáng)是一種提升低畫質(zhì)圖像和視頻到更高畫質(zhì)的處理操作。由于光學(xué)、環(huán)境、數(shù)模轉(zhuǎn)換、運(yùn)動(dòng)、采樣等原因，很容易產(chǎn)生帶有噪聲、失真、光學(xué)變形、運(yùn)動(dòng)模糊等問題的圖像，而畫質(zhì)增強(qiáng)的目標(biāo)就是要消除這些問題，生成高畫質(zhì)的結(jié)果。針對(duì)不同的畫質(zhì)問題，畫質(zhì)增強(qiáng)領(lǐng)域涌現(xiàn)出去噪、銳化、去運(yùn)動(dòng)模糊、超分辨率等多種技術(shù)方法。如圖3所示，左邊兩幅圖片為銳化前后的對(duì)比，右邊兩幅圖片為細(xì)節(jié)增強(qiáng)前后的對(duì)比。

目前的畫質(zhì)增強(qiáng)方面，主要包含以下幾種技術(shù)：去噪、銳化、細(xì)節(jié)增強(qiáng)、對(duì)比度增強(qiáng)、去運(yùn)動(dòng)模糊、超分辨率等。去噪技術(shù)可以抑制噪聲，改善圖像質(zhì)量，按處理方式可以分為空間域的方法、變換域的方法和基于學(xué)習(xí)的方法。銳化技術(shù)可以補(bǔ)償圖像的輪廓信息，增強(qiáng)邊緣特征，使圖像變得清晰，主要有空間域方法、頻率域方法和梯度域方法。細(xì)節(jié)增強(qiáng)技術(shù)可以利用細(xì)節(jié)分解提取細(xì)節(jié)層，增強(qiáng)細(xì)節(jié)改善圖像質(zhì)量。對(duì)比度增強(qiáng)技術(shù)可以調(diào)整顯示對(duì)比度，從而提升圖像的顯示質(zhì)量，主要采用對(duì)直方圖進(jìn)行操作的方式實(shí)現(xiàn)。去運(yùn)動(dòng)模糊技術(shù)可以估計(jì)運(yùn)動(dòng)的模糊核，通過反卷積運(yùn)算求解出清晰圖像，根據(jù)核的變化情況可以分為卷積核變化方法和卷積核不變方法，根據(jù)核是否已知又可以分為盲卷和非盲卷兩種方式。超分辨率技術(shù)可以將低分辨率的圖像轉(zhuǎn)換為高分辨率圖像，主要包括基于插值的方法、基于重建的方法和基于學(xué)習(xí)的方法。

2.1.4顏色轉(zhuǎn)移

顏色轉(zhuǎn)移是一種將參考圖像上的顏色風(fēng)格轉(zhuǎn)移到源圖像上的處理方法，可以使得源圖像上的顏色特征在視覺上與參考圖像一致。本領(lǐng)域主要關(guān)注基于樣例的轉(zhuǎn)移方式，即給出兩張圖像自動(dòng)地進(jìn)行顏色的轉(zhuǎn)移，無須人工干預(yù)。

目前的顏色轉(zhuǎn)移方面，按照處理區(qū)域可以分為兩類：全局顏色轉(zhuǎn)移和局部顏色轉(zhuǎn)移。第一類全局顏色轉(zhuǎn)移方法通常以整張圖像作為處理對(duì)象，在圖像間實(shí)現(xiàn)自動(dòng)的轉(zhuǎn)移操作，主要包括基于均值和方差等統(tǒng)計(jì)信息的方法、基于顏色分類的方法、基于直方圖匹配的方法等，這些方法簡(jiǎn)單快速，但容易引起顏色和細(xì)節(jié)問題。后來，研究人員提出了一些優(yōu)化方法來抑制這些缺陷，包括梯度維持的優(yōu)化、直方圖重塑的優(yōu)化、光源感知的優(yōu)化、基于內(nèi)容的優(yōu)化、自學(xué)習(xí)的優(yōu)化等等。第二類局部的方法通常都需要依賴人工交互，通過交互指定局部區(qū)域，在局部區(qū)域之間進(jìn)行操作，能夠?qū)崿F(xiàn)更精確的顏色轉(zhuǎn)移，主要包括基于軟分割的方法、基于交互工具的方法、基于筆畫的方法、用戶可控的方法、可選擇的方法等。這些局部的方法和全局的方法一樣，不可避免的也會(huì)遇到相同的顏色和細(xì)節(jié)問題，影響轉(zhuǎn)移的效果。

2.1.5無縫融合

無縫融合是指通過高效的交互編輯，在邊界、顏色、光照等方面尋求自適應(yīng)目標(biāo)環(huán)境的高質(zhì)量合成。在融合過程中，對(duì)象提取、合成處理、環(huán)境協(xié)調(diào)是其關(guān)鍵問題，衍生出相關(guān)的軟摳取、克隆、協(xié)調(diào)等多種技術(shù)，通過這些技術(shù)的運(yùn)用，最終獲得和環(huán)境協(xié)調(diào)的無縫融合效果。如圖4所示，左圖為源圖像，左二為目標(biāo)圖像，右二為位置選擇，右圖為無縫融合的結(jié)果，可以看出結(jié)果與目標(biāo)環(huán)境完美地融合為一體。

目前的無縫融合方面，根據(jù)處理流程主要涉及三種關(guān)鍵技術(shù)：軟摳取技術(shù)、克隆技術(shù)和特征協(xié)調(diào)技術(shù)。軟摳取技術(shù)在用戶簡(jiǎn)單交互形成三分圖的基礎(chǔ)上，通過定義透明度來表示前景和背景的線性混合關(guān)系，借助顏色采樣和局部傳播方法計(jì)算其透明度，特別在邊緣不清晰和半透明的對(duì)象提取時(shí)，利用透明度計(jì)算彌補(bǔ)硬分割的不足，實(shí)現(xiàn)高精度的對(duì)象提取。克隆技術(shù)采用邊界插值算法，將感興趣的對(duì)象整合到目標(biāo)圖像上，保證與目標(biāo)環(huán)境的匹配，根據(jù)插值方式可分為基于泊松方程的方法和基于均值坐標(biāo)的方法，區(qū)別于直接的復(fù)制粘貼方式，它可以避免復(fù)雜的人工交互，強(qiáng)調(diào)與目標(biāo)的環(huán)境匹配，消除合成失真現(xiàn)象。特征協(xié)調(diào)技術(shù)主要針對(duì)合成時(shí)噪聲、紋理等特征不一致的問題，通過特征的轉(zhuǎn)移和重建，加強(qiáng)合成對(duì)象與目標(biāo)環(huán)境的協(xié)調(diào)統(tǒng)一，它更關(guān)注如何簡(jiǎn)單快捷地將表面特征進(jìn)行轉(zhuǎn)移和匹配，提升合成時(shí)的特征一致性。

2.1.6顯著度提取

顯著度提取是在人類視覺注意理論的基礎(chǔ)上，進(jìn)行視覺顯著度估計(jì)，從而能在沒有先驗(yàn)知識(shí)的情況下，實(shí)現(xiàn)對(duì)感興趣對(duì)象的自動(dòng)提取。顯著性源于視覺的獨(dú)特性、不可預(yù)測(cè)性、稀缺性及奇異性，是由顏色、梯度、邊界等圖像屬性所致，主要有自底向上和自頂向下兩種提取模式。如圖5所示，左圖為示例圖片，中間為顯著度圖，越亮的地方表示顯著度越高，越能引起視覺的關(guān)注，右圖為在顯著圖的基礎(chǔ)上實(shí)現(xiàn)的對(duì)象自動(dòng)提取。

目前的顯著度提取方面，根據(jù)處理對(duì)象可以分為：圖像顯著度提取和視頻顯著度提取。在圖像顯著度提取方面，涌現(xiàn)出各種圖像顯著性檢測(cè)方法，包括基于中心一周圍差異的方法、基于模糊增長(zhǎng)模型的局部對(duì)比度方法、基于圖模型的方法、基于頻率譜的方法、基于頻率調(diào)諧的方法、基于上下文感知的方法、基于全局對(duì)比度的方法等。它們通過局部或全局對(duì)比度定義，能夠有效地檢測(cè)圖像的顯著性，建立符合人類視覺感受的顯著度圖。在視頻顯著度提取方面，不同于靜態(tài)的圖像，視頻中涵蓋了時(shí)空信息，在顯著度提取時(shí)需要統(tǒng)一考慮，主要包括基于用戶注意力的自動(dòng)檢測(cè)框架、基于時(shí)空線索的方法、基于時(shí)序譜殘留的方法、基于動(dòng)態(tài)紋理的方法、基于隨機(jī)域模型的方法、基于動(dòng)態(tài)對(duì)比度的方法等。它們以圖像顯著性檢測(cè)方法為基礎(chǔ)，通過結(jié)合亮度、顏色、運(yùn)動(dòng)等信息，在統(tǒng)一建模的基礎(chǔ)上有效地進(jìn)行視頻顯著度提取。

3總結(jié)與展望

綜上所述，盡管國(guó)內(nèi)外已經(jīng)在編輯處理方面積累了一定的研究成果，但是編輯處理中的結(jié)構(gòu)問題并沒有獲得根本解決，甚至某些方面的研究仍然處于初步探索階段，要形成成熟的理論和技術(shù)，還需要大量更具創(chuàng)新性的工作。有鑒于此，本領(lǐng)域的研究工作主要從編輯處理方面展開，嘗試以高精度的結(jié)構(gòu)分解為基礎(chǔ)，解決編輯處理應(yīng)用中的結(jié)構(gòu)問題，實(shí)現(xiàn)可視媒體資源的高效處理和有效利用。總之，在國(guó)內(nèi)外對(duì)可視媒體智能處理理論與方法日益重視的背景下，研究結(jié)構(gòu)分解與編輯處理等關(guān)鍵支撐技術(shù)顯得十分必要而迫切，有望打破可視媒體領(lǐng)域內(nèi)的技術(shù)瓶頸，進(jìn)一步推進(jìn)我國(guó)數(shù)字內(nèi)容產(chǎn)業(yè)的快速發(fā)展。