鄧蓬月 孫 星 金 鑫 李曉東

北京電子科技學(xué)院，北京市 100070

引言

隨著大數(shù)據(jù)時(shí)代的來臨，多媒體信息來源不斷擴(kuò)大，也同樣帶來了圖像大量堆砌和信息爆炸的困擾，因此，需要對(duì)各種圖像資源進(jìn)行智能化管理。 圖像檢索技術(shù)近年來受到廣泛關(guān)注。 圖像檢索技術(shù)的基本方法[2]是分析圖像的本質(zhì)的屬性，再?gòu)膱D像數(shù)據(jù)庫中尋找相似或者相近的圖像。

在上述的研究中完成了精確度很高的太陽位置估計(jì)的研究工作，光照信息對(duì)于將虛擬對(duì)象插入到真實(shí)場(chǎng)景中的效果圖像的真實(shí)性至關(guān)重要。 能夠從單張場(chǎng)景圖像自動(dòng)估計(jì)太陽位置是將三維模型插入到場(chǎng)景中的前提條件。 傳統(tǒng)的室外太陽方位估計(jì)方法通常使用手工標(biāo)注特征或線索。 這些標(biāo)注很大程度上依賴于人類的經(jīng)驗(yàn)和使用其它圖像理解技術(shù)(如陰影和天空檢測(cè)、幾何恢復(fù)和圖像的本征分解)進(jìn)行的預(yù)處理過程，在性能和準(zhǔn)確率方面有很大局限性。 與之不同的是，系統(tǒng)中使用的圖像標(biāo)簽并不采用人工標(biāo)注的方式，而是利用深度學(xué)習(xí)[5]訓(xùn)練得到的效果較好的深度學(xué)習(xí)模型，使用該模型估計(jì)圖像的天頂角和方位角作為圖像的標(biāo)簽，從而使標(biāo)簽更具客觀性。

那么本文應(yīng)該怎樣將這項(xiàng)研究應(yīng)用于實(shí)際生活中呢? 論文中提到的太陽位置估計(jì)方法主要用于影視后期制作，制作中有時(shí)需要找到兩張相似光照背景的場(chǎng)景圖像，此處可以使用太陽位置估計(jì)方法對(duì)圖像進(jìn)行光照背景的計(jì)算，為了減小圖像檢索和處理中的工作量，在本文中需要設(shè)計(jì)實(shí)現(xiàn)一個(gè)指定光照背景檢索系統(tǒng)，利用該系統(tǒng)就可以快速有效的對(duì)龐雜的圖像場(chǎng)景信息進(jìn)行圖像檢索，篩選出需要的具有相似光照背景信息的場(chǎng)景圖像，并對(duì)檢索出圖像的進(jìn)行后期制作。

本文使用的方法是圖像檢索領(lǐng)域較為普遍的基于文本的圖像檢索，系統(tǒng)的設(shè)計(jì)盡可能地減少對(duì)圖像整體的處理操作，通過計(jì)算圖像的太陽位置特征數(shù)據(jù)的數(shù)據(jù)庫中的特征數(shù)據(jù)匹配程度進(jìn)行檢索。 首先，對(duì)指定光照背景檢索系統(tǒng)的各個(gè)功能模塊進(jìn)行分析，建立圖像數(shù)據(jù)庫。 系統(tǒng)中的圖像數(shù)據(jù)庫包含webcam[13]、kitti 和從timelapse 數(shù)據(jù)集上的圖像，將圖像路徑和圖像信息錄入到數(shù)據(jù)庫中。 其次，進(jìn)行界面的詳細(xì)設(shè)計(jì)和代碼的具體的系統(tǒng)實(shí)現(xiàn)。 系統(tǒng)設(shè)計(jì)對(duì)輸入的圖像進(jìn)行太陽位置的估計(jì)，并將估計(jì)的結(jié)果與數(shù)據(jù)庫中相似的圖像數(shù)據(jù)信息進(jìn)行匹配計(jì)算，最后輸出一組排列有序的圖像。

1 相關(guān)工作

本文所設(shè)計(jì)的光照背景檢索系統(tǒng)的核心是光照分析和太陽位置估計(jì)。 國(guó)內(nèi)外許多研究學(xué)者都太陽位置估計(jì)對(duì)這一研究課題進(jìn)行了探索，并且取得了不錯(cuò)的成果。 根據(jù)使用方法的不同，基于圖像的光照分析方法可以分為兩大類:基于傳統(tǒng)的方法和基于深度學(xué)習(xí)的方法。

1.1 傳統(tǒng)方法

Ho?ek 等人[10]在Preetham 模型[15]的基礎(chǔ)上進(jìn)行改進(jìn)并提出了一種天空亮度模型，該模型能夠比Preetham 模型更加精確地表示天空的亮度分布，并且在隨后的工作中，該模型又被擴(kuò)展為包括太陽輻射函數(shù)[10]。 Lalonde 等人[16]也對(duì)Preetham 模型進(jìn)行了擴(kuò)展，在其基礎(chǔ)上又添加了一種新的經(jīng)驗(yàn)太陽模型，并將室外環(huán)境光照表示為Preetham 天空模型與太陽模型的和。 Lalonde等人[13]提出采用概率分布的方法從單張室外圖片中恢復(fù)出光照信息。 該方法將圖片中的天空區(qū)域，地面上的陰影區(qū)域以及垂直物體表面上的陰影區(qū)域等特征信息組合在一起以生成更加健全、可靠、準(zhǔn)確的信息。 然后，這些信息與有關(guān)光照參數(shù)的一些先驗(yàn)知識(shí)相結(jié)合并采用概率分布函數(shù)的方法計(jì)算出太陽方位和太陽可見度等光照參數(shù)。

一些方法利用關(guān)于場(chǎng)景布局，反射率和場(chǎng)景光照的先驗(yàn)知識(shí)[17]來恢復(fù)光照參數(shù)，這些先驗(yàn)知識(shí)被用于創(chuàng)建優(yōu)化模型或貝葉斯模型。 由于這些先驗(yàn)知識(shí)只適用于特定的場(chǎng)景并不能用于其他的場(chǎng)景，所以這些方法在現(xiàn)實(shí)場(chǎng)景中的應(yīng)用具有較大的局限性。 Xing 等人[18]提出了一種基于在線視頻序列的動(dòng)態(tài)光照估計(jì)方法，該方法適用于不存在陰影區(qū)域、天空亮度分布不均勻的室外場(chǎng)景。

1.2 深度學(xué)習(xí)方法

Ma 等人[14]提出利用深度學(xué)習(xí)的方法直接從一張圖片中預(yù)測(cè)其對(duì)應(yīng)的太陽方位，該方法采用了Alexnet 網(wǎng)絡(luò)結(jié)構(gòu)并比較了采用不同損失函數(shù)的預(yù)測(cè)結(jié)果，實(shí)驗(yàn)結(jié)果表明采用余弦距離訓(xùn)練出的模型預(yù)測(cè)準(zhǔn)確度最高。 Jin 等人[4]提出在深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中加入short-cuts 結(jié)構(gòu)以實(shí)現(xiàn)低層特征與高層特征的融合，這種融合可以增強(qiáng)網(wǎng)絡(luò)提取的圖像特征。

Hold-Geoffroy 等人[12]提出一種基于CNN 的從單張室外低動(dòng)態(tài)范圍圖片中估計(jì)其對(duì)應(yīng)的高動(dòng)態(tài)范圍光照信息的方法。 該方法首先將基于物理的Ho?ek-Wilkie[10]天空模型應(yīng)用于全景圖中的天空區(qū)域以獲取太陽方位，大氣渾濁度，照相機(jī)參數(shù)等光照參數(shù)。 然后利用從全景圖中截取的部分圖片(訓(xùn)練圖片)和已獲取的光照參數(shù)(標(biāo)簽數(shù)據(jù))對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

Cheng 等人[19]提出一種從成對(duì)圖片中恢復(fù)場(chǎng)景光照的方法，其中兩張圖片分別由相機(jī)設(shè)備的前置攝像頭和后置攝像頭拍攝。 該方法不使用光照參數(shù)而是使用球諧光照[19][20]對(duì)場(chǎng)景光照進(jìn)行表示。 該方法首先需要計(jì)算出每張圖片所對(duì)應(yīng)的球諧系數(shù)并將其作為標(biāo)簽數(shù)據(jù)，之后利用成對(duì)的圖片和其對(duì)應(yīng)的標(biāo)簽數(shù)據(jù)對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。 該方法不僅適用于室外場(chǎng)景的光照分析同時(shí)也適用于室內(nèi)場(chǎng)景的光照分析。Gardner 等人[21]提出一種基于深度學(xué)習(xí)的室內(nèi)光照分析方法。 該方法首先利用一個(gè)光源分類器對(duì)低動(dòng)態(tài)范圍圖像中的光源位置進(jìn)行自動(dòng)標(biāo)注，這些標(biāo)注信息作為標(biāo)簽數(shù)據(jù)用于訓(xùn)練一個(gè)光源位置預(yù)測(cè)網(wǎng)絡(luò)，之后再利用一個(gè)小的高動(dòng)態(tài)范圍圖像數(shù)據(jù)集對(duì)已訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行微調(diào)以實(shí)現(xiàn)圖像中光強(qiáng)信息的預(yù)測(cè)。

Zhang 等人[20]提出一種從低動(dòng)態(tài)范圍室外全景圖中預(yù)測(cè)高動(dòng)態(tài)范圍光照信息的端到端的方法。 該方法利用卷積和反卷積的操作來實(shí)現(xiàn)從低動(dòng)態(tài)范圍到高動(dòng)態(tài)范圍的逆色調(diào)映射過程[22]，為了訓(xùn)練網(wǎng)絡(luò)，作者合成了大量的高動(dòng)態(tài)范圍圖片和對(duì)應(yīng)的低動(dòng)態(tài)范圍圖片。 同時(shí)，該數(shù)據(jù)集也為以后的研究工作提供了方便。

1.3 本文研究?jī)?nèi)容

本文主要開展指定光照背景檢索和太陽位置估計(jì)的應(yīng)用研究，主要研究?jī)?nèi)容包括:基于深度學(xué)習(xí)的太陽位置估計(jì)、將基于深度學(xué)習(xí)的太陽位置估計(jì)方法應(yīng)用于指定光照背景檢索系統(tǒng)。第一節(jié)主要簡(jiǎn)要介紹了一些太陽位置的傳統(tǒng)方法和基于深度學(xué)習(xí)的方法，簡(jiǎn)要闡述各種方法的原理以及優(yōu)缺點(diǎn)。 第二節(jié)中主要介紹光照背景設(shè)計(jì)，描述系統(tǒng)的用例圖，根據(jù)需求設(shè)計(jì)系統(tǒng)功能模塊和系統(tǒng)流程。 描述選擇圖像檢索路徑用例、太陽位置計(jì)算用例和檢索數(shù)據(jù)庫中相似背景圖像用例。 第三節(jié)主要介紹幾種室外場(chǎng)景圖像數(shù)據(jù)庫。 第四節(jié)簡(jiǎn)單介紹了SunOriNet 的實(shí)現(xiàn)。第五節(jié)將SunOriNet 方法估計(jì)的太陽位置于其他類似方法對(duì)比，對(duì)比結(jié)果明顯優(yōu)于其他方法。第六節(jié)主要描述了主要光照背景系統(tǒng)的實(shí)現(xiàn)，并且對(duì)于整個(gè)系統(tǒng)進(jìn)行測(cè)試。 第七節(jié)總結(jié)全文。

2 光照背景設(shè)計(jì)

本節(jié)對(duì)于指定光照背景系統(tǒng)設(shè)計(jì)做出用例分析，并且根據(jù)需求設(shè)計(jì)劃分功能模塊，設(shè)計(jì)系統(tǒng)流程。

2.1 用例分析

系統(tǒng)用戶用例如圖1 所示，主要分為三個(gè)大的模塊:選擇圖像檢索路徑、計(jì)算太陽位置、檢索數(shù)據(jù)庫中相似背景。 選擇檢索路徑主要為了便利用戶，當(dāng)用戶只需要某一類圖像時(shí)，可以選擇相同或者不同的存儲(chǔ)位置的室外場(chǎng)景圖像進(jìn)行檢索。 而計(jì)算太陽位置主要包含兩個(gè)方面:計(jì)算太陽方位角與計(jì)算太陽天頂角。 第三部分主要是通過比較太陽方位角和天頂角檢索相似背景圖像。 更詳細(xì)的內(nèi)容在下文的幾張表中做了更詳細(xì)的補(bǔ)充。 系統(tǒng)[6]主要是針對(duì)用戶輸入的圖像進(jìn)行相似光照背景信息的檢索，以選擇圖像的檢索路徑，太陽位置計(jì)算和檢索數(shù)據(jù)庫中相似背景圖像給出相應(yīng)的用例描述。

選擇圖像檢索路徑用例描述如表1 所示。選擇圖像的檢索路徑是為了減少用戶的工作量，當(dāng)用戶只需要某一類圖像時(shí)，可以選擇對(duì)某個(gè)場(chǎng)景進(jìn)行光照背景檢索的路徑，也可以同時(shí)對(duì)不同的存儲(chǔ)位置的室外場(chǎng)景圖像進(jìn)行檢索。 太陽位置計(jì)算是根據(jù)輸入圖像選擇圖像測(cè)試得到輸入圖像的太陽位置信息。 將太陽的天頂角和方位角顯示在用戶界面上，方便進(jìn)行后續(xù)的檢索操作。 太陽位置計(jì)算用例描述如表2 所示:

表1 選擇圖像檢索路徑用例描述

表2 太陽位置計(jì)算用例描述

表3 檢索數(shù)據(jù)庫中相似背景圖像用例描述

檢索數(shù)據(jù)庫中相似背景圖像用例描述如表3 所示。 該系統(tǒng)無需用戶注冊(cè)登錄環(huán)節(jié)，系統(tǒng)用戶可以得到指定的光照背景圖像和場(chǎng)景圖像的具體天頂角方位角信息。

2.2 系統(tǒng)功能模塊設(shè)計(jì)

系統(tǒng)功能模塊主要功能模塊介紹:1)數(shù)據(jù)采集:從數(shù)據(jù)集中獲取圖像數(shù)據(jù)，并對(duì)沒有太陽位置標(biāo)簽的場(chǎng)景圖像進(jìn)行計(jì)算得到太陽位置信息。 2)數(shù)據(jù)檢索:用戶向系統(tǒng)提交一幅待查詢的圖像，然后對(duì)用戶提交的場(chǎng)景圖像調(diào)用接口進(jìn)行太陽位置估計(jì)，并將得到的結(jié)果與本地的圖像庫進(jìn)行相似比較，檢索出符合用戶要求的場(chǎng)景圖像和太陽位置信息。 3)數(shù)據(jù)顯示:檢索后系統(tǒng)將滿足一定相似要求的圖像和它與輸入圖像太陽位置的相差角度反饋給用戶。 搜索結(jié)果可以采用圖標(biāo)和列表兩種顯示方式，并按照相似度進(jìn)行排序。

2.3 系統(tǒng)流程設(shè)計(jì)

指定光照背景檢索的主要思路是:通過用戶提交一張室外場(chǎng)景圖像，系統(tǒng)通過調(diào)用使用SunOriNet[4]網(wǎng)絡(luò)訓(xùn)練得到的Caffe 模型[7]對(duì)輸入圖像進(jìn)行太陽位置估計(jì)，求出場(chǎng)景圖像的天頂角和方位角參數(shù)，用得到的參數(shù)信息和圖像數(shù)據(jù)庫中的圖像參數(shù)信息進(jìn)行誤差角度計(jì)算，獲得光照背景信息相似度較高場(chǎng)景圖像。 在進(jìn)行結(jié)果的輸出時(shí)，根據(jù)圖像之間相似度大小升序排列輸出與場(chǎng)景圖像光照背景最相似的十張圖像。 系統(tǒng)的指定光照背景檢索功能模塊的具體設(shè)計(jì)如圖2 所示。 系統(tǒng)的主要工作流程有:

(1)輸入一張室外場(chǎng)景圖像；

(2)調(diào)用第二章訓(xùn)練好的Caffe 模型[7]計(jì)算輸入圖像的天頂角和方位角；

(3)通過誤差角度計(jì)算進(jìn)行相似度的衡量；

(4)檢索相似的光照背景圖像，從圖像庫中找出十幅與輸入圖像光照背景相似的圖像；

(5)將圖像按與輸入圖像相差度數(shù)從小到大排列。

3 室外場(chǎng)景圖像數(shù)據(jù)庫

本文闡述了三種數(shù)據(jù)集和數(shù)據(jù)庫儲(chǔ)存方式。系統(tǒng)設(shè)計(jì)的目的是實(shí)現(xiàn)為影視后期制作提供一個(gè)可以根據(jù)輸入的場(chǎng)景圖像檢索出和它的光照背景相似的圖像的功能。 指定光照背景檢索系統(tǒng)使用了60 萬張有標(biāo)簽的圖像組成圖像數(shù)據(jù)庫。 數(shù)據(jù)庫的組成有webcam 數(shù)據(jù)集[13]、Kitti 數(shù)據(jù)集、time-lapse 數(shù)據(jù)集、Sun360 數(shù)據(jù)庫。

Webcam 數(shù)據(jù)集

本文使用webcam 數(shù)據(jù)集[1]作為太陽位置估計(jì)[8]的訓(xùn)練集。 Webcam 數(shù)據(jù)集是一個(gè)包含太陽位置信息的數(shù)據(jù)集。 其中包含了從54 個(gè)不同網(wǎng)絡(luò)攝像頭序列中拍攝的不同圖像，這樣長(zhǎng)時(shí)間和多地域跨度的拍攝，使每個(gè)拍攝攝像頭大量獲取太陽位置，具有詳細(xì)的圖像信息。 從這些參數(shù)中可以直接得到每張圖像的太陽位置。

Kitti 數(shù)據(jù)集

KITTI[3]是目前國(guó)際上最大的自動(dòng)駕駛場(chǎng)景下的計(jì)算機(jī)視覺算法評(píng)測(cè)數(shù)據(jù)集。 KITTI 包含市區(qū)、鄉(xiāng)村和高速公路等場(chǎng)景采集的真實(shí)圖像數(shù)據(jù)，每張圖像中最多達(dá)15 輛車和30 個(gè)行人，還有各種程度的遮擋與截?cái)唷?整個(gè)數(shù)據(jù)集由389對(duì)立體圖像和光流圖，39.2 km 視覺測(cè)距序列以及超過200k 3D 標(biāo)注物體的圖像組成，以10Hz的頻率采樣及同步。 從KITTI 上得GPS 和IMU獲得圖像的時(shí)間戳和位置信息從而計(jì)算出圖像的太陽位置。

time-lapse 數(shù)據(jù)集

time-lapse 數(shù)據(jù)集是一個(gè)包含多個(gè)室外場(chǎng)景延時(shí)視頻的數(shù)據(jù)集，數(shù)據(jù)庫的圖像時(shí)使用自寫程序?qū)ζ溥M(jìn)行逐幀截圖，獲得場(chǎng)景圖像數(shù)據(jù)。 但是，這個(gè)數(shù)據(jù)集中圖像并沒有包含它的光照信息，所以需要通過調(diào)用SunOriNet[4]訓(xùn)練的出的Caffe 模型對(duì)數(shù)據(jù)集中截取出來的圖像進(jìn)行太陽位置估計(jì)[8]，得到圖像的太陽位置信息。

SUN360 數(shù)據(jù)集

SUN360 數(shù)據(jù)集[22]全面收集了帶標(biāo)簽的全景圖，涵蓋了360x180 的全景，可用于各種環(huán)境場(chǎng)景，地點(diǎn)和其中的物體。 SUN360 數(shù)據(jù)集[22]大致可分為室外場(chǎng)景和室內(nèi)場(chǎng)景的360 度全景圖，而下文使用的測(cè)試圖片為室外場(chǎng)景圖片。 對(duì)于每張全景圖，分別從七個(gè)不同的方位角度截取7張圖片，下文中測(cè)試圖片對(duì)應(yīng)的就是某全景圖的一個(gè)方位角的圖片。

本系統(tǒng)的數(shù)據(jù)庫語言采用SQL Sever2016，數(shù)據(jù)庫名稱為SceneRetrieval。 系統(tǒng)中盡量不使用直接處理圖像的方法，因?yàn)閳D像陣列很大，具有計(jì)算復(fù)雜和不方便傳輸?shù)娜秉c(diǎn)。 數(shù)據(jù)庫在進(jìn)行數(shù)據(jù)存儲(chǔ)之前先計(jì)算出圖像的特征值并且將其路徑信息和特征值進(jìn)行存儲(chǔ)。 數(shù)據(jù)庫的數(shù)據(jù)表中存儲(chǔ)的信息為圖像編號(hào)即對(duì)應(yīng)存儲(chǔ)圖像的名稱、圖像的路徑、圖像的天頂角方位角信息等光照信息。 具體的存儲(chǔ)格式如表4 所示。

表4 數(shù)據(jù)庫存儲(chǔ)表

4 SunOriNet 的實(shí)現(xiàn)

本節(jié)介紹SunOriNet 實(shí)現(xiàn)，本文提出了一種新的太陽方位估計(jì)的深卷積神經(jīng)網(wǎng)絡(luò)，稱為SunOriNet，如圖3 所示。 太陽位置估計(jì)應(yīng)同時(shí)考慮到圖像的低層特征和高層特征。 因此，該網(wǎng)絡(luò)使用一個(gè)接觸層來直接連接中間特征映射到高級(jí)特征映射。 這樣可以將淺層特征直接傳遞到后面，通過加法操作將淺層特征與高層特征相結(jié)合，這樣可以解決了深層網(wǎng)絡(luò)的梯度消失問題，它的優(yōu)點(diǎn)在于增加了梯度的傳遞，加強(qiáng)了特征的傳播，減少了模型參數(shù)的運(yùn)算，加快網(wǎng)絡(luò)的收斂速度并提高了準(zhǔn)確率。 這個(gè)網(wǎng)絡(luò)有兩個(gè)輸出，它可以同時(shí)預(yù)測(cè)出方位角和天頂角。

5 SunOriNet 與其他方法對(duì)比

在這一部分中，展示了本文中提出的方法的實(shí)驗(yàn)結(jié)果，并讓其與最先進(jìn)的方法進(jìn)行了比較。并在表格中給出了與基于其它深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)方法的比較結(jié)果[14]。 結(jié)果如表5 所示。 表5 比較的數(shù)據(jù)集來自SUN360 數(shù)據(jù)集[22]。 下表為了便于比較，將綜合誤差單位由弧度轉(zhuǎn)化為度。 從下表對(duì)比綜合誤差來看，本文所提出的SunOriNet 對(duì)于太陽方位的明顯優(yōu)于歐幾里得方法。

6 指定光照背景檢索系統(tǒng)的實(shí)現(xiàn)與測(cè)試

本節(jié)主要對(duì)指定光照背景檢索[12]系統(tǒng)進(jìn)行設(shè)計(jì)和實(shí)現(xiàn)，主要設(shè)計(jì)包括:場(chǎng)景圖像的光照信息提取，場(chǎng)景圖像的光照背景的光照特征信息匹配等。 本章實(shí)現(xiàn)了圖像的預(yù)處理，MATLAB 調(diào)用SunOriNet[4]訓(xùn)練好的Caffe 模型對(duì)圖像進(jìn)行太陽位置估計(jì)[8]，待查詢圖像與數(shù)據(jù)庫中的圖像的光照背景的相似度匹配。 為查詢接口提供一個(gè)完整的用戶界面，本文采用MATLAB GUI(Graphical User Interface)設(shè)計(jì)[11]實(shí)現(xiàn)了指定光照背景的檢索，對(duì)圖像庫中的圖像進(jìn)行了檢索實(shí)驗(yàn)。 實(shí)驗(yàn)結(jié)果表明，本章中的檢索系統(tǒng)能夠簡(jiǎn)單、有效，迅速的檢索出有相似光照背景的場(chǎng)景圖像。

6.1 光照背景計(jì)算

通過設(shè)計(jì)一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)[4](DCNN)完成了對(duì)室外光照進(jìn)行端到端的估計(jì)的方法，在本節(jié)中在MATLAB 中調(diào)用Caffe 中的MATLAB 接口，用經(jīng)過SunOriNet[4]訓(xùn)練得到的估計(jì)太陽位置的Caffe 模型來計(jì)算輸入圖像的太陽位置特征參數(shù)，即輸入圖像的天頂角和方位角。

如圖4 所示，當(dāng)打開一張圖像后，會(huì)顯示圖像的路徑信息。 當(dāng)點(diǎn)擊“太陽位置計(jì)算”按鈕后，調(diào)用Caffe 模型對(duì)輸入的圖像進(jìn)行太陽位置估計(jì)[8]得到天頂角和方位角的大小(zenith angle＝-4.2237 azimuth angle ＝1.178)。

6.2 指定光照背景檢索

圖像的檢索的重點(diǎn)是圖像的特征匹配算法，首先通過調(diào)用Caffe 模型得到場(chǎng)景圖像的太陽位置的天頂角和方位角參數(shù)。 接下來通過將場(chǎng)景圖像的太陽位置參數(shù)與圖像庫中的參數(shù)進(jìn)行相似度計(jì)算。 計(jì)算過程如下，根據(jù)取得的天頂角(zenith)和方位角( azimuth)計(jì)算出太陽位置的坐標(biāo)如公式:

根據(jù)求出的太陽位置x、y、z 坐標(biāo)，要與庫中圖像的特征數(shù)據(jù)zenithi和azimuthi求出庫中圖像的xi、yi、zi進(jìn)行誤差角度計(jì)算。 相似度誤差角度為θ，有如下公式:

如圖5 所示，通過計(jì)算可以得出數(shù)據(jù)庫中的圖像與輸入場(chǎng)景圖像中太陽位置的相差角度，并從中篩選出與它光照方向最接近的從小到大排列的十張圖像。 當(dāng)輸入設(shè)置檢索路徑為F:＼77W-image，按下“光照背景檢索”按鈕，可以得到該路徑下與輸入圖像光照背景相似的十張圖像，并在系統(tǒng)的界面中顯示十張相似光照背景的場(chǎng)景圖像名稱信息和小圖標(biāo)。 當(dāng)點(diǎn)擊圖像后可以看到場(chǎng)景圖像具體的太陽位置信息。

7 總結(jié)

本文中將太陽位置估計(jì)的方法應(yīng)用于實(shí)現(xiàn)影視后期制作過程中的指定光照背景檢索系統(tǒng)。該系統(tǒng)主要實(shí)現(xiàn)了輸入一張室外場(chǎng)景圖像，通過計(jì)算檢索出與該圖像具有相似光照背景的圖像。首先本章對(duì)數(shù)據(jù)庫的組成元素進(jìn)行了簡(jiǎn)單的介紹，經(jīng)過構(gòu)建訓(xùn)練模型計(jì)算得出輸入圖像的太陽的天頂角和方位角信息，根據(jù)輸入圖像的太陽位置信息與數(shù)據(jù)庫中其它圖像的太陽位置信息進(jìn)行相似度計(jì)算，檢索出與輸入的圖像太陽位置相近的十張圖像并顯示圖像的具體信息和與輸入圖像相差的角度。 本文設(shè)計(jì)提出了的SunOriNet網(wǎng)絡(luò)結(jié)構(gòu)，用一個(gè)接觸層將中間特征與高級(jí)特征相連接，解決了一般網(wǎng)絡(luò)中出現(xiàn)的梯度消失等問題，增加了梯度的傳遞，用簡(jiǎn)單的方法讓兩層之間進(jìn)行恒等映射，加強(qiáng)了特征的傳播和網(wǎng)絡(luò)的收斂速度并提高了準(zhǔn)確率，該網(wǎng)絡(luò)結(jié)構(gòu)有良好的圖像特征提取能力。