陸凱 苗騰輝

摘? 要： 針對(duì)原有藝術(shù)輔助設(shè)計(jì)中對(duì)已知視覺場(chǎng)景圖像信息提取不準(zhǔn)確，造成輸出圖像不清晰的問題，研究一種基于場(chǎng)景視覺理解算法的藝術(shù)輔助設(shè)計(jì)方法。對(duì)已知視覺場(chǎng)景圖像按照設(shè)定閾值進(jìn)行顏色分割，形態(tài)學(xué)處理分割后圖像，減小噪聲以及斷裂影響獲取的連通區(qū)域，制定提取規(guī)則篩選候選區(qū)域。采用致密采樣的形式提取候選區(qū)域內(nèi)更多的SIFT目標(biāo)特征，匹配特征點(diǎn)，將已知圖像信息坐標(biāo)系整合成統(tǒng)一坐標(biāo)系，輸出設(shè)計(jì)圖像，完成藝術(shù)輔助設(shè)計(jì)。仿真實(shí)驗(yàn)結(jié)果表明，基于場(chǎng)景視覺理解算法的藝術(shù)輔助設(shè)計(jì)方法較原有方法對(duì)已知圖像的信息提取更準(zhǔn)確，有助于解決輸出圖像清晰的問題，提高了圖像的整體設(shè)計(jì)效果。

關(guān)鍵詞： 視覺場(chǎng)景理解算法; 目標(biāo)分割; 目標(biāo)識(shí)別; 計(jì)算機(jī)輔助設(shè)計(jì); 藝術(shù)設(shè)計(jì); 視覺場(chǎng)景提取; 場(chǎng)景分類

中圖分類號(hào)： TN911.73?34; TP391? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）09?0037?04

Research on application of visual scene understanding

algorithm in art aided design

LU Kai1， MIAO Tenghui2

（1. Shijiazhuang Tiedao University， Shijiazhuang 050043， China; 2. Hebei College of Science and Technology， Baoding 071000， China）

Abstract： For the output image′s unsharpness caused by inaccurate extraction of image information of known visual scene in the original art aided design， an art aided design method based on visual scene understanding algorithm is studied. The color of the known visual scene image is segmented according to the set threshold value. The morphological processing is performed on the segmented images to reduce noise and fracture effect， and obtain the connected regions. The extraction rules are laid down to screen candidate regions. More SIFT target features in candidate regions are extracted by dense sampling to match feature points， so that the coordinate system of the known image information is integrated into a unified coordinate system， the designed images are output， and the art aided design is completed. The simulation experiment results show that the art aided design method based on the visual scene understanding algorithm is more accurate than the original algorithm in extracting the information of the known image， which facilitates enhancement of the output image sharpness and improvement of the overall design effect of the image.

Keywords： visual scene understanding algorithm; target segmentation; target recognition; computer aided design; art design; visual scene extraction; scene classification

0? 引? 言

藝術(shù)設(shè)計(jì)中通常運(yùn)用軟件設(shè)計(jì)和手繪設(shè)計(jì)，隨著多媒體技術(shù)的飛速發(fā)展，藝術(shù)設(shè)計(jì)也越來越傾向于與計(jì)算機(jī)技術(shù)相結(jié)合，產(chǎn)生各種各樣結(jié)合功能的輔助設(shè)計(jì)工具和設(shè)計(jì)軟件[1]。各種設(shè)計(jì)軟件越來越多，功能也越來越全，可以反復(fù)打磨和推敲設(shè)計(jì)作品，降低手工設(shè)計(jì)成本。同時(shí)，通過二維繪制軟件和三維立體模型設(shè)計(jì)軟件制作設(shè)計(jì)樣品，更加豐富了視覺效果的創(chuàng)造性，能更好地呈現(xiàn)出設(shè)計(jì)師的設(shè)計(jì)理念以及創(chuàng)新思路，改變了藝術(shù)設(shè)計(jì)原有表現(xiàn)形式，完善了藝術(shù)設(shè)計(jì)的工作方式，給傳統(tǒng)藝術(shù)設(shè)計(jì)帶來了翻天覆地的變化。

在與藝術(shù)設(shè)計(jì)融合的計(jì)算機(jī)技術(shù)中，場(chǎng)景視覺理解是現(xiàn)在最廣泛應(yīng)用于藝術(shù)設(shè)計(jì)領(lǐng)域的技術(shù)之一。場(chǎng)景視覺理解是利用計(jì)算機(jī)模擬人眼視覺功能，用計(jì)算機(jī)代替人眼和大腦，感知、識(shí)別、理解客觀世界中的三維場(chǎng)景及物體，通過與自然語言相融合，用于分析場(chǎng)景圖像中復(fù)雜的物體分布問題，并以合理的方式精確描述所獲取信息，幫助設(shè)計(jì)師提取場(chǎng)景信息數(shù)據(jù)[2]。結(jié)合視覺場(chǎng)景理解算法的藝術(shù)輔助設(shè)計(jì)方法，在藝術(shù)創(chuàng)作中能夠有效幫助設(shè)計(jì)師解決因?yàn)樘崛?chǎng)景圖像信息數(shù)據(jù)不精確而造成輸出圖像不清晰的問題。因此，基于藝術(shù)輔助設(shè)計(jì)應(yīng)用背景，提出適用的場(chǎng)景視覺理解算法。

1? 基于場(chǎng)景視覺理解算法的藝術(shù)輔助設(shè)計(jì)方法

復(fù)雜場(chǎng)景圖像中，目標(biāo)信息或物體存在被其他物體遮擋、色差變化、形態(tài)大小不一等原因，不利于目標(biāo)信息特征提取[3]。因此，基于場(chǎng)景視覺理解算法的藝術(shù)輔助設(shè)計(jì)方法中，首先，按照設(shè)定閾值對(duì)場(chǎng)景圖像進(jìn)行顏色分割;然后，對(duì)有效描述區(qū)域進(jìn)行形態(tài)學(xué)處理，獲得候選區(qū)域;再通過SIFT特征提取候選區(qū)域內(nèi)的目標(biāo)特征，輸入設(shè)計(jì)系統(tǒng)中進(jìn)行組合設(shè)計(jì)，篩選合格結(jié)果，實(shí)現(xiàn)藝術(shù)輔助設(shè)計(jì)。

設(shè)計(jì)方法流程如圖1所示。

1.1? 粗分割獲取場(chǎng)景圖像候選區(qū)域

對(duì)已知的場(chǎng)景圖像按照一個(gè)或多個(gè)顏色空間的設(shè)定閾值進(jìn)行顏色分割，通常使用RGB，HIS，HSV以及LCH[4?5]。具體場(chǎng)景圖像分割算法公式如下：

[（x，y）=f1（x，y）& f2（x，y）]? （1）

式中[x，y]表示圖像所在平面的橫縱坐標(biāo)。[f1（x，y）]在不同閾值下存在不同值，當(dāng)在RGB顏色空間中，輸入圖像的[R]通道小于最佳閾值時(shí)，[f1（x，y）=255]，否則[f1（x，y）=0]，通過[f1（x，y）]可以有效消除圖像中藍(lán)色區(qū)域的干擾，尤其是在室外的場(chǎng)景圖像中，明顯控制天空對(duì)藍(lán)色區(qū)域造成的干擾效果。但是，[f1（x，y）]對(duì)諸如黑色、灰色以及褐色等深色區(qū)域的干擾是無作用的。因此公式中引入[f2（x，y）]來解決[6]，[f2（x，y）]可以消除如綠色、紅色、橙色等與藍(lán)色差別很大色調(diào)的干擾。

在HSV顏色空間中，輸入圖像的[H]通道在最佳閾值上限和下限中時(shí)，[f2（x，y）]同樣取值255。但通常輸入軟件中的圖像是RGB顏色空間，因此，兩種顏色空間之間需要轉(zhuǎn)換，[H]的轉(zhuǎn)換公式如下：

[H=0，? ? ?max=min60×G-Bmax-min，? ? max=R&G≥B60×G-Bmax-min+360，? ? max=R&G

式中max和min分別表示像素點(diǎn)在RGB顏色空間中各通道的最大值以及最小值。另外，當(dāng)max=0時(shí)，[S]通道也等于零，否則，等于1與最小值比最大值的差。

完成場(chǎng)景圖像的顏色分割后，由于分割的場(chǎng)景圖像易受到外界因素的影響，產(chǎn)生多噪聲和斷裂，因此，對(duì)圖像中有效描述形狀的區(qū)域如外殼、框架等進(jìn)行形態(tài)學(xué)處理，減小噪聲的影響并且獲取連通區(qū)域[7]。

假定[A]，[B]為二維空間中[Z2]的集合，使用膨脹操作重新裂解部分候選區(qū)斷裂部分，填補(bǔ)斷裂的輪廓線，定義所有[Z]位移集合為[B]膨脹[A][8]，保證[A]與[B]中至少有一個(gè)元素重疊，然后進(jìn)行腐蝕操作，光滑區(qū)域輪廓，斷開狹窄縫隙及毛刺。

經(jīng)過形態(tài)學(xué)處理后的圖像仍存在未消除的干擾區(qū)域。為降低干擾區(qū)域的影響，需要制定規(guī)則提取候選場(chǎng)景區(qū)域。

設(shè)定連通區(qū)域?yàn)閇Ci（i=1，2，…，n）]，其中，[i]表示第[i]個(gè)連通區(qū)域，[n]為連通區(qū)域的個(gè)數(shù)。連通區(qū)域的寬、高以及面積分別表示為[Li]，[Wi]，[Si]。若三者滿足以下條件[9]：

[Si≥Smin?Si≤SmaxLiWi≥LWmin?LiWi≤LWmaxSiLi×Wi≥SL×Wmin] （3）

則表示連通區(qū)域?yàn)楹蜻x區(qū)域。

式中：[Smin]和[Smax]表示連通區(qū)域面積的最小值以及最大值;[LWmax]和[LWmin]表示連通區(qū)域長寬比的最值;[SL×Wmin] 表示占空比最小值。

對(duì)已知場(chǎng)景圖像粗分割得到候選區(qū)域，通過提取形狀特征將圖像分類。

1.2? 提取候選區(qū)域內(nèi)部目標(biāo)特征

場(chǎng)景圖像候選區(qū)域目標(biāo)特征描述是利用一種計(jì)算機(jī)視覺算法SIFT特征，具有對(duì)圖像局部特征的位置信息、尺度信息和旋轉(zhuǎn)不變性等優(yōu)點(diǎn)[10]，檢測(cè)并描述候選區(qū)域局部特征，降低計(jì)算機(jī)處理數(shù)據(jù)量，同時(shí)，保留所需關(guān)鍵視覺信息。

為提取場(chǎng)景內(nèi)部目標(biāo)特征，通常在候選區(qū)域內(nèi)以SIFT特征點(diǎn)為中心，計(jì)算[16×16]窗口范圍內(nèi)各個(gè)像素的梯度和方向。為了使采樣更充分，增強(qiáng)設(shè)計(jì)輸出的圖像清晰度，本文采用致密采樣的形式以求獲得更多的SIFT特征點(diǎn)，如圖2所示。

圖2中不同顏色組成的同心圓代表SIFT特征符在不同尺度下的搜索范圍，三種顏色的圓分別對(duì)應(yīng)的搜索半徑為[r=4，8，12]個(gè)像素。在SIFT特征點(diǎn)中心即同心圓圓心處計(jì)算SIFT描述符[11?12]。由一個(gè)128維的特征向量來表示每個(gè)SIFT描述符，因此，就可以由[128×3=384]維的特征向量描述每個(gè)提取點(diǎn)。

通過提取SIFT特征，要對(duì)大量的提取點(diǎn)進(jìn)行聚類。將相似提取點(diǎn)進(jìn)行K?Means聚類量化，合并成視覺關(guān)鍵詞，按照提取點(diǎn)順序，對(duì)關(guān)鍵詞進(jìn)行排序構(gòu)成視覺詞典，提高算法計(jì)算效率[13]。根據(jù)關(guān)鍵詞出現(xiàn)的頻率，建立相應(yīng)的關(guān)鍵詞直方圖，完成對(duì)候選區(qū)域的目標(biāo)特征提取。

1.3? 匹配特征點(diǎn)生成輸出圖像

在提取圖像的特征向量之后，將特征點(diǎn)的坐標(biāo)以及向量輸入到匹配算法中，根據(jù)歐氏距離求出最相近的匹配向量對(duì)。采用優(yōu)先搜索查找算法找到特征點(diǎn)最鄰近的兩個(gè)特征點(diǎn)，然后分別計(jì)算這個(gè)特征點(diǎn)與兩個(gè)特征點(diǎn)之間的歐氏距離的比值，如果比值小于規(guī)定值，則匹配成功，否則失敗[14]。匹配成功的兩點(diǎn)即為圖像對(duì)中的一組匹配點(diǎn)。

相鄰圖像中的匹配點(diǎn)在各自的圖像坐標(biāo)系中，根據(jù)坐標(biāo)系的關(guān)系將其整合成同一個(gè)坐標(biāo)系，從原圖像變換到目標(biāo)圖像，完成匹配后生成一幅圖像。

至此，完成基于場(chǎng)景視覺理解算法的藝術(shù)輔助設(shè)計(jì)方法研究。

2? 仿真實(shí)驗(yàn)

仿真實(shí)驗(yàn)通過測(cè)試相同場(chǎng)景圖像集下，基于場(chǎng)景視覺理解算法的藝術(shù)輔助設(shè)計(jì)方法對(duì)圖像信息的提取情況，實(shí)驗(yàn)對(duì)比對(duì)象選取為原有藝術(shù)輔助設(shè)計(jì)方法。

2.1? 實(shí)驗(yàn)準(zhǔn)備

實(shí)驗(yàn)開發(fā)環(huán)境的硬件平臺(tái)為PENTIUM IV 3.7 GHz CPU 和4 RAM，內(nèi)存大小為3 GB。軟件環(huán)境包括Visual Studio，Windows 10操作系統(tǒng)，Multigen Creator，編程語言Visual C++ 4.0，相關(guān)實(shí)驗(yàn)參數(shù)[15]見表1。

2.2? 實(shí)驗(yàn)圖像集

采用Massachusetts institute of technology的圖像集，其中，共包含2 688幅自然場(chǎng)景圖像，包括森林、高山、海岸、城市等場(chǎng)景，如圖3所示。

2.3? 實(shí)驗(yàn)結(jié)果

根據(jù)上述仿真環(huán)境、參數(shù)設(shè)定以及圖像集進(jìn)行圖像花卉信息提取，得到原有方法提取結(jié)果如圖4所示，本文設(shè)計(jì)方法提取結(jié)果如圖5所示。

對(duì)比圖4，圖5可知，基于場(chǎng)景視覺理解算法的設(shè)計(jì)方法可以有效地提取已知圖像的花卉信息，而從原有方法的提取結(jié)果可以看出，大部分花卉信息可以識(shí)別提取，但也提取了圖像上的昆蟲信息。結(jié)果表明，在已知圖像的信息提取上，本文設(shè)計(jì)方法較為精準(zhǔn)，有助于解決輸出圖像清晰度不高的問題，減小噪聲影響，提高了圖像的整體設(shè)計(jì)效果。

3? 結(jié)? 語

本文設(shè)計(jì)的基于場(chǎng)景視覺理解算法的藝術(shù)輔助設(shè)計(jì)方法能夠有效地對(duì)已知視覺場(chǎng)景圖像信息進(jìn)行精確提取，有助于解決輸出結(jié)果圖像不清晰的問題，同時(shí)，可以提高圖片的輸出質(zhì)量，改善了藝術(shù)輔助設(shè)計(jì)的視覺效果。

參考文獻(xiàn)

[1] 孫瀚，夏熙，劉利剛.面向自動(dòng)掃描的三維形狀多層次局部匹配算法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2019，31（1）：12?18.

[2] 王晨，湯心溢，高思莉.基于深度卷積神經(jīng)網(wǎng)絡(luò)的紅外場(chǎng)景理解算法[J].紅外技術(shù)，2017，39（8）：728?733.

[3] 林麗敏.計(jì)算機(jī)輔助設(shè)計(jì)在室內(nèi)設(shè)計(jì)中的應(yīng)用探究[J].藝術(shù)科技，2018，31（7）：200?201.

[4] 郭鵬.計(jì)算機(jī)軟件輔助美術(shù)設(shè)計(jì)的獨(dú)特優(yōu)勢(shì)分析[J].自動(dòng)化與儀器儀表，2018（7）：61?62.

[5] 于莉潔，孫瑜亮，繆永偉.基于深度信息局部二值模式特征的室內(nèi)場(chǎng)景邊緣檢測(cè)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2017，29（12）：12?20.

[6] 趙新燦，展鵬磊，吳飛，等.基于領(lǐng)域知識(shí)的3維動(dòng)態(tài)場(chǎng)景目標(biāo)識(shí)別和配準(zhǔn)[J].機(jī)器人，2018，40（4）：534?539.

[7] 凌霞，陳飛虎.模式學(xué)習(xí)優(yōu)化的文化算法在環(huán)境藝術(shù)創(chuàng)新設(shè)計(jì)中的應(yīng)用[J].科技通報(bào)，2017，33（3）：111?114.

[8] 吳培良，劉海東，孔令富.一種基于豐富視覺信息學(xué)習(xí)的3D場(chǎng)景物體標(biāo)注算法[J].小型微型計(jì)算機(jī)系統(tǒng)，2017，38（1）：154?159.

[9] 郭沖宇，杜慧敏，蔣忭忭，等.視覺背景提取算法關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)應(yīng)用研究，2017，34（5）：1548?1552.

[10] 吳宗勝，傅衛(wèi)平，韓改寧.基于深度卷積神經(jīng)網(wǎng)絡(luò)的道路場(chǎng)景理解[J].計(jì)算機(jī)工程與應(yīng)用，2017，53（22）：8?15.

[11] 黃勇，劉芳.場(chǎng)景語義SAR圖像橋梁檢測(cè)算法[J].西安電子科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，45（4）：46?50.

[12] 史靜，朱虹，王棟，等.融合視覺感知特性的場(chǎng)景分類算法[J].中國圖象圖形學(xué)報(bào)，2017，22（12）：1750?1768.

[13] 范敏，韓琪，王芬，等.基于多層次特征表示的場(chǎng)景圖像分類算法[J].吉林大學(xué)學(xué)報(bào)（工學(xué)版），2017，47（6）：1917.

[14] 譚志國，歐建平，張軍.多特征組合的深度圖像分割算法[J].計(jì)算機(jī)工程與科學(xué)，2018（8）：97?102.

[15] 陳龍，吳龍飛.基于Qt的數(shù)字圖像處理實(shí)驗(yàn)演示系統(tǒng)[J].實(shí)驗(yàn)室研究與探索，2018（7）：177?180.