王　超，王冬青，賈金原

同濟(jì)大學(xué) 軟件學(xué)院，上海 201804

1　引言

近年來，隨著人們生活水平的逐漸提高，以及計(jì)算機(jī)圖形學(xué)技術(shù)的大力發(fā)展，利用計(jì)算機(jī)高度模擬室內(nèi)家居DIY布局設(shè)計(jì)，為用戶提供室內(nèi)裝潢預(yù)體驗(yàn)已經(jīng)成為一種潮流。采用虛擬現(xiàn)實(shí)的理念對房間和室內(nèi)家居進(jìn)行圖形建模，將室內(nèi)家居進(jìn)行數(shù)字化和可視化的重要性不言而喻。

而隨著“互聯(lián)網(wǎng)+”的發(fā)展，以及信息通信技術(shù)和互聯(lián)網(wǎng)平臺的不斷推動(dòng)，互聯(lián)網(wǎng)與家居DIY布局設(shè)計(jì)行業(yè)深度融合，基于虛擬現(xiàn)實(shí)理念實(shí)現(xiàn)的在線室內(nèi)家居DIY布局設(shè)計(jì)平臺也應(yīng)運(yùn)而生1）http://www.homestyler.com；http://www.kujiale.com/。。借助于新的設(shè)計(jì)平臺提供的室內(nèi)模型和家具模型，讓DIY家居布局設(shè)計(jì)效率大幅提高，再加上X3D、Unity3D、WebGL等層出不窮的網(wǎng)頁3D技術(shù)，使得網(wǎng)頁三維展示的瓶頸效應(yīng)驟然下降。網(wǎng)頁在線室內(nèi)家居DIY設(shè)計(jì)平臺能讓用戶免于龐大設(shè)計(jì)軟件的安裝，比較輕松地實(shí)現(xiàn)室內(nèi)家居布局設(shè)計(jì)，在三維虛擬環(huán)境中獲得室內(nèi)裝潢預(yù)體驗(yàn)。

然而科研永無止境，當(dāng)前許多家居設(shè)計(jì)平臺仍然面臨以下問題。

（1）房間模型真實(shí)性較差。雖然當(dāng)前家居平臺采用三維家居模型能反映室內(nèi)的家具，但對用戶各自真實(shí)的室內(nèi)場景僅限于統(tǒng)一的建模，不能反映用戶自身室內(nèi)場景的特點(diǎn)。

（2）家居布局設(shè)計(jì)人工干預(yù)量大。當(dāng)前許多家居設(shè)計(jì)平臺還是停留在用戶簡單地拖放家居等功能上，不能自動(dòng)為用戶計(jì)算擺放布局，使得用戶的設(shè)計(jì)工作量較大。

除此之外，即便將室內(nèi)場景建模的工作交給用戶DIY完成，以反映室內(nèi)真實(shí)情況，但對用戶操作要求太高，如何提供一個(gè)操作便捷簡單的建模方式也是不可回避的問題。同時(shí)，如何在3D環(huán)境中，在運(yùn)算量可以接受的范圍內(nèi)，尤其是手機(jī)、平板這種小型移動(dòng)端承受的計(jì)算范圍內(nèi)，實(shí)現(xiàn)家居的自動(dòng)布局，還有待進(jìn)一步研究。

2　相關(guān)工作

2.1　虛實(shí)融合

采用虛擬現(xiàn)實(shí)技術(shù)模擬室內(nèi)家居布局設(shè)計(jì)同時(shí)需要室內(nèi)場景模型和家具模型，家具模型由于其自身的共性，可以由家具廠商或家居設(shè)計(jì)平臺統(tǒng)一定制，但用戶的室內(nèi)場景由于各有特點(diǎn)，統(tǒng)一制定不能真實(shí)反映室內(nèi)的情況，需要熟悉自己室內(nèi)特點(diǎn)的用戶自行建模。

模擬室內(nèi)家居布局設(shè)計(jì)目前流行三種方式：（1）三維室內(nèi)模型和三維家具模型；（2）二維室內(nèi)背景圖像和二維家具圖像；（3）二維室內(nèi)背景圖和三維家具模型。這三種技術(shù)方式各有特點(diǎn)，具體對比見表1。

Table 1　Comparison of three ways表1　三種方式對比

三維室內(nèi)模型和三維家具模型能帶來很高的易用性和真實(shí)性，但由于室內(nèi)場景三維模型要反映用戶各自的真實(shí)情況而沒有統(tǒng)一的建模，使得用戶必須自行進(jìn)行室內(nèi)場景的三維建模，人工干預(yù)量較大。

二維室內(nèi)背景圖像和二維家具圖像，不需要用戶進(jìn)行室內(nèi)場景三維建模，拍攝一張室內(nèi)照片即可，干預(yù)量較小，但由于家具和室內(nèi)場景都是二維圖像，缺少大量必要的視覺信息，使得視覺上缺乏真實(shí)性，同時(shí)也限制了用戶操作性。

對于二維室內(nèi)背景圖像和三維家具模型，首先室內(nèi)家居布局設(shè)計(jì)中，家具的操作空間大于已經(jīng)定型的室內(nèi)場景，而家具的三維模型提供的完整視覺信息和效果足夠滿足家具的操作空間。因此，采用二維室內(nèi)背景圖像建立的室內(nèi)場景模型，雖然使得室內(nèi)場景的視覺信息減少，但室內(nèi)場景已經(jīng)設(shè)計(jì)定型，操作空間相對較小，缺少的視覺信息均不影響真實(shí)性和操作性，反而免除了用戶自行進(jìn)行室內(nèi)場景建模的工作量。本文采用這種方式。

由于二維室內(nèi)背景圖像取自于用戶拍攝的真實(shí)室內(nèi)照片，而三維家具模型是利用計(jì)算機(jī)圖形技術(shù)虛擬制定，本文通過虛實(shí)融合的方式將兩者結(jié)合，對二維真實(shí)室內(nèi)背景圖像進(jìn)行一定的計(jì)算，合成新視覺圖像以生成逼真的三維虛擬環(huán)境，實(shí)現(xiàn)二維圖像到三維環(huán)境的過渡，使其與三維家具模型兼容并最終完成家具自動(dòng)布局。

2.2　基于圖像的渲染技術(shù)

基于圖像的渲染技術(shù)（image-based rendering，IBR）是實(shí)現(xiàn)虛擬現(xiàn)實(shí)方式的一種，是輸入一組真實(shí)場景的圖像，按照透視原理處理后合成新視點(diǎn)圖像，以實(shí)現(xiàn)二維室內(nèi)背景圖像到三維箱體模型的過渡。

IBR技術(shù)中，畫中游（tour into picture，TIP）技術(shù)頗受歡迎，文獻(xiàn)[1]對此提出了一套使用TIP進(jìn)行箱體建模的方法，通過對圖像滅點(diǎn)檢測和墻線識別的方式進(jìn)行圖片理解，根據(jù)室內(nèi)二維圖片建立箱體模型。滅點(diǎn)檢測是IBR技術(shù)的核心環(huán)節(jié)，文獻(xiàn)[2]針對單目圖像序列的標(biāo)定提出了一種新的滅點(diǎn)檢測算法，并結(jié)合高斯域上的滅點(diǎn)提取，提出了基于概率占用域的多目標(biāo)跟蹤的新理念，有一定的理論價(jià)值。文獻(xiàn)[3]針對人工環(huán)境，提出了探測水平滅點(diǎn)和天花板滅點(diǎn)的新方法，創(chuàng)造性地先利用正交性去除異常點(diǎn)產(chǎn)生滅點(diǎn)候選集，再結(jié)合全局圖像上下文和深層卷積網(wǎng)絡(luò)提取的方法約束正在考慮的滅點(diǎn)候選集。文獻(xiàn)[4]基于單張圖像，根據(jù)室內(nèi)墻線的標(biāo)識，提出了相對深度的概念和基于相對深度計(jì)算的TIP技術(shù)，提出了模型到平面的距離，并在單滅點(diǎn)的場景中建立蜘蛛網(wǎng)格以提取坐標(biāo)信息，由此進(jìn)行建模。

除此之外，文獻(xiàn)[5]提出了一種新的全景漫游建模方案，同樣使用一種新的類蜘蛛網(wǎng)建模方案，通過重建球面全景圖的場景三維模型來恢復(fù)場景的深度信息，以提供更好的漫游體驗(yàn)。文獻(xiàn)[6]在虛擬柱面全景模型及相關(guān)技術(shù)的基礎(chǔ)上，設(shè)計(jì)了一種增強(qiáng)圖像匹配效果、消除黑洞現(xiàn)象的建模方法。該方法利用基于特征線段的匹配算法對圖像進(jìn)行匹配，然后用漸入漸出的方法進(jìn)行平滑無縫拼接，再用反投影算法生成全景圖像，正投影算法生成各視線方向的視圖，最終在瀏覽器中實(shí)現(xiàn)柱面全景圖像的漫游。

基于球面全景圖和柱面全景圖的方法需要的前期拍攝工作相對于普通二維圖片更加復(fù)雜，不符合操作輕量化的要求。因此本文將采用單張二維室內(nèi)圖片的方式進(jìn)行箱體建模。

2.3　室內(nèi)家居自動(dòng)布局

家居自動(dòng)布局是利用計(jì)算機(jī)圖形學(xué)技術(shù)，通過對室內(nèi)場景和家具進(jìn)行三維建模，在建模后的室內(nèi)場景運(yùn)用自動(dòng)布局算法，確定家具模型在室內(nèi)場景中的位置，進(jìn)而模擬真實(shí)室內(nèi)場景中的家居布局情況，最終得到反映用戶布局需求的室內(nèi)虛擬場景。家居自動(dòng)布局利用計(jì)算機(jī)在視覺上模擬場景布局，有效減少人工布局設(shè)計(jì)工作量，提高工作效率。

目前家居自動(dòng)布局算法受到了大量學(xué)者的關(guān)注[7-18]。主要有兩種思路，即基于案例學(xué)習(xí)的布局方法和基于現(xiàn)代優(yōu)化算法的布局方法。

（1）基于案例學(xué)習(xí)的布局方法[7-11]。該方法對大規(guī)模場景布局進(jìn)行學(xué)習(xí)和訓(xùn)練，然后將訓(xùn)練結(jié)果用于待布局的家居場景中。例如：文獻(xiàn)[7]對大規(guī)模場景數(shù)據(jù)庫的布局結(jié)果進(jìn)行學(xué)習(xí)，同時(shí)將案例學(xué)習(xí)生成的多種布局結(jié)果加入到數(shù)據(jù)庫中，進(jìn)一步豐富場景數(shù)據(jù)庫。文獻(xiàn)[9]將存儲在語義數(shù)據(jù)庫中的先驗(yàn)信息和用戶偏好進(jìn)行優(yōu)化，并建立對應(yīng)的基因表達(dá)式，提出了采用交互式方式進(jìn)行計(jì)算的自動(dòng)優(yōu)化方法。文獻(xiàn)[10]為了在復(fù)雜的室內(nèi)場景中自動(dòng)生成合理的家居布局，提出了一種基于數(shù)據(jù)驅(qū)動(dòng)的室內(nèi)空間布局計(jì)算方法。結(jié)合已合理布置的室內(nèi)場景案例，首先將布局信息提取為先驗(yàn)信息，然后對布局約束模型進(jìn)行訓(xùn)練，并將布局約束模型與硬布局約束相結(jié)合，構(gòu)造了一個(gè)描述室內(nèi)功能區(qū)布局合理性的能量函數(shù)，最后通過隨機(jī)優(yōu)化對能量函數(shù)進(jìn)行求解。文獻(xiàn)[11]提出了一種用于計(jì)算機(jī)圖形應(yīng)用的建筑物布局自動(dòng)生成方法，將真實(shí)建筑的布局?jǐn)?shù)據(jù)化，并訓(xùn)練成貝葉斯網(wǎng)絡(luò)以合成一個(gè)布局體系結(jié)構(gòu)，再通過隨機(jī)優(yōu)化的方式得到布局后的平面圖，這樣的思想也可以遷移應(yīng)用到室內(nèi)的家居布局中。

基于案例學(xué)習(xí)的布局算法需要事先在數(shù)據(jù)庫中準(zhǔn)備大量案例，對服務(wù)器的重量級存儲是一個(gè)考驗(yàn)。同時(shí)，布局計(jì)算的時(shí)候?qū)Π咐臋z索也需要花費(fèi)巨大的開銷。

（2）基于現(xiàn)代優(yōu)化算法的布局方法[12-14]。該方法使用量化函數(shù)描述家居布局合理程度，通過對該函數(shù)最優(yōu)求解從而確定布局方案。例如：文獻(xiàn)[12]從合理布局中抽取出層次和空間關(guān)系等布局特征，結(jié)合訪問性和可視性等特征，為布局賦予代價(jià)函數(shù)以衡量布局結(jié)果的優(yōu)劣，并通過模擬退火算法對函數(shù)進(jìn)行最優(yōu)求解。文獻(xiàn)[13]提出了一個(gè)交互式家居布局系統(tǒng)，采用硬件加速蒙特卡洛采樣器快速采樣密度函數(shù)和布局準(zhǔn)則結(jié)合的方式，為用戶產(chǎn)生布局建議。文獻(xiàn)[14]提出了基于距離場能量分布函數(shù)的布局算法，該算法通過在基于地面能量分布函數(shù)的距離場中，搜索能量最大的位置，以此為依據(jù)進(jìn)行家居布局。

此外，文獻(xiàn)[15]將家居之間位置上的約束關(guān)系作為家居自動(dòng)布局的出發(fā)點(diǎn)，將家居彼此的約束關(guān)系用層次樹的方式加以結(jié)構(gòu)化組織，再把粒子群優(yōu)化算法應(yīng)用在層次樹中，避免了約束沖突帶來的局部最優(yōu)，提高了算法的準(zhǔn)確性，加快了算法的收斂速度，實(shí)現(xiàn)了實(shí)時(shí)最優(yōu)布局。至于對約束關(guān)系的處理，文獻(xiàn)[16]針對物體在三維環(huán)境中的運(yùn)動(dòng)軌跡，引入了一個(gè)新的約束系統(tǒng)來進(jìn)行相關(guān)的限制。對運(yùn)動(dòng)軌跡的限制也可以應(yīng)用到對最終位置的限制上，使得家居約束關(guān)系更直觀。

文獻(xiàn)[17]提出了一種稱為墻網(wǎng)格結(jié)構(gòu)的新型分析結(jié)構(gòu)，將3D模型的位置和類別結(jié)合起來。通過對位置和類別關(guān)系的歸納過程對3D模型進(jìn)行位置檢索，以最終自動(dòng)合成出一套具有語義有效性和布局良好性的室內(nèi)場景。至于語義描述和自動(dòng)布局的對應(yīng)，文獻(xiàn)[18]提到的wordseye系統(tǒng)可以將文本描述自動(dòng)轉(zhuǎn)換為其代表的三維場景，用語言分析和一定的描述技術(shù)，使得抽象通用的布局概念和策略具有更直觀的描述性。

約束系統(tǒng)和分析結(jié)構(gòu)固然有其自身的優(yōu)點(diǎn)，但約束系統(tǒng)與分析結(jié)構(gòu)的設(shè)計(jì)需要大量的人工經(jīng)驗(yàn)，缺乏一定靈活性和兼容性，稍有不慎會帶來算法的收斂問題。

總體來說，對應(yīng)于上述思路的各種算法在具體實(shí)現(xiàn)中，還存在諸多問題，例如布局過程中人工干涉量較高，布局算法運(yùn)行時(shí)間較長等。

2.4　本文工作的主要貢獻(xiàn)

針對家居布局前，室內(nèi)場景模型建立操作復(fù)雜，需要較大人工干預(yù)的問題，本文采用了TIP技術(shù)，根據(jù)用戶拍攝的單張室內(nèi)場景圖片以及標(biāo)定的墻線，自動(dòng)生成三維室內(nèi)場景箱體模型，完成二維圖像到三維空間的過渡，減去了用戶大量手工構(gòu)建室內(nèi)墻壁、地板、窗戶等構(gòu)件的工作量。

同時(shí)，在室內(nèi)箱體模型中，引入了基于地面能量分布的放置場輕量級智能算法，通過輕量級算法，在較快時(shí)間內(nèi)為用戶進(jìn)行自動(dòng)布局，使得用戶免于大量的家具模型拖拽、旋轉(zhuǎn)等操作。

本文貢獻(xiàn)在于自動(dòng)布局算法，并在此基礎(chǔ)上，通過自動(dòng)漫游規(guī)劃進(jìn)行了算法上的應(yīng)用創(chuàng)新，結(jié)合發(fā)展成熟的TIP箱體建模技術(shù)進(jìn)行了組合創(chuàng)新，在虛實(shí)融合的箱體中實(shí)現(xiàn)自動(dòng)布局。

將虛實(shí)融合理念用于家居設(shè)計(jì)中，結(jié)合TIP箱體模型和室內(nèi)布局算法是本文的核心，為了更簡潔又不失一般性地說明問題，本文采用最具有代表性的臥室布局案例進(jìn)行展開說明。

3　技術(shù)路線

本文首先根據(jù)單張臥室圖片進(jìn)行箱體建模，然后加入三維家具模型，打下虛實(shí)融合的基礎(chǔ)，再應(yīng)用基于能量分布函數(shù)的自動(dòng)布局算法，完成箱體中的家居自動(dòng)布局。

3.1　基于TIP技術(shù)的箱體重建

在獲得用戶拍攝的臥室圖像后，首先對墻線進(jìn)行標(biāo)識，并采用貼片的方式建立三維箱體模型；然后，對于原始圖片中缺失的圖片映射信息，通過智能推算的方式進(jìn)行補(bǔ)缺，實(shí)現(xiàn)箱體模型的完整性；接著，根據(jù)標(biāo)識的墻線計(jì)算滅點(diǎn)，并結(jié)合假定的室內(nèi)場景高度獲取箱體模型的深度，從而獲取在世界坐標(biāo)中的三維箱體模型的尺寸；最后，如果原始室內(nèi)場景圖片中存在家具，則在箱體的三維坐標(biāo)中，對原始存在的家具信息也進(jìn)行標(biāo)識，為后續(xù)參與的布局做準(zhǔn)備。

3.2　基于地面能量分布的放置場布局

在獲得臥室的箱體模型后，同文獻(xiàn)[14]一樣首先根據(jù)門窗位置對地面的能量分布進(jìn)行初始化；然后按文獻(xiàn)[15]類似的方式，根據(jù)臥室家具功能進(jìn)行主次關(guān)系的指定，并由此建立層次關(guān)系圖，通過對關(guān)系圖的廣度優(yōu)先搜索，形成家具的布局順序；最后根據(jù)布局順序依次確定家具各自的位置并動(dòng)態(tài)引起相應(yīng)的能量變化，為后續(xù)待布局的家具做準(zhǔn)備。在全部家具位置得以確定后，再根據(jù)最后的能量分布規(guī)劃箱體漫游行為。

3.3　整體技術(shù)路線

綜上所述：本文整體技術(shù)路線圖如圖1所示。

Fig.1　Technology roadmap圖1　整體技術(shù)路線圖

4　箱體模型臥室場景建模

用戶在建立室內(nèi)場景模型時(shí)，若采用家居DIY設(shè)計(jì)平臺提供的現(xiàn)存臥室場景模型，干預(yù)量小，但真實(shí)度太低，只能反映是一個(gè)臥室，而不能反映是用戶自己的臥室。若將臥室建模工作，交給用戶自己完成，用戶可以根據(jù)自己熟悉的臥室特點(diǎn)建立非常真實(shí)的室內(nèi)場景模型，但手工操作量太多，干預(yù)量大。而TIP技術(shù)在本文中的應(yīng)用正是兩者劣勢的規(guī)避，兩者強(qiáng)勢的結(jié)合（如圖2）。

Fig.2　Advantage of modeling by using TIP圖2　TIP建模的優(yōu)勢

4.1　箱體模型初始建立

從工程開發(fā)和用戶體驗(yàn)設(shè)計(jì)的角度講，對拍攝的臥室圖片，采用文獻(xiàn)[1]識別和手工描繪結(jié)合的方式標(biāo)識墻線，使得用戶在拍照和墻線自動(dòng)識別的基礎(chǔ)上，只需手工略微調(diào)整即可彌補(bǔ)自動(dòng)識別的精度問題，人工干預(yù)量小。

根據(jù)二維臥室照片重建三維室內(nèi)箱體模型的過程包括兩步：

（1）根據(jù)墻線分片。

（2）分片貼在初始的箱體模型上。

根據(jù)標(biāo)識的墻線，可以將原始的圖片進(jìn)行切割，形成5個(gè)面的切片，并分別貼在初始箱體模型的5個(gè)面上形成初始箱體模型，如圖3所示。

Fig.3　Initial cuboid model of indoor scene圖3　室內(nèi)場景初始箱體模型

這種利用圖形學(xué)以使用少量信息生成新圖像并粗略恢復(fù)場景的方式，避開了復(fù)雜的幾何問題，用簡單、直接的方式建立圖像和箱體模型之間的聯(lián)系，讓二維臥室照片完成三維箱體模型的過渡，為虛實(shí)融合打下基礎(chǔ)。

4.2　箱體模型切片信息補(bǔ)缺

從圖3（a）可以看出，4條墻線的端點(diǎn)E、F、G、H分別與圖片的4個(gè)頂點(diǎn)重合，使得比如為地面貼圖的平面圖形BFGC剛好為梯形，是最理想的切割分片的情況，但實(shí)際操作中，用戶拍得不一定很精確理想，通常會出現(xiàn)圖4的情況。

Fig.4　Non-ideal case for wall line marking圖4　非理想情況墻線標(biāo)識

可以看出，作為箱體地面貼圖的平面圖形BFB′C′GC不是標(biāo)準(zhǔn)梯形，是多出了兩條邊的六邊形。這樣因?yàn)槿鄙兕伾珨?shù)據(jù)的映射，建立的箱體模型會在地面出現(xiàn)信息的缺失，如圖5所示。

Fig.5　Information missing region cuboid model圖5　箱體模型信息缺失區(qū)域

若將圖4中的CG邊向下延長，與B′C′的右延線交于G′點(diǎn)，則構(gòu)成的三角形GC′G′分別對應(yīng)了圖5中的信息缺失區(qū)域，如圖6所示。

針對該種情況，本文采用智能算法，自動(dòng)推算信息缺失區(qū)域里的像素信息，實(shí)現(xiàn)色彩上的平滑過渡。這里以缺失區(qū)域GC′G′舉例說明。

對圖7，設(shè)color(G)、color(C′)、color(G′)分別為缺失區(qū)域三角形3個(gè)頂點(diǎn)的顏色值，color(x)為缺失區(qū)域內(nèi)待推算的點(diǎn)x的顏色值。x′為G′x與GC′的交點(diǎn)，其顏色由color(x′)表示，則可以通過以下公式進(jìn)行計(jì)算：

其中u、v為上述公式的兩個(gè)參數(shù)，取值0到1。而G′在地面上，本身屬于缺失區(qū)域的點(diǎn)，其color(G′)可以用鄰面墻壁的頂點(diǎn)代替。從圖4中可以看出，鄰面墻壁的頂點(diǎn)即為G點(diǎn)，因此這里可以用color(G)代替color(G′)。

遍歷缺失區(qū)域內(nèi)待推算點(diǎn)x并按式（1）進(jìn)行顏色的智能推算，可完成箱體模型信息補(bǔ)缺。

Fig.6　Information missing region圖6　信息缺失區(qū)域

Fig.7　Fixing information missing regionGCG′圖7　缺失區(qū)域GCG′補(bǔ)缺

4.3　獲取箱體模型三維信息

將二維圖像轉(zhuǎn)換為三維箱體模型，還需要獲知箱體的三維尺寸，由于拍照使用的相機(jī)參數(shù)和性能各有不同，根據(jù)照片還原室內(nèi)場景的精確尺寸，難度太大，計(jì)算也復(fù)雜。這里采用基于深度[1-4]的方式進(jìn)行粗略計(jì)算。

首先，從平面角度看，墻線在平面上延伸會交于一點(diǎn)，從三維立體的視覺看，墻線會向內(nèi)交于一點(diǎn)，這樣的點(diǎn)稱為滅點(diǎn)，如圖8所示。

Fig.8　Vanishing point圖8　滅點(diǎn)

模型的高寬可由圖片的高寬信息表示，即：

對于箱體的深度depth(box)，需要結(jié)合三維視覺的信息進(jìn)行確定。如圖8（b），三維空間中的墻線將交于P點(diǎn)，而二維視覺的滅點(diǎn)V正是P點(diǎn)在平面ABCD（箱體背面）上的投影，而VU的長度正是箱體模型的深度。將平面CBFG沿著直線AB平移，使得其包含直線VU，如圖9所示。

Fig.9　Fetching depth of cuboid圖9　箱體深度獲取

根據(jù)相似三角形原理以及文獻(xiàn)[1]的方法，可以得出以下比例線段公式：

由此可以解得：

len(VU)就是箱體的深度depth(cuboid)。

這樣方式計(jì)算出的初步深度只能反映房間內(nèi)墻到拍攝者的距離，房間原始真實(shí)的深度需要用戶稍加調(diào)整。

5　基于動(dòng)態(tài)能量分布的放置場布局

本文在距離場思想上[14]，提出了放置場的概念，將地面看作一個(gè)能量分布場。當(dāng)確定了k個(gè)家具擺放位置后，地面每一位置(x,y)對應(yīng)一個(gè)能量值家具擺放位置合理程度通過其占據(jù)區(qū)域Areafur里點(diǎn)位的能量和進(jìn)行量化。

但和距離場相比，在家具布局順序、地面能量分布計(jì)算方式以及布局過程中地面能量分布變化三方面做了相關(guān)的改進(jìn)。

5.1　家具布局順序規(guī)則

當(dāng)前布局算法之所以會有計(jì)算不收斂或計(jì)算時(shí)間過長的潛在可能，是因?yàn)闊o序?qū)е铝巳哂喾爆嵉乃阉鞴ぷ?。因此本文同距離場思想[14]一樣，是按照一定的排序順序sorted_furnitures，利用貪心求解的思想，分次搜索各個(gè)家具能量和最大的位置。但在放置場中，家具布局順序不單是根據(jù)家具高度和占地面積，而是根據(jù)人體工程學(xué)理論，以及布局目標(biāo)房間的種類和家具主從關(guān)系，從而確定布局順序。

以臥室為例，家具布局順序規(guī)則為：（1）確定主要家具位置。主要家具布局確定后，再去確定從屬家具。（2）針對同一層次從屬家具，優(yōu)先布局貼墻放置的家具。（3）針對若干個(gè)貼墻家具，優(yōu)先布局與床有特定關(guān)系的家具。如床頭柜與電視，都和床之間具有特定關(guān)系，必須分別在床的兩側(cè)和相對的位置。此外，優(yōu)先布局有從屬家具的家具，最后才考慮家具尺寸的因素。

例如：待布局的臥室里有若干個(gè)地面家具等待位置確定。既然是臥室，床是主要家具，其他家具為從屬家具，椅子是寫字臺和梳妝臺的從屬家具，如圖10所示的主從結(jié)構(gòu)。對主從結(jié)構(gòu)進(jìn)行廣度優(yōu)先搜索可以得出一個(gè)序列：床→床頭柜→電視→書桌→衣柜→梳妝臺→椅子。

5.2　初始放置場地面能量分布函數(shù)

Fig.10　Master-slave structure of furniture in bedroom圖10　臥室家具主從結(jié)構(gòu)

文獻(xiàn)[14]提出的能量值是單純由位置(x,y)到門窗和中心距離帶權(quán)均值Dmean(x,y)決定，本文在此基礎(chǔ)上，引入了各個(gè)距離相差程度因子，即距離相差越小，能量值越高。距離相差程度由Dvar(x,y)表示，計(jì)算方式和數(shù)理統(tǒng)計(jì)中均方差類似。最初的家具個(gè)數(shù)為0，位置(x,y)的能量用以下公式加以量化：

這里Dmean(x,y)和Dvar(x,y)的計(jì)算公式為：

其中，d1、d2、d3分別表示點(diǎn)到門、地面中心、窗的距離；w1、w2、w3表示計(jì)算3個(gè)距離各自的權(quán)重，根據(jù)大量實(shí)驗(yàn)和調(diào)整，本文分別設(shè)置為0.1、0.3、0.6，計(jì)算出的地面能量分布如圖11所示。

Fig.11　Initial ground energy distribution圖11　初始地面能量分布

地面能量分布最高的地方即為圖中紅色最亮的地方，離門窗和中心有一段合理的距離，后期的布局中，也更好地滿足和其他家具的位置關(guān)系，能很好地符合人體工程學(xué)理念和人為經(jīng)驗(yàn)的布局規(guī)則，如圖12所示。

Fig.12　Bed is placed at reasonable location圖12　床布局在合理位置

5.3　地面能量動(dòng)態(tài)變化

文獻(xiàn)[14]提出的基于距離場布局方法中，當(dāng)一個(gè)家具確定位置后，單是將其占據(jù)區(qū)域Areafur里的點(diǎn)位能量值設(shè)為0，以不讓其他家具與其發(fā)生碰撞。

本文提出的放置場布局方法中，還需要考慮其引起的地面能量分布的動(dòng)態(tài)變化，進(jìn)而使后續(xù)家具布局位置能更好得到反映。引起的地面能量分布變化主要包含如下3類：

（1）能量分布通用變化；

（2）能量分布特殊變化；

（3）能量分布附加變化。

其中，能量通用變化和特殊變化適用于所有待布局的家具，兩者間的不同在于能量更新方式不同。而附加變化是針對某一類家具，如在床的位置確定后，附加變化在床的正對面附加一層能量分布，該層能量分布只適用于床前的電視桌。

特殊變化和附加變化沒有通用公式，這是因?yàn)檫@兩種變化的產(chǎn)生是由特定家具引起的。例如：當(dāng)床的位置確定后，接下來通常是需要有兩個(gè)家具位于床頭兩端以滿足對稱的幾何特性。因此，在該情況下，地面上(x,y)位置的能量值計(jì)算如下：

通用變化的能量計(jì)算方式和初始時(shí)的計(jì)算方式類似，也用式（5）的計(jì)算方式，區(qū)別在于計(jì)算Dmean(x,y)和Dvar(x,y)時(shí)，除了考慮門窗和地面中心外，還要考慮已經(jīng)布置好的家具，同時(shí)采用單位權(quán)值，因此地面上(x,y)位置的Dmean(x,y)、Dvar(x,y)計(jì)算修改如下：

Fig.13　Special energy change caused by bed圖13　床產(chǎn)生的特殊能量變化

這里d1、d2、d3到dk+3表示到門、地面中心、窗以及當(dāng)前存在的k個(gè)家具的距離。

比如當(dāng)床頭柜借助特殊能量變化布置在了床頭兩端，以及電視桌借助附加能量變化布置在了床對面，將一并引發(fā)通用能量變化，按上述公式計(jì)算后，能量如圖14所示。

Fig.14　General energy change圖14　通用能量變化

可以看出，能量開始往左邊集中，那里正是適合放置其他比如桌子、平柜的地方。

綜上所述，第i個(gè)家具fur的擺放位置的求解可以按以下形式表述。

按先前確定的布局順序，依次為家具在能量分布場中搜索占據(jù)能量最大的位置，并在位置確定后動(dòng)態(tài)更新地面能量的變化，為后續(xù)家具的位置搜索做準(zhǔn)備，直到布局完成。

6　漫游向量場的生成

在所有家具位置確定后，使得地面的能量分布如圖14所示，而如何根據(jù)地面的能量分布確定漫游區(qū)域以及區(qū)域上各個(gè)位置的視覺朝向是以下要解決的問題。

6.1　自動(dòng)漫游區(qū)域生成

地面能量高低量化了家具位置的合理度，將在箱體模型中漫游的人看作是特殊的家具，是可以不用貼墻放置且可以在不同時(shí)刻處于不同位置的家具。因此人在漫游過程中所處的位置的合理程度也可以用地面的能量加以量化。漫游區(qū)域能量越高越好（如圖15圈定范圍）。

此外對著開口方向，逐行掃描能量最高的點(diǎn)再擬合為一條漫游曲線（圖15綠色標(biāo)記），可以此作為漫游區(qū)域代表路徑，并將視覺朝向初始化為從開口正視箱體內(nèi)墻的方向。如圖15所示。

Fig.15　Best area for traveling圖15　最佳漫游區(qū)域

6.2　自動(dòng)漫游區(qū)域位置視覺朝向計(jì)算

在漫游區(qū)域確定后，接下來需要為區(qū)域上每一個(gè)位置確定朝向，這主要考慮兩個(gè)因素。

（1）最多家具包含在當(dāng)前朝向視覺范圍內(nèi)。

（2）箱體缺少的墻面不進(jìn)入視覺范圍。

人有一定的焦點(diǎn)視覺角度，讓更多家具包含在當(dāng)前朝向的焦點(diǎn)視覺范圍內(nèi)會帶來好的漫游體驗(yàn)，針對該問題考慮如下：

以漫游區(qū)域代表路徑上的一個(gè)位置O為例，如圖16所示，方向OC決定當(dāng)前焦點(diǎn)視野范圍為∠AOB；然后將O與n件家具中心位置Fi連線，得到n條向量OFi，此時(shí)需要尋找一個(gè)OC使得其決定的∠AOB能包含最多的OFi。

Fig.16　Vision orientation in routing area圖16　漫游區(qū)域視覺朝向

設(shè)人的焦點(diǎn)視野范圍為 2θ，即 ∠AOC=∠COB=θ，∠AOB=2θ；通過對向量OC的搜索，使得以下函數(shù)值達(dá)到最大。

其中angle用于計(jì)算兩個(gè)向量的夾角。

OC方向決定的∠AOB范圍包含了F1、F2、F3 3個(gè)家具，可作為該點(diǎn)的朝向。

對于在位置O對OC的搜索結(jié)果，有可能發(fā)生開口處的缺失墻面出現(xiàn)在視野中的情況，這是因?yàn)槲恢肙和開口墻的左墻角B2的向量OB2被當(dāng)前視覺范圍∠AOB所包含，所以在對OC搜索過程中，要防止以下兩個(gè)情況：

（1）∠AOB不能包含向量OB2或OB1。

（2）∠AOB不能包含于范圍∠B2OB1。

故在對式（11）求解最大值時(shí)要加入兩個(gè)約束，得到以下模型：

可以在漫游路徑上對每個(gè)位置O，在范圍[-π,π]內(nèi)對決策變量OC進(jìn)行搜索，以確定帶有最佳視覺方向的漫游路徑如圖17所示。

Fig.17　Routing area with vision orientation圖17　帶視覺朝向的漫游區(qū)域

對漫游區(qū)域內(nèi)其他位置的朝向搜索，也可以采用這樣的方式。

7　實(shí)驗(yàn)結(jié)果

本文使用VS2010與Web STORM實(shí)現(xiàn)布局邏輯，借助同濟(jì)大學(xué)smart3D團(tuán)隊(duì)開發(fā)的在線家居平臺（http://smart3d.#edu.cn/vrfusion），將箱體建模的實(shí)驗(yàn)集成其中，利用其中的3D家具模型進(jìn)行布局算法的實(shí)驗(yàn)。實(shí)驗(yàn)計(jì)算機(jī)為普通惠普PC，處理器為Intel?CoreTMi5-5200U CPU@2.2 GHz，內(nèi)存4 GB，操作系統(tǒng)為Windows10 64 bit，瀏覽器為Chrome，采用的技術(shù)為WEBGL。

基于同濟(jì)大學(xué)smart3D團(tuán)隊(duì)開發(fā)的在線家居平臺,選擇一些臥室圖片，用以建立箱體模型。并將三維家具模型拖入箱體場景中，應(yīng)用本文提出的自動(dòng)布局算法得到自動(dòng)布局結(jié)果，并和真實(shí)布局案例進(jìn)行對比以驗(yàn)證算法的準(zhǔn)確性。

由表2可知，根據(jù)原始二維圖片構(gòu)建的三維箱體模型，在尺寸和圖像上面均能很精確地進(jìn)行模擬。而作為對比的真實(shí)案例來自于真實(shí)平面布局設(shè)計(jì)圖（或真實(shí)臥室照片）2）http://www.xmhouse.com；http://www.fang.com；http://www.lianjia.com；http://www.nipic.com/。，可以看出本文提出的自動(dòng)布局算法的實(shí)驗(yàn)結(jié)果和真實(shí)布局案例的相符程度高，對實(shí)際布局有參考意義。此外，實(shí)驗(yàn)結(jié)果也表明，該算法針對不同長寬的臥室、不同家具組合和數(shù)量具有較強(qiáng)的適應(yīng)性和兼容性。

除了表2給出的典型布局實(shí)驗(yàn)外，為了驗(yàn)證計(jì)算時(shí)間輕量化，本文針對8個(gè)不同臥室大小和家具組合的布局輸入進(jìn)行布局時(shí)間測算，如表3所示。

可以看出，針對不同大小的臥室和家具組合，均可在毫秒級的時(shí)間內(nèi)計(jì)算出布局結(jié)果，并且隨著家具個(gè)數(shù)以及房間大小的增加，計(jì)算時(shí)間增長平穩(wěn)緩慢。

除此之外，表2展示的前5個(gè)實(shí)驗(yàn)結(jié)果是針對空房間的箱體建模和自動(dòng)布局，建模的效果較好，失真度小，結(jié)合自動(dòng)布局的結(jié)果能很好地說明虛實(shí)融合。為了對虛實(shí)融合進(jìn)行增強(qiáng)性說明，在后3個(gè)案例使用了本身就包含少量家具的原始圖片，由于這樣的圖片素材較少，這里采用的是自己制作的素材圖片。從后3個(gè)的實(shí)驗(yàn)結(jié)果中可以看出，由于本身包含的家具會使得箱體模型效果略遜于空臥室的情況，但箱體理念仍然能得以充分表達(dá)。此外布局結(jié)果并沒有受到原始家具的影響，圖片本身包含的家具能和新加入的家具一起參與自動(dòng)布局并得出正確結(jié)果，更好地說明了虛實(shí)融合的理念。

除此之外在布局后的臥室箱體中進(jìn)行漫游，漫游區(qū)域和朝向也能得到充分和正確的限制。

8　結(jié)論

本文針對當(dāng)前房間建模的操作繁瑣性，以及室內(nèi)自動(dòng)布局平臺和算法中存在的人工干預(yù)，同時(shí)布局響應(yīng)速度不理想等問題進(jìn)行了研究，采用一種基于圖像渲染的畫中游技術(shù)來生成臥室場景三維箱體模型，并在箱體中應(yīng)用基于能量分布函數(shù)的放置場自動(dòng)布局算法自動(dòng)計(jì)算家具位置。本文在Web3D環(huán)境中的實(shí)驗(yàn)結(jié)果表明，該設(shè)計(jì)使得用戶能快速根據(jù)自己的臥室場景建立三維模型，并在三維環(huán)境中實(shí)現(xiàn)較好較快的布局，同時(shí)生成箱體漫游策略，最終實(shí)現(xiàn)虛實(shí)融合。

Table 2　Experimential results表2　實(shí)驗(yàn)結(jié)果

Table 3　Running duration of automatic arrangement表3　布局運(yùn)行時(shí)間

本文提出的設(shè)計(jì)思想，不僅可以用于臥室布局中，也可擴(kuò)展到其他類型房間布局中，如客廳、廚房等，同時(shí)建模的方式也可以擴(kuò)展到柱面全景或球面全景等場景建模中。

[1]Wang Haifei,Jia Jinyuan,Xie Ning.Vanishing point detection and scene reconstruction of cluttered room[J].Journal of Frontiers of Computer Science and Technology,2016,10(5):678-687.

[2]Kroeger T,Dai Dengxin,Gool L J V.Joint vanishing point extraction and tracking[C]//Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition,Boston,Jun 7-12,2015.Washington:IEEE Computer Society,2015:2449-2457.

[3]Zhai Menghua,Workman S,Jacobs N.Detecting vanishing points using global image context in a non-manhattan world[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition,Las Vegas,Jun 27-30,2016.Washington:IEEE Computer Society,2016:5657-5665.

[4]Kang H W,Pyo S H,Anjyo K,et al.Tour into the picture using a vanishing line and its extension to panoramic images[J].Computer Graphics Forum,2010,20(3):132-141.

[5]Li Zhi.Research and realization of spherical panorama navigation system based on TIP[D].Kunming:Yunan University,2014.

[6]Yang Ji,Chen Xiaowei.Research and implementation of VR model based on panorama[J].Application Research of Computers,2004,21(1):249-250.

[7]Fisher M,Ritchie D,Savva M,et al.Example-based synthesis of 3D object arrangements[J].ACM Transactions on Graphics,2012,31(6):135.

[8]Hays J,EfrosAA.Scene completion using millions of photographs[C]//Proceedings of the 34th International Conference on Computer Graphics and Interactive Techniques,San Diego,Aug 5-9,2007.New York:ACM,2007:4.

[9]Akase R,Okada Y.Automatic 3D furniture layout based on interactive evolutionary computation[C]//Proceedings of the 7th International Conference on Complex,Intelligent,and Software Intensive Systems,Taichung,China,Jul 3-5,2013.Washington:IEEE Computer Society,2013:726-731.

[10]Liu Milan,Jiang Hao,Xu Weiwei,et al.Automatic indoor areas layout for indoor scenes based on example database[J].Journal of Computer-Aided Design and Computer Graphics,2017,29(1):90-100.

[11]Merrell P,Schkufza E,Koltun V.Computer-generated residential building layouts[C]//Proceedings of ACM SIGGRAPH Asia 2010,Seoul,Dec 15-18,2010.New York:ACM,2010:181.

[12]Yu L F,Yeung S K,Tang C K,et al.Make it home:automatic optimization of furniture arrangement[J].ACM Transactions on Graphics,2011,30(4):86.

[13]Merrell P,Schkufza E,Li Z,et al.Interactive furniture layout using interior design guidelines[C]//Proceedings of ACM SIGGRAPH 2011,Vancouver,Aug 7-11,2011.New York:ACM,2011:87.

[14]Song Peihua,Jia Jinyuan.Online furniture layout method based on case-based reasoning and distance fields[J].Journal of System Simulation,2016,28(10):2438-2447.

[15]Chen Guangming,Li Guiqing,Liu Pei,et al.Hierarchical constraints with particles swarm optimization for furniture arrangement[J].Journal of Computer-Aided Design and Computer Graphics,2014,26(10):1603-1612.

[16]Smith G,Salzman T,Stürzlinger W.3D scene manipulation with 2D devices and constraints[C]//Proceedings of Graphics Interface,Ottawa,Jun 7-9,2001.Toronto:Canadian Information Processing Society,2001:135-142.

[17]Xu Wenzhuo,Wang Bin,Yan Dongming.Wall grid structure for interior scene synthesis[J].Computers&Graphics,2015,46(1):231-243.

[18]Coyne R,Sproat R.WordsEye:an automatic text-to-scene conversion system[C]//Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques,Los Angeles,Aug 12-17,2001.New York:ACM,2001:487-496.

附中文參考文獻(xiàn)：

[1]王海菲,賈金原,謝寧.復(fù)雜室內(nèi)圖像的滅點(diǎn)檢測與箱體重建方法[J].計(jì)算機(jī)科學(xué)與探索,2016,10(5):678-687.

[5]李智.基于TIP的球面全景圖漫游系統(tǒng)的研究和實(shí)現(xiàn)[D].昆明:云南大學(xué),2014.

[6]楊記,陳孝威.基于全景圖像的VR建模研究及實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用研究,2004,21(1):249-250.

[10]劉米蘭,蔣浩,許威威,等.基于案例庫的室內(nèi)區(qū)域自動(dòng)布局方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2017,29(1):90-100.

[14]宋佩華,賈金原.基于案例推理及距離場的家居在線布局方法[J].系統(tǒng)仿真學(xué)報(bào),2016,28(10):2438-2447.

[15]陳光明,李桂清,劉培,等.家居布局的層次化約束及其粒子群優(yōu)化[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2014,26(10):1603-1612.