国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

一種全景圖客戶(hù)端快速顯示的切片模型與實(shí)現(xiàn)

2016-10-24 01:41謝元禮許允波張榮斌
關(guān)鍵詞:全景圖分片球體

謝元禮, 姚 瑾, 許允波,張榮斌, 王 芹

(1.南京大學(xué) 地理與海洋科學(xué)學(xué)院,南京 210093;2.西北大學(xué) 城市與環(huán)境學(xué)院,陜西 西安 710127;3.易智瑞(中國(guó))信息技術(shù)有限公司 西安分公司,陜西 西安 710075; 4.陜西省水利電力勘測(cè)設(shè)計(jì)研究院 測(cè)繪分院,陜西 西安 710002)

?

·環(huán)境科學(xué)·

一種全景圖客戶(hù)端快速顯示的切片模型與實(shí)現(xiàn)

謝元禮1,2, 姚瑾2, 許允波3,張榮斌4, 王芹2

(1.南京大學(xué) 地理與海洋科學(xué)學(xué)院,南京210093;2.西北大學(xué) 城市與環(huán)境學(xué)院,陜西 西安710127;3.易智瑞(中國(guó))信息技術(shù)有限公司 西安分公司,陜西 西安710075; 4.陜西省水利電力勘測(cè)設(shè)計(jì)研究院 測(cè)繪分院,陜西 西安710002)

全景技術(shù)已經(jīng)成為三維地理信息系統(tǒng)中不可或缺的部分,為探索網(wǎng)絡(luò)環(huán)境下大幅全景圖快速實(shí)時(shí)顯示方法,該文提出一種將全景圖進(jìn)行分片切割的模型,并利用Flex技術(shù)根據(jù)可視區(qū)域進(jìn)行分級(jí)分片加載顯示。通過(guò)與全圖加載顯示的速度進(jìn)行比較,切片模型能夠有效提高全景圖的加載顯示速度。

全景圖;切片模型;分級(jí)分片;快速顯示

全景技術(shù)是一種虛擬現(xiàn)實(shí)技術(shù),已經(jīng)成為三維地理信息系統(tǒng)的技術(shù)架構(gòu)中不可或缺的部分,谷歌的google earth和微軟的virtual earth等都得到了成功的應(yīng)用。全景技術(shù)主要包括全景圖的制作和可視化兩大內(nèi)容。

全景圖最終呈現(xiàn)給用戶(hù)需要經(jīng)過(guò)多個(gè)處理環(huán)節(jié),包括全景圖的獲取、全景圖的拼接、全景圖的融合以及最終的加載顯示。目前國(guó)內(nèi)外的研究多集中在全景圖的獲取與拼接等制作方法上[1-7],對(duì)于全景圖的加載顯示多采用全圖直接加載的方法。由于單幅全景圖分辨率很高,一次性全圖傳輸受限于帶寬,瀏覽顯示時(shí)因需要實(shí)時(shí)地處理大量數(shù)據(jù),容易造成不流暢的體驗(yàn),難以滿足實(shí)時(shí)性要求。因此,研究如何高效地加載顯示全景圖十分必要。

本文著力于解決網(wǎng)絡(luò)環(huán)境下高分辨率全景圖的實(shí)時(shí)傳輸和快速顯示的問(wèn)題,利用加載顯示全景圖時(shí)只需要顯示可視范圍區(qū)域的特點(diǎn),首先將單幅全景圖切割組織成瓦片金字塔格式,然后通過(guò)分級(jí)分塊加載全景圖的機(jī)制實(shí)現(xiàn)按需加載顯示,從而解決網(wǎng)絡(luò)帶寬限制,保證用戶(hù)能夠快速流暢地瀏覽全景圖。

1 全景圖切片模型

1.1全景圖數(shù)據(jù)

全景圖由真實(shí)場(chǎng)景構(gòu)建生成,通過(guò)基于圖像繪制的全景技術(shù)提供水平360度,上下90度的觀察視角從而給人很強(qiáng)的沉浸感,如同置身于真實(shí)場(chǎng)景中一般。全景圖按照投影模型分為柱面、球面和立方體面3種類(lèi)型,本文采用柱面Equirectagular投影的全景圖數(shù)據(jù),該投影的全景圖是目前默認(rèn)的行業(yè)標(biāo)準(zhǔn),它是一種將球面坐標(biāo)轉(zhuǎn)換到平面的投影方式。在這種投影下水平坐標(biāo)用經(jīng)度表示,垂直坐標(biāo)用緯度表示。因?yàn)榻?jīng)度范圍為-180度到180度,緯度為-90度到90度,展開(kāi)后圖像的寬高比例正好是2∶1,如圖1所示。

圖1 單幅Equirectagular投影的全景圖Fig.1 A panoramic image by projection of the Equirectagular

在一張Equirectangular全景圖中,經(jīng)線和緯線組成方格網(wǎng):赤道位于圖像的中間,不存在變形,向上下兩端變形逐漸增大,球體的兩極位于圖像的上下兩邊,由原來(lái)的一點(diǎn)拉伸成整個(gè)圖像寬度的一條線,變形最大。如圖1所示的圖像的最低端有很大一片漆黑的區(qū)域,而實(shí)際對(duì)應(yīng)的區(qū)域其實(shí)很小,因?yàn)橥队鞍堰@一部分拉大變形了。

柱面Equirectagular投影的全景圖是全景圖的一種平面保存方式,并不是真實(shí)視覺(jué)效果。利用現(xiàn)有的一些3D引擎,如OpenGL,Direct3D或者Flash中的開(kāi)源軟件PV3D,alway3D,把圖像作為材質(zhì)直接添加到球體上,觀察點(diǎn)設(shè)在球體的中心就能夠?qū)崿F(xiàn)360度的全景觀察效果。

1.2切片模型

本文處理的全景圖其分辨率為5 400*2 700,大小為1~2MB。如果直接把整幅全景圖作為材質(zhì)添加到球體上,從服務(wù)器傳輸?shù)娇蛻?hù)端這一步就比較耗時(shí),造成場(chǎng)景加載緩慢。不僅如此,后續(xù)的場(chǎng)景渲染因需要處理大量數(shù)據(jù),瀏覽漫游時(shí)會(huì)出現(xiàn)明顯的延遲。

實(shí)際上在瀏覽全景圖時(shí),通常所看到的僅僅是全景圖的很少一部分,因此沒(méi)必要把整幅全景圖一次性加載進(jìn)來(lái)。隨著視角的變化,加載所需要的場(chǎng)景部分即可。另外當(dāng)視角較小時(shí),所看到的場(chǎng)景比較細(xì)致,需要加載分辨率比較高的圖片;視角較大時(shí),看到的是景物的概要,只需加載分辨率比較低的圖片。針對(duì)瀏覽全景圖時(shí)這種分區(qū)域分細(xì)致程度的特點(diǎn),對(duì)全景圖進(jìn)行分片分級(jí)處理,切割組成類(lèi)似Deep Zoom的結(jié)構(gòu)[6],然后將對(duì)應(yīng)級(jí)別加載可視區(qū)域內(nèi)的切片就能達(dá)到快速流暢地顯示全景圖的目的。

圖像切割是地理信息系統(tǒng)中常用的圖像處理方法,完全可以應(yīng)用在全景圖可視化中對(duì)全景圖進(jìn)行分級(jí)分片管理。分級(jí)分片這種以空間換時(shí)間的解決方案和以谷歌為代表的電子地圖的機(jī)制是一致的[9-10]。在初始等級(jí)時(shí),整個(gè)地球只投影到一張256*256的圖片上。地圖放大等級(jí)后原來(lái)的256*256的圖片將變成512*512的圖片,實(shí)際上是將原來(lái)的圖片分裂成4張256*256的圖片,以此類(lèi)推,按照四叉樹(shù)的組織方案,將一塊區(qū)域一份為四,不斷細(xì)分,形成一個(gè)金字塔,其結(jié)構(gòu)如圖2所示,等級(jí)劃分如表1所示。

圖2 電子地圖的金字塔結(jié)構(gòu)Fig.2 The structure of Pyramid electronic map

不同的是,電子地圖最終展現(xiàn)在平面上,沒(méi)有明顯的接縫邊界,而全景圖最終展現(xiàn)在球面上,每個(gè)切片需要保證能與上下左右的相鄰切片無(wú)縫對(duì)接。除此之外,也需要選取合適的瓦片大小。

為了避免切片后會(huì)帶來(lái)很多的碎片,本文處理的全景圖分辨率為5400*2700,而不是通用的256*256或512*512的瓦片大小。將全景圖分成若干個(gè)等級(jí),切片數(shù)量可為2*1,4*2,8*4,16*8并依次類(lèi)推,切片數(shù)量根據(jù)全景圖的分辨率確定。本文最終圖片的大小為337.5*337.5,切片數(shù)量為16*8。

表1 DeepZoom格式下的顯示等級(jí)

參照表1,原始圖片大小為5 400*2 700,顯示等級(jí)為13,可劃分成16*8=144張大小為337.5*337.5的切片。在顯示等級(jí)12級(jí),將原始圖片縮放一個(gè)等級(jí),其大小為2 700*1 350,可劃分成8*4=32張大小為337.5*337.5的切片,依次類(lèi)推,可得到表2。

表2顯示等級(jí)與劃分個(gè)數(shù)的對(duì)應(yīng)關(guān)系

Tab.2The relation between levels and number of fragmentations

Level10111213Number2*14*28*416*8

因?yàn)榧?jí)別10只有2張切片,太少不予處理。因此以337.5*337.5為基準(zhǔn),共劃分成3個(gè)等級(jí):11,12,13級(jí),分別對(duì)應(yīng)8,32,144張切片。

每個(gè)等級(jí)對(duì)應(yīng)一個(gè)文件夾,如圖3,每個(gè)等級(jí)中的圖片以行號(hào)加上-列號(hào)的方式進(jìn)行命名,例如0-2,代表第一行第一列的圖片,如圖4所示。這樣,給定顯示等級(jí)和行列號(hào)就能夠唯一確定一張切片。切片的總大小為1.89MB,為原始圖像(大小為1.53MB)的1.24倍。

圖3 每個(gè)顯示等級(jí)對(duì)應(yīng)一個(gè)文件夾Fig.3 The folds of levels

圖4 文件夾11中的切片F(xiàn)ig.4 The fragmentations in the fold of level 11

2 全景圖切片加載顯示方法

2.1分片加載全景圖

對(duì)于3D渲染引擎,本文使用的是PV3D。PV3D中基本的對(duì)象是三角形,其支持的基本元素諸如球面、立方面、平面等都是由三角形構(gòu)成。對(duì)于球體而言,他們只能將整幅全景圖作為材質(zhì)貼在表面。因此需要對(duì)其加以改進(jìn),從而支持分片加載功能。

以4*2的球體為例,即水平分成4部分,垂直分成2部分??偣部蓜澐殖?個(gè)tile,每個(gè)tile有4個(gè)點(diǎn),由2個(gè)三角形組成。上下半球從左到右各有4個(gè)tile組成,每個(gè)tile對(duì)應(yīng)一張切片,設(shè)置其UV坐標(biāo)的范圍為0-1,使該切片恰好完全覆蓋該tile。

圖5 4*2的球體Fig.5 The sphere of 4*2

然而對(duì)于第11級(jí)的切片,其切片數(shù)量為4*2,但對(duì)應(yīng)的球體不能是4*2,因?yàn)?*2的球體過(guò)于粗略,接近菱形體,如圖5所示。因此球體的劃分需要更細(xì)致一些,需是4*2的整數(shù)倍,使貼圖后球體顯得比較平滑。本文統(tǒng)一采用64*32的球體。對(duì)于第11級(jí)別的切片來(lái)說(shuō),16*16個(gè)tile對(duì)應(yīng)一個(gè)切片。對(duì)于第12級(jí)的切片,8*8個(gè)tile對(duì)應(yīng)一個(gè)切片,對(duì)于第13級(jí)的切片,4*4個(gè)tile對(duì)應(yīng)一個(gè)切片。對(duì)于其中的每個(gè)tile設(shè)置其對(duì)應(yīng)的切片和UV坐標(biāo),就能保證貼上對(duì)應(yīng)切片的區(qū)域。

2.2加載可見(jiàn)區(qū)域的全景圖切片

由于在瀏覽全景圖時(shí),看到的僅是全景圖的一部分,因此只加載可視區(qū)域的全景圖切片,可大幅度地提高系統(tǒng)的加載和顯示效率。在實(shí)現(xiàn)分片加載的基礎(chǔ)上,通過(guò)以下步驟實(shí)現(xiàn)按需加載和顯示:

1) 根據(jù)攝像頭的pov以及pitch和yaw值,計(jì)算出視口viewport的4個(gè)坐標(biāo)點(diǎn)對(duì)應(yīng)的球體坐標(biāo)。

2) 根據(jù)球體坐標(biāo),計(jì)算其組成的范圍內(nèi)和與該范圍相交的所有tile。僅僅加載這些tile對(duì)應(yīng)的切片,并設(shè)置其UV坐標(biāo),同時(shí)記錄已經(jīng)處理的tile和已經(jīng)加載的切片。

3) 在瀏覽全景圖時(shí),如果范圍發(fā)生變化需要重新計(jì)算時(shí),可根據(jù)步驟1)和2)計(jì)算出對(duì)應(yīng)的所有tile,然后逐一判斷該tile是否已經(jīng)處理。如果已經(jīng)處理,則跳過(guò),否則判斷其對(duì)應(yīng)的切片是否已經(jīng)存在;如果存在,則直接設(shè)置,否則需要先加載后設(shè)置。

4) 判斷是否已經(jīng)全部加載。如果已經(jīng)全部加載,則不再進(jìn)行是否已經(jīng)加載的判斷。

因?yàn)镻V3D自身的機(jī)制能夠避免對(duì)不在可視范圍內(nèi)的三角形進(jìn)行渲染,因此這里本文只關(guān)注全景圖切片的加載問(wèn)題。同時(shí)對(duì)已經(jīng)加載的全景圖切片和已經(jīng)處理的tile進(jìn)行記錄,避免重復(fù)加載和重復(fù)處理。

2.3等級(jí)切換

前述把全景圖切割分成3個(gè)等級(jí),分別對(duì)應(yīng)不同的詳細(xì)程度。當(dāng)對(duì)全景圖進(jìn)行縮放時(shí),全景圖的細(xì)致程度會(huì)隨之發(fā)生改變,此時(shí)需要進(jìn)行等級(jí)切換處理。

為了簡(jiǎn)便起見(jiàn),本文使用3個(gè)同樣位置、均為64*32的球體來(lái)分別加載3個(gè)等級(jí)的圖片。當(dāng)然也可以采用一個(gè)球體,等級(jí)切換時(shí)需要更換每個(gè)tile的UV值和對(duì)應(yīng)的切片,只是處理起來(lái)繁瑣一些。

以camera的zoom屬性作為等級(jí)切換的指標(biāo),采取的機(jī)制是首先確認(rèn)當(dāng)前的顯示等級(jí),該等級(jí)對(duì)應(yīng)的球體開(kāi)始加載全景圖。當(dāng)需要等級(jí)切換時(shí)把當(dāng)前球體視為不可見(jiàn),下一個(gè)等級(jí)的球體開(kāi)始加載全景切片并設(shè)置為可見(jiàn)。為了提高效率,當(dāng)前等級(jí)容器加載完所有的全景圖后,設(shè)置不可見(jiàn)等級(jí)的容器在后臺(tái)加載,同時(shí)設(shè)置消隱漸變動(dòng)畫(huà)來(lái)減少直接切換時(shí)的跳躍突兀感。

3 實(shí)驗(yàn)結(jié)果與效率分析

利用瓦片地圖的原理,參照DeepZoom格式事先將高分辨率的全景圖按等級(jí)進(jìn)行切片,然后基于Flex利用PV3D引擎開(kāi)發(fā)一個(gè)全景客戶(hù)端,并將加載顯示整幅全景圖和加載顯示第11級(jí)的全景圖做一個(gè)對(duì)比。圖1所示的整幅全景圖大小為1.53MB,切割生成的第11級(jí)的8張切片的總大小為130kB,大小僅為原來(lái)的1/12。圖6為按指定區(qū)域加載的一個(gè)示例,上下左右部分區(qū)域沒(méi)有加載圖片,所以顯示為空白。

圖6 按指定視域加載全景圖的結(jié)果Fig.6 The result of displaying in visual range by fragmentations

全圖加載與切片加載的速度分別為136毫秒和89毫秒。實(shí)驗(yàn)中發(fā)現(xiàn),加載整幅全景圖在顯示速度上出現(xiàn)明顯的延遲,這主要是全景圖顯示時(shí),需要進(jìn)行重采樣等一系列變換,渲染繪制十分耗時(shí)。而對(duì)于分片加載的全景客戶(hù)端而言,因?yàn)橐曈蛞欢?無(wú)論位于哪個(gè)顯示等級(jí),需要顯示的一般不會(huì)超過(guò)8張切片。這種機(jī)制下其渲染的效率很高而且十分穩(wěn)定。

4 結(jié)論與探討

從理論上來(lái)看,當(dāng)用戶(hù)瀏覽視域僅僅為全景的一部分時(shí),切片加載方法能夠按照視域范圍加載部分切片而不用加載整幅全景圖,這樣傳輸?shù)膱D像信息量少,加載的速度必然快。實(shí)驗(yàn)證明,本文的切片模型是一種高效的全景圖顯示模型,利用該切片模型實(shí)現(xiàn)全景圖在視域內(nèi)加載與顯示的效率大大高于全圖加載與顯示的效率,從而大幅度地提升了瀏覽的流暢性,可以很好地滿足網(wǎng)絡(luò)環(huán)境下用戶(hù)連續(xù)快速瀏覽的需要。可以預(yù)見(jiàn),當(dāng)整幅全景圖很大時(shí),切片加載與顯示速度的優(yōu)勢(shì)會(huì)更明顯。

這種按切片模型加載的客戶(hù)端不僅可以適用于簡(jiǎn)單的全景的展現(xiàn),而且結(jié)合電子地圖,可拓展基于位置的應(yīng)用。本文雖然僅針對(duì)全景圖的快速顯示研究,但該方法還可以為實(shí)現(xiàn)對(duì)全景圖的切換、街景以及帶有深度信息的全景圖的快速顯示提供參考。

[1]陳輝,龍愛(ài)群,彭玉華.由未標(biāo)定手持相機(jī)拍攝的圖片構(gòu)造全景圖[J].計(jì)算機(jī)學(xué)報(bào),2009(2):328-335.

[2]宋延爽,耿楠. 基于SURF算法的全景圖拼接技術(shù)研究與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與設(shè)計(jì),2012(12):4647-4665.

[3]蔡麗歡,廖英豪,郭東輝.圖像拼接方法及其關(guān)鍵技術(shù)研究[J]. 計(jì)算機(jī)技術(shù)與發(fā)展,2008(3):1-4,20.

[4]劉曉妮,盧奕南,楊華民,等.基于OpenCV的曲面全景投影算法研究[J].計(jì)算機(jī)仿真,2011(2):272-275,307.

[5]趙毅力,武仲科,張雁,等.基于圖結(jié)構(gòu)的全景圖自動(dòng)識(shí)別與拼接方法[J].計(jì)算機(jī)工程與設(shè)計(jì),2013(6):2067-2070.

[6]HAENSELMANN T, BUSSE M, KOPF S, et al. Multi perspective panoramic imaging[J]. Image and Vision Computing,2009,27:391-401.

[7]CHEN Hai-peng, SHEN Xuan-jing, LI Xiao-fei, et al.Bionic mosaic method of panoramic image based on compound eye of fly[J]. Journal of Bionic Engineering,2011,8:440-448.

[8]維基百科. Deep Zoom[EB/OL] http://en.wikipedia.org/wiki/Deep-Zoom,2012-10-23.

[9]高皓亮. 基于Google Map的空間數(shù)據(jù)整合技術(shù)[J/OL]. http://www.paper.edu.cn/releasepaper/content/200901-307,2009-01-08.

[10] 殷福忠,孫立民. 基于瓦片金字塔技術(shù)的地圖發(fā)布平臺(tái)開(kāi)發(fā)研究[J]. 測(cè)繪與空間地理信息,2010(5):16-17,20.

(編輯徐象平)

A model of fragmentations for displaying panoramic image quickly and implementation in the client

XIE Yuan-li1,2, YAO Jin2, XU Yun-bo3,ZHANG Rong-bin4, WANG Qin2

(1.School of Geographic and Oceanographic Sciences, Nanjing University, Nanjing 210093, China; 2.College of Urban and Environmental Science, Northwest University, Xi′an 710127, China; 3. Xi′an Branch, Esri China Information Technology Co., Ltd. , Xi′an 710075, China; 4.Shaanxi Province Institute of Water Resources and Electric Power Investigation and Design, Xi′an 710002, China)

Panoramic technology has become a part of 3D GIS, the purpose of this paper is to improve the efficiency of panoramic image real-time displaying in the network.This paper provides a model of cutting. Panoramic image is cut into fragments, and then compared with the whole panoramic image in the speed of loading and displaying based on the Flex technology at the same viewing area. Compared with whole loading methods, this model can improve the efficiency in the speed of loading and displaying panoramic image.

panoramic image; model of fragmentations; hierarchical fragmentation; display quickly

2014-10-11

陜西省水利廳科研基金資助項(xiàng)目(2013SIKJ-28)

謝元禮,男,湖南衡陽(yáng)人,西北大學(xué)副教授,南京大學(xué)博士生,從事遙感與GIS應(yīng)用研究。

TP399

ADOI:10.16152/j.cnki.xdxbzr.2016-01-020

猜你喜歡
全景圖分片球體
上下分片與詞的時(shí)空佈局
降低跨分片交易回滾概率的多輪驗(yàn)證方案
越來(lái)越圓的足球
計(jì)算機(jī)生成均值隨機(jī)點(diǎn)推理三、四維球體公式和表面積公式
分片光滑邊值問(wèn)題的再生核方法
親水與超疏水高溫球體入水空泡實(shí)驗(yàn)研究
膜態(tài)沸騰球體水下運(yùn)動(dòng)減阻特性
嫦娥四號(hào)月背之旅全景圖
基于模糊二分查找的幀分片算法設(shè)計(jì)與實(shí)現(xiàn)
環(huán)保概念股全景圖
安乡县| 威海市| 公主岭市| 二连浩特市| 东莞市| 乌兰察布市| 永和县| 昌平区| 昌都县| 丰县| 自贡市| 团风县| 千阳县| 松江区| 东明县| 中江县| 泽普县| 崇文区| 西乌珠穆沁旗| 会东县| 峨边| 古浪县| 伊宁县| 莫力| 陵水| 曲水县| 九龙县| 新兴县| 平阴县| 池州市| 汉川市| 冀州市| 耒阳市| 启东市| 石渠县| 闸北区| 南召县| 锦州市| 安福县| 齐河县| 定陶县|