李衛(wèi) 曹順 周永 尹晨旭
摘 ?要:為了讓全景視頻技術(shù)得到推廣應(yīng)用到更多的工程領(lǐng)域,在隧道施工領(lǐng)域達(dá)到智能化,更方便快捷全面的回看隧道施工過(guò)程,也為了通過(guò)全景視頻技術(shù)更好的對(duì)隧道施工實(shí)施監(jiān)控監(jiān)測(cè),文章闡述了在隧道施工過(guò)程中全景視頻如何采集、傳輸、播放的過(guò)程,以及全景視頻應(yīng)用所涉及的相關(guān)設(shè)備及技術(shù)。
關(guān)鍵詞:隧道施工;全景視頻;采集;呈現(xiàn)
中圖分類(lèi)號(hào):TP391.41 ? ? ? ? 文獻(xiàn)標(biāo)志碼:A ? ? ? ? 文章編號(hào):2095-2945(2020)01-0015-04
Abstract: In order to promote and apply panoramic video technology to more engineering fields, to achieve intelligence in the field of tunnel construction, to look back at the tunnel construction process more conveniently and comprehensively, and to better monitor the tunnel construction through panoramic video technology, this paper expounds the process of how to collect, transmit and play panoramic video in the process of tunnel construction, as well as the related equipment and technologies involved in the application of panoramic video.
Keywords: tunnel construction; panoramic video; acquisition; presentation
引言
進(jìn)入21世紀(jì)以來(lái),我國(guó)不論在經(jīng)濟(jì)、科技、國(guó)防等等方面都快速發(fā)展。這幾年我國(guó)在高鐵發(fā)展方面進(jìn)入世界一流,高鐵、鐵路、公路的建設(shè)規(guī)模和數(shù)量持續(xù)增長(zhǎng),高鐵、鐵路、公路的快速發(fā)展給隧道工程的發(fā)展帶來(lái)了不可多得的機(jī)遇,尤其我國(guó)在云南、貴州、重慶等多山地帶,有的隧道工程長(zhǎng)達(dá)十幾公里,隧道工程的修建縮短了總路程,節(jié)約時(shí)間,因此隧道工程的開(kāi)發(fā)對(duì)我國(guó)的交通起著至關(guān)重要的作用。
傳統(tǒng)隧道監(jiān)控檢測(cè)的方法就是使用普通攝像頭,普通攝像頭的拍攝角度不大于60°,拍攝范圍有局限性,存在盲區(qū),本文通過(guò)unity 3D把三維全景視頻和隧道施工監(jiān)控檢測(cè)整合在一塊,形成一個(gè)全新的隧道施工全景視頻,同時(shí)滿(mǎn)足監(jiān)控?zé)o死角,第三方檢測(cè)人員也可以通過(guò)全景視頻觀看施工情況,營(yíng)造出身在施工現(xiàn)場(chǎng)的場(chǎng)景,達(dá)到身臨其境的效果。
1 全景視頻的概念及相關(guān)技術(shù)相關(guān)設(shè)備
1.1 全景視頻的概念
全景[1]用英文表達(dá)是PANORAMIC,主要是符合人的雙眼所能達(dá)到的最大視角,即左右180度,垂直90度。全景主要就是360度全范圍所拍攝出來(lái)的照片或視頻。全景一般通過(guò)圖片和視頻來(lái)表示也就是我們常見(jiàn)的全景圖片和全景視頻。還有一個(gè)概念vr[2],我們經(jīng)常把它和全景概念混肴,全景視頻和全景圖片體現(xiàn)的是觀賞性能,我們不需要用任何設(shè)備直接用雙眼觀賞;vr主要體現(xiàn)在互動(dòng)方面,vr必須通過(guò)vr設(shè)備讓用戶(hù)通過(guò)htc[3]等設(shè)備沉浸在視頻圖片或游戲里面才能達(dá)到身臨其境的效果。
全景視頻簡(jiǎn)單來(lái)說(shuō),就是比普通的視頻多了一些角度。正常的視頻只能看一個(gè)角度,無(wú)法左右上下轉(zhuǎn)動(dòng)看其他場(chǎng)景,全景視頻能隨時(shí)上下左右轉(zhuǎn)動(dòng)360度觀看各個(gè)場(chǎng)景。全景視頻技術(shù)很早就已經(jīng)產(chǎn)生,目前來(lái)說(shuō)運(yùn)用的范圍不是太廣泛,主要在旅游、賣(mài)車(chē)、賣(mài)房、醫(yī)療觀賞等方面運(yùn)用比較多,2019年10月1日我國(guó)大閱兵就采用了全景視頻的播放技術(shù),使人民能從更多角度的觀看國(guó)慶大閱兵,不過(guò)全景視頻技術(shù)在隧道施工方面運(yùn)用的還寥寥無(wú)幾。
1.2 全景視頻涉及的相關(guān)技術(shù)
全景視頻之所以發(fā)展的緩慢主要是因?yàn)槿耙曨l占用的內(nèi)存太大相對(duì)于普通的視頻來(lái)說(shuō),如果使用普通的網(wǎng)絡(luò)傳輸全景視頻直接會(huì)卡死,目前5G網(wǎng)絡(luò)還沒(méi)開(kāi)始運(yùn)營(yíng),最好的辦法就是采用流媒體傳輸[4],通俗來(lái)講就是把全景攝像機(jī)拍攝的內(nèi)容直接轉(zhuǎn)化成asf格式,asf(asf即advanced streaming format)也是一個(gè)標(biāo)準(zhǔn),支持多種網(wǎng)絡(luò)環(huán)境多種協(xié)議下的數(shù)據(jù)傳輸,全景視頻的傳送是一個(gè)連續(xù)數(shù)據(jù)流,支持實(shí)時(shí)播放。全景視頻采用流媒體傳輸既能實(shí)時(shí)播放也能上下90度、左右180度旋轉(zhuǎn),實(shí)現(xiàn)過(guò)程入圖1所示:通過(guò)全景攝像機(jī)拍攝的全景視頻通過(guò)H.264編碼技術(shù)進(jìn)行編碼,然后通過(guò)流媒體技術(shù)傳輸?shù)組ysql實(shí)時(shí)數(shù)據(jù)庫(kù),再通過(guò)H.264編碼技術(shù)進(jìn)行編碼,使用unity 3d播放,如有需要也可以通過(guò)unity 3d加入文本、圖片等工程信息,通過(guò)unity 3d展現(xiàn)出來(lái)?;蛘呓尤雟r設(shè)備,用三維全景視頻的方式展現(xiàn)出來(lái)。
2 全景視頻的獲取
全景視頻的獲取主要有三種途徑,第一種最早出現(xiàn)的是CG[5]制作,也就是計(jì)算機(jī)動(dòng)畫(huà)(Computer Animation),通過(guò)3d max、maya等三維建模軟件,通過(guò)建造模型,貼圖渲染,添加攝像機(jī)等制動(dòng)動(dòng)畫(huà)來(lái)獲取全景視頻;第二種就是實(shí)拍圖像和計(jì)算機(jī)動(dòng)畫(huà)結(jié)合,中間需要注意的問(wèn)題是圖片拼接,處理不好會(huì)出現(xiàn)圖片或視頻錯(cuò)位的情況;第三種通過(guò)一體式全景攝像機(jī),拍攝出來(lái)的視頻直接就是我們需要的全景視頻,不需要考慮拼接的問(wèn)題,一體式全景攝像機(jī)現(xiàn)在已經(jīng)開(kāi)始慢慢普及。 本應(yīng)用通過(guò)一體式全景攝像機(jī)來(lái)獲取全集視頻,安裝在隧道中的剛模臺(tái)車(chē)上,雖然在拍攝的過(guò)程中鋼模臺(tái)車(chē)的立柱會(huì)影響全景攝像機(jī)的拍攝,不過(guò)對(duì)于掌子面的開(kāi)挖過(guò)程,隧道初期支護(hù),二襯等關(guān)鍵施工工序還是能完整拍攝下來(lái)的,期間需要注意的是拉土的貨車(chē)會(huì)影響到掌子面開(kāi)挖的拍攝,我們需要盡量減少影響,讓貨車(chē)快速通過(guò)都可以,全景攝像機(jī)的安裝具體如圖2所示。
3 全景視頻的處理
全景視頻目前來(lái)說(shuō)在很多領(lǐng)域已經(jīng)涉及,旅游、賣(mài)車(chē)、賣(mài)房、醫(yī)療觀賞包括今年的70周年國(guó)慶大典,我們都可以在網(wǎng)上觀看全景視頻,在YouTube等一些網(wǎng)站直接可以搜索觀看全景視頻,總體來(lái)說(shuō)全景視頻在國(guó)內(nèi)已經(jīng)比較成熟,我們所使用的一體式全景攝像機(jī)本身就包括全景視頻的錄制,全景視頻的編碼,有線網(wǎng)絡(luò)或者無(wú)線網(wǎng)絡(luò)的傳輸,我們可以直接通過(guò)電腦把全景視頻攝像機(jī)所拍攝的視頻傳輸?shù)組ysql實(shí)時(shí)數(shù)據(jù)庫(kù),我們需要播放的時(shí)候可以直接通過(guò)unity 3d進(jìn)行播放,如果我們想要進(jìn)行工程信息的疊加,比如:拍攝的全景視頻時(shí)間,具體隧道的樁號(hào),拱頂沉降的變化量,初期支護(hù)和二襯的厚度等工程信息,我們可以通過(guò)unity 3d處理一下然后在播放出來(lái)。
4 隧道施工全景視頻的播放
全景視頻在unity 3d[6]里面的播放是通過(guò)在unity 3d建立一個(gè)三維全景模型,三維全景模型則是一種將圖片或者視頻通過(guò)相關(guān)算法架構(gòu)一個(gè)立體空間展示周?chē)鷪D片或是視頻的呈現(xiàn)模式,常見(jiàn)的模型有立體全景模型和柱狀全景模型還有球面全景模型,具體如圖3。
(1)球面全景模型
球面全景模型如圖4所示,球面模型和人的雙眼最為接近,當(dāng)像素點(diǎn)分布在球面模型表面時(shí),我們觀看起來(lái)更容易有種逼真的感覺(jué),因?yàn)榍蛎媸且粋€(gè)曲面屬于非均勻采樣方式,空間坐標(biāo)不容易控制,容易出現(xiàn)扭曲錯(cuò)位的情況,不過(guò)這個(gè)缺點(diǎn)可以用增加像素點(diǎn)來(lái)控制,所以本次應(yīng)用我們采用的是球面全景模型。
(2)柱狀全景模型
柱面全景模型如圖5所示,柱面和球面比較相似,它和球面全景模型的區(qū)別是柱面的上面和下面可以豎向無(wú)線延伸,不過(guò)頂面和底面的視覺(jué)效果不是太好,不過(guò)柱面的側(cè)面展開(kāi)是個(gè)矩形,像素點(diǎn)可以規(guī)律排列,解決了球面模型容易出現(xiàn)視頻錯(cuò)位的情況,也不需要過(guò)多的像素點(diǎn),占用內(nèi)存比較小。
(3)立方體全景模型
立方體全景模型如圖6所示,立方體全景模型的提出完全是為了解決柱面全景模型和球形全景模型的像素點(diǎn)非線性排列的問(wèn)題,立方體都是垂直角度,便于像素點(diǎn)的排列和儲(chǔ)存,不過(guò)因?yàn)榱⒎襟w都是標(biāo)準(zhǔn)垂直,拍攝的圖片和視頻很難做到垂直對(duì)應(yīng),在實(shí)際應(yīng)用中存在著大量問(wèn)題,目前來(lái)說(shuō)全景視頻的拼接一般都不采用立方體全景模型。
隧道施工視頻的播放,我們采用球面全景模型,通過(guò)unity 3d 我們只需要建立一個(gè)球體模型然后添加紋理材質(zhì),紋理材質(zhì)可以是全景圖片也可以是全景視頻,我們添加的是一段施工視頻紋理。在unity3d 有個(gè)MovieTexture組件,我們可以通過(guò)MovieTexture播放添加在模型上的全景視頻,以下是開(kāi)發(fā)細(xì)節(jié):
(1)在unity 3d中建一個(gè)場(chǎng)景,并隨意命名,我們只需要在場(chǎng)景中建立一個(gè)球體模型并調(diào)節(jié)攝像機(jī)放在一個(gè)合理位置,球體模型和攝像機(jī)的位置坐標(biāo)都設(shè)置為(0,0,0)。
(2)建立Resouces文件夾,把全景視頻存入Resouces文件夾,并把全景視頻轉(zhuǎn)化為MovieTexture類(lèi)型的視頻紋理,具體代碼如下:
MovieTexture mt= Resources.Load
調(diào)用unity 3d的Renderer組件,mt為獲取到的是視頻紋理,我們把mt賦值給Renderer的material.mainTexture屬性,具體操作如下:
Sphere.GetComponent
//為球體模型賦值全景視頻紋理
mt.loop = true;
//設(shè)置全景視頻的播放模式
(3)第一步和第二步已經(jīng)能播放全景視頻,不過(guò)播放的視頻沒(méi)有聲音,我們需要利用unity 3d的Audio Source組件(實(shí)際還需要Audio Listener組件,只是Audio Listener組件已經(jīng)存在攝像機(jī)上所以不需要再做添加),和第二步一樣我們只需要調(diào)用Audio Listener組件然后為其賦值,代碼如下:
AudioSource as=Camera.main.GetComponent(typeof(AudioSource))as AudioSource;
as.clip = mt.audioClip;
(4)最后我們只需要同時(shí)播放音頻和全景視頻都可以,具體如下:
mt.Play()開(kāi)始播放視頻
mt.Pause()暫停播放視頻
mt.Stop()停止播放視頻
as.Play()開(kāi)始播放音頻
as.Pause()暫停播放音頻
as.Stop()停止播放音頻
具體如圖7隧道施工全景視頻的播放,屏幕下面有個(gè)進(jìn)度條,播放和暫??刂撇シ胚M(jìn)度,右上面是疊加得工程信息。
5 結(jié)束語(yǔ)
隨著計(jì)算機(jī)技術(shù)的發(fā)展,全景視頻被越來(lái)越多的應(yīng)用到生活的各個(gè)方面,這里我們把全景視頻應(yīng)用到工程領(lǐng)域隧道施工方面,我希望全景視頻以后在各種工程領(lǐng)域都能成熟運(yùn)用,房建施工、地鐵施工、深基坑開(kāi)挖等等,主要是能疊加各種施工信息,推動(dòng)工程領(lǐng)域信息化的發(fā)展。本文主要講述了全景攝像機(jī)如何在隧道施工中獲取全景視頻,以及如何處理全景視頻在unity 3d中播放出來(lái),疊加信息也是在unity3d中處理,提出了一種全景視頻的播放方式,我相信以后在工程領(lǐng)域之中全景視攝像機(jī)會(huì)慢慢的取代普通攝像機(jī),更好的監(jiān)控監(jiān)測(cè)施工數(shù)據(jù),成功的為工程項(xiàng)目做好的服務(wù)。
參考文獻(xiàn):
[1]張偉.全景視頻技術(shù)及應(yīng)用研究綜述[J].影視制作,2019,25(04):36-39.
[2]陳雨霞.VR技術(shù)在教學(xué)中的應(yīng)用[J].計(jì)算機(jī)產(chǎn)品與流通,2019(09):220.
[3]李玉勝,董保香,穆潔塵,等.基于Unity與HTC Vive的Delta機(jī)器人虛擬仿真實(shí)驗(yàn)[J].教育現(xiàn)代化,2019,6(58):291-292.
[4]曹嘉旺.基于HTTP2.0的流媒體服務(wù)器優(yōu)化策略的研究與設(shè)計(jì)[D].北京郵電大學(xué),2019.
[5]吳哲.影視制作中的CG技術(shù)應(yīng)用[J].數(shù)字通信世界,2019(05):216.
[6]尹大偉,張熙若,李歡歡,等.基于Unity3D的虛擬校園漫游系統(tǒng)及其關(guān)鍵技術(shù)研究[J].軟件工程,2019,22(09):17-19.