馬少典 童 雷
北京電影學(xué)院聲音學(xué)院,北京 100088
近年來,以虛擬現(xiàn)實 (VR)和增強現(xiàn)實 (AR)為基礎(chǔ)的虛擬建模仿真技術(shù)越來越多地應(yīng)用于影視拍攝的虛擬預(yù)演、大型文藝活動的場景仿真以及建筑空間的方案設(shè)計等領(lǐng)域,改變了過去主要基于靜態(tài)圖紙推演的設(shè)計方式。將虛擬仿真技術(shù)引入建筑空間的規(guī)劃與設(shè)計過程,能夠輔助評價與決策,為設(shè)計方案提供有益的參考??臻g聲景觀的虛擬仿真是上述設(shè)計手段的重要組成部分。
基于三維模型的虛擬仿真依賴于模型信息的準確記錄,目前比較主流的有BIM(建筑信息模型)技術(shù)和GIS(地理信息系統(tǒng))技術(shù)。籠統(tǒng)地說,GIS技術(shù)往往用于室外大面積地理空間的調(diào)查統(tǒng)計,生成的數(shù)據(jù)模型對于建筑物細節(jié)的描述較少,而BIM技術(shù)更適合建筑物及其室內(nèi)空間相關(guān)的模型數(shù)據(jù)?;贕IS(地理信息系統(tǒng))技術(shù)的聲景觀信息采集技術(shù),近年來有多位研究者結(jié)合實際的工程案例,初步總結(jié)了基本的實踐方法。虛擬仿真相關(guān)技術(shù)已經(jīng)越來越多地參與到聲景觀調(diào)研的實踐環(huán)節(jié),歐美國家在這方面的研究積累已有超過十年的時間。西班牙龐培法布拉大學(xué)的音樂科技小組 (Music Technology Group Universitat Pompeu Fabra)早在2011年就發(fā)表了關(guān)于虛擬聲景觀合成的研究成果,文章闡述了用于記錄聲景觀地理信息的 “聲音地圖”文件,并介紹了面向聲景觀數(shù)字合成的基礎(chǔ)參數(shù)結(jié)構(gòu)。該項目使用衛(wèi)星地圖Google Earth提供的地理位置標記功能,支持導(dǎo)出KML格式的地理信息數(shù)據(jù)文件。該技術(shù)用于聲景觀數(shù)據(jù)的管理,普及程度較高,被世界范圍內(nèi)許多聲景觀研究項目采用。2015年扈軍的博士論文則以西湖景區(qū)的聲景觀調(diào)研作為背景,詳細介紹了GIS數(shù)據(jù)從采集直到后期處理各階段的實踐過程。該論文比較系統(tǒng)地呈現(xiàn)了GIS技術(shù)介入聲景觀調(diào)研的工作方法,尤其是對調(diào)查區(qū)域的劃分和采樣點的選擇策略,值得參考。雖然研究的主體聚焦于聲景圖相關(guān)的數(shù)據(jù)處理與聲景圖的繪制,但文章中初步提出了虛擬現(xiàn)實技術(shù)在聲景觀調(diào)研中的應(yīng)用,具有一定參考價值。2016年凱瑟琳 (Catherine Lavandier)等人介紹了基于地理數(shù)據(jù)模型的聲景圖生成方法。研究著眼于城市聲景觀中交通、人聲以及鳥鳴聲等多種元素的分布密度規(guī)律,并探討了聲景觀空間密度的可視化,在此基礎(chǔ)上,研究了場景愉悅度指數(shù)的預(yù)測模型。該研究從數(shù)據(jù)可視化與參數(shù)預(yù)測的角度,探討了地理信息模型與聲景觀規(guī)劃預(yù)測之間的關(guān)聯(lián)。2019年桑得羅 (Sandro Sacchelli)等人展示了一套基于虛擬現(xiàn)實 (VR)技術(shù)與土地信息系統(tǒng) (Land Information System,LIS)的聲景觀采集、評估實踐案例,旨在借助上述多種技術(shù)輔助文化生態(tài)景觀的評估和管理。但是對于聲景觀的資產(chǎn)數(shù)據(jù)記錄以及信息管理方案,文中并未提及具體細節(jié)。同年,馬卡斯 (Berger Markus)等人利用虛擬現(xiàn)實 (VR)技術(shù),探索了第一人稱視角下城市聲環(huán)境的仿真系統(tǒng)方案。重點研究了大尺度空間環(huán)境中沉浸式視覺與聽覺要素的耦合程度,并對不同密度的采樣數(shù)據(jù)結(jié)果進行了對比。雖然主要以交通噪聲作為研究對象,但該研究將GIS信息系統(tǒng)中常用的City GML格式文件導(dǎo)入Unity3D游戲引擎,進而實現(xiàn)城市聲環(huán)境虛擬仿真建模,這樣的技術(shù)路線具有獨創(chuàng)性。2021年由Joo Young Hong等世界多位聲景觀研究學(xué)者聯(lián)合發(fā)表的論文 《基于增強現(xiàn)實系統(tǒng)自然聲補充的戶外聲景觀調(diào)研評價方法研究》將增強現(xiàn)實(AR)技術(shù)應(yīng)用于戶外聲景觀調(diào)研,系統(tǒng)性地介紹了項目所運用的架構(gòu)方案、場地分析方法、數(shù)據(jù)的采集方法以及處理方法。
值得注意的是,建筑物室內(nèi)空間也同樣存在著豐富的聲景觀。開展建筑室內(nèi)空間的聲景觀設(shè)計,尤其是在博物館、圖書館、餐廳等公共空間開展聲景觀的設(shè)計研究,具有廣闊的研究與應(yīng)用價值。將GIS技術(shù)運用于室外開放性空間的聲景觀研究成果豐富,但該技術(shù)現(xiàn)階段無法適用于建筑室內(nèi)空間小尺度的聲景觀調(diào)研。而將BIM技術(shù)的思想方法運用建筑室內(nèi)空間聲景觀研究與設(shè)計的案例相對較少,特別是聲景觀的重建與生成領(lǐng)域,目前還處于探索階段。在BIM技術(shù)的支持下,開展聲景觀的采集與資產(chǎn)管理方法的研究,具有獨特的價值。
聲景觀調(diào)研資料和實地采集的錄音素材,是虛擬仿真場景中的重要資產(chǎn)。在筆者撰寫的另一篇文章 《面向虛擬聲景觀重建的素材采集方法研究》中總結(jié)了聲景觀素材采集與管理的基本工序框架,如圖1所示。尤其是在數(shù)字孿生城市這樣的大規(guī)模虛擬仿真項目中,為了實現(xiàn)聲景觀的虛擬重建,需要記錄的資產(chǎn)信息類型種類繁雜。因此更加需要選擇一種簡便易行的信息記錄工具,并根據(jù)聲景觀調(diào)研的特點進一步完善工具的功能,作為連接現(xiàn)場采集記錄與虛擬仿真引擎之間的信息管理中介。有了這樣的中間媒介,現(xiàn)場采集人員無需花費大量精力用于學(xué)習(xí)虛幻引擎的資產(chǎn)管理和腳本編寫的具體方法,就可以快速投入工作,形成完整且符合使用規(guī)范的資產(chǎn)信息,供應(yīng)給后續(xù)的建模環(huán)節(jié)。我們將這樣的中介工具稱為聲景觀虛擬仿真的中間件。
圖1 虛擬聲景觀重建流程框架
Sketch Up是一款主流的三維模型建模軟件,在建筑原型設(shè)計、風(fēng)景園林規(guī)劃、機械與產(chǎn)品設(shè)計等領(lǐng)域有著廣泛的應(yīng)用,諸如Unreal Engine和Unity3D等主流游戲引擎平臺對Sketch Up模型文件的兼容也日趨穩(wěn)定。Sketch Up軟件的產(chǎn)品定位是為用戶提供快速、簡便的三維模型創(chuàng)建功能,因此軟件的體積較為輕量化,且用戶的操作方式相較其他三維建模軟件更加直觀,能夠讓用戶在很短時間內(nèi)展示出概略的三維設(shè)計構(gòu)想。該軟件同時也支持控制臺中的腳本控制,開放了基于Ruby語言的API接口,支持開源插件的拓展。此外,Sketch Up具備靈活高效的多用戶協(xié)作功能,能夠?qū)⒋笠?guī)模復(fù)雜場景下的工作任務(wù)拆分給多個用戶協(xié)作完成。上述這些特點是Sketch Up平臺的基本特點,也是它的重要優(yōu)勢。依據(jù)這些特性,Sketch Up非常適合作為聲景觀資產(chǎn)的采集的輔助工具,完成空間音頻素材以及各類屬性信息的記錄整合工作。筆者選取Sketch Up作為中間件,記錄素材采集過程相關(guān)的各類資產(chǎn)信息。
依據(jù)虛幻引擎對三維聲格式的支持情況,綜合考慮適用于聲景觀設(shè)計的空間音頻錄制與重放技術(shù),現(xiàn)階段記錄聲景觀整體聲場的素材采集宜以一階Ambisonics話筒制式 為 主。由 Ambisonics格式錄制的空間音頻文件在重放時需要明確錄制時選用的聲道順序格式以及話筒指向的姿態(tài)。作為三維建模平臺,Sketch Up能夠非常便捷地改變?nèi)S物體在模型中的擺放位置。素材采集話筒所處的空間位置由三維模型的 (X,Y,Z)直角坐標系表示,而話筒軸的指向由 (Rotx,Roty,Rotz)旋轉(zhuǎn)角度表示 (例如Rotx表示以X軸為旋轉(zhuǎn)軸的旋轉(zhuǎn),用角度值表示)。記錄方法非常直觀,利用Sketch Up基礎(chǔ)的模型編輯功能,可將話筒模型 (或簡化模型)擺放到三維場景模型中對應(yīng)的空間位置和指向,以此記錄實地采集所在的空間位置和話筒的空間位置信息。Sketch-Up模型完成后,導(dǎo)入DataSmith,就能自動轉(zhuǎn)換為虛幻引擎所使用的坐標體系。虛幻引擎 (UE)提供了數(shù)字資產(chǎn)的調(diào)用接口模塊,在面對較大規(guī)模的聲景觀素材導(dǎo)入處理任務(wù)時,能夠大幅度提高工作效率。如圖2所示,虛幻引擎中空間音頻素材的重放可以通過調(diào)用Blueprint中的 “Play Sound at Location”模塊實現(xiàn)。
圖2 “Play Sound at Location”模塊
除了采用手工編輯的方法記錄話筒的空間位置與姿態(tài)之外,還可以考慮搭建基于傳感器的話筒姿態(tài)追蹤系統(tǒng)。該系統(tǒng)的基本原理是讀取位置或加速度傳感器的數(shù)據(jù),將數(shù)值標準化轉(zhuǎn)換后,傳入Sketch Up開源的API接口模塊Geom下的標準構(gòu)造類Transformation(幾何變形)。利用改構(gòu)造類下屬的Translation與Rotate等方法,刷新模型的幾何位置信息。姿態(tài)識別控制系統(tǒng)的基本原理如圖3所示。據(jù)資料顯示,在一項名為 “虛擬3D設(shè)備接口”(Virtual 3D Device Port)的原型實驗項目中,開發(fā)者成功實現(xiàn)了姿態(tài)傳感器與Sketch Up模型之間的交互控制。實現(xiàn)原理如下:加速度傳感器固定在話筒上,識別姿態(tài)相關(guān)參數(shù)Aarduino控制器發(fā)送到指定的端口,再由Ruby腳本偵聽相應(yīng)的端口,從而讀取Arduino與Sketch Up之間的串口通信。將讀取到的對應(yīng)參數(shù)傳遞到Sketch Up的物理仿真插件Sketchy Physics Inspector模塊的對應(yīng)變量中,最后由該仿真插件實時更新被監(jiān)測話筒的位置與姿態(tài)信息。該技術(shù)可有效服務(wù)于復(fù)雜場景中大規(guī)模聲景觀采集過程的位置與角度信息記錄工作,提高采集與建模全流程的工作效率。
圖3 傳感器控制Sketch Up模型姿態(tài)的系統(tǒng)原理圖
參數(shù)生成的方法越來越多地應(yīng)用于城市規(guī)劃與建筑設(shè)計,虛擬場景建模的范疇已經(jīng)不局限于對建筑模型幾何尺寸、表面材質(zhì)等視覺層次的表現(xiàn),近年來的虛擬場景建模廣泛融合了模型的參數(shù)信息。虛幻引擎內(nèi)置的DataSmith導(dǎo)入機制也為諸如Sketch、Revit等三維建模軟件的文件數(shù)據(jù)以及IFC、FBX等三維格式的數(shù)據(jù)交換提供了便利。上述多種類型的屬性信息,是虛擬仿真場景中的重要資產(chǎn)。他們對于聲景觀素材采集與管理全周期中的各個環(huán)節(jié),有著重要的參考意義。
IFC是工業(yè)基礎(chǔ)分類 (Industry Foundation Classes)的縮寫,是描述建筑結(jié)構(gòu)物模型信息的工業(yè)標準。BIM技術(shù)的實現(xiàn),需要一套跨平臺可交換的數(shù)據(jù)格式。而IFC標準是BIM業(yè)界公認度較高的一種數(shù)據(jù)格式,自1996年發(fā)布1.0版本后,多年來不斷地迭代更新。根據(jù)IFC的官方組織buildingsmart發(fā)布的文檔,IFC 4.3已于2021年6月更新到了rc4版本。但目前主流BIM平臺軟件兼容程度最好的版本仍是2005年頒布的IFC 2X3 TC。IFC采用了開源的文件格式,支持SPF、ifc XML以及ifcZIP等多種不同的文件格式,并以ASCII編碼形式存儲,因此用戶可以自然直觀地讀解文件的內(nèi)容,修改與維護也比較直觀。依托IFC分類標準,在BIM模型中,每個獨立的構(gòu)件或模型對象都可以擁有可識別且全局唯一的身份編碼,模型對象附帶的分類信息以及相關(guān)的屬性信息也將完整地記錄在模型數(shù)據(jù)文件中。
當前,隨著BIM技術(shù)在建筑模型數(shù)據(jù)管理的應(yīng)用逐漸成熟,Sketch Up平臺面向BIM技術(shù)的發(fā)展趨勢,嵌入了以IFC為內(nèi)核的模型實體分類 (Entity C lassification)功能。同時也出現(xiàn)了以IFC Manager為代表的IFC分類管理插件。用戶可以利用該管理模塊提供的屬性拓展窗口,將素材資產(chǎn)的相關(guān)信息作為元數(shù)據(jù)寫入Sketch Up模型文件中。模型元數(shù)據(jù)經(jīng)過Datasmith的導(dǎo)入操作,成為虛幻引擎中靜態(tài)網(wǎng)絡(luò) (Static Mesh)類對象 (Actor)的用戶定義屬性。Sketch Up默認采用ISO/PAS 16739:2005即IFC 2X3 TC中規(guī)定的方法進行實體分類。雖然該標準是目前普及度最高、兼容性最強的IFC基礎(chǔ)分類標準,但缺點也比較明顯:IFC 2X3 TC標準中出現(xiàn)的一部分與建筑聲學(xué)測量相關(guān)的預(yù)定義參數(shù),例如傳感器實體 (IfcSensor)、聲學(xué)測量值(IfcSound Value)、聲功率測量值 (IfcSound Power-Measure)以及聲壓級測量值 (IfcSoundPower Measure)等,這些參數(shù)尚未集成在一個功能性明確的分類領(lǐng)域內(nèi),導(dǎo)致IFC 2X3的分類體系不能很好地適應(yīng)未來面向虛擬仿真環(huán)境聲景觀重建與生成的數(shù)據(jù)需要。盡管Sketch Up內(nèi)部提供了簡單的模型屬性拓展,但拓展出的屬性不能很好地服務(wù)于聲景觀素材采集以及更寬泛的聲景觀調(diào)研工作。因此,有必要在原有分類規(guī)則的基礎(chǔ)上,新增適用于聲景觀調(diào)研的對象分類,并拓展模型屬性。圖4展示了實體信息(Entity Info)模塊,其中的高級屬性(Advanced Attributes)一欄顯示了由Sketch-Up2019版提供的默認屬性字段。
圖4 Sketch Up實體屬性信息窗口
根據(jù)筆者的試驗,由建筑師Jan Brouwer開發(fā)的Sketch Up拓展插件IFC Manager,能夠支持拓展屬性的自主定義。使用方法是在插件運行后,點擊話筒模型實體并調(diào)出其組件屬性窗口,就可以手動添加該類型的實體的屬性。在聲景觀調(diào)研工作啟動前,編輯好各類型的話筒模型的原型,在使用過程中復(fù)制最初設(shè)置好的原型,即可完整地保留最初設(shè)計好的屬性集結(jié)構(gòu)。前文提到的聲景觀調(diào)研所關(guān)注的各種類型的屬性均可利用類似的原理進行拓展。為演示屬性拓展的基本方法,筆者在表示Ambisonics話筒的模型實體AMB_Mic拓展定義了名為Channel_Type和DATE兩個屬性字段。如圖5最右側(cè)的窗口所示,該屬性的單元類型為文本(Text),具體的顯示規(guī)則為 “可從列表中選擇”,最后制訂了列表的鍵值選項。實際使用時,得益于事先定義好的屬性結(jié)構(gòu),可以快速開展聲景觀素材屬性的記錄工作。
圖5 IFC Manager插件屬性信息設(shè)置窗口
另一種屬性拓展的方法是由用戶自主定義IFC的模型分類模式 (Classification Schema)。Sketch-Up所支持的分類模式文件為XSD(XML Schemas Definition)文件,它是對XML文件格式的預(yù)定義。利用專門的XSD編輯環(huán)境,可對XSD文件進行優(yōu)化改造。IFC文件分類模式的拓展方法一般分為:基于IfcProxy的派生類型拓展、新增實體類型與屬性集拓展三類。
面向聲景觀調(diào)研的需求,IFC分類模式的拓展技術(shù)還需要更多篇幅深入討論,此處僅演示一種簡要的實現(xiàn)方法:筆者選取IFC 2x3的標準XSD作為原型,采用了新增派生實體的方法,在分類模式原型已有類型IfcSpace的基礎(chǔ)上,拓展出了自定義類型 “_ifc_soundspot”。在該類型增加了表示素材文件名稱和錄音話筒制式的兩個屬性 “File_Name”和 “Mic_Type”,數(shù)據(jù)類型分別為字符串和枚舉類型 “_ifc Mic TypeEnum”。在XSD文件中,枚舉類型 “_ifc Mic TypeEnum”的定義需要先于使用它的屬性字段,本例選取了幾種常見的話筒制式縮寫作為枚舉類型的可選項。對該枚舉類型的定義語句如下:
新拓展出的XSD文件命名為 “Schema_ex_demo01”,導(dǎo)入Sketch Up的分類模式管理器后,即可在實體信息窗口的 “Type”一欄按照新拓展的分類模式 “Schema_ex_demo01”中選擇剛剛拓展的 “_ifc_soundspot”類型。用戶可在插件窗口找到并編輯 “File_Name”和 “Mic_Type”兩個屬性。由此,實現(xiàn)了對模型信息數(shù)據(jù)結(jié)構(gòu)的拓展使用。XSD的編輯環(huán)境以及加載XSD后在Sketch Up中看到的拓展屬性編輯窗口,如圖6所示。
圖6 XSD分類結(jié)構(gòu)模式文件的拓展定義
按照筆者介紹的數(shù)據(jù)結(jié)構(gòu)拓展方法,Sketch Up作為聲景觀調(diào)研以及資產(chǎn)管理的中間件,可以完成聲景觀資產(chǎn)屬性的記錄與整合工作。
目前虛幻引擎的DataSmith機制已經(jīng)具備了Sketch、Revit等三維模型工程文件以及IFC、FBX等模型數(shù)據(jù)格式的導(dǎo)入功能,在導(dǎo)入過程中會自動對模型的幾何坐標系和計量單位進行匹配轉(zhuǎn)換。經(jīng)過測試,對于素材采集點坐標和采集姿態(tài)的導(dǎo)入準確,精度能夠滿足虛擬聲景觀重建的要求。與模型對象相關(guān)的基礎(chǔ)分類信息以及基本屬性,能夠準確導(dǎo)入到虛幻引擎中。后續(xù)作為資產(chǎn)信息,可以直接在虛幻引擎內(nèi)依據(jù)不同的場景需要高效地調(diào)用各素材采集點所對應(yīng)的聲景觀素材資產(chǎn)。Skech Up原生支持IFC 2X3分類模式,在此分類模式下選擇模型實體類型后,就可以寫入其他的高級屬性數(shù)據(jù)(Advanced Attribues)。用戶可以將模型的屬性數(shù)據(jù)導(dǎo)出為IFC格式文件,依賴于DataSmith機制轉(zhuǎn)換為元數(shù)據(jù),進而成為虛幻引擎中資產(chǎn)對象的 “資產(chǎn)用戶數(shù)據(jù)”(Asset User Data),如圖7所示。
圖7 虛幻引擎的資產(chǎn)數(shù)據(jù)窗口
目前數(shù)據(jù)交換環(huán)節(jié)存在的限制在于Sketch Up平臺導(dǎo)出的IFC文件的數(shù)據(jù)結(jié)構(gòu)僅包含IFC 2X3版本的標準分類目錄及其對應(yīng)的屬性集,而由用戶自定義拓展的XSD所攜帶的自定義屬性字段及其數(shù)值無法成功地嵌入導(dǎo)出的IFC格式文件中,由此導(dǎo)致數(shù)據(jù)無法完整傳遞到虛幻引擎中。
現(xiàn)階段的適應(yīng)性解決方案是利用虛幻引擎專門為Sketch Up平臺開發(fā)的模型文件的格式轉(zhuǎn)換與導(dǎo)出插件Datasmith Exporter for Sketch Up。該插件的作用是將Sketch Up三維模型數(shù)據(jù)轉(zhuǎn)化為虛幻引擎中的場景存儲在 “*.udatasmith”格式文件當中,該格式文件可由XML文件編輯器打開。用戶自主定義的拓展屬性能夠以元數(shù)據(jù) (Metadata)的形式存儲。這些元數(shù)據(jù)信息作為獨立的Xml元素,存儲在整個文件的尾部 (圖8)。與擺放在模型中的話筒位置相對應(yīng),每條元數(shù)據(jù)擁有獨立的身份標識。將這些元素導(dǎo)出為Xml文件,在虛幻引擎建模階段,配合使用藍圖 (Blueprint)腳本所提供的各種元數(shù)據(jù)解析調(diào)用模塊,即可實現(xiàn)資產(chǎn)屬性的綜合利用。Sketch Up平臺在未來將會不斷升級對新版IFC標準以及用戶自定義拓展屬性的導(dǎo)出功能,作為中間件的模型數(shù)據(jù)文件將會與虛幻引擎之間實現(xiàn)高效的數(shù)據(jù)交換。
圖8 udatasmith文件中的元數(shù)據(jù)
筆者首先分析了近年來虛擬仿真技術(shù)融入聲景學(xué)調(diào)研的發(fā)展趨勢,研究了近年具有代表性的研究案例。以虛擬仿真模型中的聲景觀資產(chǎn)采集與管理為研究背景,依據(jù)虛擬聲景觀建模的工作流程,提出了聲景觀建模中間件的適配與優(yōu)化問題。將Sketch Up軟件平臺作為聲景觀調(diào)研與建模的中間件,目的在于輔助聲景觀素材快速采集與重建流程中的信息采集與管理,節(jié)約人員和管理成本,提高工作效率。文章給出了基于Sketch Up平臺記錄聲景觀資產(chǎn)信息的完整解決方案,初步設(shè)計了話筒位置信息的記錄方法,重點探索了Sketch Up平臺基于IFC分類模式的對象屬性拓展方法。
筆者初步提出了基于IFC數(shù)據(jù)格式的屬性拓展方案,但IFC分類模式的拓展涉及到的技術(shù)細節(jié)龐雜,仍然具有較大的探索空間,計劃未來撰寫專門的文章深入討論。此外,本文分析了當前資產(chǎn)管理中間件與游戲引擎平臺之間在數(shù)據(jù)交換環(huán)節(jié)存在的局限性,為后續(xù)優(yōu)化研究工作找到了優(yōu)化改進的方向。因此,下一階段的研究將會更深入地結(jié)合游戲引擎中聲景觀重建與生成的實施過程,進一步優(yōu)化聲景觀資產(chǎn)信息的管理方法。?