高翔 魏陽洋 葉學(xué)義 鄒如夢洋 葉學(xué)義 鄒如夢
摘 要:體數(shù)據(jù)邊界信息直接決定可視化效果,而傳遞函數(shù)設(shè)計是實現(xiàn)可視化的關(guān)鍵。雖然基于LH直方圖的傳遞函數(shù)能夠顯著提高邊界區(qū)分能力,但現(xiàn)有方法由于LH值計算效率低,無法滿足實時交互需求。因此,提出一種基于區(qū)域空間的LH直方圖傳遞函數(shù)方法,可限定直方圖計算空間,與現(xiàn)有基于閾值的LH傳遞函數(shù)方法相比,節(jié)省了近50%的計算耗費(fèi)時間,同時能夠?qū)崿F(xiàn)較好的繪制效果。
關(guān)鍵詞:可視化;傳遞函數(shù);邊界;LH直方圖;區(qū)域空間
DOI:10. 11907/rjdk. 191510 開放科學(xué)(資源服務(wù))標(biāo)識碼(OSID):
中圖分類號:TP317.4 文獻(xiàn)標(biāo)識碼:A 文章編號:1672-7800(2020)002-0144-05
英標(biāo):Underwater Acoustic Data Algorithm Based on Region Space LH Histogram Transfer Function
英作:GAO Xiang,WEI Yang-yang,YE Xue-yi,ZOU Ru-meng
英單:(College of Communication Engineering,Hangzhou Dianzi University,Hangzhou 310018,China)
Abstract: The boundary information of the volume data directly determines the visualization effect, and the design of the transfer function is the key to visualization. Although the transfer function based on the LH histogram can significantly improve the distinguishing ability of the boundary, the existing method cannot meet the requirement of real-time interaction because the LH value is computationally inefficient. This paper proposes a method based on region space LH histogram transfer function, which defines the computation space of the histogram. Compared with the existing threshold-based LH transfer function method, it saves nearly 50% of the computational cost while maintaining a good rendering effect.
Key Words: visualization;transfer function;boundary;LH histogram;region space
0 引言
進(jìn)入21世紀(jì)以來,隨著生產(chǎn)力的發(fā)展以及人口的不斷增加,資源短缺一直是困擾人類的一大難題,而海洋占據(jù)著地球71%的表面積,蘊(yùn)藏著豐富的能源和礦產(chǎn)資源。為了充分開發(fā)海洋資源,獲取海洋信息并對其進(jìn)行處理則顯得尤為重要。在對海洋資源的探索利用過程中,水聲技術(shù)[1]的發(fā)展是極為重要的一環(huán),其中通過聲納采集的數(shù)據(jù)繪制出易于觀測的三維可視化圖像是目前的研究重點。體繪制(Volume Rendering)技術(shù)[2]能夠展現(xiàn)三維數(shù)據(jù)的整體信息及內(nèi)部結(jié)構(gòu),因此是三維可視化的重點,其處理流程包括數(shù)據(jù)獲取、預(yù)處理、分類映射、繪制顯示等操作[3]。
設(shè)計出令人滿意的傳遞函數(shù)是體繪制技術(shù)的重點[4]。傳遞函數(shù)能夠?qū)Ⅲw數(shù)據(jù)的灰度值、梯度幅值等數(shù)據(jù)屬性映射成易于觀測的顏色、不透明度等光學(xué)屬性,通過調(diào)整傳遞函數(shù),用戶可以凸顯體數(shù)據(jù)中感興趣的物質(zhì),產(chǎn)生更具信息量的可視化結(jié)果[5]。
傳遞函數(shù)設(shè)計問題是可視化研究的十大難題之一[6],引起了眾多科研工作者的關(guān)注。目前傳遞函數(shù)設(shè)計方法[7]主要分為圖像中心法和數(shù)據(jù)中心法。其中圖像中心法[8]主要根據(jù)用戶主觀判斷或借助某些圖像評價指標(biāo),如圖像信息熵等,以繪制出的圖像為驅(qū)動回饋到原有設(shè)計方法,并選擇可視化效果較好的繪制結(jié)果;數(shù)據(jù)中心法[9]通過設(shè)計合適的數(shù)據(jù)輸入屬性,比如一階梯度幅值、二階梯度幅值、曲率[10]、紋理[11]、空間信息[12]、密度—距離[13]等加以實現(xiàn)。因為用戶很難對抽象的數(shù)據(jù)屬性進(jìn)行設(shè)計,所以數(shù)據(jù)中心法一般采用直方圖形式進(jìn)行設(shè)計,用戶也能夠直觀感受到數(shù)據(jù)屬性,并幫助用戶選取感興趣區(qū)域,同時也能提高繪制效果。因此,本文研究重點便是采用數(shù)據(jù)中心法設(shè)計傳遞函數(shù)。
在數(shù)據(jù)中心法中,最簡單的是一維傳遞函數(shù)設(shè)計,即直接將灰度屬性映射成不透明度值和顏色值。然而,一維傳遞函數(shù)難以處理更為復(fù)雜的特征,故很多學(xué)者開始研究二維或更高維的傳遞函數(shù)。早在1988年,Levoy[14]即通過加入梯度幅值屬性,結(jié)合體數(shù)據(jù)灰度值設(shè)計出經(jīng)典的基于灰度—梯度幅值的二維直方圖傳遞函數(shù);Kindlmann&Dukin[15]利用三維體數(shù)據(jù)統(tǒng)計信息區(qū)別不同物質(zhì)邊界,通過灰度值、梯度幅值以及沿著梯度方向上的二階導(dǎo)數(shù)定義三維統(tǒng)計直方圖;董現(xiàn)玲等[16]提出基于曲率保留上下文傳遞函數(shù),在保留的原上下文基礎(chǔ)上,引入曲率信息并去除光照因子影響、增強(qiáng)邊界,保留深度信息;Tzeng等[17]通過高維分類實現(xiàn)體數(shù)據(jù)的可視化,設(shè)計所需的數(shù)據(jù)屬性包括:灰度值、梯度幅值、最近鄰以及空間位置信息等,為醫(yī)學(xué)體數(shù)據(jù)標(biāo)記出感興趣區(qū)域并通過分類器進(jìn)行訓(xùn)練,提高了分類準(zhǔn)確性;Lan等[18]在灰度—梯度幅值的二維傳遞函數(shù)基礎(chǔ)上提出一種新的邊界分離方法,通過計算邊界連通性將其映射到二維直方圖中,可以很好地分離邊界并用不同顏色進(jìn)行渲染;Chen等[19]提出基于S-KA直方圖的二維傳遞函數(shù),首先通過體素灰度值機(jī)器K近鄰的平均灰度值構(gòu)造S-KA直方圖,然后根據(jù)其找出與內(nèi)部體素特征相似的邊界體素,從而劃分出不同的類;Sereda等[20]提出一種便于選擇的新型多維傳遞函數(shù),稱為LH直方圖傳遞函數(shù),解決了不同邊界由于梯度值和灰度值相似導(dǎo)致不透明度值相似的問題;Nguyen等[21]利用均值漂移聚類以及分層聚類對相似體素進(jìn)行分組,之后為每個簇生成傳遞函數(shù),提高了可視化效果;Wang等[22]提出在構(gòu)造 LH 直方圖時進(jìn)行邊界體素預(yù)判斷,并根據(jù)構(gòu)造出的直方圖設(shè)計傳遞函數(shù),通過光線投射算法繪制體數(shù)據(jù),在最終的繪制結(jié)果中能夠較為準(zhǔn)確地查找各物質(zhì)間的邊界,且大幅提升了繪制速度;楊飛[9]提出基于LH直方圖的三維空間區(qū)域增長算法,加入體數(shù)據(jù)的三維空間信息,并與LH空間信息相結(jié)合對體素進(jìn)行分類,輔助設(shè)計傳遞函數(shù)。本文在Sereda提出的LH直方圖傳遞函數(shù)基礎(chǔ)上,通過劃分體數(shù)據(jù)區(qū)域空間,以達(dá)到減少FL值與FH值計算量、提高繪制效率的目的。
1 LH直方圖傳遞函數(shù)設(shè)計
1.1 LH直方圖傳遞函數(shù)
在設(shè)計灰度—梯度幅值的二維傳遞函數(shù)時,如果僅用梯度幅值進(jìn)行設(shè)計,則可能出現(xiàn)不同邊界兩個拱形相互重疊的情況,產(chǎn)生邊界歸屬問題,也不能被正確區(qū)分開來,同時體數(shù)據(jù)會出現(xiàn)連續(xù)變化、偏壓等問題,導(dǎo)致拱形移位與縮放現(xiàn)象,加重了重疊問題,使邊界區(qū)分更加困難。如圖1所示,[F1]、[F3]的邊界與[F0]、[F2]的邊界在映射到的灰度—梯度幅值直方圖中呈現(xiàn)出的拱形區(qū)域發(fā)生了重疊現(xiàn)象,使重合的部分區(qū)域歸屬問題產(chǎn)生歧義。針對這一現(xiàn)象,Sereda[12]于2006年提出便于選擇的LH直方圖傳遞函數(shù)方法,用于解決不同邊界由于梯度幅值和灰度值相似導(dǎo)致不透明度值相似的問題。與邊界連接的低密度值物體灰度值被標(biāo)記為FL,與邊界連接的高密度值物體灰度值被標(biāo)記為FH。
LH直方圖是二維直方圖,其[X]、[Y]坐標(biāo)軸分別對應(yīng)FL和FH。計算出體數(shù)據(jù)中所有體素的FL值和FH值后,通過坐標(biāo)(FL,F(xiàn)H)累計構(gòu)建二維LH直方圖。如圖2所示,沿著從[XL]出發(fā)的射線,經(jīng)過物體空間L與物體空間H的邊界[XS],到達(dá)[XH],其中[XL]、[XH]點對應(yīng)物體空間內(nèi)的點,呈現(xiàn)到直方圖上的是對角線上的點,此時FH=FL,而邊界[XS]點對應(yīng)直方圖對角線上方的點,此時FH>FL。圖2為LH值計算示意圖。
1.2 LH直方圖構(gòu)造
采用二維FL-FH空間取代傳統(tǒng)二維灰度—梯度幅值空間構(gòu)造LH直方圖,其優(yōu)勢在于在LH直方圖中,體數(shù)據(jù)中所有邊界都是用點組成的,而非弧線,因而能有效避免重疊問題,同時對傳遞函數(shù)進(jìn)行交互設(shè)計時,選取點也比選取弧線容易,且更為準(zhǔn)確。設(shè)定所有體素都位于邊界上或物體空間內(nèi)部,并且FH值總是大于FL值,因此在LH直方圖中只有對角線上半部分有點,并且對角線上的點對應(yīng)為物體空間內(nèi)部體素,其余都為邊界體素。首先用中心差分法計算出每個體素[(x,y,z)]歸一化的梯度幅值[(a,b,c)],以決定該體素是否是邊界體素。若梯度幅值小于設(shè)定的梯度閾值,則認(rèn)為該體素為物體空間內(nèi)部體素,并且FL值與FH值相等。將其灰度值設(shè)為FL值與FH值,并且投影到LH直方圖對角線上。如果梯度幅值大于梯度閾值,則需要找到形成邊界的FL值和FH值,采用二階Runge-Kutta公式進(jìn)行計算,如式(1)所示。計算方法為在梯度場中沿某個體素的前后兩個方向積分,得到一條積分路徑,當(dāng)找到FL和FH時停止積分,以此確定邊界體素的FL和FH值。
其中,[h]為積分步長,[K1]是[F(xi)]在體素[xi]處的一階導(dǎo)數(shù),[K2]是[F(xi+1)]在體素[xi+1]處的一階導(dǎo)數(shù),且[xi+1=][xi+h]。
FL與FH值計算流程如圖3所示。
遍歷體數(shù)據(jù)集中所有體素后,將所有FL值和FH值映射到LH坐標(biāo)系中,便可得到LH直方圖。在理想情況下,屬于同一邊界的體素原本應(yīng)該有著相同的FL和FH值,但受到噪聲影響,這些體素的FL和FH值會逐漸發(fā)生變化。在LH直方圖中表現(xiàn)為對于相同的FL,對應(yīng)的FH變化會出現(xiàn)垂直延伸的點集現(xiàn)象,相反則產(chǎn)生水平延伸的點集現(xiàn)象,如圖4所示。
1.3 基于區(qū)域空間的LH直方圖傳遞函數(shù)
在給定的體數(shù)據(jù)中選擇一個適當(dāng)?shù)膮^(qū)域空間[Z],對該區(qū)域中的每個體素選擇相鄰26鄰域內(nèi)體素,并計算其與相鄰體素的均值[m]與方差[σ]。計算公式如下:
其中,[Vp]表示某個體素的標(biāo)量值或灰度值,[pi]表示在區(qū)域空間中與體素[p]相鄰的體素,[n]代表區(qū)域空間[Z]中所有體素之和,可采用以下公式得出邊界方差:
其中,[r]是估計范圍值,[Sinner]是內(nèi)部體素集,[Sboundary]是邊界上的體素集。當(dāng)某體素與區(qū)域[Z]體素之間的方差超過范圍[r],該體素則被認(rèn)為是邊界體素。
當(dāng)[σ 2 實驗結(jié)果與分析 本實驗采用兩組三維水聲體數(shù)據(jù),數(shù)據(jù)一的大小是768*300*41,數(shù)據(jù)二的大小是768*440*41。兩組數(shù)據(jù)都有水下環(huán)境的分層,并且在分層中都有疑似目標(biāo)物存在,可以作為實驗數(shù)據(jù)。本文所有實驗在一臺安裝Windows 10系統(tǒng)的PC上進(jìn)行,電腦顯示分辨率為1 600*900,處理器為3GHz,內(nèi)存大小為4G。在C++基礎(chǔ)上,通過Visual Studio 2010軟件編程實現(xiàn)基于區(qū)域空間的LH直方圖傳遞函數(shù)設(shè)計,并通過VTK可視化工具包實現(xiàn)三維水聲數(shù)據(jù)顯示。 由于基于閾值的LH傳遞函數(shù)設(shè)計方法相比基于區(qū)域空間LH傳遞函數(shù)的設(shè)計方法,能夠計算出整個體數(shù)據(jù)的FL和FH值,使映射到LH傳遞函數(shù)上的值更為準(zhǔn)確,繪制出的效果也更好,但該繪制方法比較耗時?;陂撝蹬c基于區(qū)域空間的方法耗時對比如表1所示,可以看出基于區(qū)域空間的方法相比基于閾值的方法節(jié)省了將近一半的時間,極大地提升了繪制效率。 接下來對比繪制效果,針對數(shù)據(jù)一的實驗結(jié)果如5所示,其中圖(a)采用基于閾值的方法,圖(b)采用基于區(qū)域空間的方法,并為數(shù)據(jù)一指定合適的不透明度。可以看出圖(a)中繪制出的三維立體效果相比圖(b)更加完整,中間的過渡層包含的信息更加豐富,但從計算FL和FH值所需時間來看,基于區(qū)域空間法在快速計算邊界FL和FH的同時,能夠繪制出邊界易于區(qū)分的三維圖像,所以出現(xiàn)圖像質(zhì)量稍差的情況也是可以接受的,以提高交互效率。 然而僅設(shè)置不透明度無法清晰看出目標(biāo)物體所在,不符合可視化需求,故在此基礎(chǔ)上為不同區(qū)域指定顏色,繪制出符合人眼觀測需求的三維圖像,如圖6所示。 由此看到易于觀測的繪制效果圖,其中過渡層中的紅色目標(biāo)及水體層物質(zhì)直觀可見,并且不同區(qū)域邊界也能清晰顯示。 僅設(shè)置不透明度的數(shù)據(jù)二繪制結(jié)果如圖7所示。 由圖7可以直觀看出,雖然水體層、過渡層、地層能夠被較為清晰地分辨出來,但是需要進(jìn)行可視化顯示的過渡層目標(biāo)無法被分辨。同樣為數(shù)據(jù)二指定顏色,如圖8所示,發(fā)現(xiàn)過渡層中的紅色及橙色目標(biāo)清晰可見,其與水體、噪聲等分離,增強(qiáng)了可視化效果??梢钥闯鲈趫D8(a)中,紅色目標(biāo)區(qū)域中所含內(nèi)部體素更多,但圖8(b)邊界區(qū)域的區(qū)分依然清晰可見,可滿足實時交互的需求。 3 結(jié)語 傳遞函數(shù)設(shè)計是體繪制算法的核心環(huán)節(jié)。本文通過對水下環(huán)境以及水聲數(shù)據(jù)的分析,提出一種基于區(qū)域空間法的LH直方圖構(gòu)建方法。實現(xiàn)方式是在三維水聲數(shù)據(jù)中選擇某一區(qū)域空間,并計算該區(qū)域內(nèi)每個體素與其相鄰體素的均值和方差,通過比較方差與設(shè)定的估計范圍值,確定是否與其鄰域體素相似,以確定是否是內(nèi)部相等體素,從而減少了FL與FH值計算量。同時遍歷體數(shù)據(jù)所有區(qū)域空間,得出直方圖傳遞函數(shù)。實驗結(jié)果表明,與傳統(tǒng)基于閾值的LH傳遞函數(shù)相比,基于區(qū)域空間的LH直方圖傳遞函數(shù)大大縮短了計算時間,最終實現(xiàn)了令人滿意的繪制效果,驗證了基于區(qū)域空間的LH直方圖傳遞函數(shù)在體繪制傳遞函數(shù)設(shè)定與應(yīng)用中的可行性與有效性,并且能夠滿足實時性要求。然而,本文方法雖然提高了繪制效率,但相比傳統(tǒng)閾值法,繪制效果不盡如人意,所以接下來需要在不影響繪制效率的情況下提高繪制效果,以進(jìn)一步提升水下深度探測的精準(zhǔn)度。 參考文獻(xiàn): [1] GONG Z, CHENG L, FAN J. AUV-aided joint localization and time synchronization for underwater acoustic sensor networks[J]. IEEE Signal Processing Letters. 2018, 25(4): 477-481. [2] SANS F, CARMONA R. Volume ray casting using different GPU based parallel APIs[C]. IEEE Computing Conference, 2017. [3] 周娟. 基于Ray-Casting算法對醫(yī)學(xué)圖像進(jìn)行三維體繪制重建[J]. 計算機(jī)科學(xué),2016, 43(s2): 156-160. [4] MA B,ENTEZARI A. Volumetric feature-based classification and visibility analysis for transfer function design[J]. IEEE Transactions on Visualization & Computer Graphics,2017, 99: 1. [5] 宋沂鵬. 直接體繪制中傳遞函數(shù)的研究[D]. 上海:上海交通大學(xué), 2015. [6] PFISTER H L W E. The transfer function bake-off[J]. IEEE Computer Graphics and Applications. 2001, 21(3): 16-22. [7] 郭翰琦,袁曉如. 體數(shù)據(jù)可視化傳遞函數(shù)研究[J]. 計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2012(10): 1249-1258. [8] BERGER M, LI J, LEVINE J A. A generative model for volume rendering[J]. IEEE Transactions on Visualization & Computer Graphics,2017, 99: 1. [9] 楊飛. 三維心臟體數(shù)據(jù)的可視化方法研究[D]. 哈爾濱:哈爾濱工業(yè)大學(xué), 2012. [10] KINDLMANN G. Curvature-based transfer functions for direct volume rendering:methods and applications[J]. IEEE Visualization 2003 - Proceedings, 2003: 513-520. [11] CABAN J J,RHEINGANS P. Texture-based transfer functions for direct volume rendering[J]. IEEE Transactions on Visualization and Computer Graphics, 2008,14(6):1364-1371. [12] 陳進(jìn)生. 空間信息在傳遞函數(shù)設(shè)計中的應(yīng)用研究[D]. 合肥:合肥工業(yè)大學(xué), 2012. [13] 周芳芳,高飛,劉勇剛,等. 基于密度—距離圖的交互式體數(shù)據(jù)分類方法[J]. 軟件學(xué)報, 2016(5): 1061-1073. [14] LEVOY. Display of surfaces from volume data[J]. IEEE Computer Graphics and Applications,1988, 8(3): 29-37. [15] KINDLMANN G, DURKIN J. Semi-automatic generation of transfer functions for direct volume rendering[C]. Proceedings of the 1998 IEEE symposium on Volume visualization, 1998: 79-86. [16] 董現(xiàn)玲,丁有得,江貴平. 基于曲率的保留上下文傳遞函數(shù)設(shè)計[J]. 中國醫(yī)學(xué)物理學(xué)雜志,2013, 30(4): 4289-4293. [17] TZENG F Y,LUM E B,MA K L. A novel interface for higher-dimensional classification of volume data[C]. the 14th IEEE Conference on Visualization,2003:66. [18] LAN S,WANG L,SONG Y,et al. Improving separability of structures with similar attributes in 2D transfer function design[J]. IEEE Transactions on Visualization & Computer Graphics,2017,23(5): 1546-1560. [19] CHEN J,CHEN Y,ZHAO X,et al. S-KA histogram based transfer function for volume rendering[C]. Information Technology & Artificial Intelligence Conference, 2015. [20] SEREDA P,VILANOVA B A,SERLIE I W,et al. Visualization of boundaries in volumetric data sets using LH histograms[J]. IEEE Transactions on Visualization & Computer Graphics,2006,12(2): 208. [21] NGUYEN B P. A clustering-based system to automate transfer function design for medical image visualization[J]. Visual Computer,2012, 28(2): 181-191. [22] WANG K,F(xiàn)EI Y,ZUO W,et al. Effective transfer function for interactive visualization and multivariate volume data[C]. Shanghai: 4th International Conference on Biomedical Engineering and Informatics,2011. (責(zé)任編輯:黃 ?。?/p>