劉浩宇,姜利利,侯妙樂(lè),胡云崗
(1. 北京未來(lái)城市設(shè)計(jì)高精尖創(chuàng)新中心,北京建筑大學(xué),北京 100044;2. 建筑遺產(chǎn)精細(xì)重構(gòu)與健康監(jiān)測(cè)北京市重點(diǎn)實(shí)驗(yàn)室,北京建筑大學(xué),北京 100044;3. 北京帝測(cè)科技股份有限公司,北京 100012)
我國(guó)幾千年文化與文明積累了無(wú)數(shù)珍貴歷史文物,如字畫(huà)題篆、壁畫(huà)泥塑、大型室外雕刻及各式各類古建筑等,集聚了大量的物質(zhì)文化遺產(chǎn),是中華民族漫漫歷史變遷的重要見(jiàn)證。然而,由于人類活動(dòng)、自然侵蝕、地質(zhì)災(zāi)害及保護(hù)性破壞等多種原因,我國(guó)文化遺產(chǎn)保護(hù)工作正面臨十分嚴(yán)峻的形勢(shì)。大量具有重大歷史價(jià)值的文化遺產(chǎn)正在迅速消逝,尤其是地震、臺(tái)風(fēng)、洪水、沙塵暴等自然災(zāi)害的侵蝕,大量物質(zhì)文化遺產(chǎn)已經(jīng)從世界上完全消逝。三維數(shù)字化留存及保護(hù)是“搶救”那些瀕危文化遺產(chǎn)的唯一途徑。因此,基于現(xiàn)代科學(xué)文化遺產(chǎn)保護(hù)技術(shù),有效地保護(hù)及傳承現(xiàn)有的文化遺產(chǎn),使人類文明得到更好的弘揚(yáng),已經(jīng)成為文化遺產(chǎn)保護(hù)界、考古界、測(cè)繪界等全行業(yè)必須攜手共同解決的難題。
文化遺產(chǎn)的大力傳承與有效保護(hù)是當(dāng)今世界各國(guó)研究的熱點(diǎn),針對(duì)這一研究熱點(diǎn),科學(xué)家們從不同行業(yè)視角進(jìn)行了廣泛而深入的研究。文化遺產(chǎn)的數(shù)字化保護(hù)正在成為國(guó)際上的研究熱點(diǎn)。因此,如何基于各行業(yè)新興技術(shù),為文化遺產(chǎn)保護(hù)提供精確詳實(shí)、科學(xué)的數(shù)據(jù)支撐,已經(jīng)成為近年來(lái)文物保護(hù)面臨的重大需求。隨著數(shù)字?jǐn)z影測(cè)量、激光掃描、三維模型和可視化等技術(shù)的發(fā)展,文物數(shù)字化保護(hù)已經(jīng)成為世界各國(guó)面臨的重要科研方向。國(guó)內(nèi)外學(xué)者在文物三維信息留取、文物高精度三維建模等文物數(shù)字化保護(hù)方面取得一定研究成果和相關(guān)積累,使得基于高保真三維模型的相關(guān)文物數(shù)字化留存與保護(hù)工作成為可能。
文物三維模型是文物最精準(zhǔn)的基礎(chǔ)數(shù)據(jù),極大地保存了各類文物的珍貴資料和文化印記。在數(shù)字化文物的保護(hù)方面,相應(yīng)的技術(shù)措施比較缺乏,尤其是針對(duì)文物三維模型的版權(quán)保護(hù)技術(shù)難點(diǎn)很多。因此,基于數(shù)字水印技術(shù),為文化遺產(chǎn)基礎(chǔ)三維數(shù)據(jù)安全與版權(quán)提供保護(hù)與認(rèn)證措施是不可或缺的。在數(shù)字水印嵌入與提取算法的分析基礎(chǔ)上,本文對(duì)文物三維模型數(shù)字水印技術(shù)的學(xué)術(shù)論證和應(yīng)用情況進(jìn)行了總結(jié)和探討。
三維結(jié)構(gòu)是文物數(shù)字化的重要表現(xiàn)形式,三維模型的水印技術(shù)將能夠解決保護(hù)需求。該方法在三維模型中嵌入可見(jiàn)或者不可見(jiàn)的數(shù)字標(biāo)記(即水印),并能準(zhǔn)確的檢測(cè)出嵌入的水印信息,從而實(shí)現(xiàn)對(duì)三維模型數(shù)據(jù)的保護(hù)和標(biāo)識(shí)(圖1)。三維模型數(shù)據(jù)具有獨(dú)特性,如三維網(wǎng)格模型數(shù)據(jù)由點(diǎn)、線、面、拓?fù)浣Y(jié)構(gòu)組成,沒(méi)有固定的數(shù)據(jù)順序,也沒(méi)有像圖像那樣固定的取值范圍。這給水印嵌入規(guī)則、力度以及相關(guān)閾值的確定帶來(lái)很多困難。由于三維網(wǎng)格的特殊性,比如具有任意的聯(lián)通性和不規(guī)則的三角化方法,三維網(wǎng)格的水印嵌入和提取具有很多困難。三維網(wǎng)格模型中的頂點(diǎn)、面邊等重要元素在原始文件中的順序和通過(guò)排列頂點(diǎn)的笛卡爾坐標(biāo)所產(chǎn)生的排序?qū)?huì)隨著模型結(jié)構(gòu)的變化產(chǎn)生改變,這給水印信息的檢測(cè)帶來(lái)失同步的威脅。
與圖片和文檔相比,三維模型具有數(shù)據(jù)占用空間大、精度要求高、結(jié)構(gòu)設(shè)計(jì)精巧等特點(diǎn),且準(zhǔn)確的地理信息是三維模型數(shù)據(jù)廣泛應(yīng)用的基本保證。此外,文物三維模型除具備了基本三維模型的特點(diǎn)之外,還具有其不同于常規(guī)三維模型的獨(dú)有特征,如精度高、數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜等。
(1)數(shù)據(jù)精度要求高。三維模型數(shù)據(jù)是實(shí)體最精準(zhǔn)的基礎(chǔ)數(shù)據(jù)。事實(shí)上,在保護(hù)文物和建筑遺產(chǎn)方面,文化遺產(chǎn)是人類文明的瑰寶,蘊(yùn)含著一個(gè)時(shí)代的獨(dú)特精神價(jià)值和思維模式,是人類文明、文化和智慧的結(jié)晶。然而,隨著時(shí)間的推移,大部分的遺跡都變得殘缺、破碎。高精度的原始點(diǎn)云數(shù)據(jù)是文物的真實(shí)虛擬表示,它往往是除了基本的三維信息存儲(chǔ)之外的后續(xù)協(xié)同研究的前提。如不同時(shí)相點(diǎn)云的微小變化引起的疾病的檢測(cè)和標(biāo)記;在虛擬三維模型中,完成項(xiàng)目的制定、調(diào)整、實(shí)施和評(píng)價(jià),并為實(shí)際運(yùn)行提供了測(cè)試材料的虛擬恢復(fù)和參考依據(jù)。因此,確保文物三維模型數(shù)據(jù)的準(zhǔn)確性是水印嵌入問(wèn)題中必須考慮的因素,必然以不影響其后期使用(尤其是疾病檢測(cè)、虛擬修復(fù)、變形監(jiān)測(cè)等)為設(shè)計(jì)前提。
圖1 文物三維模型數(shù)字水印實(shí)現(xiàn)過(guò)程
(2)數(shù)據(jù)量大。文化遺產(chǎn)單個(gè)模型的占用空間一般都比較大,通常為幾GB到幾十GB量級(jí)。依其精度不同,數(shù)據(jù)量級(jí)別也不同,以重慶大足區(qū)寶頂山千手千眼觀音石刻為例,在整龕石刻修復(fù)前、后,項(xiàng)目組運(yùn)用Romer關(guān)節(jié)臂分別對(duì)其進(jìn)行了精細(xì)化測(cè)繪數(shù)據(jù)采集,數(shù)據(jù)總量分別為301 GB(修復(fù)前)和151.2 GB(修復(fù)后),成果數(shù)據(jù)量之大可想而知。
(3)結(jié)構(gòu)更為復(fù)雜。文物三維模型相比于常規(guī)實(shí)體而言,結(jié)構(gòu)相對(duì)較為復(fù)雜,形態(tài)多樣,且往往具有它所在年代的獨(dú)有的樣式,歷史底蘊(yùn)、文化特色等。所以,相較于傳統(tǒng)常規(guī)的實(shí)體而言,文物三維模型有其獨(dú)有的結(jié)構(gòu)特色,甚至是獨(dú)一無(wú)二的,這種特有的復(fù)雜結(jié)構(gòu)對(duì)三維模型的建立與操作更是加大了難度。
(4)數(shù)據(jù)處理過(guò)程更為復(fù)雜。從最初點(diǎn)云預(yù)處理到無(wú)色三維模型構(gòu)建,從后續(xù)高清紋理照片映射到真三維彩色模型構(gòu)建,文物三維數(shù)據(jù)處理過(guò)程復(fù)雜。一般而言,文物體積都較大,需要分區(qū)分塊逐步進(jìn)行數(shù)據(jù)留取,然后再進(jìn)行拼接、合并等操作,才能得到整個(gè)文物三維模型的完整數(shù)據(jù)。因此,與小體量物體模型相比,文化遺產(chǎn)模型數(shù)據(jù)處理要求更精細(xì)。
1.2.1 空間域水印算法
空域算法通過(guò)調(diào)整模型頂點(diǎn)的空間位置,改變與頂點(diǎn)相關(guān)的幾何特性,如面積、距離、體積及法向量等或它們的比值達(dá)到嵌入信息的目的。這些幾何特性往往表現(xiàn)出對(duì)某種攻擊的不變性,空域水印算法的魯棒性就是通過(guò)這些不變的幾何特性和重復(fù)嵌入來(lái)實(shí)現(xiàn)的?;诳臻g域水印算法,Ohbuchi等1997年便介入了三維模型數(shù)字水印研究[1]。其中,最具代表性和歷史意義的是三角形相似四元組(triangle similarity quadruple, TSQ)算法和四面體積比(tetrahedral volume ratio, TVR)算法。TSQ和TVR算法分別將三角形上的距離比和相鄰兩個(gè)三角形組成的四面體體積比作為特征域,通過(guò)把水印隱于比例信息中,以抵抗仿射變換等模型攻擊。然而,這兩種算法都對(duì)模型拓?fù)浣Y(jié)構(gòu)的改變和噪聲十分敏感。Benedens等為了使嵌入的水印對(duì)網(wǎng)格簡(jiǎn)化攻擊具有更好的魯棒性,基于網(wǎng)格曲面法向量分布調(diào)整,研究得到新的空間域水印嵌入技術(shù)[2]。該算法將模型頂點(diǎn)處的法向量映射到一個(gè)單位球上,并將相近的法向量分為一組,通過(guò)對(duì)若干組法向量的微調(diào)實(shí)現(xiàn)水印的最終嵌入。但該算法需要較多的參考信息輔助水印信息的檢測(cè)。Cho等人[3]將3D模型轉(zhuǎn)化為球面坐標(biāo),并不斷調(diào)整頂點(diǎn)的直方圖分布實(shí)現(xiàn)水印信息嵌入。算法能很好地承受一般水印攻擊,然而嵌入水印后的模型會(huì)發(fā)生較大的視覺(jué)變化。
1.2.2 變換域水印算法
最早的三維模型變換域水印算法是1998年Kanai[4]得到的。該算法的主要思想是應(yīng)用小波變換,將原始多邊形模型數(shù)據(jù)進(jìn)行小波分解,得到小波系數(shù)向量,然后基于小波系數(shù)調(diào)整,最后生成含水印載體。與圖像頻域水印算法相似,可以基于小范數(shù)植入水印,進(jìn)而提高含水印載體的透明性及視覺(jué)效果。但這種算法只是用規(guī)則的網(wǎng)格。隨后基于Kanai,Uccheddu[5]等加以改善,在進(jìn)行小波變換前,先進(jìn)行模型預(yù)處理,不但滿足規(guī)則網(wǎng)格要求,還使其適用于不規(guī)則類型平移、一致性縮放和旋轉(zhuǎn)等操作。1999年,以擴(kuò)頻技術(shù)為依托,Praun等[6]借鑒圖像水印做法,在模型頂點(diǎn)處構(gòu)造標(biāo)量基函數(shù),以基函數(shù)的修訂,帶動(dòng)模型頂點(diǎn)坐標(biāo)的調(diào)整,將水印嵌入載體之中。但在提取過(guò)程時(shí),必須以原始載體模型數(shù)據(jù)為基礎(chǔ),通過(guò)原始載體模型與待測(cè)載體模型數(shù)據(jù)坐標(biāo)的比對(duì),實(shí)現(xiàn)最終的水印序列檢測(cè)與提取。2001年,基于已有研究成果,Ohbuchi[7]等又利用拉普拉斯算子進(jìn)行頻域分解,提出了新的水印嵌入手段。從網(wǎng)格的連接關(guān)系中獲取拉普拉斯矩陣,然后獲取矩陣相應(yīng)的特征向量及特征值,構(gòu)建特征空間。將載體模型各頂點(diǎn)x、y、z坐標(biāo)在該特征空間里分量投影,獲取載體模型各頂點(diǎn)相應(yīng)頻域系數(shù)。最終通過(guò)不斷的系數(shù)調(diào)整,將水印帶入載體數(shù)據(jù),再用變換的逆向運(yùn)算得到含水印載體模型。這種算法對(duì)單項(xiàng)簡(jiǎn)單幾何攻擊及多項(xiàng)組合攻擊均具有較好的抵抗能力?;诖?,2004年,Ohbuchi等試圖對(duì)算法進(jìn)行優(yōu)化,新算法不但加快了算法運(yùn)算效率,還進(jìn)一步提升了整體的魯棒抵抗能力[8]。
1.3.1 文物的信息獲取和三維重建
采用先進(jìn)的三維激光掃描儀和數(shù)碼相機(jī),對(duì)文化遺產(chǎn)進(jìn)行實(shí)地勘測(cè),獲取文化遺產(chǎn)原始高精度三維數(shù)據(jù)及高分辨率紋理影像數(shù)據(jù)。在此基礎(chǔ)上,基于專業(yè)處理軟件,通過(guò)內(nèi)業(yè)操作,實(shí)現(xiàn)數(shù)據(jù)的網(wǎng)格化構(gòu)建、空洞填補(bǔ)和模型優(yōu)化,形成高保真的文物三維網(wǎng)格模型(圖2)。
圖2 文物三維模型版權(quán)保護(hù)研究框架
1.3.2 數(shù)字化文物的水印信息嵌入和提取
首先針對(duì)數(shù)字文物分析其特征,設(shè)計(jì)合理的版權(quán)標(biāo)識(shí)水印。然后提取文物模型的穩(wěn)健特征,如邊頂點(diǎn)特征,構(gòu)建不變量。利用這些特性通過(guò)對(duì)邊頂點(diǎn)的處理來(lái)嵌入水印,進(jìn)而實(shí)現(xiàn)對(duì)旋轉(zhuǎn)、網(wǎng)格簡(jiǎn)化等的魯棒性,實(shí)現(xiàn)文物數(shù)據(jù)的版權(quán)保護(hù)。
1.3.3 數(shù)字化文物的水印信息嵌入和檢測(cè)
針對(duì)文物數(shù)據(jù)的保護(hù)需求,應(yīng)該以設(shè)計(jì)單位的標(biāo)識(shí)作為可見(jiàn)水印,以顯性的方式嵌入到網(wǎng)格的特定位置。
2.1.1 數(shù)字文物的隱形水印嵌入
本文以三維點(diǎn)云模型為數(shù)據(jù)載體,在嵌入強(qiáng)度閾值范圍之內(nèi),主要是通過(guò)對(duì)三維模型頂點(diǎn)至模型中心的距離調(diào)整,達(dá)到水印序列嵌入的目的。
水印嵌入具體操作流程如下:①對(duì)待嵌入水印進(jìn)行二值序列轉(zhuǎn)換,其中,黑色像素標(biāo)記為0,白色像素標(biāo)記為1;②遍歷載體數(shù)據(jù)頂點(diǎn),計(jì)算載體數(shù)據(jù)的中心,并利用載體數(shù)據(jù)中心,將載體數(shù)據(jù)每個(gè)頂點(diǎn)轉(zhuǎn)化為球面坐標(biāo);③將載體數(shù)據(jù)的所有頂點(diǎn)分成多組,其中組的個(gè)數(shù)即為水印信息欲重復(fù)嵌入的次數(shù);④對(duì)每組的r進(jìn)行歸一化處理,并以升或降統(tǒng)一排序;⑤將每組再進(jìn)行下一級(jí)子組劃分,并計(jì)算每個(gè)子組的r平均值;⑥通過(guò)指數(shù)函數(shù),對(duì)r進(jìn)行局部調(diào)整,實(shí)現(xiàn)二值序列的水印嵌入;⑦所有r歸一化逆變換;⑧將載體數(shù)據(jù)頂點(diǎn)球面坐標(biāo)再轉(zhuǎn)化為直角坐標(biāo)(圖3)。
圖3 水印嵌入過(guò)程
2.1.2 數(shù)字文物的隱形水印檢測(cè)與提取
水印檢測(cè)與提取具體操作流程如下:①以原始載體數(shù)據(jù)中心為中心,將待檢驗(yàn)載體數(shù)據(jù)的所有頂點(diǎn)直角坐標(biāo)轉(zhuǎn)化為球面坐標(biāo);②將待檢驗(yàn)載體數(shù)據(jù)頂點(diǎn)進(jìn)行分組;③對(duì)每組的r進(jìn)行歸一化處理,并進(jìn)行升降排序;④待檢驗(yàn)載體數(shù)據(jù)與原始載體數(shù)據(jù)點(diǎn)集進(jìn)行對(duì)比,檢測(cè)并獲取水印二值序列(圖4)。
圖4 水印檢測(cè)與提取過(guò)程
2.2.1 數(shù)字作品的版權(quán)保護(hù)
數(shù)字產(chǎn)品數(shù)據(jù)安全保護(hù)是亟待解決的社會(huì)難題。由于數(shù)字產(chǎn)品復(fù)制、粘貼、編輯等變得越來(lái)越便捷,且手段越來(lái)越高明,篡改產(chǎn)品的肆意擴(kuò)散與非法盜用已經(jīng)深刻威脅到了所有者的自身利益。所有者多半可通過(guò)向自身數(shù)字產(chǎn)品中加入可見(jiàn)或不可見(jiàn)版權(quán)標(biāo)志,也就是所謂的水印信息,對(duì)非法盜用者起到一定的震懾作用。如在三維模型上標(biāo)注出制作人信息或數(shù)據(jù)采集者信息,以保證原創(chuàng)者的合法權(quán)益。
2.2.2 隱藏?cái)?shù)據(jù)標(biāo)識(shí)
水印信息之所以隱藏,不單是因?yàn)樗谝欢ǔ潭壬嫌绊懙綌?shù)字產(chǎn)品的自身效果,往往也是因?yàn)樗⌒畔⒈旧肀容d體數(shù)據(jù)更有隱藏價(jià)值。如遙感影像的現(xiàn)勢(shì)時(shí)間、醫(yī)學(xué)影像的就診信息、文物三維模型構(gòu)建的具體參數(shù)等。且載體數(shù)據(jù)與其元數(shù)據(jù)相伴相生,部分元數(shù)據(jù)缺失往往會(huì)造成載體數(shù)據(jù)的整體價(jià)值的下降,甚至全面失效,而直接標(biāo)記這些元數(shù)據(jù)多半會(huì)造成信息泄露,進(jìn)入進(jìn)退兩難的境地。因此,不可見(jiàn)水印應(yīng)運(yùn)而生,可以成為解決這一難題的重要利器。
2.2.3 內(nèi)容保護(hù)與認(rèn)證
檢測(cè)并追蹤非法盜用者對(duì)載體數(shù)據(jù)的惡意篡改是內(nèi)容保護(hù)與認(rèn)證的重要目的。脆弱或半脆弱水印對(duì)編輯、修改等操作敏感性較強(qiáng),是實(shí)現(xiàn)內(nèi)容保護(hù)與認(rèn)證的重要手段。
2.2.4 使用控制
數(shù)字水印的嵌入可實(shí)現(xiàn)對(duì)載體數(shù)據(jù)使用次數(shù)的記錄與控制,每遭到了一次使用攻擊,系統(tǒng)自動(dòng)修改水印一回,直到達(dá)到使用上限,停止對(duì)數(shù)據(jù)的任何處理。一個(gè)典型的例子是DVD防拷貝系統(tǒng)。
文物三維模型的學(xué)術(shù)價(jià)值和應(yīng)用價(jià)值得到科研機(jī)構(gòu)和工業(yè)社會(huì)的高度關(guān)注,成為未來(lái)數(shù)字內(nèi)容產(chǎn)業(yè)的重點(diǎn)發(fā)展方向。文物三維模型數(shù)字水印技術(shù)能夠從技術(shù)層面保障數(shù)據(jù)價(jià)值,標(biāo)記數(shù)據(jù)來(lái)源,體現(xiàn)文明社會(huì)價(jià)值觀。
加入文物三維模型數(shù)字水印和版權(quán)保護(hù)的重大戰(zhàn)略意義,人工智能、三維激光點(diǎn)云處理技術(shù)、地理時(shí)空大數(shù)據(jù)分析與挖掘、文物數(shù)字化保護(hù)技術(shù)的發(fā)展為文物三維模型版權(quán)保護(hù)提供了更為智能、全面、快速的處理和重建工具。目前,數(shù)字水印的三維模型已經(jīng)取得了很好地效果,但技術(shù)還不夠成熟,還存在許多有待解決和完善的問(wèn)題。綜合當(dāng)前國(guó)家需求和技術(shù)發(fā)展,文物三維模型數(shù)字水印研究主要體現(xiàn)在以下發(fā)展趨勢(shì):
(1)從理論上講,世界仍處于早期、中期階段,理論仍有很多突破關(guān)鍵問(wèn)題,如魯棒性、嵌入強(qiáng)度、嵌入數(shù)據(jù)量之間的關(guān)系,如何協(xié)調(diào)各方面的影響,提高水印的整體效果更為重要。
(2)數(shù)據(jù)源方面,從單一的三維激光點(diǎn)云數(shù)據(jù)建模向攝影測(cè)量與高光譜數(shù)據(jù)兼顧發(fā)展,形成多源數(shù)據(jù)一體化的文物三維模型數(shù)字水印系統(tǒng)。
(3)在算法方面,三維模型數(shù)字水印研究,以網(wǎng)格載體研究居多,而點(diǎn)云載體研究相對(duì)較少。此外,非盲水印雖魯棒性較好,但實(shí)際應(yīng)用效果較差。因此,基于盲水印的魯棒性研究仍有待深入加強(qiáng)。
(4)攻擊三維模型多種多樣,由于版權(quán)保護(hù)的需要,具有良好的魯棒性水印需要處理各種各樣的攻擊,以保證嵌入的水印信息不被破壞,真正達(dá)到確保作者的合法權(quán)益的目的。
(5)深度學(xué)習(xí)在文物三維模型數(shù)字水印中的應(yīng)用不多。如果能建立一個(gè)更好的魯棒性模型,將會(huì)產(chǎn)生好的結(jié)果。目前,斯坦福大學(xué)首次提出利用深度學(xué)習(xí)來(lái)實(shí)現(xiàn)點(diǎn)云模型數(shù)字水印的生成,取得了良好的效果。
隨著三維模型數(shù)據(jù)在文物保護(hù)中的應(yīng)用價(jià)值日益突出,三維模型數(shù)據(jù)共享的需求越來(lái)越大,三維模型的安全性也越來(lái)越重要。數(shù)字水印技術(shù)作為數(shù)據(jù)安全保護(hù)的前沿技術(shù),在文物三維模型的安全保護(hù)、版權(quán)保護(hù)和數(shù)據(jù)共享等方面起著重要的作用。只有保障數(shù)據(jù)安全問(wèn)題,保護(hù)版權(quán)利益的創(chuàng)作者,使數(shù)據(jù)共享和廣泛應(yīng)用的三維模型的文化遺產(chǎn),才能促進(jìn)文物保護(hù)的可持續(xù)、良性發(fā)展。