耿國華,馮 龍,李 康,周明全,3,王小鳳

(1.西北大學(xué) 文化遺產(chǎn)數(shù)字化國家地方聯(lián)合工程研究中心，陜西 西安 710127；2.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127;3.北京師范大學(xué) 教育部虛擬現(xiàn)實(shí)應(yīng)用工程研究中心，北京 100875)

文化遺產(chǎn)是中華五千年悠久歷史的重要載體,是傳承文化的特殊資源,也是連接過去現(xiàn)在與未來的重要途徑,在我國政治、經(jīng)濟(jì)、文化、社會(huì)中的作用日益凸顯。由于傳統(tǒng)保護(hù)方式的局限性,其面臨著巨大的挑戰(zhàn)[1-2]:①記錄手段單一，傳統(tǒng)文物保護(hù)手段主要采用拍攝及線畫圖的方式進(jìn)行文物相關(guān)信息的記錄,信息多樣性較差;②發(fā)掘現(xiàn)場(chǎng)坍塌碎片成灘,手工復(fù)原的周期長(zhǎng),且易對(duì)文物造成二次破壞;③傳統(tǒng)的展陳方式受時(shí)空限制較大;④手工繪圖紙質(zhì)管理效率低、占用空間大且不易檢索和查找。傳統(tǒng)的實(shí)體保護(hù)僅能延緩本體消亡時(shí)間,然而,數(shù)字化文物保護(hù)技術(shù)(記載、修復(fù)、展示、管理)卻能有效重現(xiàn)文物的生命力,計(jì)算機(jī)圖形圖像處理、計(jì)算機(jī)視覺、人工智能及虛擬現(xiàn)實(shí)等信息學(xué)科前沿新技術(shù)能夠提供新的思路、技術(shù)和方法[3-6],助力文化遺產(chǎn)數(shù)字化保護(hù)領(lǐng)域的研究工作并推動(dòng)相關(guān)技術(shù)的應(yīng)用和落地。

兵馬俑是中華文物最典型代表,具有2 300年的歷史,舉世無雙的世界八大奇跡之一。其規(guī)模宏大,具有陶俑15 000多個(gè),均高185 cm,個(gè)重約160 kg,類型眾多,個(gè)性鮮明,世界上絕無僅有的雕塑藝術(shù)品。因此,兵馬俑的保護(hù)具有巨大的挑戰(zhàn)性:①打磨粘接實(shí)體試拼合,易造成二次損壞;②人工修復(fù)周期長(zhǎng)、誤差大。以秦兵馬俑為例:一號(hào)坑最早發(fā)現(xiàn)修復(fù)40年、人工修復(fù)1 000余件,僅占發(fā)現(xiàn)俑數(shù)8 000余件的1/8。因此,利用數(shù)字化手段對(duì)其進(jìn)行修復(fù)和復(fù)原,具有重大的意義。

針對(duì)上述需求,西北大學(xué)可視化技術(shù)研究所項(xiàng)目組經(jīng)過多年研究,在古人面貌虛擬復(fù)原、復(fù)雜外觀文物數(shù)字化、考古遺址場(chǎng)景建模與展示、考古過程記錄與應(yīng)用、破損破碎文物虛擬修復(fù)、文物碎片自動(dòng)分類、文化遺產(chǎn)的數(shù)字展示傳播這7個(gè)方面取得了系列成果。

1 古人面貌虛擬復(fù)原

顱面形態(tài)學(xué)研究創(chuàng)建了世界上樣本量最大、類型最全、精度最高的蒙古人種顱面數(shù)據(jù)庫[7]。同時(shí),結(jié)合法醫(yī)人類學(xué)知識(shí),建立了顱骨面貌復(fù)原知識(shí)模型[8-10],并與公安部物證鑒定中心合作,頒布實(shí)施了顱面復(fù)原國家行業(yè)標(biāo)準(zhǔn)。

1.1 基于最小二乘回歸的顱骨面貌復(fù)原方法

本項(xiàng)目組提出一種基于最小二乘回歸的顱骨面貌復(fù)原方法[11],該方法基于現(xiàn)代人顱面數(shù)據(jù)庫,首先，分別為顱骨和面皮建立統(tǒng)計(jì)形狀模型,然后，在形狀參數(shù)空間中訓(xùn)練最小二乘回歸模型。對(duì)于未知顱骨,將其投影到顱骨形狀參數(shù)空間,使用最小二乘回歸模型重建其相應(yīng)的面貌。該方法能很好地反映隨機(jī)變量的真實(shí)分布規(guī)律,有效提取顱骨和面貌的內(nèi)在關(guān)系,使得復(fù)原結(jié)果準(zhǔn)確性更高,科學(xué)性更強(qiáng)?？蓱?yīng)用于歷史人物的面貌復(fù)原和刑事案件中遺骸的身份確定[12-13],如圖1所示為古人的顱骨面貌復(fù)原結(jié)果。

圖1 古人顱骨面貌復(fù)原結(jié)果Fig.1 The results of the restoration of the face of the ancient skull

1.2 結(jié)合改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)和最小二乘法的顱骨性別鑒定

傳統(tǒng)顱骨性別鑒定方法大多需要專家參與,導(dǎo)致鑒定結(jié)果依賴人工標(biāo)定的準(zhǔn)確度及主觀性等問題,本項(xiàng)目組提出了結(jié)合改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)和最小二乘法的顱骨性別鑒定方法[14]。首先,計(jì)算給定顱骨模型的多視圖,并利用改進(jìn)的CNN(卷積神經(jīng)網(wǎng)絡(luò))估計(jì)每個(gè)視圖屬于男性和女性的概率;然后,將概率均值作為特征,基于最小二乘法獲得每幅視圖屬于不同性別的權(quán)重;最后,利用上述步驟得到的最優(yōu)參數(shù)構(gòu)造決策函數(shù),由決策值確定顱骨的性別。所提方法無需手動(dòng)標(biāo)定和測(cè)量,針對(duì)完整顱骨性別鑒定的準(zhǔn)確率能夠達(dá)到94.4%,針對(duì)不完整顱骨的性別鑒定準(zhǔn)確率可以達(dá)到87.5%。

2 復(fù)雜外觀文物數(shù)字化及模板庫構(gòu)建

為了高效管理和展示出土文物,需要對(duì)文物進(jìn)行數(shù)字化建模。在建模過程中，要解決的關(guān)鍵科學(xué)問題主要是:①文物表面紋飾的高精度表示[15-17];②文物幾何形態(tài)的建模與可視化[18-20];③文物數(shù)字化模型格式優(yōu)化[21-23]。針對(duì)這些關(guān)鍵科學(xué)問題，本項(xiàng)目組開展了系列研究,構(gòu)建了近萬件出土文物的表面和幾何形態(tài)的高精度數(shù)字化模型及記錄。

2.1 基于八叉樹和三維K-D樹混合索引的點(diǎn)云文物數(shù)據(jù)表示方法

針對(duì)點(diǎn)云的無序性和海量性這兩個(gè)特點(diǎn),同時(shí)避免降維過程中引起的信息損失,為了將點(diǎn)云模型轉(zhuǎn)化為能直接在深度網(wǎng)絡(luò)中處理的形式，本項(xiàng)目組提出基于八叉樹和三維K-D樹的混合索引的點(diǎn)云文物數(shù)據(jù)表示方法[24]。首先，將點(diǎn)云體素化,然后，生成該體素化模型的八叉樹,在對(duì)八叉樹進(jìn)行編碼時(shí),逐層索引構(gòu)建八叉樹。為了克服八叉樹結(jié)點(diǎn)搜索效率低的問題,同時(shí)構(gòu)建K-D樹索引對(duì)單個(gè)三維空間點(diǎn)進(jìn)行檢索。算法的具體步驟如下:①將無組織的點(diǎn)云轉(zhuǎn)換成體素空間;②在體素空間中對(duì)點(diǎn)云模型進(jìn)行八叉樹空間剖分,區(qū)分并標(biāo)記空節(jié)點(diǎn)和非空節(jié)點(diǎn),統(tǒng)計(jì)非空節(jié)點(diǎn)的總數(shù);③根據(jù)八叉樹葉節(jié)點(diǎn)的數(shù)量,為每個(gè)葉節(jié)點(diǎn)開辟存儲(chǔ)空間,對(duì)八叉樹編碼;④從第 0 層起,自頂向下逐層構(gòu)建節(jié)點(diǎn)間的關(guān)系,每次只處理一層,對(duì)每層節(jié)點(diǎn)并行處理。如圖2所示為兵馬俑俑手的數(shù)字化建模結(jié)果。

圖2 G10-4 兵馬俑俑手的數(shù)字化建模結(jié)果Fig.2 Digital modeling results of Terracotta hands

2.2 文物三維掃描與網(wǎng)格生成

針對(duì)三維有限元網(wǎng)格的生成速度較慢并且網(wǎng)格質(zhì)量不高的問題,提出了一種基于約束波前法的三維有限元網(wǎng)格生成算法[25]。算法的主要思想是用背景網(wǎng)格提高網(wǎng)格單元的可控性,避免網(wǎng)格單元生成時(shí)驗(yàn)證有效性的計(jì)算量,從而快速生成高質(zhì)量的三維有限元網(wǎng)格。方法的具體步驟如下:①借助八叉樹方法生成背景網(wǎng)格;②利用背景網(wǎng)格的密度對(duì)模型表面進(jìn)行三角剖分得到初始波前;③依據(jù)背景網(wǎng)格的特征生成實(shí)體網(wǎng)格單元;④采用網(wǎng)格光順的方法對(duì)得到的結(jié)果進(jìn)行優(yōu)化。結(jié)合了八叉樹和推進(jìn)波前法的三維網(wǎng)格生成算法降低了波前法的時(shí)間復(fù)雜度,將其效率提高了20%,而且能得到更高質(zhì)量的網(wǎng)格。

2.3 兵馬俑甲胄模板庫構(gòu)建

秦俑甲胄模型表面一般會(huì)存在著具有一定規(guī)律性和重復(fù)性的紋飾,如能將這部分特征提取,就能實(shí)現(xiàn)對(duì)甲胄模型的自動(dòng)識(shí)別分類,可系統(tǒng)化管理和智能化復(fù)原[26]。模板的建立可有效減少文物模型識(shí)別分類中數(shù)據(jù)集的規(guī)模,提高分類和修復(fù)的工作效率。兵馬俑甲胄模板庫的構(gòu)建約束具體為:①局部特征中形狀較完整的模型可直接存入樣本庫,局部特征具有微小瑕疵的利用交互式方法進(jìn)行修正，若局部特征可以通過庫中已有模板的剛體變換得到,那么這類模型不入庫;②利用已入庫的模型的特征,檢索相似性較高的匹配模型并入庫;③對(duì)每個(gè)模板的匹配結(jié)果進(jìn)行統(tǒng)計(jì)分析,將匹配次數(shù)極少(少于給定閾值)的樣本從庫中刪除,由此對(duì)模板庫進(jìn)行動(dòng)態(tài)調(diào)整。根據(jù)以上模板庫構(gòu)建約束,可以實(shí)現(xiàn)兵馬俑甲胄模板庫的構(gòu)建，并進(jìn)一步支撐甲胄碎片模型的識(shí)別和檢索。

2.4 構(gòu)建部位特征樣本庫

從相關(guān)歷史文獻(xiàn)中可知,秦俑在制作過程中,其尺寸和結(jié)構(gòu)均按照真人比例仿制，即所謂“千人千面”。由于其按照真人比例仿制,那么秦俑碎塊通常只會(huì)屬于人體的某一特定部位：①頭部;②身體軀干,主要包括肩膀、胸腹、腰及背部等,這類碎片通常由戰(zhàn)袍、鎧甲等組成;③手臂;④裙擺;⑤腿、腳部及踏板。通過對(duì)模型進(jìn)行一致性分割,可以按部位建立樣本庫,具體步驟如下[27]:首先，利用特征提取算法分別對(duì)碎片模型進(jìn)行特征提取,特征可包括幾何特征、顏色特征和紋理特征等;然后，使用上一節(jié)中描述的甲胄模板庫的構(gòu)建約束構(gòu)建部位樣本庫。值得注意的是,已建立的甲胄模板庫可直接作為身體軀干部位樣本庫。

3 考古遺址場(chǎng)景建模與展示

相較于單個(gè)文物,遺址遺存數(shù)字化中的難點(diǎn)主要表現(xiàn)在:①遺址遺存的體積較大,利用三維掃描儀無法直接獲取遺址的整體數(shù)字化模型[28-30];②掃描獲取的數(shù)字化模型占用內(nèi)存大,使得處理的計(jì)算復(fù)雜度提升[2,31]，如圖3所示。針對(duì)以上兩個(gè)難點(diǎn)項(xiàng)目組開展了如下系列研究。

圖3 秦兵馬俑一號(hào)坑G9過洞發(fā)掘現(xiàn)場(chǎng)重建結(jié)果Fig.3 Reconstruction results of the excavation of Qin Terracotta Warriors in Pit one G9 hole

3.1 基于區(qū)域分割的低覆蓋點(diǎn)云配準(zhǔn)算法

針對(duì)低覆蓋點(diǎn)云配準(zhǔn)的時(shí)間復(fù)雜度高、收斂速度緩慢以及對(duì)應(yīng)點(diǎn)匹配易錯(cuò)等問題,提出一種基于區(qū)域分割的點(diǎn)云配準(zhǔn)算法[32]。首先,利用體積積分不變量計(jì)算點(diǎn)云上點(diǎn)的凹凸性,并提取凹凸特征點(diǎn)集;然后,采用基于混合流形譜聚類的分割算法對(duì)特征點(diǎn)集進(jìn)行區(qū)域分割,并采用基于奇異值分解(SVD)的迭代最近點(diǎn)(ICP)算法對(duì)區(qū)域進(jìn)行配準(zhǔn),從而實(shí)現(xiàn)點(diǎn)云的精確配準(zhǔn)。如圖4所示為文物碎片的匹配結(jié)果。

圖4 文物碎塊的匹配結(jié)果Fig.4 Matching results of the cultural relic fragments

3.2 基于變分水平集的三維模型復(fù)雜孔洞修復(fù)

針對(duì)遺址三維模型掃描及重建后存在大量復(fù)雜孔洞的問題,提出一種孔洞修補(bǔ)算法[33]。首先，構(gòu)造符號(hào)距離函數(shù),孔洞所在曲面用靜態(tài)符號(hào)距離函數(shù)的零水平集表達(dá),另一動(dòng)態(tài)符號(hào)距離函數(shù)表示初始曲面；然后，借助隱式曲面上的變分水平集,通過設(shè)計(jì)全局的凸優(yōu)化函數(shù)模型,并對(duì)其極小化優(yōu)化,將提取孔洞邊緣的問題轉(zhuǎn)換為維體上隱式曲面的演化過程;最后，以提取到的孔洞邊緣曲面作為初始觀察面,通過卷積和合成兩個(gè)交替的步驟進(jìn)行體素?cái)U(kuò)散完成孔洞修補(bǔ)。實(shí)驗(yàn)表明該算法能夠有效恢復(fù)復(fù)雜孔洞區(qū)域的顯著幾何特征,且適用于含有網(wǎng)格較多模型的孔洞修復(fù)。

3.3 一種特征感知的三維點(diǎn)云簡(jiǎn)化算法

提出一種特征感知的三維點(diǎn)云簡(jiǎn)化方法。通過構(gòu)造八叉樹搜索每個(gè)點(diǎn)的k近鄰點(diǎn),并計(jì)算每個(gè)點(diǎn)的法向量,以此檢測(cè)并保留邊緣點(diǎn);使用期望最大化算法對(duì)點(diǎn)云進(jìn)行聚類,并確定高曲率的點(diǎn);使用邊緣感知的有向Hausdorff距離方法進(jìn)行點(diǎn)云精簡(jiǎn),合并前述點(diǎn)云并刪除重復(fù)點(diǎn),實(shí)現(xiàn)模型簡(jiǎn)化。該方法適用于不同曲率變化的模型,并且能夠在保留尖銳特征的同時(shí)顯示模型整體輪廓。

4 考古過程記錄與應(yīng)用

本項(xiàng)目組為首家將虛擬拼接的基礎(chǔ)理論方法應(yīng)用于考古過程記錄的研究團(tuán)隊(duì),主要應(yīng)用為[34-35]:①秦俑一號(hào)坑三次發(fā)掘；②秦陵K9901坑數(shù)字化建模保護(hù)全過程。如圖5所示為秦陵1號(hào)坑及K9901坑考古現(xiàn)場(chǎng)場(chǎng)景建模結(jié)果。

圖5 秦陵1號(hào)坑及K9901坑考古現(xiàn)場(chǎng)Fig.5 The archaeological site of Qinling Pit one and Pit K9901

在考古過程中,考古人員可以根據(jù)挖掘現(xiàn)場(chǎng)碎片的位置信息初步確定碎片的鄰接關(guān)系,同時(shí)根據(jù)鄰接關(guān)系進(jìn)行碎片其他信息的分析和存儲(chǔ)等。基于該需求,項(xiàng)目組提出一種在VR環(huán)境下的碎片拼接方法,通過對(duì)文物三維模型進(jìn)行數(shù)字化處理簡(jiǎn)化模型后輸入到VR環(huán)境中,采用三角網(wǎng)格化識(shí)別文物孔洞的方式對(duì)殘缺的文物進(jìn)行文物孔洞識(shí)別,計(jì)算每個(gè)文物孔洞的重心位置,以重心到文物孔洞最遠(yuǎn)點(diǎn)的距離作為半徑,構(gòu)建文物孔洞碰撞球體。同理，構(gòu)建文物碎片碰撞球體,當(dāng)兩者發(fā)生相交時(shí),自動(dòng)調(diào)用拼接算法,提取文物孔洞的邊界主輪廓線、文物碎片外表面與斷裂面相交的次輪廓線,利用單位三元組的曲線匹配方法匹配剛體變換矩陣,再通過SAC-IA算法進(jìn)行粗匹配。最后，調(diào)用ICP算法對(duì)文物碎片與文物孔洞進(jìn)行精確匹配,實(shí)現(xiàn)VR環(huán)境下的碎片拼接。該方法不僅運(yùn)算速度快,而且可以輔助文物工作者在虛擬環(huán)境下對(duì)碎片進(jìn)行拼接,與現(xiàn)實(shí)中的眾多碎片進(jìn)行查詢拼接,進(jìn)而加快兵馬俑復(fù)原速度,解決了文物碎片復(fù)原難度大和速度慢的問題。如圖6所示為VR環(huán)境下的碎片拼接方法效果圖。

圖6 VR環(huán)境下碎片拼接方法效果圖Fig.6 Renderings of the fragment splicing method in the VR environment

5 破損破碎文物虛擬修復(fù)

自2009年開始，文物數(shù)字化保護(hù)已和傳統(tǒng)保護(hù)方式并軌實(shí)施,所有數(shù)字化建模的出土陶俑均采用自底向上和自頂向下兩種拼接方法實(shí)現(xiàn)修復(fù)[36]。如圖7所示為部分兵馬俑碎片虛擬拼接結(jié)果。

5.1 基于輪廓線雙向距離場(chǎng)的文物碎片拼接算法

文物碎片斷裂部位往往最容易受損,導(dǎo)致受損斷裂面的幾何特征不完整,造成傳統(tǒng)基于幾何特征驅(qū)動(dòng)的拼接方法失效等問題。為此,項(xiàng)目組提出一種基于斷裂部位輪廓線雙向距離場(chǎng)的文物碎片自動(dòng)拼接算法[37]。首先，提取文物碎片模型表面的顯示脊線,將該脊線作為碎片的幾何紋理；然后，采用最小逼近誤差法識(shí)別表面幾何紋理中的顯著特征點(diǎn)；接著，獲取斷裂面上的特征點(diǎn),從而構(gòu)建碎片斷裂面輪廓線至表面特征點(diǎn)和斷裂面特征點(diǎn)的雙向距離場(chǎng);最后，在構(gòu)建雙向距離場(chǎng)的基礎(chǔ)上,利用歐式距離的一致性和凹凸互補(bǔ)性兩個(gè)條件約束構(gòu)造特征描述子,并引入特征描述子的匹配度函數(shù)，從而確定匹配特征點(diǎn)對(duì),實(shí)現(xiàn)碎片鄰接關(guān)系的計(jì)算。

圖7 部分兵馬俑碎片拼合結(jié)果Fig.7 Some of the Terracotta Warriors pieces together

5.2 基于形狀骨架圖匹配的文物碎片自動(dòng)重組方法

兵馬俑碎片表面的幾何紋理信息能夠有效支撐碎片鄰接關(guān)系的計(jì)算,為了解決斷裂部位受損碎片的自動(dòng)拼接問題,項(xiàng)目組提出一種基于形狀骨架圖匹配的文物碎片自動(dòng)重組方法,將碎片匹配問題轉(zhuǎn)化為碎片表面紋飾中非完整紋元的互補(bǔ)匹配問題[38]。首先，提取文物碎片表面的特征線,該特征線構(gòu)成兵馬俑碎片表面的幾何紋理;然后，根據(jù)幾何紋理中完整紋元的形狀等信息,設(shè)計(jì)非完整紋元互補(bǔ)匹配約束，并利用視覺骨架剪枝法計(jì)算位于斷裂邊緣的非完整紋元的形狀骨架圖,基于形狀骨架圖語法及匹配約束確定非完整紋元互補(bǔ)匹配對(duì);最后，基于帶剪枝深度優(yōu)先搜索方法搜索匹配碎片,實(shí)現(xiàn)文物碎片鄰接關(guān)系的計(jì)算。

5.3 基于Morse-Smale拓?fù)涮卣鞯奈奈锼槠唇铀惴?/h3>

針對(duì)計(jì)算機(jī)輔助文物虛擬復(fù)原中由于破損文物斷裂部位邊緣受損而引起的輪廓線不能充分表示斷裂面幾何特征的問題,項(xiàng)目組提出了一種基于斷裂面拓?fù)涮卣鞯钠扑槲奈镒詣?dòng)拼接算法[39]。方法具體步驟如下:①定義頂點(diǎn)顯著度度量函數(shù),提取斷裂面特征點(diǎn),針對(duì)斷裂面,依據(jù)Morse-Smale復(fù)形理論構(gòu)建幾何拓?fù)鋱D;②定義基準(zhǔn)點(diǎn)與0值面，并計(jì)算目標(biāo)點(diǎn)的高度差值,然后利用構(gòu)建的幾何拓?fù)鋱D中的四邊形曲面構(gòu)造特征描述符,該特征描述符能完整描述斷裂面的幾何形狀特征；③根據(jù)凹凸互補(bǔ)性計(jì)算初始特征四邊形匹配集并搜索最優(yōu)匹配集,得到碎片的鄰接關(guān)系；④采用四元組方法計(jì)算剛體變換矩陣并完成碎片的拼合。

5.4 基于表面鄰接約束的交互式文物碎片重組

當(dāng)斷裂部位嚴(yán)重受損時(shí),特征的完整度就會(huì)低于有效閾值,此時(shí),基于特征匹配的方法就會(huì)失效,因此,項(xiàng)目組提出一種基于文物模型表面紋飾幾何特征的交互式破損文物重組方法[40]。首先，提取文物碎片的顯示脊線,并用該脊線作為碎片表面的幾何結(jié)構(gòu)和主動(dòng)輪廓線;然后，領(lǐng)域?qū)＜腋鶕?jù)碎片表面幾何結(jié)構(gòu)的連貫性,確定碎片的鄰接關(guān)系,并基于區(qū)域生長(zhǎng)法計(jì)算表面鄰接約束點(diǎn)的最終位置；接著，以表面鄰接約束點(diǎn)為中心獲取初始匹配點(diǎn)集,利用線段約束得到最優(yōu)匹配點(diǎn)對(duì);最后，計(jì)算剛體變換,實(shí)現(xiàn)碎片拼合。

6 文物碎片自動(dòng)分類

出土文物碎塊數(shù)量龐大,且不同年代、不同顏色、不同質(zhì)地、不同紋飾的文物碎塊混雜一起,產(chǎn)生巨大的搜索空間和極高的計(jì)算復(fù)雜度,極大地限制了虛擬復(fù)原技術(shù)的落地及其在文物修復(fù)與保護(hù)單位的應(yīng)用和普及。因此,需要研究智能分類技術(shù),代替?zhèn)鹘y(tǒng)人工分類,將碎塊的搜索空間縮小在有效范圍內(nèi),支撐后續(xù)實(shí)體復(fù)原,促進(jìn)現(xiàn)有虛擬復(fù)原技術(shù)的進(jìn)一步落地和普及[41]。項(xiàng)目組針對(duì)文物碎片的自動(dòng)分類,開展了系列研究。

6.1 基于C均值聚類和圖轉(zhuǎn)導(dǎo)的半監(jiān)督分類算法

針對(duì)傳統(tǒng)圖轉(zhuǎn)導(dǎo)(GT)算法計(jì)算量大并且準(zhǔn)確率不高的問題,項(xiàng)目組提出一個(gè)基于C均值聚類和圖轉(zhuǎn)導(dǎo)的半監(jiān)督分類算法[42]。首先,采用模糊C均值(FCM)聚類算法[43]先對(duì)未標(biāo)記樣本預(yù)選取,縮小圖轉(zhuǎn)導(dǎo)算法構(gòu)圖數(shù)據(jù)集的范圍;然后,構(gòu)建k近鄰稀疏圖,減少相似度矩陣的虛假連接,進(jìn)而縮減了構(gòu)圖的時(shí)間,通過標(biāo)記傳播的方式得出初選未標(biāo)記樣本的標(biāo)記信息;最后,結(jié)合半監(jiān)督流形假設(shè)模型利用擴(kuò)充的標(biāo)記數(shù)據(jù)集以及剩余未標(biāo)記數(shù)據(jù)集進(jìn)行分類器的訓(xùn)練,進(jìn)而得出最終的分類結(jié)果。

6.2 基于多特征和SVM的兵馬俑碎片分類

融合多特征能有效提高分類的準(zhǔn)確率,因此,項(xiàng)目組提出了一種基于多特征和支持向量機(jī)(SVM)的文物碎片分類方法[44]。首先,利用尺度不變特征變換(SIFT)算法[45]提取碎片紋理特征,在此基礎(chǔ)上構(gòu)建每幅碎片圖像的詞袋模型(BoW)[46]。其次,利用Hu不變矩提取碎片形狀特征；最后,將紋理特征和形狀特征結(jié)合并通過支撐向量機(jī)[47]進(jìn)行訓(xùn)練,得到相應(yīng)的文物碎片分類模型。利用該方法進(jìn)行文物碎片分類,可以顯著提高分類的準(zhǔn)確率,本文以兵馬俑殘片圖像為實(shí)驗(yàn)對(duì)象，共計(jì)527幅殘缺兵馬俑圖像，其中，350幅作為SVM訓(xùn)練樣本集，其余177幅作為分類模型驗(yàn)證樣本集。根據(jù)分類要求，實(shí)驗(yàn)將采集到的兵馬俑和馬匹碎片圖像分為5類：W1代表兵馬俑的頭部；W2代表兵馬俑的軀干；W3代表兵馬俑的裙子；W4代表兵馬俑腿和踏板部件；W5代表兵馬俑手臂部分。結(jié)合采集到的兵馬俑三維模型和二維圖像，利用Lib SVM對(duì)基于顯著幾何特征的方法和本文提出的方法進(jìn)行實(shí)驗(yàn)。不同分類方法性能對(duì)比如表 1所示，顯示了本實(shí)驗(yàn)中使用的各種碎片圖像的數(shù)量。其中，碎片三維模型數(shù)量和碎片圖像數(shù)量相等。

表1 不同方法的分類結(jié)果對(duì)比[44]Tab.1 Comparison of classification results of different methods[44] %

6.3 基于深度學(xué)習(xí)和模板引導(dǎo)的三維兵馬俑碎片分類

項(xiàng)目組結(jié)合深度學(xué)習(xí)技術(shù),提出了一種基于深度學(xué)習(xí)網(wǎng)絡(luò)并結(jié)合模板指導(dǎo)的自動(dòng)方法,對(duì)兵馬俑的3D片段進(jìn)行分類[48]。該方法由以下3個(gè)步驟組成：首先,為了解決片段的樣本大小不足的問題,通過蒙特卡洛采樣執(zhí)行數(shù)據(jù)增強(qiáng)；其次,根據(jù)其身體部位標(biāo)記兵馬俑的片段,將這些片段的點(diǎn)云數(shù)據(jù)直接送入PointNet[49]訓(xùn)練模型并進(jìn)行分類；最后,通過確定兵馬俑“模板”與片段之間的對(duì)應(yīng)關(guān)系,對(duì)分類錯(cuò)誤的片段進(jìn)行第二次分類。

7 文化遺產(chǎn)數(shù)字展示傳播與應(yīng)用

針對(duì)考古遺址和場(chǎng)景的展示和推廣需求,項(xiàng)目組研制了文化遺產(chǎn)增強(qiáng)現(xiàn)實(shí)展示系統(tǒng),實(shí)現(xiàn)考古遺址和文物的沉浸式多通道虛擬展示。如圖8所示為遺址空間建模中秦陵保護(hù)區(qū)56 km2的鳥瞰圖。

圖8 秦陵保護(hù)區(qū)56 km2鳥瞰圖Fig.8 An aerial view of 56 square kilometers of Qin Mausoleum Reserve

7.1 智慧博物館

由于博物館展品種類雜、數(shù)量大,2002年西北大學(xué)搭建了利用數(shù)字化手段管理展品和虛擬現(xiàn)實(shí)技術(shù)展示展品的數(shù)字化博物館,為國內(nèi)其他數(shù)字博物館的開發(fā)建設(shè)提供了技術(shù)支撐。針對(duì)海量的文物文化資源難以完成人工標(biāo)注的問題,智慧博物館提出基于深度學(xué)習(xí)的文物文化自動(dòng)標(biāo)注技術(shù),構(gòu)建人工標(biāo)識(shí)訓(xùn)練集及文物文化的深度標(biāo)識(shí)模型,實(shí)現(xiàn)文物文化資源(文本、音頻及視頻)異構(gòu)數(shù)據(jù)關(guān)聯(lián)和聚類。針對(duì)文物文化資源數(shù)據(jù)不能與現(xiàn)實(shí)世界的事件直接關(guān)聯(lián),帶來文物文化資源不利傳播等問題,采用媒體大數(shù)據(jù)驅(qū)動(dòng)的文物文化智能推送技術(shù),構(gòu)建文物文化知識(shí)庫,支撐文物文化語義檢索和標(biāo)識(shí)管理,實(shí)現(xiàn)切合當(dāng)前熱點(diǎn)的文物文化個(gè)性化推薦。針對(duì)用戶由于各種局限不能到博物館實(shí)地參觀的問題,提出文物文化三維數(shù)據(jù)服務(wù)與虛擬展示方法,基于人工智能技術(shù),支撐交互拼接、虛擬修復(fù),實(shí)現(xiàn)歷史遺物與虛擬文物混合展示與交互,基于Web 和移動(dòng)APP 平臺(tái)實(shí)現(xiàn)創(chuàng)新的文物數(shù)字化虛實(shí)展示體驗(yàn)技術(shù)。智慧博物館實(shí)現(xiàn)文物文化的數(shù)字傳播與民眾普及宣傳,提升博物館服務(wù)能力和服務(wù)水平,消除數(shù)字鴻溝,全方位保存和展示非遺文化和藏品信息,以供參觀者、研究者隨時(shí)訪問,補(bǔ)充實(shí)地觀展的不足,滿足人民群眾不斷增長(zhǎng)的精神文化需求。

7.2 兵馬俑增強(qiáng)現(xiàn)實(shí)展示

數(shù)字博物館和互聯(lián)網(wǎng)上的文物信息都僅以傳播文物知識(shí)和欣賞歷史文物為目的。但是其展示方式缺乏多樣性,也無法讓人們,尤其是文物愛好者體驗(yàn)到互動(dòng)的樂趣。因此,開發(fā)和設(shè)計(jì)更具互動(dòng)性的歷史文物展示渠道和傳播歷史文化的方式是必要的[50]。目前,隨著技術(shù)的不斷革新,增強(qiáng)現(xiàn)實(shí)(augmented reality,AR)技術(shù)可以為展示文物提供逼真的、多功能的交互[6]。使用增強(qiáng)現(xiàn)實(shí)展示應(yīng)用時(shí)可以體驗(yàn)真實(shí)感,如圖9所示,可以讓兵馬俑模型以三維立體的方式呈現(xiàn)在人們的眼前,然后，添加縮放旋轉(zhuǎn)等功能,讓人們可以了解到文物的方方面面。

圖9 AR兵馬俑展示效果Fig.9 The display of AR Terracotta Warriors

為了讓兵馬俑模型出現(xiàn)在恰當(dāng)?shù)奈恢?地面上)與用戶合影留念,因此，項(xiàng)目組使用了一個(gè)通過自適應(yīng)單目慣性SLAM[51]設(shè)計(jì)優(yōu)化的實(shí)時(shí)增強(qiáng)現(xiàn)實(shí)系統(tǒng)[52],并在這個(gè)基礎(chǔ)上,對(duì)稀有的3D點(diǎn)云也進(jìn)行了深度信息稠密化和平面識(shí)別檢測(cè)。實(shí)現(xiàn)模型可以自動(dòng)識(shí)別地面并達(dá)到展示的目的,最后,介紹本研究所對(duì)掃描到的部分兵馬俑模型利用新技術(shù)進(jìn)行AR展示的結(jié)果,如圖10所示。

圖10 SLAM-AR兵馬俑展示效果圖Fig.10 The display of SLAM-AR Terracotta Warriors

8 結(jié)語

本項(xiàng)目組自20世紀(jì)90年代開始進(jìn)行文物數(shù)字化保護(hù)相關(guān)研究,經(jīng)過近30年的探索,在古人面貌虛擬復(fù)原、復(fù)雜外觀文物數(shù)字化、考古遺址場(chǎng)景建模與展示、考古過程記錄與應(yīng)用、破損破碎文物虛擬修復(fù)、文物碎片自動(dòng)分類、文化遺產(chǎn)的數(shù)字展示傳播7個(gè)方面取得了系列成果，并且各項(xiàng)成果也已在諸多文物保護(hù)單位及考古現(xiàn)場(chǎng)推廣應(yīng)用。

在總結(jié)前期成果的優(yōu)劣勢(shì)并研究與思考當(dāng)前層出不窮的新需求的基礎(chǔ)上,項(xiàng)目組將進(jìn)一步致力于結(jié)合計(jì)算機(jī)前沿技術(shù)(如人工智能、計(jì)算機(jī)視覺等)與考古學(xué)、文物保護(hù)等學(xué)科的交叉研究和應(yīng)用,如智慧博物館相關(guān)技術(shù)、戲曲的三維動(dòng)畫生成及全息展演等。