毛錦程,呂書(shū)強(qiáng),侯妙樂(lè),汪萬(wàn)福
基于分塊PCA與端元提取的壁畫(huà)線(xiàn)條增強(qiáng)研究
毛錦程1,2,呂書(shū)強(qiáng)1,2,侯妙樂(lè)1,2,汪萬(wàn)福3,4
(1. 北京建筑大學(xué)測(cè)繪與城市空間信息學(xué)院,北京 100044;2. 北京市建筑遺產(chǎn)精細(xì)重構(gòu)與健康監(jiān)測(cè)重點(diǎn)實(shí)驗(yàn)室,北京 100044;3. 敦煌研究院保護(hù)研究所,甘肅 敦煌 736200;4. 國(guó)家古代壁畫(huà)與土遺址保護(hù)工程技術(shù)研究中心,甘肅 敦煌 736200)
線(xiàn)狀特征是壁畫(huà)中的重要元素。然而受到自然及人為因素的影響,壁畫(huà)的部分線(xiàn)條常常變得模糊,人眼難以辨別。因此,提出一種利用高光譜影像分塊主成分分析(PCA)與端元提取相結(jié)合的線(xiàn)狀特征增強(qiáng)方法。首先,利用支持向量機(jī)(SVM)對(duì)壁畫(huà)的合成真彩色影像進(jìn)行分類(lèi),根據(jù)分類(lèi)結(jié)果得到壁畫(huà)標(biāo)簽數(shù)據(jù),實(shí)現(xiàn)高光譜影像同質(zhì)區(qū)域的分塊數(shù)據(jù)。其次,對(duì)各分塊影像進(jìn)行頂點(diǎn)成分分析(VCA)得到候選端元集,通過(guò)構(gòu)造投影矩陣合并相似端元確定最終端元集。然后,利用非負(fù)最小二乘算法解混得到線(xiàn)條豐度圖。最后,將分塊PCA的第一主成分影像歸一化后與線(xiàn)條豐度圖進(jìn)行波段加權(quán)平均獲取線(xiàn)狀特征增強(qiáng)影像,將其與合成真彩色影像進(jìn)行HSV圖像融合得到線(xiàn)狀特征融合影像。以瞿曇寺壁畫(huà)局部高光譜影像為例進(jìn)行了驗(yàn)證,結(jié)果表明,該算法能增強(qiáng)壁畫(huà)中的線(xiàn)狀特征,且較PCA增強(qiáng)法效果更好。
高光譜影像;線(xiàn)狀特征;分塊主成分分析;圖像解混;壁畫(huà)
壁畫(huà)作為文化遺產(chǎn)的重要組成部分,反映了不同歷史時(shí)期的經(jīng)濟(jì)、文化和思想觀(guān)念,是歷史研究的重要依據(jù)。壁畫(huà)中的線(xiàn)條是表達(dá)意象之美的核心元素,在壁畫(huà)中具有無(wú)可取代的特殊地位,在壁畫(huà)的保護(hù)與修復(fù)方面具有重要意義[1]。然而,由于年代久遠(yuǎn),受到自然環(huán)境和人為因素的影響,部分壁畫(huà)出現(xiàn)褪色、起甲、表面污染和顏料層脫落等[2]現(xiàn)象,導(dǎo)致線(xiàn)狀特征模糊,人眼難以辨認(rèn)。
高光譜成像技術(shù)已廣泛應(yīng)用于文物信息增強(qiáng)。SALERNO等[3]通過(guò)主成分分析(principal component analysis,PCA)和獨(dú)立成分分析技術(shù)對(duì)阿基米德重寫(xiě)本的高光譜影像進(jìn)行信息增強(qiáng),提取了微弱和高度退化的隱含文本。郭新蕾等[4]利用PCA技術(shù)結(jié)合光譜匹配算法對(duì)畫(huà)作底層信息進(jìn)行分析提取,發(fā)掘畫(huà)作隱含、涂抹信息。針對(duì)線(xiàn)狀特征的高光譜提取主要分為2類(lèi)方法,其一是高光譜數(shù)據(jù)降維后結(jié)合經(jīng)典圖像分類(lèi)算法。如許文忠等[5]對(duì)韓休墓壁畫(huà)的高光譜影像通過(guò)光譜角匹配法、獨(dú)立成分分析等方法提取并增強(qiáng)壁畫(huà)的底料信息;PAN等[6]通過(guò)PCA、波段合成、最大似然分類(lèi)、密度分割以及圖像融合,增強(qiáng)了一景壁畫(huà)的底稿輪廓;史寧昌等[7]利用PCA和密度分割等方法,對(duì)故宮博物院館藏書(shū)畫(huà)的高光譜數(shù)據(jù)中短波紅外波段進(jìn)行分析,實(shí)現(xiàn)了書(shū)畫(huà)的涂改痕跡和底稿信息的提取。其二是利用壁畫(huà)線(xiàn)條的光譜特征進(jìn)行增強(qiáng)。如HAN等[8]提取了石墨純凈像元的光譜曲線(xiàn),利用波譜角分類(lèi)提取石墨輪廓線(xiàn)條,并和可見(jiàn)光影像進(jìn)行圖像融合提取壁畫(huà)的底稿信息;張群喜等[9]根據(jù)線(xiàn)條的光譜特征利用感興趣區(qū)域分析及稀疏非負(fù)矩陣欠近似的方法對(duì)唐墓壁畫(huà)、彩繪泥塑等文物進(jìn)行隱含信息及線(xiàn)稿信息提取。由此可見(jiàn),目前線(xiàn)狀特征提取多采用PCA、最小噪聲分離變換、獨(dú)立成分分析等方法對(duì)整幅高光譜影像進(jìn)行降維。而壁畫(huà)中不同區(qū)域可能對(duì)應(yīng)不同的目標(biāo),其光譜特征存在差異。光譜特征增強(qiáng)法則需要人工選取純凈像元與光譜庫(kù)的光譜曲線(xiàn)進(jìn)行對(duì)比,具有一定的主觀(guān)性,且沒(méi)有利用線(xiàn)狀特征的空間信息。利用神經(jīng)網(wǎng)絡(luò)等方法進(jìn)行特征提取需要大量的樣本數(shù)據(jù),其中模糊或肉眼不可見(jiàn)的線(xiàn)條信息難以有效確定,而結(jié)合目視解譯的密度分割等方法忽略了部分細(xì)節(jié)。
分塊PCA主要應(yīng)用在人臉識(shí)別[10-11]、目標(biāo)跟蹤[12]等領(lǐng)域,但處理的圖像多為數(shù)字影像或多光譜影像,無(wú)法有效利用線(xiàn)狀特征更為豐富的近紅外波段。且由于壁畫(huà)中不同顏料混合的復(fù)雜性、像元間的交叉輻射及數(shù)據(jù)采集中環(huán)境等因素的影響,導(dǎo)致壁畫(huà)的高光譜影像中通常包含大量的混合像元。
因此,利用高光譜高維特征的稀疏性以及“圖譜合一”的優(yōu)點(diǎn),本文提出一種將分塊PCA與圖像解混相結(jié)合的線(xiàn)狀特征增強(qiáng)方法結(jié)合支持向量機(jī)(support vector machine,SVM)的分類(lèi)算法的分塊PCA能將空間上下文信息納入降維中;且由于分割得到的區(qū)域具有代表性,可以避免遺漏主要端元,提高端元提取的準(zhǔn)確性。在有噪聲的情況下,也能達(dá)到提取潛在的低維特征的目的。本文以瞿曇寺西回廊壁畫(huà)的高光譜影像為研究數(shù)據(jù)進(jìn)行驗(yàn)證。
瞿曇寺位于青海省海東市樂(lè)都區(qū)的瞿曇鎮(zhèn),始建于明洪武二十五年(1392),主體建筑為明代官式,1982年被列入第二批全國(guó)重點(diǎn)文物保護(hù)單位[13]。瞿曇寺壁畫(huà)作為漢藏兩地文化交流的藝術(shù)體現(xiàn),借鑒了漢地的繪畫(huà)風(fēng)格,其最主要特點(diǎn)是線(xiàn)條的表現(xiàn)方式更具張力。且作為漢藏兩地藝術(shù)風(fēng)格結(jié)合的起點(diǎn),有極其重要的引導(dǎo)作用和研究意義[14]。寺內(nèi)現(xiàn)存有明清兩代所繪壁畫(huà),極具歷史與藝術(shù)價(jià)值,但由于年代久遠(yuǎn),壁畫(huà)亟待保護(hù)與修復(fù)。
使用儀器為VNIR400H型地面高光譜成像儀,其光譜分辨率為2.8 nm,通道數(shù)為1 040,光譜范圍為400~1 000 nm,單景畫(huà)幅大小為1392×1000,共包含139萬(wàn)像元。為減少外界光源干擾,獲取影像數(shù)據(jù)時(shí)通常采用接近日光光源的鹵素?zé)糇鳛閿?shù)據(jù)采集的照明裝置,拍攝方式為相機(jī)主光軸垂直于目標(biāo)物,拍攝距離約1 m,光圈4.0。對(duì)瞿曇寺西回廊十五區(qū)壁畫(huà)局部進(jìn)行掃描成像,共采集三十景影像,利用高光譜RGB波段合成拼接后的影像如圖1所示,紅框中為研究區(qū)域。
圖1 瞿曇寺西回廊十五區(qū)壁畫(huà)拼接影像
由于拍攝距離較短,大氣輻射傳輸對(duì)輻射亮度的影響可忽略不計(jì),高光譜影像預(yù)處理包括反射率校正與影像去噪2部分。反射率重建為
其中,為反射率影像;Data為原始高光譜影像數(shù)據(jù);White為同等環(huán)境下標(biāo)準(zhǔn)白板數(shù)據(jù);Dark為暗電流數(shù)據(jù)。
考慮到原始高光譜數(shù)據(jù)包含1 040個(gè)波段,兩端波段受儀器影響含有較多噪聲,故去除噪聲較大的前后50個(gè)波段,對(duì)剩余的940個(gè)波段進(jìn)行最小噪聲分離正逆變換,變換后的影像數(shù)據(jù)可以在保留豐富光譜信息的同時(shí)降低噪聲,達(dá)到影像去噪的目的。
將預(yù)處理后的高光譜影像,通過(guò)分塊PCA得到降維后的第一主成分影像,對(duì)分塊高光譜數(shù)據(jù)采用圖像解混算法得到線(xiàn)狀特征豐度影像,然后將分塊PCA第一主成分影像與線(xiàn)狀特征豐度影像進(jìn)行波段處理進(jìn)一步增強(qiáng)線(xiàn)狀特征,流程如圖2所示。
圖2 線(xiàn)狀特征增強(qiáng)流程圖
傳統(tǒng)PCA是針對(duì)整幅高光譜影像進(jìn)行統(tǒng)一投影變換的一種線(xiàn)性降維方法,而壁畫(huà)高光譜影像中不同同質(zhì)區(qū)域之間的光譜特征存在明顯差異,因此采用分塊PCA方法對(duì)壁畫(huà)中有代表性的圖案區(qū)域進(jìn)行特征提取。
線(xiàn)性混合模型是高光譜圖像像元解混中應(yīng)用最為廣泛的光譜解混模型,其明確的物理意義和特殊的幾何特性在顏料解混[17-18]的研究上具有較好的通用性。頂點(diǎn)成分分析(vertex component analysis,VCA)作為一種基于線(xiàn)性混合模型的端元提取算法,通過(guò)尋找單形體的頂點(diǎn)來(lái)提取端元[19]。但由于不同顏料混合、噪聲等多種復(fù)雜因素的影響,利用VCA對(duì)壁畫(huà)高光譜影像進(jìn)行端元提取時(shí)往往會(huì)遺漏端元,且只利用了壁畫(huà)高光譜影像的光譜信息,忽略了影像的空間信息。而分塊后同質(zhì)區(qū)域包含了壁畫(huà)影像的空間信息,且各同質(zhì)區(qū)域內(nèi)像元成分較為相似,端元相對(duì)單一。利用VCA對(duì)分塊高光譜數(shù)據(jù)進(jìn)行初始端元提取,能有效減弱噪聲等因素對(duì)算法的干擾。設(shè)同質(zhì)區(qū)域的高光譜影像數(shù)據(jù)中包含個(gè)端元,其線(xiàn)性混合模型為
在線(xiàn)性混合模型下,由觀(guān)測(cè)向量組成的凸面體為
在整幅影像中,可能存在某種端元分布在不同同質(zhì)區(qū)域內(nèi),需對(duì)具有相同屬性的端元光譜進(jìn)行合并優(yōu)化[20]。設(shè)待優(yōu)化端元集(為條波段組成的端元矩陣),選取具有最大2范數(shù)的光譜為第一條端元光譜賦給,對(duì)已提取的端元矩陣構(gòu)造投影矩陣,即
為了盡可能使合并后的端元之間差異性大,可將投影矩陣作用在待優(yōu)化端元矩陣提取下一條端元光譜,更新端元矩陣,判斷是否滿(mǎn)足設(shè)定端元數(shù)目,依次迭代直到找到所有端元為止,即
其中,為含有條端元光譜的最終端元矩陣;為端元矩陣中的第條端元光譜。
由于壁畫(huà)受不同顏料混合的復(fù)雜性、光照、環(huán)境及數(shù)據(jù)采集條件等多種因素的影響,像元中端元光譜通常會(huì)發(fā)生變化,產(chǎn)生光譜變異性。且難以兼顧像元中所有物質(zhì),因此選擇非負(fù)最小二乘法求解壁畫(huà)中各圖案區(qū)域的豐度,即在式(3)的約束下求解式(2)。由于約束項(xiàng)為不等式,故通常情況下可轉(zhuǎn)化成一個(gè)最優(yōu)化問(wèn)題,得到拉格朗日表達(dá)式為
選取預(yù)處理后的高光譜影像的band 383 (640 nm),band 241 (550 nm)和band 94 (460 nm)分別為紅色、綠色和藍(lán)色波段合成真彩色影像。在合成真彩色合成影像上選取不同顏色的圖案區(qū)域內(nèi)多個(gè)小塊區(qū)域?yàn)镾VM分類(lèi)器的訓(xùn)練樣本,如圖3所示。
圖3 各顏色區(qū)域訓(xùn)練樣本
從圖3可以看出,壁畫(huà)主要分為白色、藍(lán)色、綠色、棕色、紅色和黑色6類(lèi)圖案區(qū)域,其訓(xùn)練樣本包含像元個(gè)數(shù)見(jiàn)表1。
根據(jù)訓(xùn)練樣本對(duì)整景高光譜影像進(jìn)行SVM分類(lèi),獲取標(biāo)簽數(shù)據(jù),結(jié)果如圖4所示。
表1 訓(xùn)練樣本
圖4 SVM分類(lèi)結(jié)果
將分類(lèi)得到的標(biāo)簽數(shù)據(jù)與壁畫(huà)的高光譜數(shù)據(jù)一一對(duì)應(yīng),并劃分為6個(gè)高光譜同質(zhì)區(qū)域。對(duì)壁畫(huà)各個(gè)同質(zhì)區(qū)域進(jìn)行PCA,得到信息量最大的第一主成分影像。分別計(jì)算PCA與分塊PCA得到的第一主成分影像平均梯度、信息熵和邊緣梯度,見(jiàn)表2。結(jié)果表明,分塊PCA的第一主成分影像優(yōu)于傳統(tǒng)PCA。
表2 第一主成分影像對(duì)比
在端元提取時(shí),由于分塊后各同質(zhì)區(qū)域的像元相似,端元相對(duì)簡(jiǎn)單,故可從小到大依次設(shè)置每區(qū)提取的初始端元數(shù)目。在壁畫(huà)同質(zhì)或不同區(qū)域間提取出相似的光譜曲線(xiàn)時(shí),將低于反余弦值閾值的2條光譜曲線(xiàn)取平均后得到的光譜曲線(xiàn)作為新的端元光譜??紤]到壁畫(huà)拍攝環(huán)境的復(fù)雜性、光照、噪聲等因素的影響,將反余弦值閾值設(shè)定為0.1弧度。發(fā)現(xiàn)當(dāng)設(shè)置端元個(gè)數(shù)為3時(shí),各同質(zhì)區(qū)域的端元均能夠被有效提取,當(dāng)設(shè)置端元數(shù)目為4時(shí),出現(xiàn)多條相似光譜曲線(xiàn),故通常將端元個(gè)數(shù)設(shè)為1,2,3依次提取端元。所有區(qū)域提取的端元光譜曲線(xiàn)組成候選端元集。由于候選端元集中存在部分混合光譜曲線(xiàn),混合光譜通常存在于單形體的內(nèi)部,故利用式(6)構(gòu)建投影矩陣剔除候選端元集的混合光譜,得到最終端元集。壁畫(huà)白色、藍(lán)色、綠色、棕色、紅色和黑色各個(gè)圖案區(qū)域構(gòu)成目標(biāo)影像的最終端元集,如圖5所示。
圖5 最終端元集
根據(jù)最終端元矩陣,利用非負(fù)最小二乘解混算法對(duì)高光譜影像進(jìn)行豐度反演,獲得豐度矩陣對(duì)比藍(lán)色、綠色、棕色、紅色和黑色各個(gè)區(qū)域端元的反演結(jié)果,發(fā)現(xiàn)其對(duì)應(yīng)的豐度圖中線(xiàn)狀特征因顏料覆蓋導(dǎo)致部分線(xiàn)條信息缺失,而壁畫(huà)白色圖案區(qū)域端元對(duì)應(yīng)的豐度圖中的線(xiàn)條信息較為完整,故選其作為線(xiàn)條豐度圖,如圖6所示。
圖6 白色圖案區(qū)域?qū)?yīng)端元的豐度圖
由于單波段對(duì)應(yīng)的影像無(wú)法完全保留線(xiàn)條信息,為獲取完整的線(xiàn)狀特征信息及壁畫(huà)的全局信息,將信息量最大的第一主成分影像歸一化后與線(xiàn)條豐度圖進(jìn)行加權(quán)平均得到線(xiàn)狀特征增強(qiáng)影像,本次權(quán)值設(shè)為0.5。選取如圖7所示區(qū)域①,②,③及整幅影像,分別計(jì)算歸一化后的第一主成分影像、線(xiàn)條豐度圖與線(xiàn)狀特征增強(qiáng)影像的信息熵,結(jié)果見(jiàn)表3。增強(qiáng)后的線(xiàn)狀特征影像的信息熵?cái)?shù)值均高于歸一化后的第一主成分影像和線(xiàn)條豐度圖,表明該算法能在保留壁畫(huà)全局信息完整性的同時(shí)有效增強(qiáng)線(xiàn)狀特征。
表3 信息熵對(duì)比結(jié)果
對(duì)波段加權(quán)平均后得到的線(xiàn)狀特征增強(qiáng)影像與合成真彩色影像進(jìn)行HSV融合。先將合成真彩色影像變換到HSV空間,用線(xiàn)狀特征增強(qiáng)影像代替亮度分量,將融合后影像逆變換回至RGB顏色空間,使得最終實(shí)現(xiàn)的線(xiàn)狀特征融合影像包含更為完整線(xiàn)狀特征信息的同時(shí),更貼近壁畫(huà)的真實(shí)顏色。歸一化后的分塊PCA第一主成分影像、線(xiàn)條豐度圖、線(xiàn)狀特征增強(qiáng)影像、佳能5D型號(hào)相機(jī)拍攝的數(shù)字影像、合成真彩色影像和線(xiàn)狀特征融合影像的對(duì)比如圖7所示。
圖7 影像對(duì)比((a)歸一化第一主成分影像;(b)線(xiàn)條豐度圖;(c)線(xiàn)狀特征增強(qiáng)影像;(d)數(shù)字影像;(e)合成真彩色影像;(f)線(xiàn)狀特征融合影像)
從圖7中可以發(fā)現(xiàn),增強(qiáng)后整體影像、區(qū)域①,②,③較合成真彩色影像中線(xiàn)狀特征有明顯增強(qiáng),使用Sobel算子對(duì)合成真彩色影像與整體線(xiàn)狀特征增強(qiáng)影像及區(qū)域①,②,③進(jìn)行圖像邊緣提取,計(jì)算各圖像的平均梯度,即
取影像邊緣像素點(diǎn)的梯度幅值計(jì)算每個(gè)影像的邊緣強(qiáng)度,即
其中,J和J分別為邊緣像素點(diǎn)在和方向的一階差分。
由表4可知,增強(qiáng)后整體影像及局部區(qū)域影像的平均梯度與邊緣強(qiáng)度均較合成真彩色影像有明顯提升,表明了線(xiàn)狀特征增強(qiáng)方法的有效性。
表4 影像對(duì)比結(jié)果
為進(jìn)一步表明該方法的普適性,選取瞿曇寺西回廊十五區(qū)其他部分壁畫(huà)進(jìn)行驗(yàn)證,結(jié)果如圖8所示。
通過(guò)對(duì)比合成真彩色影像與線(xiàn)條增強(qiáng)影像發(fā)現(xiàn),西回廊十五區(qū)真實(shí)壁畫(huà)中紅色、綠色圖案區(qū)域下的線(xiàn)狀特征明顯增強(qiáng),被顏料覆蓋、褪色及肉眼不可見(jiàn)的線(xiàn)條信息經(jīng)該方法增強(qiáng)后清晰可辨,表明其在真實(shí)壁畫(huà)的線(xiàn)狀特征增強(qiáng)及隱含信息提取方面具有較好的普適性。
圖8 瞿曇寺西回廊十五區(qū)影像對(duì)比
Fig. 8 Image comparison of the 15th district of west corridor
為研究該方法對(duì)顏料層覆蓋下線(xiàn)條信息增強(qiáng)的真實(shí)性與可靠性,按照已有的壁畫(huà)制作工藝制作了模擬壁畫(huà)樣本。如圖9所示,每種顏料繪制區(qū)域?yàn)榘霃綖? cm的圓形,重疊部分約占圓的六分之一。在繪制前,先用鉛筆繪制底線(xiàn),再用墨水描黑,完成圖案的繪制。
圖9 模擬壁畫(huà)底稿制作
待墨線(xiàn)晾干后,選擇朱砂(HgS)、石黃(As4S4)、石青(CuCO3·Cu(OH)2)3種礦物顏料進(jìn)行上色,順序?yàn)榧t(朱砂)、黃(石黃)、青(石青),如圖10所示。
圖10 上色后實(shí)驗(yàn)樣本示意圖
通過(guò)控制同比例石灰水的涂刷層數(shù)來(lái)控制涂刷在實(shí)驗(yàn)塊圖案上石灰覆蓋的厚度。將熟石灰和水混合后調(diào)制石灰水,用刷子涂刷在圖案上。本次模擬樣本制作需涂刷多層石灰水,待每層石灰水曬干后再進(jìn)行下一層的涂刷,結(jié)果如圖11所示。圖上所標(biāo)0~11數(shù)字,分別表示涂刷石灰水的層數(shù)。
可以看到模擬壁畫(huà)涂抹8~9層石灰水后,其輪廓信息模糊不清,人眼已較難辨別。選擇紅框區(qū)域的影像進(jìn)行驗(yàn)證,結(jié)果如圖12所示。
圖11 涂刷完石灰水后實(shí)驗(yàn)塊示意圖
圖12 影像對(duì)比((a)原始灰度影像;(b)線(xiàn)狀特征增強(qiáng)影像;(c)合成真彩色影像;(d)線(xiàn)狀特征融合影像)
通過(guò)對(duì)比真彩色影像、數(shù)字影像與線(xiàn)狀特征融合影像發(fā)現(xiàn)被石灰水涂刷和顏料層覆蓋的線(xiàn)條信息有所增強(qiáng),驗(yàn)證了本文方法能利用高光譜數(shù)據(jù)中的信息實(shí)現(xiàn)線(xiàn)狀特征提取。
選擇文獻(xiàn)[21]的底稿信息增強(qiáng)方法與本方法進(jìn)行對(duì)比,其結(jié)果影像為灰度影像,如圖13(a)所示。為了使結(jié)果具有可比性,采用圖7(a)歸一化第一主成分影像和圖7(b)豐度圖加權(quán)平均得到線(xiàn)狀特征增強(qiáng)影像進(jìn)行對(duì)比,如圖13(b)所示。同樣選擇區(qū)域①,②,③及整幅影像分別計(jì)算2種方法線(xiàn)狀特征增強(qiáng)影像的平均梯度與邊緣強(qiáng)度。
圖13 方法對(duì)比((a) PCA增強(qiáng)影像;(b)線(xiàn)狀特征增強(qiáng)影像)
根據(jù)表5的對(duì)比結(jié)果,發(fā)現(xiàn)線(xiàn)狀特征增強(qiáng)影像的數(shù)值均高于PCA增強(qiáng)影像的數(shù)值,表明本方法能更好地增強(qiáng)壁畫(huà)中的線(xiàn)狀特征。
表5 影像對(duì)比結(jié)果
針對(duì)壁畫(huà)線(xiàn)狀特征褪色,難以辨認(rèn)的問(wèn)題,提出一種利用分塊PCA與圖像解混算法相結(jié)合的壁畫(huà)線(xiàn)狀特征增強(qiáng)方法。使用分塊PCA得到第一主成分影像,利用非負(fù)最小二乘解混得到線(xiàn)條豐度圖,將兩者與彩色壁畫(huà)影像進(jìn)行HSV融合得到線(xiàn)狀特征融合影像。以青海省瞿曇寺壁畫(huà)高光譜影像為例進(jìn)行了驗(yàn)證,表明利用分塊PCA與端元提取相結(jié)合的方法能有效增強(qiáng)壁畫(huà)的線(xiàn)狀特征,挖掘壁畫(huà)中模糊褪色或肉眼不可見(jiàn)的隱含信息,為壁畫(huà)的修復(fù)保護(hù)工作及數(shù)字化留存提供參考和借鑒。本研究主要采用線(xiàn)性降維方法,雖然能有效提取被顏料層覆蓋的線(xiàn)條信息,但高光譜影像各波段存在較強(qiáng)的相關(guān)性,且不同區(qū)域的高光譜數(shù)據(jù)其行列相關(guān)性也存在差異。因此,如何在去除波段相關(guān)性后更好地進(jìn)行線(xiàn)狀特征提取是未來(lái)研究的方向。
[1] 袁小樓. 解讀賀蘭山巖畫(huà)與中國(guó)繪畫(huà)的線(xiàn)條美[J]. 藝術(shù)評(píng)論, 2018(11): 148-151.
YUAN X L. Interpretation of the beauty of painting lines with regard to Helan mountain rock paintings and those of Chinese paintings[J]. Arts Criticism, 2018(11): 148-151 (in Chinese).
[2] 張璐婷. 淺談太原崛圍山多福寺明代壁畫(huà)的保護(hù)與管理[J]. 文物世界, 2019(2): 73-75.
ZHANG L T.On the protection and management of Ming Dynasty Murals in Duofu temple in Juewei mountain, Taiyuan[J]. World of Antiquity, 2019(2): 73-75 (in Chinese).
[3] SALERNO E, TONAZZINI A, BEDINI L. Digital image analysis to enhance underwritten text in the Archimedes palimpsest[J]. International Journal of Document Analysis and Recognition: IJDAR, 2007, 9(2-4): 79-87.
[4] 郭新蕾, 張立福, 吳太夏, 等. 成像光譜技術(shù)的古畫(huà)隱藏信息提取[J]. 中國(guó)圖象圖形學(xué)報(bào), 2017, 22(10): 1428-1435.
GUO X L, ZHANG L F, WU T X, et al. Hidden information extraction from the ancient painting using hyperspectral imaging technology[J]. Journal of Image and Graphics, 2017, 22(10): 1428-1435 (in Chinese).
[5] 許文忠, 唐興佳, 張耿, 等. 基于光譜成像與光譜分析的壁畫(huà)鑒賞研究[J]. 光譜學(xué)與光譜分析, 2017, 37(10): 3235-3241.
XU W Z, TANG X J, ZHANG G, et al. Research on mural painting appreciatione based on spectral imaging and spectral analysis[J]. Spectroscopy and Spectral Analysis, 2017, 37(10): 3235-3241 (in Chinese).
[6] PAN N, HOU M, LV S, et al. Extracting faded mural patterns based on the combination of spatial-spectral feature of hyperspectral image[J]. Journal of Cultural Heritage, 2017, 27, 80-87.
[7] 史寧昌, 李廣華, 雷勇, 等. 高光譜成像技術(shù)在故宮書(shū)畫(huà)文物保護(hù)中的應(yīng)用[J]. 文物保護(hù)與考古科學(xué), 2017, 29(3): 23-29.
SHI N C, LI G H, LEI Y, et al. Hyperspectral imaging to Chinese paintings at the Palace Museum[J]. Sciences of Conservation and Archaeology, 2017, 29(3): 23-29 (in Chinese).
[8] HAN X M, HOU M L, ZHU G, et al. Extracting graphite sketch of the mural using Hyper-Spectral Imaging method[J]. Tehnicki Vjesnik - Technical Gazette, 2015, 22(6): 1567-1577.
[9] 張群喜, 王珺, 彭進(jìn)業(yè), 等. 基于光譜成像的彩繪文物新應(yīng)用與新方法[J]. 文物保護(hù)與考古科學(xué), 2019, 31(5): 26-32.
ZHANG Q X, WANG J, PENG J Y, et al. New spectral imaging-based applications and methods in the analyses of painted cultural relics[J]. Sciences of Conservation and Archaeology, 2019, 31(5): 26-32 (in Chinese).
[10] 劉云夢(mèng). 基于PCA+SVM的視頻人臉識(shí)別技術(shù)[D]. 青島: 山東科技大學(xué), 2020.
LIU Y M. Video face recognition technology based on PCA+SVM[D]. Qingdao: Shandong University of Science and Technology, 2020 (in Chinese).
[11] 王玉德, 張學(xué)志. 一種基于圖像分塊加權(quán)的(2D)2PCA人臉特征提取方法[J]. 激光雜志, 2013, 34(5): 25-26.
WANG Y D, ZHANG X Z. An algorithm of feature extraction of face based on modular aeighted(2D)2PCA[J]. Laser Journal, 2013, 34(5): 25-26 (in Chinese).
[12] 張明杰. 基于視覺(jué)的目標(biāo)跟蹤與行為識(shí)別方法研究[D]. 西安: 西北大學(xué), 2015.
ZHANG M J. Research on object tracking and action recognition method based on vision[D]. Xi'an: Northwest University, 2015 (in Chinese).
[13] 仲旭輝. 瞿曇寺漢藏兩系壁畫(huà)人物造型藝術(shù)特點(diǎn)研究[D]. 蘭州: 西北師范大學(xué), 2018.
ZHONG X H. A study on the characteristics of plastic art of two series of the mural figures in the Sino-Tibetan of qutan temple[D]. Lanzhou: Northwest Normal University, 2018.
[14] 金萍. 瞿曇寺壁畫(huà)對(duì)西藏繪畫(huà)藝術(shù)轉(zhuǎn)型的影響[J]. 南京藝術(shù)學(xué)院學(xué)報(bào): 美術(shù)與設(shè)計(jì)版, 2014(3): 29-33.
JIN P. The influence of Qutan temple murals on the transformation of Tibetan painting art[[J]. Journal of Nanjing Arts Institute: Fine Arts & Design, 2014(3): 29-33 (in Chinese).
[15] 駱劍承, 周成虎, 梁怡, 等. 支撐向量機(jī)及其遙感影像空間特征提取和分類(lèi)的應(yīng)用研究[J]. 遙感學(xué)報(bào), 2002, 6(1): 50-55.
LUO J C, ZHOU C H, LEUNGY, et al. Support vector machine for spatial feature extraction andclassification of remotely sensed imagery[J]. Journal of Remote Sensing, 2002, (1): 50-55 (in Chinese).
[16] JIANG J J, MA J Y, CHEN C, et al. SuperPCA: a superpixelwise PCA approach for unsupervised feature extraction of hyperspectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(8): 4581-4593.
[17] DELANEY J K, ZEIBEL J G, THOURY M, et al. Visible and infrared imaging spectroscopy of Picasso's Harlequin musician: mapping and identification of artist materials in situ[J]. Applied Spectroscopy, 2010, 64(6): 584-594.
[18] DOOLEY K A, LOMAX S, ZEIBEL J G, et al. Mapping of egg yolk and animal skin glue paint binders in Early Renaissance paintings using near infrared reflectance imaging spectroscopy[J]. The Analyst, 2013, 138(17): 4838-4848.
[19] NASCIMENTO J M P, DIAS J M B. Vertex component analysis: a fast algorithm to unmix hyperspectral data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(4): 898-910.
[20] 孔祥兵, 舒寧, 龔龑, 等. 結(jié)合空間和光譜信息的高光譜影像端元光譜自動(dòng)提取[J]. 光譜學(xué)與光譜分析, 2013, 33(6): 1647-1652.
KONG X B, SHU N, GONG Y, et al. Integration of spatial-spectral information based endmember extraction for hyperspectral image[J]. Spectroscopy and Spectral Analysis, 2013, 33(6): 1647-1652 (in Chinese).
[21] 侯妙樂(lè), 雷勇, 蘆鑫, 等. 基于高光譜數(shù)據(jù)的壁畫(huà)底稿信息提取[J]. 測(cè)繪科學(xué), 2014, 39(10): 89-92, 101.
HOU M L, LEI Y, LU X, et al. Manuscript information extraction research of mural based on hyperspectral data[J]. Science of Surveying and Mapping, 2014, 39(10): 89-92, 101 (in Chinese).
Research on mural line enhancement based on block PCA and endmember extraction
MAO Jin-cheng1,2, LYU Shu-qiang1,2, HOU Miao-le1,2, WANG Wan-fu3,4
(1. School of Geomatics and Urban Spatial Informatics, Beijing University of Civil Engineering and Architecture, Beijing 100044, China; 2. Beijing Key Laboratory For Architectural Heritage Fine Reconstruction & Health Monitoring, Beijing 100044, China; 3. The Conservation Institute of Dunhuang Academy, Dunhuang Gansu 736200, China; 4. National Research Center for Conservation of Ancient Wall Paintings and Earthen Sites, Dunhuang Academy, Dunhuang Gansu 736200, China)
Linear feature is an important element in murals. However, natural or human factors tend to make it difficult for human eyes to distinguish some blurred lines of the murals. Therefore, a linear feature enhancement method using hyperspectral image block principal component analysis (PCA) and image unmixing was proposed. Firstly, the support vector machine (SVM) was employed to classify the hyperspectral composite image of the mural, the result of which could help produce the mural label data. In doing so, the block data of the homogeneous area of the hyperspectral image could be acquired. Secondly, vertex component analysis (VCA) was performed on each segmented image to obtain a candidate endmember set. The final endmember set was determined by constructing a projection matrix and merging similar endmembers. Then, the non-negative least squares unmixing was used to obtain the line abundance map. Finally, the first principal component image of the block principal component analysis was normalized, and band calculation was performed with the line abundance map to obtain the linear feature enhanced image. They were fused with the true color composite image to obtain the linear feature fusion image. Taking some hyperspectral images of murals in Qutan Temple, Qinghai Province, China as an example, the results show that the algorithm can enhance the linear features in the murals, which is superior to the PCA enhancement method.
hyperspectral image; linear feature; block principal component analysis; image unmixing; mural
TP 391
10.11996/JG.j.2095-302X.2022030425
A
2095-302X(2022)03-0425-09
2021-07-09;
2021-11-30
9 July,2021;
30 November,2021
國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目(2017YFB1402105);北京市自然科學(xué)基金項(xiàng)目-市教委聯(lián)合基金項(xiàng)目(KZ20211001621)
National Key R&D Program of China (2017YFB1402105); Beijing Natural Science Foundation Project-Municipal Education Commission Joint Fund Project (KZ20211001621)
毛錦程(1996-),女,碩士研究生。主要研究方向?yàn)楦吖庾V遙感、壁畫(huà)數(shù)字化保護(hù)。E-mail:2108160219003@stu.bucea.edu.cn
MAO Jin-cheng (1996-), master student. Her main research interests cover hyperspectral remote sensing, digital protection of murals. E-mail:2108160219003@stu.bucea.edu.cn
侯妙樂(lè)(1974-),女,教授,博士,博士生導(dǎo)師。主要研究方向?yàn)榻ㄖz產(chǎn)數(shù)字化保護(hù)與研究工作。E-mail:houmiaole@bucea.edu.cn
HOU Miao-le (1974-), professor, Ph.D. Her main research interests cover digital protection and research of architectural heritage. E-mail:houmiaole@bucea.edu.cn