童立靖，王鳳鶴，李 斌

基于紋理的三維書籍模型單側(cè)頁面提取方法

童立靖，王鳳鶴，李 斌

(北方工業(yè)大學(xué)計算機學(xué)院，北京 100144)

模型分割在實際工程中有重要的應(yīng)用價值。針對三維書籍模型的點云分割，提出了一種基于紋理的單側(cè)書籍頁面提取方法。對于獲取的三維書籍模型以及散亂紋理圖像，首先將模型的散亂紋理轉(zhuǎn)化為有序紋理，將像素值從RGB空間轉(zhuǎn)換到HSI空間，根據(jù)H(色調(diào))和I(亮度)去掉模型背景點云；然后根據(jù)書脊線像素在有序紋理圖像中的分布特性，計算紋理圖像中的書脊線，再利用最小二乘法擬合出書脊線的三維空間方程，進而求出分割左右頁面的空間平面，最終完成單側(cè)頁面的提取。實驗結(jié)果表明，該方法針對三維書籍模型能夠快速穩(wěn)定地提取出單側(cè)頁面，具有較高的準(zhǔn)確性。

頁面提取；點云分割；HSI色彩空間；書籍模型；最小二乘法

三維書籍模型的單側(cè)頁面提取，是三維圖書模型進行光學(xué)字符識別(optical character recognition，OCR)的關(guān)鍵一步，主要依據(jù)點云分割的方法對三維模型進行切分[1]。

目前提出的點云分割算法[2]主要分為：基于區(qū)域增長的、基于屬性的和基于模型的分割方法等?；趨^(qū)域增長的分割算法[3-4]實質(zhì)上是將鄰近區(qū)域內(nèi)有相似性質(zhì)的點連接起來構(gòu)成獨立的分割區(qū)域，并認(rèn)為不同區(qū)域間有較大差異。該方法以種子曲面作為起點，通過測試某一未被分類的點，判斷該點是否能構(gòu)成種子表面，對能夠形成曲面的點擬合出一個平面方程，再判斷該點是否能夠納入平面。該方法抗噪聲能力強，但過于依賴種子的選取策略，很難得到確定的分割模型?；趯傩缘姆指钏惴╗5-6]中每個點都與一個特征向量相關(guān)，在特征空間中通過聚類分割點云模型。此方法對性能和時間的要求較高，不適合處理大量數(shù)據(jù)，因此在實際的應(yīng)用范圍受到局限?；谀Ｐ偷姆指钏惴ǜ鶕?jù)幾何模型將具有相同數(shù)學(xué)表達式的點云歸類到同一區(qū)域，較為經(jīng)典的方法是隨機抽樣一致性估計算法(random sample consensus，RANSAC)[7]，這是用來檢測數(shù)學(xué)特征的一種魯棒性算法，但此算法只能處理規(guī)則幾何形狀的人造物體或場景，不適用于點云數(shù)量較多、形狀較為復(fù)雜的模型分割。

針對以上問題，本文對三維書籍模型的單側(cè)頁面提取，提出了一種結(jié)合書籍模型紋理圖像的單側(cè)頁面點云分割方法。實驗表明，該算法能夠穩(wěn)定地提取單側(cè)書籍頁面，且具有較好的準(zhǔn)確度。

1 算法的思路

三維掃描儀掃描的三維模型包括點云數(shù)據(jù)和紋理圖像。點云數(shù)據(jù)通常包含點云的三維坐標(biāo)、紋理映射點對[8]和組成模型網(wǎng)格的三角形頂點索引；紋理圖像描述的是紋理映射的像素信息，在紋理圖像中是散亂的。某書籍的三維模型如圖1所示。

圖1 某書籍的三維模型

本文的算法思路為：首先將書籍模型的散亂紋理轉(zhuǎn)變?yōu)橛行蚣y理。先確定要轉(zhuǎn)變的有序紋理的大小，初始化為灰色，找到每個三角面片上3個頂點及面片中的點在散亂紋理中的像素值，填充得到有序紋理圖像；然后，掃描有序紋理圖像找到背景的像素點，從而去掉模型背景點云；最后，根據(jù)有序紋理圖像中脊線像素點位置，使用最小二乘法擬合出空間書脊線進而求解分割左右頁面的空間平面方程，完成書籍模型的單側(cè)頁面提取。本文的算法流程如圖2所示。

圖2 算法流程圖

2 三維模型的背景去除

2.1 有序紋理的獲取

在進行頁面提取之前，先將書籍模型的散亂紋理圖像轉(zhuǎn)變?yōu)橛行虻亩S紋理圖像。三維模型由空間網(wǎng)格及其附屬于網(wǎng)格的紋理圖像構(gòu)成，在三維模型文件中，存有網(wǎng)格各端點的空間三維坐標(biāo)、其在二維無序紋理圖像中的平面坐標(biāo)、及其對應(yīng)關(guān)系數(shù)據(jù)。將三維模型網(wǎng)格進行平面投影，根據(jù)模型文件中端點的三維坐標(biāo)與二維無序紋理坐標(biāo)的對應(yīng)關(guān)系，可以得到投影圖像各端點的紋理坐標(biāo)，并可將無序紋理圖像中端點構(gòu)成的三角形區(qū)域的像素信息映射到投影端點的三角形區(qū)域，從而獲取有序的投影紋理圖像。對于兩個三角形內(nèi)部像素的映射，可依紋理映射關(guān)系進行計算，具體步驟為：

步驟1.有序紋理大小的確定和圖像初始化。

為方便計算，首先將模型點云的空間坐標(biāo)平移到第一象限，然后根據(jù)、坐標(biāo)軸方向的最大、最小值，選取一定的比例關(guān)系，確定生成的有序紋理圖像大小，即

確定了有序紋理圖像的大小后將圖像初始化為灰色(128,128,128)。

步驟2. 點云模型三角形面片頂點對應(yīng)的紋理圖像像素的信息提取。

計算三角形面片頂點在有序的二維紋理圖像中的位置，即

其中，?、?為計算后頂點像素信息需要保存在有序紋理圖像中的位置，、為點云橫縱坐標(biāo)上的位置。存儲的像素位置為整數(shù)值，因此在計算像素位置時四舍五入。

步驟3.點云模型三角形面片內(nèi)部像素信息的提取與保存。

由式(3)可得如下映射矩陣

于是有：

對于符合條件(1)和(3)情況的像素點，根據(jù)映射矩陣和式(3)即可更新有序紋理圖像中的像素信息。遍歷各三角形網(wǎng)格，完成整幅有序紋理圖像的像素填充。

某書籍模型獲取的有序紋理圖像如圖3所示。

圖3 有序紋理圖像

2.2 基于HSI空間的模型背景去除

受照度、陰影等因素的影響，有序紋理圖像中模型背景各像素點的RGB值并不完全一致，為了去除三維模型的背景點云，本文將紋理圖像從RGB顏色空間轉(zhuǎn)換到HSI顏色空間[9]，根據(jù)書籍與背景紋理的H和I的不同特性，完成對背景點云的切分。具體步驟為：

步驟1.遍歷模型的三角面片，對于式(5)確定在三角面片投影圖像中的像素點，獲取其RGB信息，通過式(6)~(8)將其轉(zhuǎn)換到HSI顏色空間，即

步驟2.根據(jù)每一個三角面片投影圖像中像素轉(zhuǎn)換到HSI空間后的值和值，當(dāng)滿足式(9)時判定此點為背景點云，并刪除該點所在面片，完成書籍模型的背景去除，即

3 單側(cè)頁面的分割

為將書籍模型的左右頁面分開，保留單側(cè)頁面，首先需要獲取二維紋理圖像中書脊線的像素位置；然后將二維圖像的像素位置映射到三維模型中，擬合出一條空間上的書脊線；最后確定分割書籍左右頁面的空間平面方程，切割單側(cè)頁面。

3.1 紋理圖像中書脊線的獲取

本文根據(jù)紋理圖像中像素點顏色特征來計算書脊線在有序紋理圖像上的位置。在三維掃描儀實際掃描過程中，由于曲面凹陷較深，會出現(xiàn)空間網(wǎng)格的空缺，并且在從三維模型提取有序紋理圖像的過程中，除書籍本身外，其余區(qū)域均被設(shè)置為灰色，使書脊線處出現(xiàn)較為明顯的灰色條帶狀紋理。為了減少計算復(fù)雜度，掃描有序紋理圖像的中心區(qū)域，尋找灰色像素點，若其后跟隨有個連續(xù)的灰色像素點，則該點為書脊線位置。

3.2 二維書脊線的三維映射

其中，0、0、0為直線上的某一點坐標(biāo)值；(,,1)為方向矢量，具體待求。

令

則式(11)可以寫成

考慮空間直線的平面投影為最佳估計，則其對和的偏導(dǎo)數(shù)為0，可解出和，即

同理，式(17)對和求偏導(dǎo)，式(18)對和求偏導(dǎo)，可依次解出其值。

式(13)~(15)的兩兩組合可構(gòu)成3條直線，選取離書脊線各點距離平方和最小的直線作為書脊線的空間擬合直線，其方法為：

將式(20)代入式(21)中，化簡可得

則垂點的軸上的值為

將式(23)代入式(20)可得x,y。

同理可計算書脊線各點到另外兩條空間直線的距離平方和2、3。

3.3 左右頁面的分割

根據(jù)點法式方程，平面p可得

4 實驗結(jié)果與分析

4.1 實驗環(huán)境

實驗環(huán)境為：Inter(R) Core(TM) i7-3770 CPU @ 3.4 GHz，8 GB內(nèi)存，Windows 7 32位操作系統(tǒng)，Microsoft Visual Studio 2005。使用語言為C++和OpenGL。本實驗所使用的三維書籍模型由美國Artec 3D EVA手持式三維彩色掃描儀和美國Artec Spider手持式高精度三維掃描儀掃描得到。

4.2 結(jié)果分析

4.2.1 功能性實驗

圖4顯示了使用本文的基于紋理特征的分割算法進行的三維書籍模型單側(cè)頁面提取的分割步驟，圖4(a)為未處理過的原始模型，包括一些不均勻的背景。圖4(b)為根據(jù)紋理特征去掉背景之后的書籍模型。圖4(c)為根據(jù)紋理特征找到的模型書脊線，圖4(d)為切割后的書籍單側(cè)頁面。從圖4(d)中可以看出，通過使用本文算法能夠比較準(zhǔn)確地提取出單側(cè)頁面。

圖5為多個模型對背景的去除，圖6展示了本文算法求得的去除背景后的模型書脊線。圖6中的直線為基于紋理特征的分割算法尋找到的直線，通過這條直線，可以求解切割書籍模型左右頁面的切割平面。

由表1可知，本文方法能夠穩(wěn)定而正確地找到書脊線所在位置，且偏差值較小。

圖5 去除背景后的模型

圖6 書脊線的直線

表1 本文算法求得的書脊線與真實值的對比

4.2.2 對比性實驗

為了進一步客觀評價本文提出的基于紋理的單側(cè)頁面分割算法，并與其他分割算法進行了相關(guān)對比。文獻[13]給出了一種基于矢量的點云分割方法，并與本文算法進行了對比。實驗?zāi)Ｐ头譃橄蜃髢A斜和向右傾斜，模型傾斜角度從10°到90°每隔20°進行一次實驗。這兩個算法在相同配置的Windows 7操作系統(tǒng)下，對比發(fā)現(xiàn)本文算法的分割效果較好。分割誤差統(tǒng)計見表2、3，其百分比數(shù)據(jù)為分割結(jié)果中無效的頁面點云區(qū)域占手動準(zhǔn)確分割結(jié)果的點云區(qū)域的比例。

對于文獻[13]提出的基于矢量的點云分割方法，在三維圖書模型的掃描環(huán)境中，由于背景平面與書脊處均不能做到絕對光滑，所以計算三角面片的向量過程中，一部分背景的點云并不能全部去掉，對書脊處的位置判斷也不能完全精準(zhǔn)，影響了一定的分割精度。本文提出的基于紋理的分割方法是按照模型中圖書的紋理特征進行分割，分割精度較高，且誤差較小，具有一定的實用性。

表2 向左傾斜分割誤差結(jié)果統(tǒng)計(%)

表3 向右傾斜分割誤差結(jié)果統(tǒng)計(%)

5 結(jié)束語

本文針對三維掃描儀所采集的書籍模型，從模型的紋理角度，將散亂紋理轉(zhuǎn)變?yōu)橛行蚣y理，再從有序紋理中分析出模型的背景與脊線位置，進而去除背景和求出分割左右頁面的空間平面方程，提出了一種穩(wěn)定的提取書籍模型單側(cè)頁面的方法。實驗表明，本文算法降低了處理復(fù)雜度，提高了精度。根據(jù)模型的紋理信息，能夠去除書籍的背景點云；根據(jù)掃描書脊處的紋理特征，運用空間直線的線性擬合，能夠較為準(zhǔn)確地計算分割左右頁面的空間平面方程，對提取三維模型單側(cè)頁面書籍有較好地處理效果。

[1] 吳建勝, 祖旭良, 薛涵今. 基于特征字符識別的文本圖像方向判定[J]. 計算機工程與設(shè)計, 2015, 36(8): 2260-2263, 2296.

[2] 劉進, 武仲科, 周明全. 點云模型分割及應(yīng)用技術(shù)綜述[J]. 計算機科學(xué), 2011, 38(4): 21-24, 71.

[3] TóVáRI D, PFEIFER N. Segmentation based robust interpolation–a new approach to laser data filtering [C]// International Society for Photogrammetry and Remote Sensing (ISPRS). Amsterdam: Elsevier Press, 2005: 79-84.

[4] WANG Z, LIU H, QIAN Y, et al. Real-time plane segmentation and obstacle detection of 3D point clouds for indoor scenes [C]//IEEE International Workshop on Consumer Depth Cameras for Computer Vision. New York: IEEE Press, 2012: 22-31.

[5] FILIN S. Surface clustering from airborne laser scanning data [J]. International Archives of Photogrammetry and Remote Sensing, 2002, XXXII(3A): 119-124.

[6] ZHAN Q, YU L, LIANG Y. A point cloud segmentation method based on vector estimation and color clustering [C]// International Conference on Information Science and Engineering. New York: IEEE Press, 2011: 3463-3466.

[7] SCHNABEL R, WAHL R, KLEIN R. Efficient RANSAC for point-cloud shape detection [J]. Computer Graphics Forum, 2007, 26(2): 214-226.

[8] 姜翰青, 王博勝, 章國鋒, 等. 面向復(fù)雜三維場景的高質(zhì)量紋理映射[J]. 計算機學(xué)報, 2015(12): 2349-2360.

[9] 李慧慧, 秦品樂, 梁軍. 基于HSI亮度分量和RGB空間的圖像去霧算法[J]. 計算機應(yīng)用, 2016, 36(5): 1378-1382.

[10] 孫忱, 奚宏生, 高榮. 鄰域線性最小二乘擬合的推薦支持度模型[J]. 西安交通大學(xué)學(xué)報, 2015, 49(6): 77-83.

[11] 汪奇生, 楊德宏, 楊騰飛. 空間直線的結(jié)構(gòu)總體最小二乘擬合[J]. 大地測量與地球動力學(xué), 2015, 35(3): 433-435.

[12] 李寶, 程志全, 黨崗, 等. 三維點云法向量估計綜述[J].計算機工程與應(yīng)用, 2010, 46(23): 1-7.

[13] 張強, 李朝奎, 李俊曉, 等. 一種改進的基于法矢方向調(diào)整的平面點云分割方法[J]. 地理與地理信息科學(xué), 2015, 31(1): 45-48.

Single Side Page Extracting Method for 3D Book Model Based on Texture

TONG Lijing, WANG Fenghe, LI Bin

(School of Computer Science and Technology, North China University of Technology, Beijing 100144, China)

Model segmentation has important application value in practical engineering. For the point cloud segmentation of 3D book model, a single page extraction method based on texture is proposed. For the 3D model books and disordered texture image acquired, the disordered texture of the model is transformed into orderly texture firstly. Then the pixel values are converted from RGB color space to HSI space. According to H (hue) and I (intensity), the point cloud of background model is removed. Next, the spine line is analyzed from the distribution characteristics of the spine pixels in an orderly texture image. The three-dimensional space equation of spine is calculated by the least squares method, so that the space equation can be solved for the single side page extracting. Experimental results show that the method can extract the single page stably for the 3D book model, and has higher accuracy.

page extraction; point cloud segmentation; HSI color space; book model; least square method

TP 391

10.11996/JG.j.2095-302X.2018020179

A

2095-302X(2018)02-0179-07

2017-07-20；

2017-08-28

國家自然科學(xué)基金項目(61371142)

童立靖(1972–)，男，安徽馬鞍山人，副教授，博士，碩士生導(dǎo)師。主要研究方向為計算機圖形學(xué)、數(shù)字圖像處理。E-mail：tong_lijing@163.com