熊艷 歐先鋒

摘要：基于專利數(shù)據(jù)庫，通過檢索、篩選、統(tǒng)計和分析國內(nèi)外有關(guān)全景圖像采集技術(shù)的專利申請，梳理全景圖像采集技術(shù)的技術(shù)發(fā)展脈絡(luò)和各主要技術(shù)分支，并對申請量年度分布、申請地域分布和重要申請人進行統(tǒng)計和分析，為該領(lǐng)域發(fā)展提供參考。

關(guān)鍵詞：全景圖像采集；技術(shù)分支；重要申請人；專利技術(shù)

中圖分類號：TN94文獻標志碼：A文章編號：2095-5383（2018）01-0031-06

2016年里約奧運會，全景圖像采集技術(shù)已應(yīng)用于游泳、體操等各大比賽項目以采集寬視野、高清晰度的賽場圖像，可以預(yù)見，全景采集技術(shù)將越來越受到人們追捧。全景圖像的形成過程主要包括：圖像采集、圖像投影、圖像拼接和圖像顯示。首先采集得到彼此之間有重疊區(qū)域的圖像，然后基于每幅圖像具有的不同坐標建立統(tǒng)一的投影模型，進而通過拼接融合處理形成全景圖像，再選擇合適的顯示模型進行展示。由此可見，如果全景圖像采集技術(shù)實現(xiàn)較高質(zhì)量的圖像采集，后續(xù)全景圖像的形成將會事半功倍，因此，對全景圖像采集技術(shù)進行分析，能夠為全景成像領(lǐng)域的研究提供助力。

1 全景圖像采集技術(shù)概況

1.1 全景圖像采集技術(shù)分支

本文基于中國專利檢索系統(tǒng)文摘（CPRSABS）數(shù)據(jù)庫和德溫特世界專利索引（DWPI）數(shù)據(jù)庫，通過對檢索所獲得的該領(lǐng)域的專利申請進行統(tǒng)計與分析研究，對全景圖像采集所涉及的技術(shù)進行分解，如表1所示。

1.1.1 全景圖像采集相機

全景圖像采集系統(tǒng)最核心的組成部分即相機，它用于對采集的對象進行成像。全景圖像采集系統(tǒng)按使用的相機類型可以分為3種：普通相機采集、特殊相機采集和全景相機采集。

普通相機是指普通數(shù)碼相機或者單反相機；普通相機采集是指采用旋轉(zhuǎn)和（或）平移普通相機的方式獲取多張具有空間關(guān)聯(lián)的圖像，再通過對該多張圖像進行拼接融合以形成全景圖像，具有無需投入額外硬件成本、采集系統(tǒng)攜帶方便的優(yōu)點，但同時具有對相機各次拍攝姿態(tài)要求高、后期拼接融合算法復(fù)雜的缺點。特殊相機是指加裝有魚眼鏡頭、廣角鏡頭、超廣角鏡頭等特殊鏡頭的相機，上述特殊鏡頭具有焦距較短、視角較大的特性；特殊相機采集是指利用特殊相機直接獲取視角較大卻具有透視變形的圖像，后期經(jīng)過畸變校正處理形成全景圖像，具有無需進行復(fù)雜的拼接融合的優(yōu)點，同時具有拍攝圖像分辨率低、透視變形嚴重的缺點。全景相機是指包括多個鏡頭的專業(yè)相機，每兩個相鄰鏡頭的拍攝視角在空間上相重疊。全景相機采集是指利用全景相機的多個鏡頭同時拍攝多幅圖像，并對上述多幅圖像進行實時拼接融合以快速形成全景圖像，具有操作簡便、無需復(fù)雜建模的優(yōu)點，同時具有價格昂貴、不易普及的缺點。

1.1.2 全景圖像采集位置

采集全景圖像的各種位置由于其環(huán)境的不同，對采集技術(shù)提出了不同的要求，因而全景圖像采集系統(tǒng)按采集位置可以分為三類：地面全景采集、空中全景采集、水下全景采集。此三種全景采集系統(tǒng)均可任意選擇上述相機類型。地面全景采集是最原始也是研究最久最廣最深的采集方式，但受制于地形地貌的遮擋和拍攝視野的限制，對被攝物頂部信息和大視野的場景始終難以獲其全貌。空中全景采集正好彌補了地面全景采集的缺點，將拍攝環(huán)境由地面轉(zhuǎn)到空中，可以從更高更廣的視角有效采集圖像。水下全景采集則需要考慮水下環(huán)境的光照及折射，對采集設(shè)備的防水性及采集時機提出較高要求，但海底的未知世界仍吸引著大量研究目光，展示出水下全景采集的廣闊發(fā)展前景。

1.2 全景圖像采集技術(shù)發(fā)展演進

通過對全景圖像采集技術(shù)各個時期的專利文獻進行梳理和分析，可以得到該領(lǐng)域的專利技術(shù)演進路線，如圖1所示。可以看出，全景圖像采集技術(shù)專利申請的發(fā)展大致經(jīng)歷了3個主要發(fā)展階段。

1.2.1 第一階段（1973—1996年）

該階段屬于全景圖像采集技術(shù)的起步階段，早期使用普通相機在輔助設(shè)備的支持下拍攝多張圖像，進行后期拼接融合形成全景圖像，較有代表性的是將拍攝設(shè)備安裝在三腳架上，在全景拍攝過程中根據(jù)圖像來旋轉(zhuǎn)安裝的拍攝設(shè)備來采集全景圖像[1]，或?qū)⑾鄳?yīng)的拍攝設(shè)備安裝在平行于地面的滑軌上，通過電機驅(qū)動拍攝設(shè)備在滑軌上平移以拍攝全景圖像[2]。后來開始出現(xiàn)使用特殊相機采集全景圖像，如使用特殊光學(xué)鏡頭產(chǎn)生全景尺寸的圖像[3]，以及車載6個魚眼鏡頭從不同位置進行拍攝以形成建筑物的全景圖像[4]，可算作是地面街景采集的首次嘗試。此后，全景采集技術(shù)成為一個熱點，越來越受到研究者的關(guān)注。

1.2.2 第二階段（1997—2006年）

該階段屬于全景圖像采集技術(shù)的快速發(fā)展階段，使用不同類型相機的全景采集技術(shù)不斷涌現(xiàn)。普通相機開始不再依賴于輔助設(shè)備進行全景采集，而是向手持式方向發(fā)展，由用戶旋轉(zhuǎn)和（或）平移手持拍攝設(shè)備來進行采集[5-7]。魚眼鏡頭由于價格便宜和視角范圍大，開始廣泛應(yīng)用于全景采集領(lǐng)域[8-9]。具有多個鏡頭的專業(yè)全景相機也開始出現(xiàn)，能夠直接輸出全景圖像[10-11]。

以下對該階段中一種具有代表性的手持式全景圖像采集技術(shù)[5]進行具體介紹。如圖2（a）所示，當使用移動終端拍攝組成全景圖像的各個圖像時，控制器實時比較輸入的當前圖像和前一圖像，以獲得相應(yīng)拍攝設(shè)備的移動信息。通過獲得的移動信息識別相應(yīng)拍攝設(shè)備的移動角度和移動方向，當識別的移動角度滿足預(yù)設(shè)的參考移動距離時，通過手動輸入拍攝相應(yīng)圖像或者自動拍攝相應(yīng)圖像；同時，如圖2（b）所示，顯示單元輸出用戶界面用于指導(dǎo)相應(yīng)拍攝設(shè)備從識別的移動角度和移動方向到用于全景圖像拍攝的預(yù)設(shè)方向的移動；另外，顯示單元輸出用于通知用戶拍攝圖像的當前位置的另一用戶界面。該系統(tǒng)有助于用戶在沒有安裝附加設(shè)備和硬件的情況下，更加容易和精確地拍攝全景圖像。

在這一階段，地面全景采集技術(shù)逐步應(yīng)用到安防領(lǐng)域，出現(xiàn)了使用特殊相機拍攝寬角度區(qū)域并檢測該區(qū)域是否存在運動的監(jiān)控系統(tǒng)[12-13]。同時開始出現(xiàn)空中全景采集技術(shù)，以彌補在地面采集時存在的視線遮擋等缺陷，通常由熱氣球[14]、飛行器[15]等裝置作為載體攜帶相機上天進行采集，如由用戶發(fā)射的飛行器沿飛行航線在空中采集全景圖像。

1.2.3 第三階段（2007年至今）

該階段屬于全景圖像采集技術(shù)的全面發(fā)展階段，各類全景采集系統(tǒng)均在提升自身使用便利性的同時，尋求更高質(zhì)量的全景圖像輸出。對于使用普通相機的全景采集系統(tǒng)而言，手持采集方式已是主流，為提高用戶體驗涌現(xiàn)出許多以人為本的設(shè)計。例如，在全景采集過程中，向用戶提示拍攝設(shè)備的當前位置和下一移動方向（角度）[16]、在移動方向（角度）錯誤時及時向用戶發(fā)出告警[17]、在用戶搖攝過程中拍攝設(shè)備自動采集多個圖像[18]等。對于使用特殊相機的全景采集系統(tǒng)而言，魚眼鏡頭和（或）廣角鏡頭構(gòu)成的光學(xué)系統(tǒng)，提高畫面的真實性，獲取更高畫質(zhì)和更大視角范圍。對于使用全景相機的全景采集系統(tǒng)而言，為了減小鏡頭間的視差并提升采集速度，涌現(xiàn)了大量不同的鏡頭排列方式，如球形[19]、柱形[20]、環(huán)形[21]等。

在這一階段，各種類型的相機廣泛應(yīng)用于地面、空中全景采集，水下全景采集技術(shù)也逐步出現(xiàn)。根據(jù)不同應(yīng)用場景的需求，地面全景采集技術(shù)應(yīng)用至街景地圖領(lǐng)域[22]，還應(yīng)用至泊車輔助、城市安防、虛擬現(xiàn)實、增強現(xiàn)實等領(lǐng)域[23]?？罩腥安杉^程的載體擴展為無人機（UAV）、可拋擲球體等[24]。首次出現(xiàn)水下全景采集，和空中采集類似，水下采集也需要載體提供支持，如潛水艇、船只、水下輔助設(shè)備等，并且水下環(huán)境對采集設(shè)備的防水性和穩(wěn)定性也提出了較高要求[25]。

首先，對該階段中具有代表性的一種地面全景采集技術(shù)[22]進行具體介紹。如圖3所示，街景采集系統(tǒng)的呈現(xiàn)形式為有全景相機（104）安裝于其頂上的車輛（102）。其中，全景相機（104）可以包括4至8個相機（106）。另外，車輛（102）還可以耦合其他傳感器以用于采集數(shù)據(jù)，例如，全球定位系統(tǒng)（GPS）傳感器、慣性測量裝置（IMU）傳感器等。圖像（110）呈現(xiàn)了全景相機（104）所采集的例圖，每部分圖像（由虛線分隔）分別由全景相機（104）的4個相機中的一個采集而來。考慮到全景相機（104）可能安裝傾斜、車輛（102）可能傾斜行駛或者其他因素影響，圖像（110）可能是向不同方向偏斜的，這將導(dǎo)致形成歪斜的全景圖像。因此，通過GPS傳感器、IMU傳感器等預(yù)知街景車中相機的姿態(tài)，以對其采集的圖像進行一致性處理。同時，GPS傳感器、IMU傳感器等還可以確定車輛（102）的姿態(tài)，例如，GPS傳感器根據(jù)衛(wèi)星數(shù)據(jù)確定車輛（102）的位置、速度、方向和采集時間，為全景圖像的合成提供支持。谷歌街景車已進行了幾次更新?lián)Q代，車輛包括三輪車、雪地車、手推車等，目前最新的車輛已配備15個鏡頭，可拍攝360°的圖像，車中還配備了存儲數(shù)據(jù)的硬盤、運行系統(tǒng)的小型計算機以及捕獲三維數(shù)據(jù)以確定街景視圖圖像中距離遠近的激光器。

其次，對該階段中具有代表性的一種空中全景采集技術(shù)[24]進行具體介紹。如圖4所示，創(chuàng)新性的球形可拋擲全景相機具有球形彈性外殼，內(nèi)置1個相機。該球被拋擲起來，在空中的弧形運動軌跡上旋轉(zhuǎn)著依次經(jīng)過位置（610—620—630—640—650—660），并對遠處房屋（600）分別拍攝得到序列（700）中的6個原始圖像（701、702、703、704、705、706）。各位置處的箭頭表示該球的旋轉(zhuǎn)方向，可知在位置（610）和（650）處，相機（611）沒有面向房屋（600），因而其采集的圖像（701）和（705）中沒有包括可用內(nèi)容。該球還內(nèi)置位置傳感器和處理器，位置傳感器用于確定相機（611）在各位置的透視系數(shù)，處理器用于根據(jù)透視系數(shù)歸一化采集的各圖像至同一平面，例如序列（750）中所示的圖像（751、752、753、754），然后拼接各圖像以形成全景圖像和平滑連續(xù)的空中視頻。Steven J. Hollinger不斷對此球形可拋擲全景相機進行改進并后續(xù)提交了多份專利申請，通過增加內(nèi)置相機的數(shù)目、使用無線網(wǎng)絡(luò)傳輸各相機在各位置處采集的圖像等技術(shù)手段，使得在空中采集全景圖像更加的便利和穩(wěn)定。

再次，對該階段中具有代表性的一種水下全景采集技術(shù)[25]進行具體介紹。如圖5所示，在水環(huán)境（110）中的船只（112）上安裝有控制模塊（150）、全景相機系統(tǒng)（100）、照明系統(tǒng)（108）、穩(wěn)定器（120）、機械臂（124）。全景相機系統(tǒng)（100）包括4個鏡頭（102）在全景視野中采集一個或多個圖像，還包括在不同水深情況下均能夠防水的外殼（106），全景相機系統(tǒng)（100）可以內(nèi)置于外殼（106）中，以使得裝置更緊湊、輕便、不易失真。全景相機系統(tǒng)（100）與控制模塊（150）通信以采集圖像并傳輸圖像以存儲。照明系統(tǒng)（108）用于在水下夜間環(huán)境或者光線微弱環(huán)境等情況下提供光線，其可以包含兩組相互以90°排列的4個強光燈，照明系統(tǒng)（108）可以集成至全景相機系統(tǒng)中。穩(wěn)定器（120）和可延長機械臂（124）可以將全景相機系統(tǒng)（100）和照明系統(tǒng)（108）送入水下。穩(wěn)定器（120）可以補償安裝有全景相機系統(tǒng)（100）的支撐件（128）的運動，該運動包括水環(huán)境（110）的波動、船只（112）的航線調(diào)整等，保證船只（112）在水中航行時也能采集到高分辨率的水下全景圖像。

2 全景圖像采集技術(shù)專利分析

2.1 全球?qū)＠暾埩糠治?/p>

圖6顯示了全景圖像采集技術(shù)申請量的年度分布。從圖6可以看出，在全球范圍內(nèi)，全景圖像采集技術(shù)專利申請量起始于上世紀70年代初，但一直處于申請量較低的狀態(tài)，直至上世紀90年代申請量才有較大幅度的上升，在1997—2006年間全球申請量經(jīng)過迅猛增長后進入了平穩(wěn)期；2007年之后，專利申請量再次飛速上升，雖然2013年之后有所回落，但仍保持在較高量。而在中國國內(nèi)，由于相關(guān)研究起步較晚，2001年以前幾乎沒有相關(guān)專利申請，但2001年后中國國內(nèi)申請數(shù)量迅速增長，反映出近年來中國迅猛提高的經(jīng)濟水平帶來了巨大市場需求。

2.2 全球?qū)＠赜蚍治?/p>

企業(yè)的產(chǎn)品市場重心能夠通過其專利申請的地域分布反映出來。對全景圖像采集技術(shù)專利首次申請的所在國家和地區(qū)產(chǎn)權(quán)組織分布進行統(tǒng)計，得到圖7的數(shù)據(jù)，日本、美國、中國和韓國排名在前，其占據(jù)了所有專利申請的87%，是全景圖像采集技術(shù)最主要的技術(shù)市場。隨著中國的專利制度不斷完善，在中國進行首次申請的專利數(shù)量逐步增多，各國企業(yè)積極地在中國進行專利技術(shù)保護，試圖占領(lǐng)中國的技術(shù)市場。

2.3 重要申請人分析

通過對申請人的申請量進行分析，得到全球在全景圖像采集技術(shù)領(lǐng)域的前10位申請人的申請量排名情況，如圖8所示。從圖中可以看出，日本在前10位申請人中占5席、在前5位申請人中占4席，我國占2席。排名相對靠前的申請人幾乎都是相機行業(yè)的傳統(tǒng)巨頭，排名相對靠后的申請人大多是移動互聯(lián)產(chǎn)業(yè)的科技集團，隨著移動互聯(lián)技術(shù)的迅猛發(fā)展和覆蓋，全景圖像采集技術(shù)預(yù)計將迎來更多發(fā)展機遇。

3 結(jié)語

本文詳細梳理了全景圖像采集技術(shù)的分支、技術(shù)演進、全球?qū)＠暾埩磕甓确植己偷赜蚍植肌⒅匾暾埲说?，并通過對核心專利的技術(shù)方案的詳細分析展示了全景采集技術(shù)各個發(fā)展階段的關(guān)鍵技術(shù)?？傮w看來，索尼、佳能、三星等傳統(tǒng)成像領(lǐng)域巨頭，由于發(fā)展起步較早，核心技術(shù)上有較多的積累，在全景圖像采集領(lǐng)域同樣處于領(lǐng)先地位；從專利數(shù)據(jù)上看，我國跟美日韓等還存在較大的差距，近年來移動互聯(lián)網(wǎng)的迅猛發(fā)展正在促進差距的逐步減小，我國還需要對全景圖像采集的基礎(chǔ)硬件設(shè)備和軟件算法加大研究投入，力爭在核心技術(shù)上實現(xiàn)追趕和超越。

參考文獻：

[1]TOSHIBA KK. Imaging system generating panoramic display：JPS6429064A[P]. 1989-01-31.

[2]GELPHMAN J L. Topological panoramic camera： US4943821A[P]. 1990-07-24.

[3]MINOLTA CO LTD. Photo lens system： JP3082385B2[P].2000-08-28.

[4]GEERIS HOLDINGNEDERLAND B.V. A method and device for producing panoramic images， and a method and device consulting panoramic images： WO9413100A2[P]. 1994-06-09.

[5] SAMSUNG ELECTRONICS CO LTD. Method for photographing panoramic image： KR100800804B1[P].2008-02-04.

[6]SONY CORP. Controller for photographing apparatus and photographing system： US2001019355A1[P]. 2001-09-06.

[7]SAMSUNG ELECTRONICS CO LTD. Apparatus and method for taking panoramic photograph：KR100758632B1[P]. 2007-09-14.

[8]IMMERVISION INT PTE LTD. Method for capturing a panoramic image using a rectangular image sensor： WO03010599A1[P]. 2003-02-06.

[9]TEMPEST MICROSYSTEMS. Panoramic imaging and display system with canonical magnifier：WO03056516A1[P]. 2003-07-10.

[10]SONY CORP. IMAGE PICK UP DEVICE： JP2002229139A[P]. 2002-08-14.

[11]MICROSOFT CORP.Foveated panoramic camera system：US2005117015A1 [P]. 2005-06-02.

[12]SONY CORP. Photographing apparatus and method， supervising system， program and recording medium： JP2005184776A[P]. 2005-07-07.

[13]SONY CORP. Imaging device and method， computer program product on computer-readable medium， and imaging system： JP2006333132A[P]. 2006-12-07.

[14] OKAZAKI S. 360°photographic system： JP2003274397A[P]. 2003-09-26.

[15]HEAFITZ A. Panoramic aerial imaging device： WO02073129A1[P]. 2002-09-19.

[16]LG ELECTRONICS INC. Mobile terminal having a panorama photographing function and method for controlling operation thereof： KR20100031263A[P]. 2010-03-22.

[17]SONY CORP. Imaging apparatus， imaging method， and program： JP2010136302A[P]. 2010-06-17.

[18]SONY CORP. In-camera generation of high quality composite panoramic images： JP2010252312A[P]. 2010-11-04.

[19]SAMSUNG ELECTRONICS CO LTD. Camera system for three-dimensional video： WO2016048013A1[P]. 2016-03-31.

[20]深圳市速騰聚創(chuàng)科技有限公司.一種快速360度全景相機： CN204883157U[P]. 2015-12-16.

[21]GOOGLE INC. Mapping a two-dimensional image to a cylindrical surface using a tuned distortion curve： US8542289B1[P]. 2013-09-24.

[22]GOOGLE INC. Estimation of panoramic camera orientation relative to a vehicle coordinate frame： WO2010096670A1[P]. 2010-08-26.

[23]GOOGLE INC. Imaging device with a plurality of pixel arrays： WO2014047216A1[P]. 2014-03-27.

[24]HOLLINGER S J. Ball with camera and trajectory control for reconnaisance or recreation： US2012262541A1[P]. 2012-10-18.

[25] GOOGLE INC. Underwater acquisiton of imagery for 3D mapping environments： WO2011143622A2[P]. 2011-11-17.