陳嘉豪, 付姍姍, 萬 輝, 席永濤, 胡子正
(1.上海海事大學(xué) a.交通運(yùn)輸學(xué)院; b.商船學(xué)院, 上海 201306; 2.上海電科智能系統(tǒng)股份有限公司, 上海 200063; 3.東海航海保障中心, 上海 200090)
隨著全球化氣候變暖,海冰的加速融化,在極大程度上促進(jìn)了北極航道的商業(yè)化發(fā)展。[1]根據(jù)北極理事會(huì)海洋環(huán)境保護(hù)工作組(the Protection of the Arctic Marine Environment Working Group,PAME)2020年最新發(fā)布的2013—2019年北極船舶狀態(tài)報(bào)告中可知:北極地區(qū)的船舶活動(dòng)正日益頻繁,在2019年已達(dá)到1 628艘。船舶活動(dòng)軌跡可反映出船舶航行范圍以及航道位置,船舶點(diǎn)位的密集度則能反映該區(qū)域船舶的活躍程度。因此,對(duì)船舶活動(dòng)行為的分析,進(jìn)一步了解我國(guó)船舶活動(dòng)對(duì)北極水域的影響,對(duì)制定合理、綠色和安全的北極戰(zhàn)略具有指導(dǎo)意義。
衛(wèi)星船舶自動(dòng)識(shí)別系統(tǒng)(Automatic Identification System, AIS)將數(shù)據(jù)接收機(jī)安裝在衛(wèi)星上,擺脫地域范圍限制,能實(shí)時(shí)接收全球船舶AIS數(shù)據(jù),可為國(guó)內(nèi)外學(xué)者提供大量數(shù)據(jù)基礎(chǔ)。[2]ZHANG等[3]提出一種新型壓縮處理AIS軌跡的算法,并通過交通流試驗(yàn)驗(yàn)證了算法閾值在壓縮AIS軌跡時(shí)的有效性。PALLOTTA等[4]利用AIS數(shù)據(jù)提出基于密度的增量式聚類算法(Density Based Spatial Clustering of Applications with Noise, DBSCAN),用于檢測(cè)船舶的異常行為,對(duì)水上的交通安全管控具有指導(dǎo)作用。劉奧博等[5]利用數(shù)據(jù)清洗對(duì)衛(wèi)星AIS數(shù)據(jù)進(jìn)行處理,并對(duì)南極地區(qū)的科考、旅游和捕魚活動(dòng)進(jìn)行分析,研究結(jié)果對(duì)我國(guó)南極科考具有指導(dǎo)意義。陳仁麗等[6]利用均勻采樣法對(duì)渤海區(qū)域的船舶AIS數(shù)據(jù)進(jìn)行處理,從時(shí)空的角度對(duì)該區(qū)域的船舶活動(dòng)特征進(jìn)行分析。朱飛翔等[7]通過地理網(wǎng)格技術(shù)降低了船舶AIS軌跡數(shù)據(jù)的復(fù)雜度,建立船舶行為模型以對(duì)船舶行為特征進(jìn)行分析。雖然國(guó)內(nèi)外學(xué)者基于地理衛(wèi)星、船舶AIS等數(shù)據(jù)利用數(shù)據(jù)挖掘(Data Mining,DM)算法,對(duì)船舶的行為特征進(jìn)行了廣泛的研究,但對(duì)衛(wèi)星AIS數(shù)據(jù)的處理大多以刪除問題數(shù)據(jù)為主,對(duì)修復(fù)與清洗工作進(jìn)行研究鮮少。
北極水域因氣溫低、緯度高、衛(wèi)星信號(hào)弱和更新頻率慢等因素,導(dǎo)致接收到的衛(wèi)星AIS數(shù)據(jù)存在船舶屬性缺失、船舶信息錯(cuò)誤、冗余和地理位置漂移等問題。為確保船舶信息的準(zhǔn)確性、更好地進(jìn)行活動(dòng)特征分析,還需進(jìn)行修復(fù)處理。
本文采用2015—2017年北極水域(北緯66°32′以上)衛(wèi)星AIS數(shù)據(jù),利用IHS海事綜合數(shù)據(jù)庫和數(shù)據(jù)庫結(jié)構(gòu)化查詢技術(shù)(Structured Query Language, SQL),對(duì)北極衛(wèi)星AIS數(shù)據(jù)進(jìn)行清洗、修復(fù)等處理,并結(jié)合DM與地理信息系統(tǒng)技術(shù)(Geographic Information System, GIS),對(duì)北極水域船舶活動(dòng)進(jìn)行可視化分析,旨在為我國(guó)能積極應(yīng)對(duì)北極變化所帶來的挑戰(zhàn)與機(jī)遇和加快部署北極戰(zhàn)略提供決策基礎(chǔ)。
針對(duì)北極衛(wèi)星AIS數(shù)據(jù)船舶屬性缺失嚴(yán)重、冗余信息較多和整體數(shù)據(jù)可靠度較差等問題,結(jié)合IHS海事綜合數(shù)據(jù)庫,采用SQL數(shù)據(jù)庫技術(shù),對(duì)北極水域我國(guó)船舶的衛(wèi)星AIS數(shù)據(jù)進(jìn)行修復(fù)處理,并在此基礎(chǔ)上,結(jié)合北極水域的通航環(huán)境特征,深度挖掘我國(guó)船舶的活動(dòng)行為,研究框架見圖1。
圖1 研究框架
1.1.1數(shù)據(jù)處理方法
以北極衛(wèi)星AIS數(shù)據(jù)庫和IHS海事綜合數(shù)據(jù)庫為基礎(chǔ),通過數(shù)據(jù)清洗、數(shù)據(jù)抽取、數(shù)據(jù)修復(fù)融合、數(shù)據(jù)離散化和數(shù)據(jù)匹配等處理方法,結(jié)合SQL數(shù)據(jù)庫技術(shù),對(duì)數(shù)據(jù)中的異常和重復(fù)進(jìn)行清洗,對(duì)有效字段進(jìn)行抽取,對(duì)屬性缺失和錯(cuò)誤進(jìn)行修復(fù),融合新字段,形成準(zhǔn)確無誤的船舶靜態(tài)信息數(shù)據(jù)庫,并匹配構(gòu)建船舶軌跡數(shù)據(jù)庫。
1.1.2數(shù)據(jù)分析與應(yīng)用
以處理完善的船舶靜態(tài)信息數(shù)據(jù)庫和船舶軌跡數(shù)據(jù)庫為基礎(chǔ),通過數(shù)據(jù)統(tǒng)計(jì)、數(shù)據(jù)抽稀算法和GIS可視化技術(shù),從時(shí)空維度對(duì)北極水域我國(guó)船舶靜態(tài)特征和動(dòng)態(tài)特征進(jìn)行分析。
1)船舶靜態(tài)特征分析:利用數(shù)據(jù)庫統(tǒng)計(jì)分析,從時(shí)間維度,結(jié)合北極水域的環(huán)境特征,對(duì)北極水域我國(guó)船舶的船舶類型、船齡、噸位和船長(zhǎng)等方面進(jìn)行分析。
2)船舶動(dòng)態(tài)特征分析:利用數(shù)據(jù)抽稀算法、GIS可視化技術(shù),綜合考慮通航水域的影響,從時(shí)空角度對(duì)我國(guó)船舶活動(dòng)軌跡、航速分布進(jìn)行分析。
1.2.1數(shù)據(jù)清洗
數(shù)據(jù)清洗是指發(fā)現(xiàn)和處理數(shù)據(jù)中異常和重復(fù)信息。針對(duì)在衛(wèi)星AIS數(shù)據(jù)中異常重復(fù)數(shù)據(jù)進(jìn)行如下操作:
1) 異常數(shù)據(jù)。針對(duì)北極區(qū)域高緯度、低氣溫、更新頻率低導(dǎo)致的水上移動(dòng)通信業(yè)務(wù)識(shí)別碼(Maritime Mobile Service Identify, MMSI)編號(hào)異常、經(jīng)緯度超出范圍、航速航向錯(cuò)誤和軌跡點(diǎn)稀疏等問題,直接刪除。
2) 重復(fù)數(shù)據(jù)。針對(duì)北極船舶處于靠泊或錨泊狀態(tài)導(dǎo)致船舶位置長(zhǎng)時(shí)間未發(fā)生變化的數(shù)據(jù),直接刪除。
1.2.2數(shù)據(jù)抽取
數(shù)據(jù)抽取是指從源數(shù)據(jù)中抽取目的數(shù)據(jù)或是需要的數(shù)據(jù),并建立新表來存儲(chǔ),同時(shí),提高數(shù)據(jù)加載速度、減少數(shù)據(jù)運(yùn)行內(nèi)存。針對(duì)在北極衛(wèi)星AIS數(shù)據(jù)庫中的冗余字段,抽取船舶身份信息數(shù)據(jù)建立船舶靜態(tài)信息數(shù)據(jù)庫,具體表格結(jié)構(gòu)見表1。
表1 中國(guó)船舶靜態(tài)信息數(shù)據(jù)庫
1.2.3數(shù)據(jù)修復(fù)融合
數(shù)據(jù)修復(fù)融合是指通過多源數(shù)據(jù)庫對(duì)缺失數(shù)據(jù)進(jìn)行修補(bǔ)、復(fù)原,并融合多源數(shù)據(jù)庫中的有效字段,形成信息完整的數(shù)據(jù)。
針對(duì)北極衛(wèi)星AIS數(shù)據(jù)中存在的大量船舶身份信息缺失和錯(cuò)誤數(shù)據(jù),以IHS海事綜合數(shù)據(jù)庫中國(guó)際海事組織(International Maritime Organization, IMO)編號(hào)為修復(fù)主要依據(jù),逐一比對(duì)原數(shù)據(jù)庫中MMSI、IMO、船舶類型和船長(zhǎng)等船舶身份信息,修復(fù)缺失數(shù)據(jù),剔除錯(cuò)誤數(shù)據(jù),并將IHS海事綜合數(shù)據(jù)庫中船旗國(guó)、船舶建造時(shí)間和船舶噸位字段,融合到船舶靜態(tài)信息數(shù)據(jù)庫中。經(jīng)過修正整合后,中國(guó)船舶靜態(tài)信息數(shù)據(jù)庫中共有292艘船舶,357航次,代表著2015—2017年我國(guó)參與北極航行的船舶共有292艘,357航次。
1.2.4數(shù)據(jù)離散化
數(shù)據(jù)離散化是指將無限數(shù)據(jù)映射到有限的空間里,如利用等寬、等區(qū)間的方式對(duì)特定字段進(jìn)行分組,來提高算法的處理效率。為對(duì)北極水域船舶活動(dòng)進(jìn)行分析,對(duì)原始衛(wèi)星AIS數(shù)據(jù)庫中部分字段重新進(jìn)行數(shù)據(jù)編碼和離散化處理,見表2。
表2 衛(wèi)星AIS數(shù)據(jù)離散化處理
在離散化處理過程中,將船舶類型分為貨船、集裝箱船、客船、油船、漁船、科考船和工程船等7類;船齡分為(0, 5]a、(5, 10]a、(10, 20]a、(20, 30]a和(30, +∞)a等5類;載重量分為(0, 500]t、(500, 3 000]t、(3 000, 10 000]t、(10 000, 30 000]t和(30 000, +∞)t等5類;船長(zhǎng)分為(0,50]m、(50, 100]m、(100, 200]m和(200, +∞)m等4類;活動(dòng)區(qū)域分為東半球和西半球兩類;航速分為(0, 6]kn、(6, 12]kn和(12, +∞)kn等3類。
1.2.5數(shù)據(jù)匹配
數(shù)據(jù)匹配是指按照數(shù)據(jù)之間某種關(guān)系進(jìn)行配準(zhǔn)。以船舶靜態(tài)信息數(shù)據(jù)庫中MMSI編號(hào)為主鍵,更新匹配構(gòu)建中國(guó)船舶軌跡數(shù)據(jù)庫,見表3。
表3 中國(guó)船舶軌跡數(shù)據(jù)庫
道格拉斯-普克算法(Douglas-Peucker, DP)[8]也稱為DP數(shù)據(jù)抽稀算法[9],能盡可能保留船舶原始軌跡,具有降低數(shù)據(jù)存儲(chǔ)成本,加快數(shù)據(jù)處理效率等優(yōu)點(diǎn)。
假設(shè)某船舶的航行軌跡包含了n個(gè)連續(xù)且密集的軌跡點(diǎn)的點(diǎn)集為
X={X1,X2,X3,…,Xn}
(1)
相鄰2個(gè)軌跡點(diǎn)間的連線看作一個(gè)軌跡片段見圖2。一艘船舶所有軌跡片段的集合為
T={X1X2,X3X4,…,XnXn-1}
(2)
DP數(shù)據(jù)抽稀算法主要是將一條軌跡的首尾兩點(diǎn)間相連成一條虛線,并求出每個(gè)點(diǎn)到這條虛線的距離,選取所有點(diǎn)到該虛線的距離中最大值與閾值相比,若大于閾值,則將該點(diǎn)作為軌跡特征點(diǎn)[10];若小于閾值,則將直線中所有點(diǎn)舍去。最后,根據(jù)保留的特征點(diǎn)進(jìn)行分段重復(fù)計(jì)算。
圖2 DP數(shù)據(jù)抽稀算法示意
根據(jù)衛(wèi)星AIS數(shù)據(jù)處理結(jié)果,對(duì)北極水域我國(guó)船舶靜態(tài)特征和動(dòng)態(tài)特征進(jìn)行可視化分析。
根據(jù)文獻(xiàn)[11]~文獻(xiàn)[13]制定數(shù)據(jù)清洗規(guī)則對(duì)2015—2017年北極水域中國(guó)船舶衛(wèi)星AIS數(shù)據(jù)進(jìn)行清洗,并利用IHS海事綜合數(shù)據(jù)庫對(duì)問題數(shù)據(jù)進(jìn)行修復(fù),數(shù)據(jù)處理結(jié)果見表4。
表4 2015—2017年北極水域中國(guó)船舶軌跡數(shù)據(jù)清洗結(jié)果
由表4可知:2015年因?yàn)楹叫薪?jīng)驗(yàn)少,船舶能力有限,導(dǎo)致2015年北極水域我國(guó)船舶衛(wèi)星AIS數(shù)據(jù)量最少;2016年我國(guó)總結(jié)北極航行經(jīng)驗(yàn)并實(shí)施“永盛+”項(xiàng)目,當(dāng)年衛(wèi)星AIS數(shù)據(jù)量明顯增多;2017年基本實(shí)現(xiàn)了北極航線常態(tài)化運(yùn)營(yíng)。從數(shù)據(jù)清洗結(jié)果看,整體數(shù)據(jù)質(zhì)量相對(duì)較好,數(shù)據(jù)利用率均保持在60%以上,其中以2015年的數(shù)據(jù)質(zhì)量最好,數(shù)據(jù)利用率可達(dá)70%。
從船舶類型、船舶船齡、船舶噸位和船舶船長(zhǎng)等4個(gè)方面,對(duì)2015—2017年北極水域中國(guó)航行船舶靜態(tài)特征進(jìn)行分析,見圖3~圖6。
1) 由圖3可知:我國(guó)船舶在北極水域的類型分布隨時(shí)間變化,由屬性的單一化向多元化發(fā)展,說明我國(guó)正不斷嘗試北極水域船舶的多元化運(yùn)營(yíng);北極東半球水域相較于西半球水域,船舶種類更豐富,分布更具特色;其中對(duì)于航運(yùn)熱點(diǎn)的東半球水域來說依舊以貨物運(yùn)輸為主,希望借助航道優(yōu)勢(shì)以獲得更高的經(jīng)濟(jì)效益;西半球水域以客船、油船居多,北極豐富的石油、天然氣等自然資源對(duì)我國(guó)經(jīng)濟(jì)發(fā)展至關(guān)重要。船舶類型的分析能為我國(guó)提供更高效的航運(yùn)安全保障而服務(wù)。
2)由圖4可知:在北極水域中通過的我國(guó)船舶中,整體船齡分布隨年份的變化愈發(fā)多樣;2015年由于航行經(jīng)驗(yàn)不足,常使用船齡小于20 a的船舶來進(jìn)行北極探索以保證航行安全,這一現(xiàn)象在西半球水域中更為明顯;隨著北極航行的船舶、航次的增多、航行經(jīng)驗(yàn)的不斷積累以及海冰融化速度的日益加快,北極水域中船齡大于20 a的船舶占比逐年上升,說明北極水域?qū)Υ簖g船舶更加兼容且我國(guó)的北極船舶建造水平正不斷提升。船齡特征的分析能為我國(guó)北極船舶制造廠商以及各行業(yè)減少制造運(yùn)營(yíng)成本、提高經(jīng)濟(jì)效益提供有力的數(shù)據(jù)依據(jù)。
3)由圖5可知:在2017年之前,我國(guó)通過北極水域的航次較少,為保證成本收益,基本選擇載重量大于10 000 t的萬噸級(jí)大型船舶,因?yàn)榇笮痛霸诖霸O(shè)備水平、人員配備等各方面更能保證航行安全;但在2017年,由于北極水域航道夏季通航期的延長(zhǎng)和我國(guó)北極航行經(jīng)驗(yàn)的積累,小噸位船舶在短距離運(yùn)輸和復(fù)雜通航環(huán)境等方面具有更高的適航性,且由于東北三省的港口和上海港吞吐量的不斷上升,航道壓力越來越大,難以滿足大噸位船舶的通行。因此,通過北極水域的我國(guó)船舶開始從大于萬噸級(jí)的船舶向以小噸位船舶為主的格局轉(zhuǎn)變。
4)由圖6可知:船長(zhǎng)在一定程度上可反映一艘船舶的噸位情況,所以2015—2017年的我國(guó)船長(zhǎng)分布和第3)節(jié)中噸位分布情況幾乎相同;2015年和2016年基本以船長(zhǎng)大于100 m的船舶為主,2017年則以船長(zhǎng)小于200 m的中小型船舶數(shù)量較多。如“永盛”“夏之遠(yuǎn)6”和“天禧”等中國(guó)船舶,通過在北極的船長(zhǎng)都小于200 m,因此,對(duì)我國(guó)來說,中小型船舶在北極水域中更具有更好的適航性。
圖3 2015—2017年北極水域中國(guó)船舶類型分布
圖4 2015—2017年北極水域中國(guó)船舶船齡分布
圖5 2015—2017年北極水域中國(guó)船舶噸位分布
圖6 2015—2017年北極水域中國(guó)船舶船長(zhǎng)分布
船舶噸位和船舶長(zhǎng)度特征的分析能為我國(guó)航運(yùn)企業(yè)計(jì)劃航次、制定航運(yùn)計(jì)劃等運(yùn)輸策略提供理論依據(jù)。
結(jié)合GIS可視化技術(shù)進(jìn)一步對(duì)2015—2017年北極水域我國(guó)航行船舶軌跡分布、船舶航速分布進(jìn)行分析。
2.3.1船舶軌跡分布
北極東半球水域選用俄羅斯北方海航道管理局所記錄的2015—2017年通過的中國(guó)船舶航行數(shù)據(jù);西半球水域則使用2016年的船舶航行數(shù)據(jù),利用DP抽稀算法結(jié)合Python的folium模塊將船舶軌跡顯示在地圖上,壓縮閾值設(shè)置為0.2。
從2015—2017年北極東半球水域和西半球水域的中國(guó)船舶航行軌跡上可知:我國(guó)船舶多次橫跨東半球水域,航行軌跡基本展現(xiàn)了東北航道的主體樣貌,東北航道整體相對(duì)連續(xù),呈直線狀分布,需通過的海峽較少,通航環(huán)境較好,易于船舶跨越航行。但由于西半球水域的西北航道存在整體航線復(fù)雜,呈片段狀分布,沿線擁有22個(gè)海峽和海灣,航行難度較高,船舶航行安全系數(shù)低,在通航期的特定海域還需破冰船的幫助等缺點(diǎn),我國(guó)船舶只能停留在巴芬灣等較為通暢的水域。
船舶軌跡的分析能為我國(guó)航運(yùn)貿(mào)易決策、海上航線規(guī)劃等方面提供更準(zhǔn)確的數(shù)據(jù)保障。
2.3.2船舶航速分布
選取2015—2017年北極水域我國(guó)船舶的航行速度數(shù)據(jù),利用不同顏色的Scatter對(duì)船舶航行速度分布進(jìn)行可視化分析。
從2015—2017年北極東半球水域的中國(guó)船舶航速分布可知:我國(guó)船舶在主航道上的航速基本大于12 kn,能較通暢的通過北極水域;俄羅斯摩爾曼斯克港和挪威海(斯瓦爾巴群島南邊)附近船舶航速以0~6 kn為主,說明船舶可能在進(jìn)行港口和海洋平臺(tái)作業(yè);我國(guó)船舶在俄羅斯北極東側(cè)報(bào)告點(diǎn)——杰日尼奧夫角西側(cè)水域部分船舶航速為0~6 kn,說明船舶可能在此等待破冰船服務(wù)。
從2015—2017年北極西半球水域的中國(guó)船舶航速分布可知:我國(guó)船舶活動(dòng)區(qū)域主要集中在巴芬灣附近水域,主要在此區(qū)域開展貨物運(yùn)輸,尚未發(fā)現(xiàn)我國(guó)船舶開展穿越西北航道的航行活動(dòng)。
東北航道作為直接聯(lián)接太平洋國(guó)家和歐洲國(guó)家的重要通道,其近地航線長(zhǎng)度也只有12 456 km,只需航行22 d,但是從歐洲經(jīng)過蘇伊士運(yùn)河、馬六甲海峽到太平洋的航程有19 931 km,需航行35 d;西北航道全長(zhǎng)只有14 000 km,航程遠(yuǎn)小于傳統(tǒng)航道。由于航道距離的縮短,大大降低了船舶燃油成本,且在很大程度上降低了CO2排放對(duì)環(huán)境的污染,同時(shí)還能避開索馬里海盜、附近國(guó)家地方政治等因素。即使短時(shí)間內(nèi)通過北極航道還需要交付高昂的破冰服務(wù)費(fèi)用,但長(zhǎng)遠(yuǎn)來看對(duì)未來世界海運(yùn)格局將有很大影響。
北極水域我國(guó)船舶活動(dòng)分析的研究結(jié)果與東北航道的船舶特征分析[14]相比可知:大部分船舶在北極水域都行駛在航道主線上,且航速保持在安全航速范圍內(nèi),說明北極水域船舶活動(dòng)軌跡是以航道行駛為主且航道相對(duì)暢通。
船舶航速特征能結(jié)合事故安全、廢氣排放等模型進(jìn)行耦合分析,量化速度特征,深度挖掘速度分布本質(zhì),對(duì)北極海上交通安全、環(huán)境保護(hù)規(guī)劃和軍事戰(zhàn)略的落實(shí)提供可參考性的依據(jù)。
根據(jù)北極水域中國(guó)船舶衛(wèi)星AIS數(shù)據(jù)特征和IHS海事綜合數(shù)據(jù)庫,采用SQL數(shù)據(jù)庫技術(shù)、GIS技術(shù)和數(shù)據(jù)修復(fù)與挖掘技術(shù),從船舶靜態(tài)特征和動(dòng)態(tài)特征兩方面對(duì)2015—2017年北極水域中國(guó)船舶活動(dòng)情況進(jìn)行了分析。研究表明:
1)從中國(guó)船舶靜態(tài)特征分析的結(jié)論來看:我國(guó)通過北極水域的船舶大多以貨船為主,且以2017年的貨船最多;北極水域更適合低于萬噸級(jí)的船舶航行;通過北極水域的我國(guó)船舶多以船長(zhǎng)小于200 m的中小型船舶為主。
2)從中國(guó)船舶動(dòng)態(tài)特征分析的結(jié)論來看:我國(guó)船舶航行線路橫跨整個(gè)北極東半球水域,可完成長(zhǎng)距離跨越運(yùn)輸,西半球水域則集中在巴芬島附近的米爾恩港,以短距離運(yùn)輸為主;東半球水域船舶航行較為暢通,航速以大于12 kn為主;西半球水域航行相對(duì)緩慢,航速以0~6 kn為主。
通過對(duì)北極水域我國(guó)船舶活動(dòng)行為的分析,有利于了解我國(guó)船舶在北極水域的活動(dòng)狀態(tài),從而為我國(guó)加強(qiáng)與北極國(guó)家的合作交流,加快部署適合我國(guó)國(guó)情的北極戰(zhàn)略,合理開發(fā)利用北極航道等方面提供數(shù)據(jù)支撐。此外,后續(xù)的研究工作可進(jìn)一步挖掘和分析船舶排放數(shù)據(jù)及船舶避碰軌跡,拓展我國(guó)船舶在北極水域的高效、清潔和安全航行研究。