劉儒，石學(xué)濤，耿銘晨，鄭凱，姚抒均

（1.齊魯工業(yè)大學(xué)（山東省科學(xué)院），山東青島，266000；2.山東省科學(xué)院海洋儀器儀表研究所，山東青島，266000）

1 海洋環(huán)境監(jiān)測(cè)系統(tǒng)存在問題

相比以前所有資源來看，基于海洋檢測(cè)系統(tǒng)數(shù)據(jù)具有多樣化特性，可以表現(xiàn)為多樣、多態(tài)及多源的等。數(shù)據(jù)可以根據(jù)很多種數(shù)據(jù)來源和不同的監(jiān)視方法共同獲得。海洋遙感數(shù)據(jù)處理水平都比較高，通常經(jīng)過處理后能夠接近70TB，當(dāng)然其他經(jīng)過實(shí)驗(yàn)的一系列數(shù)值也能夠達(dá)到一種較高的水平。通過對(duì)監(jiān)控系統(tǒng)的研究，其可能存在下面一些相應(yīng)問題。

系統(tǒng)管理和數(shù)據(jù)處理分析來研究，具有一些分散結(jié)構(gòu)化、或者半結(jié)構(gòu)化、或者一系列非結(jié)構(gòu)化監(jiān)視數(shù)據(jù)，上述數(shù)據(jù)都存在很多數(shù)據(jù)信息；（2）科學(xué)研究角度分析，現(xiàn)在數(shù)據(jù)都屬于一種大數(shù)據(jù)時(shí)代，大部分都會(huì)采用融合方式將不同來源數(shù)據(jù)進(jìn)行整合，對(duì)其數(shù)據(jù)進(jìn)行全面和宏觀的分析理解。無論研究什么系統(tǒng)，數(shù)據(jù)集成都是非常重要的一部分；（3）研究方法論角度分析。在現(xiàn)在大數(shù)據(jù)范圍中，研究員只要通過對(duì)數(shù)據(jù)驅(qū)動(dòng)的整合協(xié)作來進(jìn)行分析，才能真正達(dá)到研究的效果。

本文研究云環(huán)境下監(jiān)測(cè)系統(tǒng)基本上都是采用大數(shù)據(jù)特性來分析和研究，這樣能夠不實(shí)現(xiàn)對(duì)多源異構(gòu)數(shù)據(jù)的透明分析和運(yùn)用，最后以統(tǒng)一方式運(yùn)行和使用。

2 海洋監(jiān)測(cè)大數(shù)據(jù)平臺(tái)的設(shè)計(jì)構(gòu)想

2.1 大數(shù)據(jù)與海洋監(jiān)測(cè)數(shù)據(jù)管理流程

云計(jì)算是一種網(wǎng)絡(luò)資源共享模式，它在大量分布式計(jì)算機(jī)或遠(yuǎn)程服務(wù)器上分布計(jì)算，根據(jù)Internet操作模式將資源切換到所需的應(yīng)用程序，并根據(jù)需求訪問計(jì)算機(jī)和存儲(chǔ)系統(tǒng)。在此共享模型中，“云”是指各種虛擬化的計(jì)算資源池，其中包括用于構(gòu)造應(yīng)用程序的各種基礎(chǔ)結(jié)構(gòu)以及這些基礎(chǔ)結(jié)構(gòu)上的特定云計(jì)算應(yīng)用程序。云計(jì)算提供了一種新型的計(jì)算模式。在這種模式下，應(yīng)用程序，各種數(shù)據(jù)和IT（信息技術(shù)）資源通過網(wǎng)絡(luò)即服務(wù)提供給用戶。云計(jì)算也是基礎(chǔ)架構(gòu)管理的一種方法。大量計(jì)算資源形成一個(gè)IT資源池，以動(dòng)態(tài)創(chuàng)建高度虛擬化的資源并為用戶提供這些資源。人們可以根據(jù)自己的需求確定所需的IT資源，并為使用的IT資源和服務(wù)付費(fèi)。人們還可以根據(jù)需要通過云平臺(tái)遠(yuǎn)程部署自己的應(yīng)用程序。而且，無論身在何處，只要擁有可以連接到Internet的客戶端，就可以訪問云資源，大數(shù)據(jù)與海洋監(jiān)測(cè)數(shù)據(jù)管理流程如圖1所示。

圖1 大數(shù)據(jù)與海洋監(jiān)測(cè)數(shù)據(jù)管理流程

與其他數(shù)據(jù)資源相比，海洋監(jiān)測(cè)數(shù)據(jù)具有多源，多態(tài)和多樣性的特點(diǎn)。數(shù)據(jù)的多源性是由不同的數(shù)據(jù)監(jiān)視方法引起的，例如浮標(biāo)，觀察船，遙感和衛(wèi)星。觀測(cè)方法的差異導(dǎo)致數(shù)據(jù)準(zhǔn)確性和數(shù)據(jù)格式的多樣化，帶來了數(shù)據(jù)結(jié)構(gòu)的復(fù)雜性和靈活性。生成的數(shù)據(jù)量巨大，存儲(chǔ)和分析變得越來越困難；因此，數(shù)據(jù)中心面臨的壓力正在增加。此外，不同格式的數(shù)據(jù)分別存儲(chǔ)，獨(dú)立處理和分析，很容易形成信息孤島。

2.2 大數(shù)據(jù)技術(shù)Hadoop在海洋監(jiān)測(cè)數(shù)據(jù)處理平臺(tái)定位

近年來，大數(shù)據(jù)引起了行業(yè)，科技界和政府部門的極大關(guān)注。實(shí)際上，Hadoop已經(jīng)是大數(shù)據(jù)技術(shù)的標(biāo)準(zhǔn)。盡管Hadoop受到許多大數(shù)據(jù)技術(shù)的挑戰(zhàn)，但Hadoop仍在不斷發(fā)展并適應(yīng)新技術(shù)。需求。另外，這些技術(shù)在歸根結(jié)底都采用了Hadoop的主要思想，但是在某些方面進(jìn)行了優(yōu)化和改進(jìn)，實(shí)際上也應(yīng)該屬于Hadoop技術(shù)。這些大數(shù)據(jù)集成平臺(tái)基本上都是基于Hadoop大數(shù)據(jù)技術(shù)的，使用數(shù)據(jù)虛擬化技術(shù)來集成多源異構(gòu)海量數(shù)據(jù)，重點(diǎn)是不同的。此外，幾乎沒有集成的大數(shù)據(jù)模式，其中大多數(shù)只是MapReduce和Hive，沒有其他計(jì)算模式，例如流和迭代。“大數(shù)據(jù)集成的四個(gè)特征”部分提到的相關(guān)學(xué)術(shù)研究主要集中于數(shù)據(jù)集成技術(shù)或集成模型，而在大數(shù)據(jù)平臺(tái)上的集成研究相對(duì)較少。

圖2 Hadoop 在海洋監(jiān)測(cè)數(shù)據(jù)管理中的定位

3 基于云環(huán)境下的海洋環(huán)境大數(shù)據(jù)平臺(tái)分析

本文所涉及到海洋環(huán)境監(jiān)測(cè)系統(tǒng)主要包括監(jiān)測(cè)管理系統(tǒng)、遙感監(jiān)測(cè)系統(tǒng)以及衛(wèi)星遙感監(jiān)測(cè)等系統(tǒng)，通過對(duì)比傳統(tǒng)架構(gòu)系統(tǒng)，本文云環(huán)境海洋監(jiān)測(cè)系統(tǒng)有很大的不同，不僅僅體現(xiàn)在海洋環(huán)境監(jiān)控大數(shù)據(jù)平臺(tái)上面，還在使用的物理層、數(shù)據(jù)層及服務(wù)層都存在很多不同的地方。通過在云平臺(tái)上建立一系列監(jiān)控系統(tǒng)和模塊，能夠?qū)崟r(shí)監(jiān)控海洋環(huán)境下各種動(dòng)態(tài)信息。大數(shù)據(jù)處理平臺(tái)包括以下模塊：基本軟件部分、高端中間連接模塊、數(shù)據(jù)訪問源部分、監(jiān)視數(shù)據(jù)中間部分及數(shù)據(jù)防篡改部分，正因?yàn)樵撈脚_(tái)具有這些功能，開發(fā)和研究成本相比較低、安全性能較高，穩(wěn)定性較強(qiáng)。在現(xiàn)實(shí)生活中，往往存在一些自主開發(fā)網(wǎng)站，一味追求利益，降低成本，造成技術(shù)較為落后、安全性降低，無法對(duì)數(shù)據(jù)兼容性進(jìn)行支撐，根本無法滿足當(dāng)前系統(tǒng)需求。

本文構(gòu)建使用平臺(tái)都會(huì)綜合考慮各種監(jiān)控模塊之間的集成兼容性，對(duì)點(diǎn)到點(diǎn)集成要求較為嚴(yán)格，通常會(huì)對(duì)SOA總線部分到很多主數(shù)據(jù)、從數(shù)據(jù)管理的每一個(gè)階段都會(huì)考慮，每一個(gè)階段都會(huì)要求較高。從虛擬架構(gòu)來對(duì)系統(tǒng)進(jìn)行分析，每一個(gè)模塊都內(nèi)含有各自部分集成平臺(tái)，這些集成平臺(tái)都由內(nèi)部云平臺(tái)物理架構(gòu)支撐，以提供系統(tǒng)所需求的服務(wù)模式。

4 結(jié)論

云計(jì)算和大數(shù)據(jù)被廣泛應(yīng)用于各個(gè)領(lǐng)域。海洋環(huán)境監(jiān)測(cè)數(shù)據(jù)的特點(diǎn)適用于大數(shù)據(jù)處理技術(shù)。云數(shù)據(jù)主要利用Iaas平臺(tái)實(shí)現(xiàn)，該平臺(tái)獲得都是通過一系列商業(yè)模式購買或者采用一些開源平臺(tái)對(duì)其進(jìn)行構(gòu)建。商業(yè)軟件使用較多的有Vmware esx+Vcenter/Vsphere及開源OpenStack，其中前者使用較為廣泛，方案也較為成熟和穩(wěn)定，后期開源模塊仍然處于研究之中，因?yàn)殚_源具有一系列相對(duì)優(yōu)勢(shì)，因此也吸引了較多開發(fā)者青睞。建立基于云計(jì)算和大數(shù)據(jù)技術(shù)的海洋環(huán)境監(jiān)測(cè)數(shù)據(jù)處理平臺(tái)符合IT發(fā)展趨勢(shì)。針對(duì)多源異構(gòu)海洋環(huán)境監(jiān)測(cè)數(shù)據(jù)面臨的大數(shù)據(jù)問題，本文提出構(gòu)建數(shù)據(jù)虛擬化平臺(tái)并整合大數(shù)據(jù)計(jì)算模式，并使用兩層元數(shù)據(jù)（在數(shù)據(jù)虛擬化平臺(tái)中，數(shù)據(jù)連接層元數(shù)據(jù)生成，數(shù)據(jù)消耗層的元數(shù)據(jù)建模和本體語義框架，以實(shí)現(xiàn)海量海洋環(huán)境監(jiān)測(cè)數(shù)據(jù)的集成，并提出基于這些技術(shù)的應(yīng)用架構(gòu)。利用云計(jì)算和大數(shù)據(jù)建立海洋環(huán)境監(jiān)測(cè)數(shù)據(jù)平臺(tái)，將給海洋環(huán)境監(jiān)測(cè)數(shù)據(jù)的業(yè)務(wù)管理和決策帶來巨大的變化，對(duì)海洋環(huán)境監(jiān)測(cè)的科學(xué)發(fā)展具有重要意義。