付丹 潘正軍

摘要：本文論述了在大數(shù)據(jù)的環(huán)境下，深度學(xué)習(xí)模型和多源異構(gòu)影像數(shù)據(jù)融合問題，在數(shù)據(jù)融合的基本架構(gòu)基礎(chǔ)上，改進(jìn)了一種泛化性強(qiáng)得多源異構(gòu)影像數(shù)據(jù)融合的深度學(xué)習(xí)模型，探索將深度學(xué)習(xí)技術(shù)運(yùn)用到多源異構(gòu)數(shù)據(jù)信息提取與挖掘之中。

關(guān)鍵詞：深度學(xué)習(xí);多源異構(gòu);大數(shù)據(jù);特征學(xué)習(xí)

中圖分類號(hào)：TP311? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1009-3044（2019）26-0008-03

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

在大數(shù)據(jù)的環(huán)境下，隨著信息數(shù)據(jù)的不斷增加，出現(xiàn)了大量的多源異構(gòu)數(shù)據(jù)，如何有效對(duì)這些數(shù)據(jù)進(jìn)行挖掘、清洗、處理，得到有用的目標(biāo)信息數(shù)據(jù)，成為人們關(guān)注的重點(diǎn)問題之一，通過深度學(xué)習(xí)模型在多源異構(gòu)數(shù)據(jù)的提取過程中，具有十分重要的作用，它具有語義性好，表征性強(qiáng)的優(yōu)勢，通過研究深度學(xué)習(xí)模型在多源異構(gòu)數(shù)據(jù)中提取數(shù)據(jù)的有效性，能夠精準(zhǔn)地識(shí)別目標(biāo)數(shù)據(jù)，挖掘目標(biāo)數(shù)據(jù)的內(nèi)在規(guī)律，達(dá)到對(duì)目標(biāo)數(shù)據(jù)的規(guī)律進(jìn)行預(yù)測，能夠有效提高數(shù)據(jù)的有用性。

1 基于深度學(xué)習(xí)的多源異構(gòu)大數(shù)據(jù)提取思路

為利用模型各層學(xué)習(xí)得到的特征，對(duì)多源異構(gòu)大數(shù)據(jù)的特征信息進(jìn)行提取，需要對(duì)不同特征層中包含的互補(bǔ)信息進(jìn)行獲取，這樣使得深度學(xué)習(xí)模型具有更大的可擴(kuò)展性能，將深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型與信息融合模型結(jié)合在一起，對(duì)獲取的數(shù)據(jù)進(jìn)行推理，達(dá)到獲取目標(biāo)數(shù)據(jù)的目的，得出基于深度學(xué)習(xí)的多源異構(gòu)數(shù)據(jù)獲取的模型，達(dá)到提取融合多源共享特征數(shù)據(jù)的目標(biāo)層數(shù)據(jù)特征要求，具體數(shù)據(jù)提取思路如圖1所示。

首先，如果需要從一種數(shù)據(jù)源中提取目標(biāo)多層特征，采用構(gòu)可泛化的深度學(xué)習(xí)框架，逐級(jí)獲取目標(biāo)數(shù)據(jù)，通過對(duì)數(shù)據(jù)的特征變換、選擇與分類，構(gòu)建深度學(xué)習(xí)特征模型，對(duì)具有同類特征數(shù)據(jù)的信息進(jìn)行挖掘、清洗，并將各層數(shù)據(jù)同類特征組合起來，并采用特征選擇算法對(duì)數(shù)據(jù)進(jìn)行處理，形成一種達(dá)到目標(biāo)高層特征的深度學(xué)習(xí)模型，達(dá)到對(duì)異構(gòu)數(shù)據(jù)進(jìn)行處理的目標(biāo)。其次，將深度特征學(xué)習(xí)模型和多源異構(gòu)數(shù)據(jù)進(jìn)行深度融合，就構(gòu)成了一種面向多源異構(gòu)數(shù)據(jù)與普通向量相互結(jié)合的深層次學(xué)習(xí)模型，采用這種通用深度特征學(xué)習(xí)模型可以對(duì)各個(gè)單一數(shù)據(jù)源的基礎(chǔ)部件模型進(jìn)行構(gòu)建，這樣就能夠?qū)⒍嘣串悩?gòu)模型的數(shù)據(jù)融合在一起，形成了多源融合的深層次數(shù)據(jù)模型特征。最后，在形成的多層融合深層次數(shù)據(jù)模型的基礎(chǔ)上，通過對(duì)數(shù)據(jù)源中的數(shù)據(jù)進(jìn)行提取與組合，形成一個(gè)具體的深度學(xué)習(xí)模型，該模型主要包括多層的特征學(xué)習(xí)部分和最后的分類部分兩種結(jié)合，采用該種數(shù)據(jù)提取的方法是可泛化的、簡單的深度學(xué)習(xí)，在深度學(xué)習(xí)的數(shù)據(jù)處理過程中，也具有較好的通用泛化的能力。

2 深度學(xué)習(xí)模型

2.1 深度學(xué)習(xí)的特征

典型的深度學(xué)習(xí)模型對(duì)于數(shù)據(jù)的處理一般都是采用多層迭代數(shù)據(jù)模型，是一種基于“特征變換——非線性操作——特征選擇（約簡）”數(shù)據(jù)處理模型，數(shù)據(jù)的特征變換采用濾波器的方式進(jìn)行處理，對(duì)于非線性操作模擬數(shù)據(jù)具有人類神經(jīng)元的激活與抑制的功能，在數(shù)據(jù)變換之后，通過特征二值化或使用邏輯回歸函數(shù)處理，從而能夠有效地將各種數(shù)據(jù)有機(jī)地結(jié)合在一起。深度學(xué)習(xí)的概念來源于人工神經(jīng)網(wǎng)絡(luò)技術(shù)，它具有如下的特征：

1）強(qiáng)調(diào)了深度學(xué)習(xí)模型結(jié)構(gòu)的深度，一邊情況下數(shù)據(jù)層次達(dá)到了五六層，有的時(shí)候可以達(dá)到十多層隱性的層級(jí)節(jié)點(diǎn)。

2）數(shù)據(jù)通過逐層特征變換，可以將數(shù)據(jù)的原有空間轉(zhuǎn)換為一個(gè)新的特征學(xué)習(xí)空間，使得數(shù)據(jù)的分析與預(yù)測變得比較簡單，將大數(shù)據(jù)的特征結(jié)合在一起，能夠更容易實(shí)現(xiàn)內(nèi)在數(shù)據(jù)的挖掘。

2.2 模型構(gòu)建

在建構(gòu)深度學(xué)習(xí)模型時(shí)，需要構(gòu)建神經(jīng)網(wǎng)絡(luò)模型，才能有效地對(duì)數(shù)據(jù)進(jìn)行處理，一個(gè)神經(jīng)網(wǎng)絡(luò)有多個(gè)簡單神經(jīng)元鉸鏈在一起構(gòu)成，在不同的神經(jīng)元中還需要有另外一個(gè)相同的神經(jīng)元輸入數(shù)據(jù)，一個(gè)簡單的深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型如圖2所示，采用圓圈表示數(shù)據(jù)網(wǎng)絡(luò)的輸入，“+1”的圓圈表示偏置單元，能夠快速地獲取數(shù)據(jù)的加載項(xiàng)。在神經(jīng)模型中，包括網(wǎng)絡(luò)數(shù)據(jù)的輸入層、輸出層與隱含層，可以說在圖2的神經(jīng)網(wǎng)絡(luò)中，主要包括上述的3個(gè)輸入神經(jīng)單元，有的單元有兩個(gè)隱含層，在其下層又含有相應(yīng)的隱含單元與輸出單元。

2.3 模型參數(shù)優(yōu)化

在設(shè)計(jì)好神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)模型后，需要對(duì)模型網(wǎng)絡(luò)中的各個(gè)節(jié)點(diǎn)進(jìn)行優(yōu)化，使其達(dá)到最優(yōu)化的狀態(tài)，通過將樣本進(jìn)行大量的迭代，使得建構(gòu)的學(xué)習(xí)網(wǎng)絡(luò)能夠?qū)Ξ悩?gòu)源數(shù)據(jù)進(jìn)行再一次的認(rèn)識(shí)學(xué)習(xí)，在多次迭代糾偏之后，就形成了對(duì)所關(guān)注各種數(shù)據(jù)源目標(biāo)的表針性描述，如果構(gòu)建的網(wǎng)絡(luò)模型優(yōu)化越好，就會(huì)對(duì)數(shù)據(jù)源目標(biāo)的學(xué)習(xí)越深度，就能夠深刻地對(duì)數(shù)據(jù)進(jìn)行描述，學(xué)習(xí)模型的參數(shù)優(yōu)化在顯得十分重要。

其中，J代表代價(jià)函數(shù)，W、b為神經(jīng)網(wǎng)絡(luò)擬定學(xué)習(xí)目標(biāo)，在代價(jià)函數(shù)經(jīng)過W與b的轉(zhuǎn)換之后與y的平方差的一半。

3 多源異構(gòu)數(shù)據(jù)融合模型結(jié)構(gòu)

如果對(duì)一種數(shù)據(jù)源目標(biāo)數(shù)據(jù)選擇與提取比較簡單，方法也較多，但是如果對(duì)于多種數(shù)據(jù)源在統(tǒng)一架構(gòu)下提取的就會(huì)存在一定的困難，需要采用信息融合的原理，對(duì)輸入信息進(jìn)行抽象處理，并相互融合，在融合的過程中必須按照抽象的層次，將數(shù)據(jù)的數(shù)據(jù)層、特征層、決策層以及融合輸出結(jié)果的不同，數(shù)據(jù)融合模型按照數(shù)據(jù)抽象的層次，一般將信息融合分、混合層等進(jìn)行隨機(jī)融合，并結(jié)合深度學(xué)習(xí)的模型對(duì)數(shù)據(jù)進(jìn)行抽取。為了便于分析，我們采用光學(xué)、SAR、紅外等三種影像數(shù)據(jù)進(jìn)行信息融合，由于影像數(shù)據(jù)在融合的過程中，可以提取相似的數(shù)據(jù)，也存在造成數(shù)據(jù)之間存在不同機(jī)理使得數(shù)據(jù)存在不可比性，這就需要從特征融合、決策融合與混合融合三種異構(gòu)數(shù)據(jù)的處理方式，處理過程如圖3所示。

數(shù)據(jù)的特征融合主要包括目標(biāo)狀態(tài)數(shù)據(jù)融合與目標(biāo)數(shù)據(jù)特征融合，目標(biāo)狀態(tài)數(shù)據(jù)融合主要是對(duì)數(shù)據(jù)源的數(shù)據(jù)狀態(tài)進(jìn)行跟蹤，利用模式識(shí)別技術(shù)對(duì)多種異構(gòu)的數(shù)據(jù)源信息進(jìn)行處理，獲取數(shù)據(jù)的相似數(shù)據(jù)，而融合處理的功能是對(duì)數(shù)據(jù)參數(shù)與狀態(tài)矢量進(jìn)行估算，例如各種情報(bào)雷達(dá)、跟蹤紅外等一些非成像的影像數(shù)據(jù)，進(jìn)而抽取數(shù)據(jù)的相同特征，并采用深度學(xué)習(xí)的方式對(duì)數(shù)據(jù)相似特征進(jìn)行獲取，形成一個(gè)統(tǒng)一的數(shù)據(jù)目標(biāo)層次。

4 基于深度學(xué)習(xí)模型的多源異構(gòu)數(shù)據(jù)融合研究

4.1 基于深度學(xué)習(xí)數(shù)據(jù)級(jí)融合

在光學(xué)、SAR、紅外等三種影像數(shù)據(jù)融合的過程中，也可以將影像數(shù)據(jù)級(jí)融合稱為像素融合，它是在多種傳感器下異質(zhì)影像數(shù)據(jù)在同一目標(biāo)與時(shí)空的背景下的異構(gòu)數(shù)據(jù)源的數(shù)據(jù)抽取，在獲取大量的異構(gòu)數(shù)據(jù)后，通過神經(jīng)網(wǎng)絡(luò)深度學(xué)對(duì)這些異構(gòu)影像融合數(shù)據(jù)進(jìn)行抽取、清洗，以獲取數(shù)據(jù)的相關(guān)性，在通過深度神經(jīng)網(wǎng)絡(luò)模型抽取之后，就能夠識(shí)別出異質(zhì)融合影像中的目標(biāo)的神經(jīng)網(wǎng)絡(luò)模型，然后經(jīng)過數(shù)據(jù)挖掘處理，最終能夠獲得目標(biāo)最終的分類識(shí)別結(jié)果。采用像素融合的數(shù)據(jù)識(shí)別方法，在數(shù)據(jù)處理的過程中，數(shù)據(jù)信息丟失比較少，而操作比較簡單，這種神經(jīng)網(wǎng)絡(luò)能夠?qū)Ξ愘|(zhì)融合影像進(jìn)行深度學(xué)習(xí)，在獲取數(shù)據(jù)的模型之后，能夠?qū)?shù)據(jù)模型進(jìn)行檢測，以獲得目標(biāo)數(shù)據(jù)。但是，在多源異構(gòu)的數(shù)據(jù)中，往往存在一些不可比性的數(shù)據(jù)，在對(duì)像素?cái)?shù)據(jù)進(jìn)行融合的過程中，還需比較精確的算法，才能滿足具體的要求。

4.2 基于深度學(xué)習(xí)的數(shù)據(jù)特征融合

對(duì)神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)數(shù)據(jù)融合主要對(duì)數(shù)據(jù)混合層的特征映射數(shù)據(jù)進(jìn)行融合，以便于在后期對(duì)目標(biāo)數(shù)據(jù)進(jìn)行分類識(shí)別處理。例如，以深度卷積神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分析為例，在獲取每次的卷積層數(shù)據(jù)之后都能夠形成一層的數(shù)據(jù)特征映射圖，在經(jīng)過對(duì)原始數(shù)據(jù)圖像的直接深度學(xué)習(xí)的前饋、后向數(shù)據(jù)迭代之后，就會(huì)形成限定的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)學(xué)習(xí)模型，在隨后的數(shù)據(jù)測試中，通過對(duì)神經(jīng)網(wǎng)絡(luò)中的不同異質(zhì)數(shù)據(jù)圖像進(jìn)行最后一層的數(shù)據(jù)融合，獲得融合后的數(shù)據(jù)特征融合映射圖，然后進(jìn)行數(shù)據(jù)全層連接處理，從而能夠有效地達(dá)到目標(biāo)數(shù)據(jù)的自動(dòng)分類處理的效果，這種深度學(xué)習(xí)的異構(gòu)數(shù)據(jù)源的特征融合結(jié)構(gòu)如圖4所示。

基于深度學(xué)習(xí)的異質(zhì)影像特征融合主要采用神經(jīng)網(wǎng)絡(luò)技術(shù)多系統(tǒng)傳感器中捕獲的原始異質(zhì)數(shù)據(jù)進(jìn)行抽取、清洗，使得經(jīng)過深度學(xué)習(xí)的目標(biāo)數(shù)據(jù)特征變得更加豐富，同時(shí)采用這種深度學(xué)習(xí)，使得該網(wǎng)絡(luò)的數(shù)據(jù)可拓展性與泛化更為簡單，使得目標(biāo)數(shù)據(jù)具有更為豐富的特征。它具有維數(shù)多、尺度小的特點(diǎn)，能夠精細(xì)地對(duì)目標(biāo)數(shù)據(jù)進(jìn)行抽取與計(jì)算，保證了在對(duì)目標(biāo)數(shù)據(jù)進(jìn)行處理的過程中，不會(huì)遺漏掉任何數(shù)據(jù)，同時(shí)也能保留目標(biāo)數(shù)據(jù)層的所有特征。

4.3 基于深度學(xué)習(xí)決策級(jí)融合

在深度學(xué)習(xí)模型中，對(duì)決策級(jí)數(shù)據(jù)的融合需要對(duì)每一種異構(gòu)的數(shù)據(jù)源進(jìn)行分析，利用每一個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)多類數(shù)據(jù)目標(biāo)進(jìn)行分類別的進(jìn)行識(shí)別、決策，然后再對(duì)這些決策數(shù)據(jù)進(jìn)行融合，最終達(dá)到目標(biāo)數(shù)據(jù)分類識(shí)別的結(jié)果。在影像數(shù)據(jù)處理的過程中，各種傳感器獲取的數(shù)據(jù)在指定的深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行抽取、訓(xùn)練，在網(wǎng)絡(luò)層數(shù)、神經(jīng)元的操作中，可以以連接的方式與數(shù)據(jù)訓(xùn)練的最后表征特征特定向量維數(shù)來表示數(shù)據(jù)，數(shù)據(jù)的各種結(jié)構(gòu)方式可以不同，但在最后決策的表征的過程應(yīng)該形成統(tǒng)一，以便于系統(tǒng)設(shè)計(jì)的深層次融合。決策層數(shù)據(jù)融合的算法中常采用方法包括貝葉斯推理、證據(jù)推理、不確定推理等方法。

數(shù)據(jù)的決策級(jí)融不僅僅是對(duì)數(shù)據(jù)的決策進(jìn)行融合，而是通過融合之后，對(duì)決策進(jìn)行優(yōu)化，以尋找出最優(yōu)化的數(shù)據(jù)決策，在深度學(xué)習(xí)模型中，每一個(gè)神經(jīng)網(wǎng)絡(luò)對(duì)一種信息源數(shù)據(jù)進(jìn)行融合，而實(shí)際上，影像的多個(gè)傳感器信息是相互獨(dú)立的，這就要求決策級(jí)的融合分類不能低于數(shù)據(jù)融合的級(jí)別數(shù)，需要神經(jīng)模型能夠?qū)δ繕?biāo)層數(shù)據(jù)的特征進(jìn)行刻畫與具體的表征，否則在數(shù)據(jù)處理的過程中，就會(huì)出現(xiàn)誤差，不能有效地對(duì)目標(biāo)層數(shù)據(jù)的特征進(jìn)行提取。

4.4 基于深度學(xué)習(xí)混合融合

在基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)模型中，混合層數(shù)據(jù)融合是在以上幾種數(shù)據(jù)進(jìn)行融合之后的深度融合，以達(dá)到對(duì)大數(shù)據(jù)異構(gòu)信息源的數(shù)據(jù)目標(biāo)進(jìn)行分類識(shí)別。一般情況下，深度學(xué)習(xí)的數(shù)據(jù)混合融合采用兩個(gè)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，第一個(gè)神經(jīng)網(wǎng)絡(luò)將多種信源的圖像進(jìn)行轉(zhuǎn)換，形成數(shù)據(jù)源的數(shù)據(jù)特征映射圖，主要作用是提取數(shù)據(jù)的特征網(wǎng)絡(luò)，而另外一個(gè)神經(jīng)網(wǎng)絡(luò)主要功能是對(duì)異構(gòu)信息源的數(shù)據(jù)進(jìn)行多目標(biāo)分類，將每一個(gè)特征映射圖分成多維、小尺度的序列特征數(shù)據(jù)映射子圖，然后將分類的多種信息源特征融合在一起，這樣就可以將所有的像素特征數(shù)據(jù)進(jìn)行融合統(tǒng)一處理。經(jīng)過特征融合數(shù)據(jù)特征模型，每一個(gè)目標(biāo)特征數(shù)據(jù)可以采用多維、小尺度的特征映射子圖序列進(jìn)行數(shù)據(jù)表征，在經(jīng)過第二次神經(jīng)網(wǎng)絡(luò)進(jìn)行融合訓(xùn)練之后，就能夠一個(gè)統(tǒng)一的數(shù)據(jù)關(guān)系圖，獲取異構(gòu)數(shù)據(jù)源的目標(biāo)特征信息。兩個(gè)深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)所起作用不同，實(shí)現(xiàn)的數(shù)據(jù)處理結(jié)果也不一樣，但是，它能夠在統(tǒng)一的整體里實(shí)現(xiàn)端到端的學(xué)習(xí)，這樣就能夠形成一個(gè)最終的目標(biāo)分類識(shí)別結(jié)果，實(shí)現(xiàn)數(shù)據(jù)的多維融合。

5 結(jié)束語

基于深度學(xué)習(xí)模型在多源異構(gòu)大數(shù)據(jù)中已經(jīng)得到了廣泛的應(yīng)用，并取得了顯著的成果，在未來的數(shù)據(jù)處理中，將會(huì)得到更為廣泛的應(yīng)用。但是，多數(shù)深度學(xué)習(xí)模型往往只是針對(duì)一個(gè)具有二維語義網(wǎng)絡(luò)的信息學(xué)習(xí)，對(duì)于那些特征向量比較弱的數(shù)據(jù)，還需要進(jìn)行更深一步的研究，而且在基于深度多源異構(gòu)數(shù)據(jù)的融合模型的研究還需要進(jìn)一步的研究，本文通過對(duì)影像數(shù)據(jù)進(jìn)行分析，提出了一種面向多源異構(gòu)的影像數(shù)據(jù)通用深度學(xué)習(xí)模型，并實(shí)現(xiàn)了對(duì)多層目標(biāo)數(shù)據(jù)進(jìn)行處理，為有效的解決多源異構(gòu)大數(shù)據(jù)的融合、目標(biāo)數(shù)據(jù)的提取提供了新的研究思路。

參考文獻(xiàn)：

[1] 李貴兵，羅洪.大數(shù)據(jù)下的智能數(shù)據(jù)分析技術(shù)研究[J].信息技術(shù)，2017（3）.

[2] 田瑞娟，楊帆.基于空中目標(biāo)識(shí)別的特征提取與選擇[J].兵工自動(dòng)化，2018（3）.

[3] 唐杰，陳文光.而向大社交數(shù)據(jù)的深度分析與挖掘[J].科學(xué)通報(bào)，2015（12）.

[4] 姜建華，洪年松.一種多源異構(gòu)數(shù)據(jù)融合方法及其應(yīng)用研究[J].電子設(shè)計(jì)工程，2018（12）.

【通聯(lián)編輯：唐一東】