劉春英 黃玉文 于繼江

1、緒論

近年來，信息技術越來越廣泛地應用于現(xiàn)代物流企業(yè)的各種物流環(huán)節(jié)中，物流企業(yè)在運輸、儲存、搬運、流通加工、配送等物流業(yè)務運行和實施過程中產(chǎn)生與物流調(diào)度相關的海量數(shù)據(jù)[1，2]。海量物流調(diào)度數(shù)據(jù)多以時間序列的形式存在，能夠對物流調(diào)度正在發(fā)生的和未來狀況進行描述，是處于動態(tài)變化中的數(shù)據(jù)。對海量動態(tài)物流調(diào)度數(shù)據(jù)中隱含深層次信息進行挖掘，從而獲取到商品移動過程的情況和其表現(xiàn)出來的移動趨勢信息，用這些信息可以對物流調(diào)度進行優(yōu)化，最終實現(xiàn)降低物流調(diào)度成本，故對物流調(diào)度數(shù)據(jù)挖掘的研究越來越多的引起物流企業(yè)的重視[3]。目前對物流調(diào)度數(shù)據(jù)挖掘的相關研究，多是探討與分析針對靜態(tài)數(shù)據(jù)源的傳統(tǒng)數(shù)據(jù)挖掘技術在物流調(diào)度數(shù)據(jù)分析中的應用，難以處理異構數(shù)據(jù)源、動態(tài)數(shù)據(jù)源和分散數(shù)據(jù)源，存在著數(shù)據(jù)處理瓶頸;目前研究構建的海量數(shù)據(jù)挖掘模型，難以處理海量動態(tài)增長的數(shù)據(jù)，無法滿足海量數(shù)據(jù)挖掘對計算能力的需求，很難從海量流動數(shù)據(jù)中發(fā)現(xiàn)可理解和有用的知識[4]。大數(shù)據(jù)時代必須創(chuàng)新數(shù)據(jù)挖掘理論與方法，將數(shù)據(jù)挖掘技術應用于分析物流調(diào)度數(shù)據(jù)，研究和探索適應物流企業(yè)處理大規(guī)模、實時化、動態(tài)性物流調(diào)度數(shù)據(jù)的方法和模式，能夠有效配置物流資源和輔助物流決策，提高物流企業(yè)運行速度和執(zhí)行效率，促進物流運作的智能化發(fā)展進程，這已成為物流企業(yè)十分關注和重視的問題。當面對的挖掘任務涉及不同類型的代價時，現(xiàn)有數(shù)據(jù)挖掘方法并不能滿足挖掘要求，代價敏感數(shù)據(jù)挖掘考慮不同類型數(shù)據(jù)代價，挖掘的目的在于使得所采取的行為代價最小或產(chǎn)生最優(yōu)決策行為，對海量動態(tài)物流調(diào)度數(shù)據(jù)進行代價敏感數(shù)據(jù)挖掘，有助于提高物流企業(yè)的目標針對性和傳輸效率，降低物流運輸?shù)某杀竞涂偼顿Y成本，能夠極大地提高物流企業(yè)的經(jīng)濟效益，具有非常重要的應用價值和實際意義。

2.動態(tài)代價敏感的海量物流調(diào)度數(shù)據(jù)挖掘模型

為了有效的對海量物流調(diào)度數(shù)據(jù)進行挖掘，本課題設置如圖1 所示的挖掘模型，從數(shù)據(jù)抽取、數(shù)據(jù)預處理、數(shù)據(jù)挖掘和模式評估四個步驟研究動態(tài)代價敏感的海量物流調(diào)度數(shù)據(jù)挖掘，具體研究模型如下：

2.1海量動態(tài)物流調(diào)度數(shù)據(jù)的抽取

針對海量物流調(diào)度數(shù)據(jù)的海量性，首先利用代價敏感對海量物流數(shù)據(jù)進行并行抽取。本文首先利用云計算平臺對海量數(shù)據(jù)流進行劃分用于并行學習，從海量物流數(shù)據(jù)中抽取和車輛調(diào)度相關的車輛信息、貨物信息、道路交通信息、裝卸數(shù)據(jù)、配送數(shù)據(jù)等海量物流調(diào)度數(shù)據(jù)。然后，針對物流調(diào)度數(shù)據(jù)的動態(tài)性特點，利用基于增量式學習的代價敏感抽取技術對海量物流調(diào)度數(shù)據(jù)進行抽取。最后，從異構多數(shù)據(jù)源中抽取和物流調(diào)度相關的歷史數(shù)據(jù)和當前數(shù)據(jù)。

2.2海量動態(tài)物流調(diào)度數(shù)據(jù)的預處理

針對海量物流調(diào)度數(shù)據(jù)含有缺失數(shù)據(jù)、不確定數(shù)據(jù)、冗余數(shù)據(jù)和噪聲數(shù)據(jù)等，對海量物流調(diào)度數(shù)據(jù)的數(shù)據(jù)清洗。利用代價敏感數(shù)據(jù)數(shù)據(jù)清洗模型對海量物流調(diào)度數(shù)據(jù)進行預處理。首先，把海量動態(tài)物流調(diào)度數(shù)據(jù)進行分類，針對連續(xù)型數(shù)據(jù)和離散性數(shù)據(jù)采用不同的數(shù)據(jù)預處理技術。然后，對海量物流調(diào)度數(shù)據(jù)維度較高的數(shù)據(jù)，結合代價敏感學習思想，對海量物流調(diào)度數(shù)據(jù)的代價敏感進行降維。最后，獲取含有較少噪聲并且維度低的海量物流調(diào)度數(shù)據(jù)。

2.3 海量物流調(diào)度數(shù)據(jù)的動態(tài)代價敏感挖掘模型

綜合考慮車輛行駛路徑、顧客對貨物的時間要求、調(diào)用車輛花費費用和貨物的庫存費用等各種代價因素，結合動態(tài)代價敏感學習思想、并行技術和集成技術，本文提出面向海量物流調(diào)度數(shù)據(jù)的基于增量式學習的代價敏感并行挖掘模型，該挖掘模型能夠對配車方案、行車路線和貨物組合等物流調(diào)度方案提供有效的決策支持。物流調(diào)度數(shù)據(jù)挖掘模型的自適應性，不斷對挖掘模型更新力求適應動態(tài)海量物流調(diào)度數(shù)據(jù)的變化，選擇綜合代價最小的調(diào)度方案作為最優(yōu)調(diào)度方案，最大化服務顧客的同時降低物流企業(yè)調(diào)度成本，提高運輸資源的利用率。

本文采用分布式并行數(shù)據(jù)處理方法來挖掘與分析海量物流調(diào)度數(shù)據(jù)，能夠有效處理和利用分布在各節(jié)點的數(shù)據(jù)和計算設備，能夠對多模塊、多源、多格式、多結構的數(shù)據(jù)進行存儲和挖掘，實現(xiàn)實時高效的動態(tài)海量物流數(shù)據(jù)代價敏感挖掘。

2.4挖掘模式評估和交互服務

首先，深入物流調(diào)度數(shù)據(jù)挖掘的不同層次中，結合代價敏感學習思想，對海量物流調(diào)度數(shù)據(jù)的不同處理階段的模式進行性能評估。挖掘模式評估利用全新的數(shù)據(jù)對挖掘結果進行檢測和評價，如果不滿足要求，就要利用動態(tài)數(shù)據(jù)收集調(diào)整及處理重新挖掘，從而將用戶感興趣的知識進行挖掘。然后，構建海量物流調(diào)度數(shù)據(jù)的動態(tài)代價敏感挖掘交互服務，允許用戶通過交互服務功能模塊定制物流調(diào)度數(shù)據(jù)挖掘對象、物流調(diào)度數(shù)據(jù)挖掘任務、物流調(diào)度數(shù)據(jù)挖掘方法，并將數(shù)據(jù)挖掘結果以可視化的形式提交給用戶。

3 動態(tài)代價敏感的海量物流調(diào)度數(shù)據(jù)挖掘模型的設計

3.1 海量物流調(diào)度數(shù)據(jù)計算環(huán)境層的設計

海量物流調(diào)度數(shù)據(jù)計算環(huán)境層屬于物流信息分析模型的基礎，本設計選擇分布式計算環(huán)境，其主要包括分布式編程環(huán)境、分布式文件系統(tǒng)和分布式系統(tǒng)管理等。分布式計算平臺利用分布式存儲數(shù)據(jù)，利用冗余存儲的方式使數(shù)據(jù)備份，并且通過分布式數(shù)據(jù)處理還動態(tài)海量物流調(diào)度數(shù)據(jù)挖掘算法，自主分配物流調(diào)度數(shù)據(jù)計算資源，實現(xiàn)動態(tài)數(shù)據(jù)的海量物流調(diào)度數(shù)據(jù)挖掘計算，有效調(diào)用動態(tài)海量物流調(diào)度數(shù)據(jù)挖掘算法，從而使其能夠為服務提供海量物流調(diào)度環(huán)境。

3.2海量物流調(diào)度數(shù)據(jù)采集層和預處理的設計

海量物流調(diào)度數(shù)據(jù)采集層的主要目的就是實現(xiàn)物流調(diào)度數(shù)據(jù)收集，包括歷史數(shù)據(jù)、當前數(shù)據(jù)和后續(xù)數(shù)據(jù)。海量物流調(diào)度數(shù)據(jù)采集層的收集的既要實現(xiàn)歷史數(shù)據(jù)和當前數(shù)據(jù)的轉移、集成;又要利用變動物流調(diào)度數(shù)據(jù)捕捉技術收集數(shù)據(jù)，從而能夠實現(xiàn)海量物流調(diào)度數(shù)據(jù)的全面、快速及精準收集和預處理[5]。

3.3 代價敏感海量動態(tài)物流調(diào)度數(shù)據(jù)挖掘算法

實現(xiàn)代價敏感海量動態(tài)物流調(diào)度數(shù)據(jù)挖掘，通過代價敏感海量動態(tài)物流調(diào)度數(shù)據(jù)挖掘算法進行，創(chuàng)建并行代價敏感數(shù)據(jù)挖掘算法庫，無論是代價敏感挖掘算法或者是的深度學習的挖掘算法，都能夠實現(xiàn)優(yōu)化升級和擴充。

代價敏感海量動態(tài)物流調(diào)度數(shù)據(jù)挖掘的步驟為：

1）利用代價敏感的FP-Tree算法實現(xiàn)物流調(diào)度數(shù)據(jù)頻繁項集挖掘，在 Hadoop 計算平臺中進行分布式運算的時候上傳到分布式文件系統(tǒng)中;

2）用戶能夠重寫動態(tài)代價敏感函數(shù)對頻繁項挖掘算法進行改寫，利用HDFD 存儲的物流調(diào)度數(shù)據(jù)流劃分成為多個不相交數(shù)據(jù)分塊，之后將數(shù)據(jù)分塊對執(zhí)行挖掘操作 Datanode 中發(fā)送，在接收到指令之后挖掘頻繁項集，從而得出局部頻繁項集;

3）集合 Datanode 中的局部頻繁項集，從而得到全局候選頻繁項集。對物流調(diào)度數(shù)據(jù)流進行遍歷，得到最終的頻繁項集。

4.結論

物流調(diào)度為我國經(jīng)濟的主要組成部分，也是實現(xiàn)經(jīng)濟發(fā)展轉變和提高競爭力的基礎。目前的物流調(diào)度數(shù)據(jù)日益呈現(xiàn)出信息量大、數(shù)據(jù)類型復雜、數(shù)據(jù)異構性、地理分布廣、高度動態(tài)性、時效性等特點，而現(xiàn)有研究所提出的相關模型存不足，本文就將物流調(diào)度信息作為基礎，在物流信息分析過程中融合動態(tài)數(shù)據(jù)挖掘技術，提出了動態(tài)代價敏感的海量物流調(diào)度數(shù)據(jù)挖掘智能挖掘，使物流調(diào)度智能化程度及信息化效率得到提高，實現(xiàn)企業(yè)物流使用范圍的擴展，以此使物流信息分析優(yōu)勢朝著現(xiàn)實核心競爭力進行轉變。

參考文獻

[1]Weihua Liu，Qian Wang，Qiaomei Mao，Shuqing Wang，Donglei Zhu.A scheduling model of logistics service supply chain based on the mass customization service and uncertainty of FLSP’s operation time.Transportation Research Part E：Logistics and Transportation Review，2015，83：189-215.

[2]孫玉硯，楊紅，劉卓華，皇甫偉.基于無線傳感器網(wǎng)絡的智能物流跟蹤系統(tǒng).計算機研究與發(fā)展，2011，48：343-39.

[3]張玉峰，曾奕棠.基于動態(tài)數(shù)據(jù)挖掘的物流信息分析模型研究.情報科學，2016，34（1）：15-19.

[4]趙強利，蔣艷凰，盧宇彤.具有回憶和遺忘機制的數(shù)據(jù)流挖掘模型與算法.軟件學報，2015，26（10）：2567-2580.

[5]馬百皓.基于動態(tài)數(shù)據(jù)挖掘的物流信息分析模型設計分析.電子設計工程，2019，27（3）：16-25.

基金項目：本論文受菏澤學院科研基金科技計劃項目（編號：XY16KJ01）支持，在此表示感謝。

作者簡介：劉春英，女，山東成武縣人，副教授，研究方向：數(shù)據(jù)挖掘，計算機教育。