郭新軍

摘要

磁光電混合存儲可將固態(tài)硬盤、磁盤和光盤等三類存儲媒體的優(yōu)點結(jié)合起來，為爆炸性增長的大數(shù)據(jù)提供長壽命、大容量、低成本、安全可靠的存儲方式，成為目前大數(shù)據(jù)存儲發(fā)展的主流方向。但要保證其低I/O延遲和高存取帶寬，針對分級存儲方案如何合理高效地對數(shù)據(jù)進行熱、溫、冷劃分就成為一個新的課題。采用人工智能中的“深度學習”方法給出了一種解決方案并編程實現(xiàn)，小樣本識別準確率達到了90%以上。

【關鍵詞】磁光電混合存儲 分級存儲 人工神經(jīng)網(wǎng)絡 深度學習

1 研究背景

數(shù)據(jù)量爆炸性增長的大數(shù)據(jù)時代，根據(jù)訪問頻率數(shù)據(jù)可分為熱數(shù)據(jù)、溫數(shù)據(jù)和冷數(shù)據(jù)。統(tǒng)計結(jié)果顯示，當下冷數(shù)據(jù)的數(shù)據(jù)量占比大數(shù)據(jù)已達到80%，因此大數(shù)據(jù)的存儲主要是解決好冷數(shù)據(jù)存儲的問題。采用光盤庫存儲冷數(shù)據(jù)，硬盤陣列保存溫數(shù)據(jù)，固態(tài)盤和內(nèi)存保存熱數(shù)據(jù)的磁光電混合方式可將磁盤、固態(tài)硬盤和光盤等三類存儲媒體的優(yōu)點結(jié)合起來，實現(xiàn)長壽命（50年以上）、大容量（PB級以上）、低成本（初期建設成本減少50%，能耗降低80%）、安全可靠的方式保存大數(shù)據(jù)，又可以保證快速訪問響應速度（對99.99%的I/O響應時間不超過1秒）和高速讀寫性能（不低于1GB/s），成為目前大數(shù)據(jù)存儲發(fā)展的主流方向。

然而不同行業(yè)的大數(shù)據(jù)對溫、冷、熱的劃分標準具有很大的差異，如何找到高效、通用的方法來解決這個問題具有一定的難度。因此在大數(shù)據(jù)時代數(shù)據(jù)暴增的沖擊之下，合理高效的對數(shù)據(jù)進行冷熱劃分并采取與之相對應的分級存儲解決方案就成為一個新的課題。

人工智能是近年才逐漸進入人們視野的一門學科和一項技術。2017年5月27日中國圍棋職業(yè)九段棋手柯潔與A1phaGo的圍棋人機大戰(zhàn)，AlphaGo最終以3比0的總比分擊敗當時世界排名第一的柯潔。AlphaGo是一款圍棋人工智能程序，而能使它越戰(zhàn)越勇的秘訣就是人工智能之中的“深度學習”?！吧疃葘W習”是指多層的人工神經(jīng)網(wǎng)絡（Artificial NeuralNetworks，ANNs）和訓練它的方法。一層神經(jīng)網(wǎng)絡會把大量矩陣數(shù)字作為輸入，通過非線性激活方法取權重，再產(chǎn)生另一個數(shù)據(jù)集合作為輸出，這就像生物神經(jīng)大腦的工作機理一樣，通過合適的矩陣數(shù)量，將多層組織鏈接一起，形成神經(jīng)網(wǎng)絡“大腦”進行精準復雜的處理，就像人們識別物體標注圖片一樣。

決定大數(shù)據(jù)中的數(shù)據(jù)屬于熱、溫、冷哪一類數(shù)據(jù)的因素有很多，而且不同行業(yè)對熱、溫、冷數(shù)據(jù)的劃分標準具有很大的差異，另外在存儲時要求實時做出判斷數(shù)據(jù)屬于哪一類以便于分級存儲。采用人工智能的方法進行劃分是一個可以通用且行之有效的方法。為此采用“深度學習”開發(fā)了大數(shù)據(jù)熱、溫、冷數(shù)據(jù)智能分級軟件。

2 大數(shù)據(jù)人工智能分技術及實現(xiàn)

2.1 人工智能及其在數(shù)據(jù)分級中的應用

思睿嘉得公司采用人工智能技術成功地克服了跨行業(yè)算法標準化的難題，所研制的數(shù)據(jù)分類引擎己成功應用在郵件內(nèi)容過濾、保密文件管理、知識挖掘、情報分析、反欺詐、電子發(fā)現(xiàn)和歸檔、數(shù)據(jù)防泄漏等領域。無論金融、電信、能源、政府、制造等任何行業(yè)用戶，都可直接使用其標準版本，無需定制仍可獲得滿意效果。但在數(shù)據(jù)分級存儲領域還沒有獲得應用。

國內(nèi)曾有人利用SVM（Support VectorMachine，支持向量機）進行分類，效果一直不好。為此本文將ANNs用作分類器引入到大數(shù)據(jù)分級存儲領域并編程實現(xiàn)，以期實現(xiàn)對數(shù)據(jù)的高效智能分級。

2.2 神經(jīng)網(wǎng)絡與深度學習

人工神經(jīng)網(wǎng)絡是一種模仿動物神經(jīng)網(wǎng)絡行為特征，進行分布式并行信息處理的數(shù)學模型。這種網(wǎng)絡依靠系統(tǒng)的復雜程度，通過調(diào)整內(nèi)部大量節(jié)點之間相互連接的關系，從而達到處理信息的目的?！吧疃葘W習”是指多層的人工神經(jīng)網(wǎng)絡和訓練它的方法。

目前人工神經(jīng)網(wǎng)絡中的神經(jīng)元、常用激活函數(shù)、神經(jīng)網(wǎng)絡模型及神經(jīng)網(wǎng)絡工作方式都已經(jīng)有成熟的理論及方法。常用的激活函數(shù)分為線性函數(shù)和非線性激活函數(shù)兩類。線性函數(shù)包括：線性函數(shù)（Liner Function）、斜面函數(shù)（Ramp Function）、閾值函數(shù)（ThresholdFunction）。線性函數(shù)包括：S形函數(shù)（SigmoidFunction）、雙極S形函數(shù)等。在編程實現(xiàn)的程序中神經(jīng)網(wǎng)絡第一層采用“l(fā)ogsig”，為“對數(shù)S形轉(zhuǎn)移函數(shù)”;第二層采用“purelin”，為“線性函數(shù)”。

神經(jīng)網(wǎng)絡是由大量的神經(jīng)元互聯(lián)而構(gòu)成。根據(jù)網(wǎng)絡中神經(jīng)元的互聯(lián)方式，常見網(wǎng)絡結(jié)構(gòu)主要分為3類：前饋神經(jīng)網(wǎng)絡（FeedforwardNeural Networks）、反饋神經(jīng)網(wǎng)絡（FeedbackNeural Networks）、自組織網(wǎng)絡（SOM，Self-Organizing Neural Networks）。在程序中使用了前饋神經(jīng)網(wǎng)絡中的BP神經(jīng)網(wǎng)絡。

神經(jīng)網(wǎng)絡工作方式有學習和工作兩種狀態(tài)。在程序中是通過train函數(shù)來實現(xiàn)神經(jīng)網(wǎng)絡的訓練學習。trainFun為學習規(guī)則采用的訓練算法，源代碼中采用“traingdx”，為“梯度下降自適應學習率訓練函數(shù)”。

2.3 程序?qū)崿F(xiàn)

大數(shù)據(jù)智能分級軟件采用多級神經(jīng)網(wǎng)絡、深度學習的方法實現(xiàn)，可依據(jù)數(shù)據(jù)的首、末次訪問時間、訪問頻率和行業(yè)屬性代碼等將其分為熱數(shù)據(jù)、溫數(shù)據(jù)和冷數(shù)據(jù)三大類，為大數(shù)據(jù)的分級存儲做好準備，可在降低大數(shù)據(jù)存儲成本的同時提高大數(shù)據(jù)訪問響應速度及吞吐率。

程序采用matlab和C的混合編程（總體流程圖見圖1），通過newff函數(shù)建立前饋神經(jīng)網(wǎng)絡，由訓練數(shù)據(jù)（包括每個數(shù)據(jù)的第一次、最后一次訪問時間，訪問頻率，以及行業(yè)屬性代碼）經(jīng)過premmnx函數(shù)的特征值歸一化、構(gòu)建輸出矩陣，然后由train對神經(jīng)網(wǎng)絡進行訓練。當神經(jīng)網(wǎng)絡對于訓練數(shù)據(jù)輸入所產(chǎn)生的輸出與訓練數(shù)據(jù)的誤差滿足要求后，通過sim函數(shù)對要存儲的新數(shù)據(jù)進行分級識別。

2.3.1 功能

大數(shù)據(jù)熱、溫、冷數(shù)據(jù)智能分級軟件在經(jīng)過相應的數(shù)據(jù)樣本訓練以后，能夠?qū)Σ煌袠I(yè)的大數(shù)據(jù)按照已有的熱、溫、冷數(shù)據(jù)劃分標準對數(shù)據(jù)進行準確、高效的劃分。在經(jīng)過足夠多的數(shù)據(jù)充分訓練后，對熱、溫、冷數(shù)據(jù)的識別正確率可達到90%以上。

2.3.2 特點

大數(shù)據(jù)熱、溫、冷數(shù)據(jù)智能分級軟件前期經(jīng)過一定數(shù)量的數(shù)據(jù)進行訓練，并對一定數(shù)量的數(shù)據(jù)進行分級，結(jié)果表明該軟件具有以下兩個方面的特點：

（1）采用人工智能神經(jīng)網(wǎng)絡的方法，智能分級軟件對大數(shù)據(jù)熱、溫、冷數(shù)據(jù)識別準確率高，速度快。

（2）智能化，適用范圍廣，通用性強。可適用于不同的行業(yè)，如金融、銀行、檔案、教育、司法等。

3 結(jié)論與展望

首次將神經(jīng)網(wǎng)絡分類器引入大數(shù)據(jù)分級存儲領域，并編程實現(xiàn)。經(jīng)過小樣本數(shù)據(jù)訓練后可獲得90%以上的分級識別準確率，且具有近實時的識別速率。經(jīng)過優(yōu)化和完善程序可以進一步提高識別準確率，并達到實時的識別速率，滿足實際產(chǎn)品的需求，為磁光電混合存儲設備的推廣和應用進一步打好堅實的基礎，為應對大數(shù)據(jù)的存儲帶來的挑戰(zhàn)做好準備。另一方面在進一步拓展人工智能應用領域和范圍的同時也為大數(shù)據(jù)分級存儲找到了新的技術方法。

參考文獻

[1][IDCC2017]華錄光存儲研究院鐘將：打造“藍光存儲，中國第一品牌”[EB/OL].（2017-11-16）[2018-07-16].https：//mp.weixin.qq.com/s？__biz=MjM50DMwMjE2MA==&mid=2651147513&idx=3&sn=2c060fe88310alc6e7eece0deebec2c9&chksm=bd3d34468a4abd5075b89d2378fe60fff5cla8f556595039d5705cebclc3acdac39691310aab&mpshare=1&scene=1&srcid;=1116pkOLpqY6hcPUjxWVOvk6#rd.

[2]王小瑞.千貨}如何利用人工智能實現(xiàn)數(shù)據(jù)分類？EB/OL].（2016-05-04）[http：//www.aqniu.com八earn/15629.html.

[3]侯媛彬，杜京義，汪梅.神經(jīng)網(wǎng)絡[EB/OL].（2007-08-01）[2018-07-16].https：//baike.baidu.com八tem/神經(jīng)網(wǎng)絡/174248？fr=aladdin.

[4]都登山.人工智能在計算機網(wǎng)絡技術中的應用分析[J].中國新通信，2016，01：87-89.