孫書青

廈門興才職業(yè)技術(shù)學(xué)院，福建廈門，361024

0 引言

人工智能和大數(shù)據(jù)技術(shù)有非常密切的關(guān)系，利用大數(shù)據(jù)技術(shù)可以更好地進行機器算法分布式工作，并且延伸到人工智能方向，而通過數(shù)據(jù)集中成為大數(shù)據(jù)平臺，可以更好地構(gòu)建大數(shù)據(jù)與人工智能基礎(chǔ)公共能力，進而通過對現(xiàn)行大數(shù)據(jù)平臺技術(shù)手段與人工智能的創(chuàng)新形態(tài)進行融合來搭建新的技術(shù)管控框架系統(tǒng)。大數(shù)據(jù)平臺本身在數(shù)據(jù)運行當中存有的安全隱私問題，可藉由人工智能技術(shù)來使管控機制升級，最終保障數(shù)據(jù)安全[1]。在控制數(shù)據(jù)采集的過程中，可以選擇其特征，并且分離認證身份和授權(quán)身份，從而更好地控制數(shù)據(jù)的安全問題，保證隱私不被外泄，維護用戶信息的安全。

1 基于人工智能的大數(shù)據(jù)安全技術(shù)平臺構(gòu)建的背景及意義

伴隨著技術(shù)的升級發(fā)展，人工智能、云計算以及大數(shù)據(jù)作為代表性技術(shù)及創(chuàng)新手段，在經(jīng)濟市場中產(chǎn)生了巨大影響，為大量的行業(yè)發(fā)展拓寬了邊界，實現(xiàn)了更具優(yōu)勢的數(shù)據(jù)化市場服務(wù)新生態(tài)。企業(yè)管理在數(shù)據(jù)運行中，除了借助技術(shù)手段來提高自身控制水平和構(gòu)建核心競爭力外，也需要討論新技術(shù)應(yīng)用創(chuàng)新在當前時代背景下如何成為企業(yè)核心價值、帶來更強的競爭力、完成資產(chǎn)變現(xiàn)。數(shù)據(jù)質(zhì)量是數(shù)據(jù)相關(guān)應(yīng)用的基石。如何在數(shù)據(jù)量呈現(xiàn)指數(shù)增長的大背景下，做好企業(yè)數(shù)據(jù)標準的統(tǒng)一、提升數(shù)據(jù)質(zhì)量、加強安全合規(guī)用數(shù)、深挖數(shù)據(jù)價值，并系統(tǒng)化推進數(shù)據(jù)資產(chǎn)管理，避免數(shù)據(jù)沼澤，是當下券商數(shù)字化轉(zhuǎn)型過程中面臨的共同問題。在耗費人力物力積累了海量的數(shù)據(jù)，形成豐富的數(shù)據(jù)資產(chǎn)金礦后，有價值的數(shù)據(jù)和數(shù)據(jù)的價值之間還存在著最后一公里，而這最后一公里又恰恰是整個企業(yè)數(shù)字化轉(zhuǎn)型中最重要的一個核心環(huán)節(jié)。所以如何構(gòu)建一個安全高效的大數(shù)據(jù)服務(wù)體系，推動數(shù)據(jù)服務(wù)生態(tài)的建設(shè)，讓企業(yè)可以切實地從大數(shù)據(jù)中獲益，是企業(yè)數(shù)字化轉(zhuǎn)型中的關(guān)鍵所在，也是本項目探索的重點[2]。

2 數(shù)據(jù)處理的歷史發(fā)展和技術(shù)創(chuàng)新

現(xiàn)代信息技術(shù)在近十年來的快速發(fā)展呈現(xiàn)出多樣化的新形態(tài)，其中移動互聯(lián)技術(shù)的廣泛應(yīng)用，為各行各業(yè)帶來了新的可能。其中運營商、金融及泛金融產(chǎn)業(yè)、國企甚至能源領(lǐng)域，在內(nèi)部運營管理方面出現(xiàn)了數(shù)據(jù)量井噴態(tài)勢，數(shù)據(jù)總量呈現(xiàn)指數(shù)級的快速增長。數(shù)據(jù)量的迅速膨脹，對當前企業(yè)自身數(shù)據(jù)運營管理帶來了巨大壓力，也對數(shù)據(jù)處理的技術(shù)水準和性能、手段形式等提出了全新的訴求。其中新系統(tǒng)的搭建和數(shù)據(jù)處理調(diào)試的不斷完善，除了在一定程度上解決了行業(yè)數(shù)據(jù)管理的困境之外，也在一定程度上造成了數(shù)據(jù)孤島問題，使得企業(yè)在實際的數(shù)據(jù)運營管理和系統(tǒng)維護當中帶來了技術(shù)危機，也使得數(shù)據(jù)管理的整體成本不斷增高。伴隨數(shù)據(jù)處理技術(shù)的時代發(fā)展，技術(shù)層面的數(shù)據(jù)轉(zhuǎn)型經(jīng)歷了多個歷史階段，不同階段的數(shù)據(jù)技術(shù)形態(tài)有著十分鮮明的時代烙印[3]。最早期的數(shù)據(jù)處理技術(shù)與大數(shù)據(jù)技術(shù)的發(fā)展相同步，其目的在于打破數(shù)據(jù)信息孤島問題，實現(xiàn)更為快速的信息共享和平臺化的匯集。技術(shù)領(lǐng)域開始出現(xiàn)了“數(shù)據(jù)湖”這一新概念。數(shù)據(jù)湖主要功能在于對各類、各向數(shù)據(jù)進行平臺化的匯集，形成多源且異構(gòu)的數(shù)據(jù)形態(tài)。在這一階段，數(shù)據(jù)標準化的建立需要完成多端對接，最終形成以企業(yè)、管理者為核心的數(shù)據(jù)中心。為了能夠?qū)崿F(xiàn)技術(shù)目標，數(shù)據(jù)存儲主要以結(jié)構(gòu)化的存儲檢索機制為主，在部分數(shù)據(jù)運營當中，會采用API和少量的SQL的技術(shù)支持。不過由于SQL的海量數(shù)據(jù)難以實現(xiàn)大數(shù)據(jù)平臺的動態(tài)流動性遷移，導(dǎo)致數(shù)據(jù)運營處理中新業(yè)務(wù)面臨更高的開發(fā)技術(shù)門檻，大數(shù)據(jù)的技術(shù)創(chuàng)新受到嚴重的推廣阻礙；進入第二階段后，為了能夠更高效地完成結(jié)構(gòu)化的數(shù)據(jù)處理，技術(shù)層面通過分布式架構(gòu)形式來對IT架構(gòu)進行更新，典型技術(shù)如SQL on Hadoop等，使得上一階段所面臨的分布式數(shù)據(jù)難題得到了解決。更多企業(yè)客戶開始利用Hadoop來進行獨立數(shù)據(jù)倉庫搭建，技術(shù)手段的應(yīng)用場景也更為廣泛。同樣的技術(shù)門檻逐漸降低，分布式計算在數(shù)據(jù)處理中能夠勝任更為海量的信息數(shù)據(jù)，數(shù)據(jù)處理技術(shù)得到了空前發(fā)展。當前，技術(shù)發(fā)展進入了新的階段，部分企業(yè)在數(shù)據(jù)處理方面已經(jīng)開始應(yīng)用關(guān)系型數(shù)據(jù)庫作為數(shù)據(jù)處理核心，通過大數(shù)據(jù)來實現(xiàn)處理體系的轉(zhuǎn)變。部分企業(yè)客戶在數(shù)據(jù)處理應(yīng)用中，不再滿足SQL的統(tǒng)計數(shù)據(jù)處理和信息挖掘，逐漸推進了計算機學(xué)習(xí)算法等智能處理的數(shù)據(jù)分布技術(shù)創(chuàng)新，形成了針對結(jié)構(gòu)化數(shù)據(jù)的人工智能學(xué)習(xí)挖掘。伴隨深度學(xué)習(xí)技術(shù)以及分布式技術(shù)的彼此碰撞，逐漸形成了新一代的數(shù)據(jù)處理計算框架，典型技術(shù)手段如TensorFlow。隨著計算機算例的不斷提升，配合深度學(xué)習(xí)的海量數(shù)據(jù)訓(xùn)練，人工智能技術(shù)手段能夠?qū)崿F(xiàn)結(jié)構(gòu)化與非結(jié)構(gòu)化的同步數(shù)據(jù)處理。其中非結(jié)構(gòu)化數(shù)據(jù)如人臉識別、車輛識別、無人駕駛等，成為當前數(shù)據(jù)處理技術(shù)創(chuàng)新的關(guān)鍵。與此同時，相比于傳統(tǒng)機器學(xué)習(xí)，人工智能技術(shù)的數(shù)據(jù)處理創(chuàng)新，極大減少了數(shù)據(jù)處理對于特征工程以及業(yè)務(wù)領(lǐng)域知識的依賴，使得機器學(xué)習(xí)在實際應(yīng)用中有更低門檻更高的普及率。與此同時，技術(shù)優(yōu)勢下的可視化拖拽頁面，形態(tài)、內(nèi)容豐富的行業(yè)模板和交互體驗等形式，對于從業(yè)人員的要求也進一步放寬，使得人工智能在數(shù)據(jù)處理方面的應(yīng)用更為順暢[4]。

3 大智移云技術(shù)等整合創(chuàng)新

現(xiàn)代數(shù)據(jù)資源的實際使用在企業(yè)環(huán)境中，逐漸從單純的IT部門擴散到整個管理框架。更多內(nèi)部項目組以及分支機構(gòu)也成為數(shù)據(jù)平臺應(yīng)用主體。伴隨不斷的數(shù)據(jù)處理技術(shù)更新，不同部門之間如何解決資源隔離和管理分配問題、避免出現(xiàn)調(diào)度失衡等壁壘、提高基礎(chǔ)服務(wù)能力、降低環(huán)境搭建成本和開發(fā)部署周期、全面提高支撐效能成為當前亟待解決的技術(shù)性問題。大智移云的整合式技術(shù)發(fā)展，重點關(guān)注公共管理當中大數(shù)據(jù)與人工智能、移動互聯(lián)網(wǎng)平臺和云計算等的實際應(yīng)用，針對大數(shù)據(jù)技術(shù)在mapreduce框架中的作業(yè)調(diào)度算法進行全面革新。當前應(yīng)用yarn單獨組建來實現(xiàn)分布式計算框架下的資源管理，但是其主要劣勢體現(xiàn)在資源管理調(diào)度的范圍更受局限，同時管理的資源粒度更為粗放。實際管理當中，難以實現(xiàn)有效的資源隔離，很難滿足企業(yè)客戶對于數(shù)據(jù)處理的現(xiàn)實需要。云計算技術(shù)在數(shù)據(jù)處理當中的重點應(yīng)用，在于通過虛擬化的形式來實現(xiàn)資源封裝，完成資源隔離，長久以來是技術(shù)關(guān)注的重點，但是docker容器技術(shù)在出現(xiàn)和廣泛使用前，云計算虛擬化手段所進行的資源封裝，存在加載操作系統(tǒng)資源利用率整體過低問題，導(dǎo)致部分廠商云平臺建構(gòu)方案中資源利用不夠穩(wěn)定最終影響管理效果。公有云技術(shù)主要通過基礎(chǔ)硬件和運維能力，來構(gòu)建非核心業(yè)務(wù)的開發(fā)和嘗試?，F(xiàn)代化docker容器等技術(shù)發(fā)展，實現(xiàn)了微服務(wù)技術(shù)升級，打造了人工智能平臺的容器云實現(xiàn)底層的平臺調(diào)度。其中容器云所形成的分布式操作系統(tǒng)，能夠有效實現(xiàn)集群化的資源封裝和管理控制，通過重新進行容器編排，提供大數(shù)據(jù) 的人工智能基礎(chǔ)服務(wù)。其中HDFS、NoSQL等數(shù)據(jù)庫為典型的分布式文件系統(tǒng)，這些數(shù)據(jù)庫在提供基礎(chǔ)服務(wù)中，可以利用容器云編排來搭建公共服務(wù)層，實現(xiàn)數(shù)據(jù)倉庫、數(shù)據(jù)集市或者數(shù)據(jù)圖庫等識別服務(wù)項目，為企業(yè)提供核心數(shù)據(jù)系統(tǒng)的管理服務(wù)。容器云的應(yīng)用借助資源隔離，實現(xiàn)了更為精準的類型資源分配、有效的高精度資源管理，滿足了不同業(yè)務(wù)部門的平臺化數(shù)據(jù)應(yīng)用要求，極大地避免了數(shù)據(jù)漏洞和數(shù)據(jù)泄露問題[5]。

4 網(wǎng)絡(luò)安全環(huán)境數(shù)采機制

依托安全技術(shù)平臺的有效管控，提出全新安全漏洞控制的數(shù)據(jù)管理訴求，應(yīng)當不斷加強數(shù)采工作過程中的漏洞管理，實現(xiàn)全方位立體化的漏洞控制，提高數(shù)采環(huán)境的安全和精度。采集漏洞數(shù)據(jù)一般都是在多個網(wǎng)站出現(xiàn)了一些漏洞數(shù)據(jù)。采集數(shù)據(jù)的過程中，需要結(jié)合不同網(wǎng)站的不同特征，利用網(wǎng)絡(luò)代碼、用戶、瀏覽器等技術(shù)，可以更好地避免出現(xiàn)爬蟲行為。結(jié)合平臺中漏洞數(shù)據(jù)安全標準，可以更好地優(yōu)化數(shù)據(jù)采集關(guān)鍵程序，并且定時定期去重啟模塊工作任務(wù)，保證平臺數(shù)據(jù)庫可以保持更新狀態(tài)。利用爬蟲程序可以給平臺提供JSONAPY方式。在漏洞網(wǎng)頁數(shù)據(jù)的爬取上，可以利用隊列式的爬取方式，從而重新定義初始種子，再結(jié)合網(wǎng)站漏洞數(shù)據(jù)的不同構(gòu)造設(shè)計隊列算法，再通過爬蟲引擎的下載功能，完成網(wǎng)頁數(shù)據(jù)的下載進庫。在整個操作中，可以更好地對比網(wǎng)頁數(shù)據(jù)和定制關(guān)鍵字，從而更好地收集關(guān)鍵字搜索數(shù)據(jù)，保證漏洞數(shù)據(jù)的準確率[6]。

5 數(shù)據(jù)特征提取與脫敏

在人工智能大數(shù)據(jù)安全技術(shù)平臺構(gòu)建過程中，若出現(xiàn)數(shù)據(jù)維度過高現(xiàn)象，則會增加計算步驟或者出現(xiàn)疊加計算實踐，最終導(dǎo)致維度特征不關(guān)聯(lián)或者精度下降。有效解決維度難題的主要思路就是實現(xiàn)技術(shù)降維，通過高維特征的冗余分析排除不關(guān)聯(lián)數(shù)據(jù)，實現(xiàn)數(shù)據(jù)降維降噪目的，進而獲得原始數(shù)據(jù)關(guān)鍵特征。計算機邏輯降維處理在數(shù)據(jù)認定中，會通過相關(guān)矩陣來實現(xiàn)數(shù)據(jù)繪制，再對繪制矩陣進行顯著性驗證，結(jié)合主題分析、現(xiàn)行識別和因子分階來完成對于數(shù)據(jù)特征的校驗和有效評價，從中完成互聯(lián)性更強的特征數(shù)據(jù)，整個過程被稱為數(shù)據(jù)脫敏。脫敏處理常用隨機處理、匿名處理、隱藏處理等處理機制，根據(jù)不同場景需要保護隱私和數(shù)據(jù)安全。本文結(jié)合人工智能的大數(shù)據(jù)平臺安全和企業(yè)數(shù)據(jù)隱私需求，選擇關(guān)聯(lián)規(guī)則結(jié)合匿名法來建構(gòu)脫敏機制，來提高數(shù)據(jù)敏感度，降低網(wǎng)絡(luò)風(fēng)險和非法網(wǎng)絡(luò)攻擊等常見問題。如在進行數(shù)據(jù)K匿名規(guī)則和關(guān)聯(lián)規(guī)則中，就可以在匿名K的完成中，利用關(guān)聯(lián)規(guī)則來完成隱藏，最終實現(xiàn)數(shù)據(jù)脫敏。

6 精細化訪問的身份認證優(yōu)化

針對網(wǎng)絡(luò)環(huán)境的安全防護，采用身份加密和有效認證是常見方式。其中身份認證作為準入機制，是通過訪問用戶識別篩查來最終實現(xiàn)的加密，在計算機Jamie當中，通過加密技術(shù)后所形成的數(shù)據(jù)需要利用指定IP或者白名單身份來對其進行解密，達到獲取數(shù)據(jù)的需求。大數(shù)據(jù)平臺中，可以借助網(wǎng)址路徑來對不同身份訪問需求進行識別，因此所有訪問身份會在網(wǎng)址當中形成臨時身份，但是在實際的識別過程中，臨時身份的識別和處理無法對用戶的使用權(quán)限進行清晰認定和分析，難以對是否為非法攻擊做出精確判斷。為了解決這一問題，本文在平臺化設(shè)計方面，就采用身份識別認證和數(shù)據(jù)庫授權(quán)相分離的原則，從而保證平臺訪問獲得授權(quán)用戶均為合法用戶，通過設(shè)定訪問合法權(quán)限的方式來進行有效的身份認證。大數(shù)據(jù)在數(shù)據(jù)信息處理運行中需要遵循國家相關(guān)法律法規(guī)的具體要求，同時還應(yīng)當滿足各項隱私策略協(xié)議，因此對于數(shù)據(jù)平臺的訪問控制提出了更高要求。針對這一問題，本文建議采用屬性加密手段，針對加密數(shù)據(jù)借助靈敏度共享機制，來降低密鑰管理的時間成本?，F(xiàn)代大數(shù)據(jù)在平臺化運行中保持數(shù)據(jù)安全，更多以來計算環(huán)境本身的復(fù)雜性，因此用戶在實際的數(shù)據(jù)訪問中，常常也面臨安全類型方面的多樣性。因此在平臺化的安全控制中，對于數(shù)據(jù)訪問特征，可以應(yīng)用訪問控制體系下的大數(shù)據(jù)安全應(yīng)用和靈敏共享方式，實現(xiàn)細粒度增強層面主客體屬性同步控制授權(quán)，為訪問用戶提供增加靈活度的數(shù)據(jù)共享機制設(shè)定，最終保證在數(shù)據(jù)訪問和數(shù)據(jù)調(diào)用層面的細粒度上的安全。此外，針對平臺訪問還可以應(yīng)用參數(shù)指標等方面的靈活配置，針對涉密數(shù)據(jù)進行實時訪問的內(nèi)容記錄，以日志的形式對事件順序、資源修改等進行精確記錄，從而實現(xiàn)更為完整的數(shù)據(jù)安全分析鏈條，做好對各類非法訪問的行為特征的有效控制。