国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

多源試驗(yàn)數(shù)據(jù)重構(gòu)與融合存儲(chǔ)技術(shù)研究

2022-03-09 09:10丁世來(lái)陳克澎葛智君李浩波舒寧
關(guān)鍵詞:異構(gòu)關(guān)聯(lián)重構(gòu)

丁世來(lái) , 陳克澎 , 葛智君 , 李浩波 , 舒寧

(1.工業(yè)和信息化部電子第五研究所, 廣東 廣州 511370;2.工業(yè)裝備質(zhì)量大數(shù)據(jù)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室, 廣東 廣州 511370)

0 引言

航空發(fā)動(dòng)機(jī)因其高度復(fù)雜精密的特點(diǎn), 被譽(yù)為“現(xiàn)代工業(yè)皇冠上的明珠”, 并且是飛機(jī)的“心臟”,直接影響著飛機(jī)的性能、 可靠性和經(jīng)濟(jì)性[1]。 航發(fā)產(chǎn)品的研制和生產(chǎn)是衡量一個(gè)國(guó)家綜合科技水平、 科技工業(yè)基礎(chǔ)實(shí)力和綜合國(guó)力的重要標(biāo)志。 而我國(guó)航空工業(yè)系統(tǒng)中各種試驗(yàn)場(chǎng)景下產(chǎn)生的大量試驗(yàn)數(shù)據(jù), 普遍存在多源異構(gòu)、 屬性單一等特點(diǎn), 同時(shí)試驗(yàn)數(shù)據(jù)處理工具或系統(tǒng)多是分散獨(dú)立, 因數(shù)據(jù)割裂而造成的“數(shù)據(jù)孤島” 現(xiàn)象較為嚴(yán)重。

通過(guò)研究多源數(shù)據(jù)重構(gòu)與融合存儲(chǔ)技術(shù), 重點(diǎn)突破多維試驗(yàn)數(shù)據(jù)的模板化抽取、 數(shù)據(jù)升維、 數(shù)據(jù)重構(gòu)和數(shù)據(jù)融合存儲(chǔ)等技術(shù), 著力解決航空發(fā)動(dòng)機(jī)試驗(yàn)數(shù)據(jù)屬性單一、 表達(dá)能力弱, 以及數(shù)據(jù)割裂、統(tǒng)一存儲(chǔ)難等困難與問(wèn)題, 進(jìn)一步地為動(dòng)態(tài)、 高效、 實(shí)時(shí)的發(fā)動(dòng)機(jī)試驗(yàn)數(shù)據(jù)分析提供有力的支撐,有效地提升航空工業(yè)企業(yè)的生產(chǎn)效率與競(jìng)爭(zhēng)力, 實(shí)現(xiàn)航空產(chǎn)品的生產(chǎn)過(guò)程智能化、 流程管理智能化和制造模式智能化, 實(shí)現(xiàn)我國(guó)航空發(fā)動(dòng)機(jī)“彎道超車”, 打破歐美強(qiáng)國(guó)對(duì)航空發(fā)動(dòng)機(jī)的壟斷狀態(tài), 創(chuàng)造屬于我國(guó)自主研發(fā)的航空發(fā)動(dòng)機(jī)的獨(dú)立領(lǐng)地[2]。

1 研究現(xiàn)狀分析

美、 英、 法等航空大國(guó)一直特別重視航空發(fā)動(dòng)機(jī)試驗(yàn)工作。美國(guó)普惠公司借助IBM 云管理,利用大數(shù)據(jù)技術(shù)對(duì)4 000 多臺(tái)在役商用發(fā)動(dòng)機(jī)的性能監(jiān)控, 為客戶提供更長(zhǎng)的在翼時(shí)間、 更強(qiáng)大的發(fā)動(dòng)機(jī)機(jī)隊(duì)管理和健康解決方案。 英國(guó)羅羅公司較早采用大數(shù)據(jù)技術(shù)建立發(fā)動(dòng)機(jī)健康管理系統(tǒng)(EHM), 實(shí)時(shí)地檢測(cè)工作狀態(tài), 合理地安排使用和維修時(shí)間, 協(xié)助設(shè)計(jì)更加高效低耗的發(fā)動(dòng)機(jī), 因而其發(fā)動(dòng)機(jī)被稱為“大數(shù)據(jù)引擎”[3]。 歐洲空客公司利用大數(shù)據(jù)技術(shù)收集與分析試飛數(shù)據(jù), 實(shí)時(shí)地監(jiān)控飛行狀態(tài), 提供優(yōu)化建議。 盡管這些公司利用大數(shù)據(jù)技術(shù)收集與分析試驗(yàn)數(shù)據(jù), 使得設(shè)計(jì)的薄弱環(huán)節(jié)充分地暴露, 并予以改進(jìn)。 但在多源數(shù)據(jù)重構(gòu)、融合存儲(chǔ)和存儲(chǔ)關(guān)聯(lián)等方面的技術(shù)研究和產(chǎn)業(yè)化應(yīng)用, 尚未形成較為有效的局面。

國(guó)內(nèi)南航、 海航和國(guó)航等大型航空公司逐步地開(kāi)始重視利用大數(shù)據(jù)技術(shù)對(duì)試驗(yàn)數(shù)據(jù)進(jìn)行管理分析。 南航建立飛機(jī)遠(yuǎn)程診斷實(shí)時(shí)跟蹤平臺(tái), 利用大數(shù)據(jù)技術(shù)解決飛行大數(shù)據(jù)的存儲(chǔ)問(wèn)題, 并積極地開(kāi)展工程應(yīng)用研究[4]。 海航建立飛機(jī)健康管理大數(shù)據(jù)應(yīng)用平臺(tái), 利用大數(shù)據(jù)技術(shù)實(shí)現(xiàn)實(shí)時(shí)監(jiān)控、 健康管理和優(yōu)化機(jī)隊(duì)維修和工程管理水平, 為維修控制、工程管理和航線維護(hù)部門帶來(lái)了極大的便利[5]。國(guó)航Ameco 工程部自主地建立飛機(jī)狀態(tài)預(yù)測(cè)和維修作業(yè)管理平臺(tái), 利用大數(shù)據(jù)技術(shù)對(duì)數(shù)百架飛機(jī)累計(jì)完成500 多萬(wàn)飛行小時(shí)的試驗(yàn)驗(yàn)證, 將進(jìn)一步地在國(guó)航全機(jī)隊(duì)中逐步地推廣和應(yīng)用[6]。 盡管國(guó)內(nèi)在航空大數(shù)據(jù)采集、 存儲(chǔ)、 處理與分析等方面取得了一定的成效, 但是在多源數(shù)據(jù)重構(gòu)、 多源數(shù)據(jù)融合存儲(chǔ)、 多源多維數(shù)據(jù)存儲(chǔ)關(guān)聯(lián)等方面能力仍有不足。

2 總體技術(shù)路線

當(dāng)前試驗(yàn)數(shù)據(jù)采集、 集成、 分析和應(yīng)用已初具規(guī)模, 但仍存在著多源試驗(yàn)數(shù)據(jù)屬性單一、 多源異構(gòu)數(shù)據(jù)集成困難和數(shù)據(jù)重構(gòu)能力不足等瓶頸, 已經(jīng)嚴(yán)重地影響了工業(yè)多源數(shù)據(jù)的高效、 深度應(yīng)用, 所以亟需研究多源試驗(yàn)數(shù)據(jù)重構(gòu)與融合存儲(chǔ)技術(shù), 突破多源異構(gòu)數(shù)據(jù)在清洗、 治理、 重構(gòu)、 融合、 存儲(chǔ)與關(guān)聯(lián)等方面技術(shù), 總體技術(shù)路線如圖1 所示。

圖1 總體技術(shù)路線

1) 針對(duì)航空發(fā)動(dòng)機(jī)試驗(yàn)中文本類、 音視頻類等非結(jié)構(gòu)化數(shù)據(jù), 采用多源數(shù)據(jù)模板化抽取技術(shù)提取航空發(fā)動(dòng)機(jī)試驗(yàn)數(shù)據(jù); 2) 針對(duì)屬性單一、 字段缺失的試驗(yàn)數(shù)據(jù), 采用多源數(shù)據(jù)升維技術(shù)做維度擴(kuò)展處理, 高度聚合重要信息與特征, 重構(gòu)形成一種多源多維數(shù)據(jù); 3) 針對(duì)數(shù)據(jù)割裂、 分散存儲(chǔ)的試驗(yàn)數(shù)據(jù), 采用跨引擎數(shù)據(jù)庫(kù)一致性操作、 異構(gòu)數(shù)據(jù)源集成共享等技術(shù), 將其統(tǒng)一融合存儲(chǔ)到數(shù)據(jù)庫(kù)中; 4) 針對(duì)表達(dá)力薄弱的試驗(yàn)數(shù)據(jù), 采用多源數(shù)據(jù)維度關(guān)聯(lián)、 多源異構(gòu)數(shù)據(jù)引擎整合和多源數(shù)據(jù)存儲(chǔ)管理等技術(shù), 建立形成數(shù)據(jù)存儲(chǔ)關(guān)聯(lián)機(jī)制, 實(shí)現(xiàn)對(duì)工業(yè)多源、 多維數(shù)據(jù)在存儲(chǔ)、 管理、 運(yùn)行和傳輸?shù)确矫嫣峁└咝У闹巍?/p>

3 關(guān)鍵技術(shù)研究

3.1 工業(yè)多源數(shù)據(jù)重構(gòu)方法與應(yīng)用技術(shù)研究

首先, 梳理與分析用戶的業(yè)務(wù)實(shí)際需求, 結(jié)合專家的領(lǐng)域知識(shí), 構(gòu)建出規(guī)則執(zhí)行模塊、 信息轉(zhuǎn)換模塊和規(guī)則庫(kù)模塊等3 個(gè)部分, 如圖2 所示。 建立的規(guī)則庫(kù)模塊中包含各類基于機(jī)器學(xué)習(xí)的模板化抽取方法, 如基于規(guī)則的模板化抽取方法等[7]。 通過(guò)規(guī)則庫(kù), 建立數(shù)據(jù)抽取的模板規(guī)則或模型, 對(duì)規(guī)則執(zhí)行模塊提供自定義抽取、 清洗規(guī)則等支撐, 協(xié)助規(guī)則執(zhí)行模塊從多源異構(gòu)、 屬性單一的試驗(yàn)數(shù)據(jù)中抽取有效信息(如事件、 類型等), 并通過(guò)信息轉(zhuǎn)換模塊對(duì)不同數(shù)據(jù)庫(kù)內(nèi)的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換, 自動(dòng)化根據(jù)用戶自定義的轉(zhuǎn)換規(guī)則將異構(gòu)數(shù)據(jù)轉(zhuǎn)換成特定的、 能被用于維度擴(kuò)展處理的某種數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)的數(shù)據(jù), 并以轉(zhuǎn)換規(guī)則的形式存放于數(shù)據(jù)庫(kù)中,實(shí)現(xiàn)對(duì)測(cè)試數(shù)據(jù)的自動(dòng)清洗。

圖2 基于規(guī)則的模板化抽取方法

其次, 對(duì)于抽取的試驗(yàn)數(shù)據(jù), 普遍存在著數(shù)據(jù)屬性單一、 分析維度不足等問(wèn)題, 這既要從技術(shù)的角度考慮數(shù)據(jù)升維, 又不能完全依賴于技術(shù), 要適當(dāng)?shù)貜臉I(yè)務(wù)方面結(jié)合領(lǐng)域知識(shí)或?qū)嵺`經(jīng)驗(yàn)去梳理與分析原始數(shù)據(jù), 思索其升維后的潛在形式和數(shù)據(jù)結(jié)構(gòu), 從中挖掘出數(shù)據(jù)升維的部分特征, 最終滿足用戶的多維試驗(yàn)數(shù)據(jù)需求。 具體將從業(yè)務(wù)和技術(shù)兩個(gè)方面對(duì)數(shù)據(jù)升維展開(kāi)研究, 如圖3 所示。

圖3 面向工業(yè)多維數(shù)據(jù)的升維方法

在業(yè)務(wù)升維方面, 從單一試驗(yàn)數(shù)據(jù)的業(yè)務(wù)角度出發(fā), 梳理與分析出工藝優(yōu)化、 壽命預(yù)測(cè)和環(huán)境試驗(yàn)性等不同層面的業(yè)務(wù)維度擴(kuò)展需求, 并利用邏輯關(guān)聯(lián)等業(yè)務(wù)思維和統(tǒng)計(jì)方法提取這些數(shù)據(jù)維度擴(kuò)展需求的關(guān)鍵特征, 例如: 利用基于時(shí)序邏輯的關(guān)聯(lián)規(guī)則挖掘方法[8], 從業(yè)務(wù)邏輯思路里提取用戶數(shù)據(jù)升維需求的新可用特征。

在技術(shù)升維方面, 基于業(yè)務(wù)升維需求分析的特征, 采用數(shù)據(jù)關(guān)聯(lián)技術(shù), 將抽取的單一試驗(yàn)數(shù)據(jù)與業(yè)務(wù)需求特征間建立關(guān)聯(lián)映射規(guī)則, 以業(yè)務(wù)需求驅(qū)動(dòng)單一試驗(yàn)數(shù)據(jù)智能化獲取, 并采用基于神經(jīng)網(wǎng)絡(luò)算法的升維方法對(duì)數(shù)據(jù)進(jìn)行升維處理, 將選取的單一試驗(yàn)數(shù)據(jù)按照升維規(guī)則進(jìn)行某種組合以生成多維數(shù)據(jù), 從而實(shí)現(xiàn)對(duì)工業(yè)多源數(shù)據(jù)的數(shù)據(jù)重構(gòu)。

3.2 多源數(shù)據(jù)融合存儲(chǔ)方法與應(yīng)用技術(shù)研究

然后, 利用異構(gòu)數(shù)據(jù)庫(kù)統(tǒng)一訪問(wèn)、 跨引擎數(shù)據(jù)庫(kù)一致性操作和異構(gòu)數(shù)據(jù)源集成共享3 種技術(shù)手段, 實(shí)現(xiàn)對(duì)工業(yè)多源試驗(yàn)數(shù)據(jù)的融合存儲(chǔ)。

a) 異構(gòu)數(shù)據(jù)庫(kù)統(tǒng)一訪問(wèn)方面, 異構(gòu)數(shù)據(jù)庫(kù)具有自身應(yīng)用特性、 自治性、 完整性控制和安全性控制等特征, 是由多個(gè)數(shù)據(jù)庫(kù)系統(tǒng)組成的, 例如: Oracle、 Sql Server、MySQL 或者達(dá)夢(mèng)、 神通等數(shù)據(jù)庫(kù)系統(tǒng), 各數(shù)據(jù)庫(kù)系統(tǒng)運(yùn)行在大型機(jī)、 小型機(jī)、 工作站或嵌入式系統(tǒng)中, 涉及到的基礎(chǔ)操作系統(tǒng)分別有Windows NT、 Unix/Linux 等。 通過(guò)整合與集成不同數(shù)據(jù)庫(kù)間的連接訪問(wèn)使用的驅(qū)動(dòng)包, 建立統(tǒng)一的數(shù)據(jù)訪問(wèn)入口, 統(tǒng)一數(shù)據(jù)庫(kù)對(duì)各種數(shù)據(jù)展現(xiàn)方式、 不同數(shù)據(jù)語(yǔ)義等要素的解釋方式, 屏蔽各不相同數(shù)據(jù)庫(kù)的差異, 并構(gòu)建統(tǒng)一的可視化操作界面, 促使應(yīng)用系統(tǒng)與數(shù)據(jù)庫(kù)系統(tǒng)間松耦合, 從而有利于數(shù)據(jù)集成、 共享與維護(hù)。

b) 跨引擎數(shù)據(jù)庫(kù)一致性操作方面

在異構(gòu)數(shù)據(jù)庫(kù)系統(tǒng)環(huán)境下, 整合與統(tǒng)一不同數(shù)據(jù)庫(kù)系統(tǒng)的管理維護(hù)規(guī)則, 構(gòu)建統(tǒng)一的數(shù)據(jù)模型、數(shù)據(jù)操作定義和統(tǒng)一的可視化操作界面, 屏蔽各個(gè)數(shù)據(jù)庫(kù)管理系統(tǒng)間的數(shù)據(jù)模型、 數(shù)據(jù)結(jié)構(gòu)、 關(guān)系映射、 物理存儲(chǔ)、 視圖與物理存儲(chǔ)映射關(guān)系、 SQL 語(yǔ)法規(guī)則、 事務(wù)支持和事務(wù)安全等級(jí)等差異性, 實(shí)現(xiàn)跨引擎數(shù)據(jù)庫(kù)一致性操作, 將數(shù)據(jù)模型與數(shù)據(jù)操作轉(zhuǎn)換成對(duì)應(yīng)的數(shù)據(jù)庫(kù)操作, 優(yōu)化不同數(shù)據(jù)庫(kù)系統(tǒng)的操作與維護(hù)管理工作。

c) 異構(gòu)數(shù)據(jù)源集成與共享方面

綜合地考慮不同數(shù)據(jù)源的異構(gòu)性,通過(guò)數(shù)據(jù)抽取、 轉(zhuǎn)換和裝載等3 個(gè)步驟,將不同來(lái)源、 格式及特點(diǎn)性質(zhì)的數(shù)據(jù)在邏輯上或物理上有機(jī)地集中, 促使業(yè)務(wù)系統(tǒng)能夠更加充分地使用已有的數(shù)據(jù)資源, 減少資料獲取、 數(shù)據(jù)采集等重復(fù)性

勞動(dòng)和響應(yīng)性費(fèi)用, 實(shí)現(xiàn)較為全面的數(shù)據(jù)集成與共享。 在數(shù)據(jù)抽取方面, 結(jié)合業(yè)務(wù)需求, 確定需抽取的數(shù)據(jù)內(nèi)容, 得到規(guī)范統(tǒng)一的數(shù)據(jù); 在數(shù)據(jù)轉(zhuǎn)換方面, 根據(jù)業(yè)務(wù)規(guī)則, 對(duì)異常數(shù)據(jù)進(jìn)行清洗轉(zhuǎn)換處理, 得到規(guī)則一致的數(shù)據(jù); 在數(shù)據(jù)裝載方面, 結(jié)合使用的數(shù)據(jù)庫(kù)系統(tǒng), 確定最優(yōu)的數(shù)據(jù)加載方案, 將經(jīng)過(guò)轉(zhuǎn)換后的數(shù)據(jù)按照預(yù)定義的結(jié)構(gòu)裝入目標(biāo)庫(kù)中, 節(jié)約CPU、 硬盤IO 和網(wǎng)絡(luò)傳輸資源。

通過(guò)研究多源數(shù)據(jù)融合存儲(chǔ)方法與應(yīng)用技術(shù),統(tǒng)一數(shù)據(jù)內(nèi)容、 數(shù)據(jù)格式和數(shù)據(jù)質(zhì)量, 促進(jìn)數(shù)據(jù)在不同系統(tǒng)間交流、 融合與共享, 進(jìn)而打破“信息孤島” 的瓶頸。

3.3 多源多維數(shù)據(jù)的數(shù)據(jù)存儲(chǔ)關(guān)聯(lián)技術(shù)研究

最后, 利用實(shí)時(shí)數(shù)據(jù)流存儲(chǔ)關(guān)聯(lián)技術(shù)、 非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)關(guān)聯(lián)技術(shù)和基于關(guān)聯(lián)規(guī)則挖掘的數(shù)據(jù)存儲(chǔ)關(guān)聯(lián)技術(shù), 對(duì)多源多維數(shù)據(jù)進(jìn)行數(shù)據(jù)存儲(chǔ)關(guān)聯(lián)處理。

特別是對(duì)于實(shí)時(shí)的航發(fā)產(chǎn)品試驗(yàn)數(shù)據(jù)流獲取,考慮到實(shí)時(shí)數(shù)據(jù)流不僅具有時(shí)序性、 海量性和多變性等特點(diǎn), 而且數(shù)據(jù)流中元素出現(xiàn)的先后次序、 數(shù)據(jù)流速等因素, 均與數(shù)據(jù)源及數(shù)據(jù)采集設(shè)備相關(guān),難以人為干預(yù), 采用實(shí)時(shí)數(shù)據(jù)流存儲(chǔ)關(guān)聯(lián)技術(shù), 利用Storm 實(shí)時(shí)計(jì)算系統(tǒng), 監(jiān)測(cè)數(shù)以萬(wàn)計(jì)的數(shù)據(jù)點(diǎn)實(shí)時(shí)采集到的試驗(yàn)數(shù)據(jù), 并借助毫秒級(jí)響應(yīng), 進(jìn)行持續(xù)不斷的流計(jì)算, 彌補(bǔ)批處理難以達(dá)到的實(shí)時(shí)要求。 同時(shí)利用Storm 對(duì)每秒鐘數(shù)萬(wàn)甚至數(shù)十萬(wàn)量級(jí)的數(shù)據(jù)進(jìn)行實(shí)時(shí)在線分析、 持續(xù)分布式計(jì)算, 滿足數(shù)據(jù)采集、 傳輸、 處理與存儲(chǔ)等方面提出的高要求。

考慮到試驗(yàn)數(shù)據(jù)不僅包含結(jié)構(gòu)化數(shù)據(jù), 同時(shí)也包含非結(jié)構(gòu)化數(shù)據(jù), 例如: 試驗(yàn)過(guò)程中的音視頻數(shù)據(jù)等。 對(duì)于非結(jié)構(gòu)化數(shù)據(jù)而言, 當(dāng)前的存儲(chǔ)管理模式主要集中在基于文件系統(tǒng)、 數(shù)據(jù)庫(kù)系統(tǒng), 以及融合數(shù)據(jù)庫(kù)和文件系統(tǒng)的管理模式, 如表1 所示。

表1 3 種非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)管理模式

基于上述考慮, 采用非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)關(guān)聯(lián)技術(shù), 利用HDFS 文件存儲(chǔ)系統(tǒng)融合Cassandra 分布式數(shù)據(jù)庫(kù)的管理模式, 對(duì)非結(jié)構(gòu)化數(shù)據(jù)進(jìn)行存儲(chǔ)關(guān)聯(lián)。

在實(shí)際應(yīng)用中, 若訪問(wèn)包含多個(gè)字段的數(shù)據(jù),例如: 圖片、 文本和音頻等數(shù)據(jù), 則需要將該數(shù)據(jù)的所有字段均被訪問(wèn)。 而這些同一網(wǎng)頁(yè)字段間是具有較強(qiáng)關(guān)聯(lián)性的, 統(tǒng)一合并存儲(chǔ)這些數(shù)據(jù), 在提高存儲(chǔ)效率的同時(shí)也提高訪問(wèn)效率。 進(jìn)一步地利用關(guān)聯(lián)規(guī)則算法[9], 如Apriori 算法, 主要分為查找頻繁項(xiàng)集和產(chǎn)生強(qiáng)關(guān)聯(lián)規(guī)則兩個(gè)部分。 首先, 利用AprioriPMR 并行關(guān)聯(lián)規(guī)則算法對(duì)數(shù)據(jù)庫(kù)只需掃描2次后, 即可得到頻繁項(xiàng)集; 然后, 利用關(guān)聯(lián)規(guī)則挖掘航發(fā)產(chǎn)品試驗(yàn)數(shù)據(jù)中較強(qiáng)的關(guān)聯(lián)性數(shù)據(jù), 并將這些數(shù)據(jù)進(jìn)行合并存儲(chǔ); 最后, 得到合并集合表、 高頻訪問(wèn)表和預(yù)取機(jī)制表等結(jié)果[10]。

其中, 合并集合表是用于記錄合并存儲(chǔ)的文件名的記錄表, 每項(xiàng)記錄對(duì)應(yīng)一個(gè)合并文件集。 高頻訪問(wèn)表是用于記錄數(shù)據(jù)表中被訪問(wèn)次數(shù)最多的文件, 按支持度對(duì)得到的頻繁1-項(xiàng)集排序, 取出前N 項(xiàng)作為高頻訪問(wèn)表。 預(yù)取機(jī)制表是用于強(qiáng)關(guān)聯(lián)規(guī)則的記錄表, 按置信度大小對(duì)篩選后的強(qiáng)關(guān)聯(lián)規(guī)則排序, 從大于置信度的強(qiáng)關(guān)聯(lián)規(guī)則中, 選擇單個(gè)項(xiàng)集作為前提條件, 并將這些規(guī)則放入到預(yù)取機(jī)制表中。

4 結(jié)束語(yǔ)

通過(guò)梳理與分析航發(fā)產(chǎn)品的試驗(yàn)數(shù)據(jù), 結(jié)合典型試驗(yàn)場(chǎng)景及業(yè)務(wù)實(shí)際需求, 首先, 構(gòu)建多源數(shù)據(jù)模板化抽取的規(guī)則庫(kù), 并提出基于維度擴(kuò)展的多源試驗(yàn)數(shù)據(jù)升維方法, 對(duì)抽取的多源試驗(yàn)數(shù)據(jù)進(jìn)行數(shù)據(jù)升維重構(gòu), 解決航發(fā)產(chǎn)品試驗(yàn)數(shù)據(jù)字段的屬性單一、 表達(dá)能力弱、 無(wú)法充分利用的問(wèn)題; 然后, 提出異構(gòu)數(shù)據(jù)庫(kù)統(tǒng)一訪問(wèn)、 跨引擎數(shù)據(jù)庫(kù)一致性操作和異構(gòu)數(shù)據(jù)源集成共享等方法對(duì)數(shù)據(jù)融合存儲(chǔ), 解決航發(fā)產(chǎn)品試驗(yàn)數(shù)據(jù)中結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)間的管理混亂, 無(wú)法統(tǒng)一存儲(chǔ)的問(wèn)題; 最后, 突破多源數(shù)據(jù)存儲(chǔ)管理、 多源數(shù)據(jù)維度關(guān)聯(lián)和異構(gòu)數(shù)據(jù)引擎整合等技術(shù), 對(duì)融合存儲(chǔ)后的多源多維數(shù)據(jù)進(jìn)行存儲(chǔ)關(guān)聯(lián), 解決航發(fā)產(chǎn)品試驗(yàn)數(shù)據(jù)割裂, 表結(jié)構(gòu)不合理, 獨(dú)立存儲(chǔ)的問(wèn)題。

猜你喜歡
異構(gòu)關(guān)聯(lián)重構(gòu)
ETC拓展應(yīng)用場(chǎng)景下的多源異構(gòu)交易系統(tǒng)
離散異構(gòu)線性多智能體系統(tǒng)的輸出一致性
試論同課異構(gòu)之“同”與“異”
“雙減”能否重構(gòu)教育生態(tài)?
長(zhǎng)城敘事的重構(gòu)
基于干擾重構(gòu)和盲源分離的混合極化抗SMSP干擾
“一帶一路”遞進(jìn),關(guān)聯(lián)民生更緊
凝聚與鋪張——孫紹振教授《以丑、呆為美》兩岸同課異構(gòu)教學(xué)觀摩后記
奇趣搭配
用四維的理念重構(gòu)當(dāng)代詩(shī)歌