胡迪坤 高偉東▲ 于偉泓 徐海燕 韋張婉鈺 李東輝 黃 蓉 彭 敏許嶺翎 盧 強(qiáng) 何書勵 王現(xiàn)強(qiáng) 田美策 王煜非
1.北京郵電大學(xué)信息與通信工程學(xué)院 泛網(wǎng)無線通信教育部重點實驗室,北京 100876;2.北京協(xié)和醫(yī)院眼科,北京 100730;3.北京協(xié)和醫(yī)院呼吸科,北京 100730;4.北京協(xié)和醫(yī)院內(nèi)分泌科,北京 100730;5.北京協(xié)和醫(yī)院神經(jīng)科,北京 100730;6.北京協(xié)和醫(yī)院營養(yǎng)科,北京 100730;7.中國醫(yī)學(xué)科學(xué)院阜外醫(yī)院 國家心血管病中心,北京 100037;8.上海市第六人民醫(yī)院糖尿病研究所,上海 200233
健康是社會公眾關(guān)注的焦點和熱點,也是幸福指數(shù)的關(guān)鍵指標(biāo)之一。為了讓人們以更好的狀態(tài)面對未來快節(jié)奏的學(xué)習(xí)、工作、生活以及競爭挑戰(zhàn),健康管理作為一門學(xué)科和行業(yè)正在興起并日趨完善。健康管理通過采集人們的生理信息、社會環(huán)境信息與健康數(shù)據(jù)來預(yù)測受測者的健康狀態(tài)。在建立人體健康態(tài)信息數(shù)據(jù)庫的過程中,數(shù)據(jù)采集的不規(guī)范與設(shè)備良莠不齊導(dǎo)致了目前的健康信息采集混亂、評估結(jié)果準(zhǔn)確性無法得到保障。為了保障用于準(zhǔn)確評估人體健康態(tài)的高質(zhì)量數(shù)據(jù),推動健康態(tài)評價的科學(xué)化和規(guī)范化,本研究針對不同類型健康數(shù)據(jù)進(jìn)行分析,設(shè)計了健康數(shù)據(jù)的質(zhì)量控制規(guī)范,為后期醫(yī)療和健康應(yīng)用提供依據(jù)。
本研究依托于國家重點研發(fā)計劃“主動健康和老齡化科技應(yīng)對”專項課題(2018YFC2000803),隸屬于“主動健康產(chǎn)品和人體健康態(tài)評估的安全有效體系及標(biāo)準(zhǔn)體系研究”項目。該項目在全國不同地域,針對不同人群,構(gòu)建體溫、體重、體脂率、血壓、心電、心率、血氧、血管彈性、心肺音、血糖、腦電、呼吸、睡眠、眼底、屈光狀態(tài)等數(shù)據(jù)采集的協(xié)同網(wǎng)絡(luò),實現(xiàn)健康態(tài)數(shù)據(jù)的動態(tài)實時上傳及統(tǒng)一管理。數(shù)據(jù)采集地除了北京協(xié)和醫(yī)院、中國醫(yī)學(xué)科學(xué)院阜外醫(yī)院等課題參與單位,還包括醫(yī)院體檢中心、基地醫(yī)院、社區(qū)衛(wèi)生服務(wù)機(jī)構(gòu)、健康數(shù)據(jù)中心、居民家庭等其他數(shù)據(jù)源,實現(xiàn)多中心的數(shù)據(jù)采集,避免數(shù)據(jù)來源單一、設(shè)備型號單一導(dǎo)致的數(shù)據(jù)偏差。
數(shù)據(jù)種類與采集量:①心血管健康采集靜息血壓、動態(tài)血壓、心率及心率變異性300例,Holter動態(tài)心電圖500例以及長程的心電監(jiān)護(hù)數(shù)據(jù)300例;②糖代謝健康采集無創(chuàng)穿戴式血糖監(jiān)測、SMBG血糖監(jiān)測與CGM持續(xù)血糖監(jiān)測300例;③睡眠健康采集睡眠腦電圖、睡眠質(zhì)量睡眠結(jié)構(gòu)、睡眠體位、鼻息氣、肢體運(yùn)動等睡眠多導(dǎo)圖PSG數(shù)據(jù)100例,可穿戴式睡眠監(jiān)測設(shè)備(智能手環(huán)、體動儀2~3種)500例與睡眠監(jiān)測床墊200例;④視健康采集眼底成像照片5000例;⑤呼吸道健康采集呼吸氣體分析數(shù)據(jù)、肺功能指標(biāo)與指壓式血氧檢測數(shù)據(jù)200例;⑥日常健康數(shù)據(jù)采集測試者體溫、身高、體重、體重指數(shù)(BMI)與體脂含量1000例。在測試過程中,根據(jù)實驗條件與實驗設(shè)計需要,受測者分別進(jìn)行以上一類或者多類的健康項目數(shù)據(jù)采集。
建立人體健康信息數(shù)據(jù)的過程中,測試者會接受視健康、呼吸健康、糖代謝健康等8大類22項健康信息的采集[1]。獲得的健康數(shù)據(jù)類型不局限于離散型數(shù)值數(shù)據(jù),還包括時間序列數(shù)據(jù)、影像數(shù)據(jù)、文本數(shù)據(jù)等多模態(tài)數(shù)據(jù),這些多模態(tài)的數(shù)據(jù)之間在數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)類型和信息內(nèi)容上都具有顯著差異。隨著中檢院牽頭起草的IEEE P2801醫(yī)學(xué)人工智能數(shù)據(jù)集質(zhì)量管理國際標(biāo)準(zhǔn)的正式發(fā)布[2],揭示了未來對健康數(shù)據(jù)質(zhì)量管理方面的需求提出了更高的要求。為此,本研究針對健康信息數(shù)據(jù)研究了數(shù)據(jù)質(zhì)量控制的方法,建立多個節(jié)點的健康數(shù)據(jù)質(zhì)量控制體系,根據(jù)數(shù)據(jù)采集設(shè)備、采集流程和方法、采集場景、數(shù)據(jù)的可重復(fù)性和可信度,制訂相應(yīng)的數(shù)據(jù)采集和質(zhì)量控制的標(biāo)準(zhǔn)和規(guī)范。
對于數(shù)據(jù)采集人群的納入以及排除標(biāo)準(zhǔn)由各科室專業(yè)人員決定。理論上獲取的8類數(shù)據(jù)分別對應(yīng)8類人群,如睡眠科數(shù)據(jù)獲取人群以患有睡眠障礙的中老年人群為主,血壓數(shù)據(jù)是從參與社區(qū)體檢人群中獲取。數(shù)據(jù)的采集標(biāo)準(zhǔn)以及數(shù)據(jù)標(biāo)記流程由多位該領(lǐng)域的從業(yè)人員,根據(jù)其業(yè)內(nèi)的專業(yè)知識給出數(shù)據(jù)質(zhì)量評價結(jié)果。數(shù)據(jù)質(zhì)量的標(biāo)簽分為3類,0表示存在嚴(yán)重數(shù)據(jù)質(zhì)量問題被認(rèn)為不可用的數(shù)據(jù);1表示數(shù)據(jù)中帶有一些異常但仍被認(rèn)為是可用的普通信號質(zhì)量;2表示信號質(zhì)量好。每個樣本需至少3個人進(jìn)行標(biāo)記。當(dāng)同一組樣本2個人標(biāo)記結(jié)果與第3個人不同時,按少數(shù)服從多數(shù)原則。當(dāng)同一組樣本3個人標(biāo)記結(jié)果均不相同時,視為信號質(zhì)量普通。由于不同數(shù)據(jù)對信息的靈敏度要求不同,所以不同數(shù)據(jù)的質(zhì)量標(biāo)簽樣本的對應(yīng)的時間長度不同。為了后續(xù)建立測試者一體化的數(shù)據(jù)質(zhì)量報告,與專家進(jìn)行溝通將不同數(shù)據(jù)的質(zhì)量標(biāo)簽對應(yīng)的時間長度控制在1 min的整數(shù)倍。不同數(shù)據(jù)類型的質(zhì)量標(biāo)準(zhǔn)與標(biāo)簽獲取的難度也不同,時序連續(xù)型數(shù)據(jù)和影像類數(shù)據(jù)如眼底照片、腦電等具有豐富的信息且數(shù)據(jù)的質(zhì)量標(biāo)準(zhǔn)成熟,所以可以得到完整的數(shù)據(jù)質(zhì)量標(biāo)簽。相比之下,血壓、血糖、呼吸氣體成分等靜態(tài)離散型數(shù)據(jù)的信息量少且業(yè)內(nèi)沒有完善的規(guī)范標(biāo)準(zhǔn)以獲取質(zhì)量標(biāo)簽,所以可以用于研究不同設(shè)備與不同操作規(guī)范對該類健康信息的影響。
信號質(zhì)量標(biāo)簽獲取的完整度以及后續(xù)訓(xùn)練采用的人工智能模型都與數(shù)據(jù)類型密切相關(guān),本研究建立的健康數(shù)據(jù)的質(zhì)量控制方法根據(jù)健康數(shù)據(jù)的類型分為3類:①針對血壓、血糖、呼吸氣體分析等離散值類型的數(shù)據(jù)質(zhì)量控制方法;②針對心電監(jiān)護(hù)、腦電、PSG等持續(xù)性輸出數(shù)據(jù)類型的數(shù)據(jù)質(zhì)量控制方法;③針對眼底照片、屈光檢測圖像、腦電圖等影像輸出數(shù)據(jù)的質(zhì)量控制方法。
1.3.1 離散數(shù)據(jù)類型質(zhì)量控制模型 離散健康數(shù)據(jù)類型是由多項個體生理指標(biāo):血壓的3項指標(biāo)、血糖的4項指標(biāo)以及測試個體的身高、體重等基本信息構(gòu)成。該類數(shù)據(jù)除明顯的數(shù)據(jù)異常、數(shù)據(jù)缺失和數(shù)據(jù)格式異常外,常見的異常還包括數(shù)據(jù)范圍異常,數(shù)據(jù)趨勢性異常和突然波動性異常。但由于其信息量少且各項指標(biāo)間關(guān)系的不明確性,所以難以得到離散數(shù)據(jù)的質(zhì)量標(biāo)簽,通常需要通過無監(jiān)督聚類學(xué)習(xí)方法進(jìn)行估計[3]。
對于離散數(shù)據(jù)的波動性異常,可通過觀測一類指標(biāo)中的多個屬性之間是否出現(xiàn)異常。如在呼吸的3項指標(biāo)中的呼吸氣體分析、肺功能指標(biāo)、指壓式血氧檢測,這3個屬性之間具有高度的耦合關(guān)系而非獨立[4]。所以突然波動檢查是根據(jù)測試組內(nèi)3項指標(biāo)的突然性波動或者對屬性間數(shù)值是否合理進(jìn)行的監(jiān)測。由于屬性之間的高度相關(guān)性,所以采用拐點法與基于密度的離群因子來聯(lián)合判別異常[5]。離散型數(shù)據(jù)質(zhì)量控制除了對明顯的異常數(shù)據(jù)進(jìn)行篩選,還可以用于研究不同設(shè)備與不同操作規(guī)范對該類健康信息的影響。對主動健康設(shè)備與醫(yī)用設(shè)備采集的數(shù)據(jù)的統(tǒng)計學(xué)特征進(jìn)行比較,以及對規(guī)范操作和不規(guī)范操作條件下獲取的數(shù)據(jù)統(tǒng)計學(xué)特征進(jìn)行比較,通過控制環(huán)境變量和設(shè)備變量,將標(biāo)準(zhǔn)設(shè)備以及規(guī)范操作視為標(biāo)準(zhǔn)值,記錄其他條件下的健康態(tài)參數(shù)見圖1。根據(jù)圖1可以得到不同測試條件下健康參數(shù)的偏差與分布情況。
1.3.2 時序連續(xù)數(shù)據(jù)質(zhì)量控制模型 時序連續(xù)的健康數(shù)據(jù)是記錄個體一段時間內(nèi)生理參數(shù)變化的數(shù)據(jù),如睡眠心電、睡眠眼電以及睡眠心沖擊信號等。針對時序連續(xù)類型的數(shù)據(jù),人類專家視力檢測的規(guī)則是依據(jù)數(shù)據(jù)的波形特性,即根據(jù)信號的幅度特性與周期特性將數(shù)據(jù)劃分為正常數(shù)據(jù)段落與異常數(shù)據(jù)段落[6]。專家通過異常信號占整體信號長度的比例來判別該段信號整體的數(shù)據(jù)質(zhì)量。由于獲取連續(xù)數(shù)據(jù)質(zhì)量標(biāo)簽的工作量遠(yuǎn)大于影像數(shù)據(jù),且數(shù)據(jù)質(zhì)量標(biāo)簽反映異常數(shù)據(jù)的嚴(yán)重程度具有模糊性,所以本研究采用半監(jiān)督學(xué)習(xí)方法進(jìn)行訓(xùn)練。將整段數(shù)據(jù)劃分為多段的信號單元,通過無監(jiān)督學(xué)習(xí)聚類得出這些信號單元中的異常項,最后根據(jù)整段數(shù)據(jù)中異常單元的分布與占比情況有監(jiān)督學(xué)習(xí)得出信號整體的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)。
為了增強(qiáng)訓(xùn)練模型的泛化能力,將時序信號的波形特性抽象為特征向量。提取出特征包含熵值類特征(樣本熵、能量熵、多尺度熵等)[7]和數(shù)學(xué)統(tǒng)計類特征(均值、均方差、方差)[8]?;赑CA技術(shù)的半監(jiān)督學(xué)習(xí)方法訓(xùn)練標(biāo)簽不完整的模型。該方法大致分為無監(jiān)督學(xué)習(xí)過程與監(jiān)督學(xué)習(xí)過程。在無監(jiān)督學(xué)習(xí)過程中,利用PCA故障檢測的原理將信號一個特征窗內(nèi)的多維特征作為t時刻的在線數(shù)據(jù)進(jìn)行故障檢測。根據(jù)數(shù)據(jù)異常占比越大信號質(zhì)量越差,且多導(dǎo)聯(lián)的數(shù)據(jù)之間具有相似度高的性質(zhì)。對故障檢測模型中的特征和參數(shù)進(jìn)行調(diào)整,獲取最佳故障檢測方法,即信號通過故障檢測聚類后,信號質(zhì)量越高的樣本中檢測出的異常數(shù)據(jù)段落越少,同時多導(dǎo)聯(lián)數(shù)據(jù)之間的故障檢測結(jié)果越相似?;谧罴训墓收媳O(jiān)測方法,將多導(dǎo)聯(lián)的連續(xù)數(shù)據(jù)轉(zhuǎn)化為0-1的最佳故障檢測矩陣結(jié)果。采用有監(jiān)督學(xué)習(xí)的方法建立故障檢測結(jié)果與人工標(biāo)簽之間的映射關(guān)系。多組連續(xù)的故障檢測結(jié)果作為訓(xùn)練集,對應(yīng)的人工標(biāo)簽作為標(biāo)簽集,可以訓(xùn)練出特征映射矩陣。根據(jù)在線故障檢測結(jié)果與特征矩陣得到在線數(shù)據(jù)的質(zhì)量估計結(jié)果,整體流程見圖2。如果全程只采用機(jī)器學(xué)習(xí),一方面對訓(xùn)練樣本的需求量大大增加,另一方面也增加了參與處理的數(shù)據(jù)量和運(yùn)算的復(fù)雜度,會令算法難以運(yùn)用在實時的線上輸出模式。而只采用無監(jiān)督學(xué)習(xí)進(jìn)行故障檢測則缺少了性能的反饋,往往難以獲得較好的分類效果。相比本研究采用的半監(jiān)督學(xué)習(xí)方法,綜合兩種不同學(xué)習(xí)方法更加適用于臨床實踐的需求。
圖2 時序連續(xù)數(shù)據(jù)的質(zhì)量控制流程
1.3.3 圖像數(shù)據(jù)質(zhì)量控制模型 對于影像類數(shù)據(jù),其質(zhì)量標(biāo)簽的獲取難度較低,易于得到完整的數(shù)據(jù)質(zhì)量標(biāo)簽,所以人工智能模型的選擇上主要采用有監(jiān)督的學(xué)習(xí)方法。相比其他兩類數(shù)據(jù)類型,影像數(shù)據(jù)擁有豐富的信息量。在不同的場景下圖像中的有效信息具有差異性,因此通過視覺檢測相對于基線顯著變化的時頻區(qū)域,利用圖像分割技術(shù)劃出感興趣的區(qū)域(ROI)縮小目標(biāo)范圍[9]。如在腦電圖像中,根據(jù)腦電的δ波(1~3 Hz)、θ波(4~7 Hz)、α波(8~13 Hz)和β波(14~30 Hz)所處頻段特性,用快速傅里葉變化公式分別計算出不同頻段數(shù)據(jù)在圖譜中的大致位置,并篩選出目標(biāo)圖像范圍[10]。信號處理是進(jìn)一步的定位目標(biāo)數(shù)據(jù)并將其干擾項分離的過程。
為了增強(qiáng)模型的泛化能力使系統(tǒng)更廣泛地適用于多種健康影像數(shù)據(jù)的場景,本研究從處理后的圖像數(shù)據(jù)中提取通用特征ERS/EDR,手動提取特征和卷積網(wǎng)絡(luò)自動抓取的圖像細(xì)節(jié)特征[11]。其中通用特征中包含有圖像平滑度、熵聚焦準(zhǔn)則、歐拉數(shù)、前景與背景能量比,這些屬性能直觀反映圖像特性的特征[12]。手動提取特征的獲取則需要結(jié)合數(shù)據(jù)的信號知識和醫(yī)學(xué)的背景,運(yùn)用這些特征區(qū)分和識別常見的運(yùn)動偽影、汗性偽跡、工頻干擾等特殊圖像質(zhì)量異?,F(xiàn)象[13]。自動抓取的圖像細(xì)節(jié)特征則是利用深度學(xué)習(xí)網(wǎng)絡(luò)從圖像信息中篩選一些肉眼難以發(fā)現(xiàn)的隱形特性。將這些特征進(jìn)行融合并輸入到學(xué)習(xí)網(wǎng)絡(luò)中用于訓(xùn)練特征到質(zhì)量標(biāo)簽的映射。最后基于有監(jiān)督學(xué)習(xí)的圖像質(zhì)量自動評價體系,利用諸如Weka機(jī)器學(xué)習(xí)工具箱[14],將至少3個單獨的分類器的輸出融合在一起。用于融合的集成分類器是一個投票系統(tǒng),它使用“最小概率”組合規(guī)則組合不同分類器的后驗概率得到最吻合訓(xùn)練標(biāo)簽的判別結(jié)果[15]。當(dāng)影像數(shù)據(jù)是時序連續(xù)型場景,每個樣本序列之間具有較強(qiáng)的時間相關(guān)性。則需要補(bǔ)充隱馬爾科夫模型或動態(tài)貝葉斯模型來獲取樣本在時間序列上的連續(xù)性關(guān)系[16],整體流程見圖3。
圖3 圖像類型數(shù)據(jù)的質(zhì)量控制流程
通過對離散型數(shù)據(jù)在不同設(shè)備與不同情境時測量的健康態(tài)參數(shù)的統(tǒng)計與比較,本研究得到不同健康態(tài)參數(shù)在規(guī)范操作與非規(guī)范操作下的數(shù)據(jù)統(tǒng)計,見圖4。圖4中測量點距離坐標(biāo)軸對角線越近則表示醫(yī)用設(shè)備與主動健康設(shè)備在該環(huán)境下的差異越小。圖4顯示非規(guī)范操作對主動健康設(shè)備測量舒張壓的影響遠(yuǎn)大于測量收縮壓。在相同測試環(huán)境下,主動健康設(shè)備與醫(yī)療設(shè)備對收縮壓的測量基本一致。而對于舒張壓的測量醫(yī)用設(shè)備與主動健康設(shè)備測量的結(jié)果則有明顯的差異。通過對情景的進(jìn)一步細(xì)分,將測試環(huán)境分為4類,分別比較4類環(huán)境下主動健康設(shè)備與醫(yī)療設(shè)備對舒張壓的測量偏差如圖5。圖5顯示,在情景1下,主動健康設(shè)備的測量結(jié)果普遍偏高,而在情景2下主動健康設(shè)備測量的結(jié)果則普遍偏低。由此得知在操作不規(guī)范時,主動健康設(shè)備測量的舒張壓不準(zhǔn)確,且誤差的偏移與具體的操作習(xí)慣有關(guān)。
圖4 不同操作規(guī)范下醫(yī)用設(shè)備與主動健康設(shè)備的健康態(tài)數(shù)據(jù)
圖5 不同操作規(guī)范下醫(yī)用設(shè)備與主動健康設(shè)備的健康態(tài)數(shù)據(jù)
對時序連續(xù)數(shù)據(jù)和圖像數(shù)據(jù)質(zhì)量控制模型的訓(xùn)練,按照通常訓(xùn)練集和測試集的劃分方案,大約80%的數(shù)據(jù)被用來訓(xùn)練,剩余約20%的數(shù)據(jù)被用于測試。對健康數(shù)據(jù)尤其是具有完整質(zhì)量標(biāo)簽的圖像數(shù)據(jù)和部分質(zhì)量標(biāo)簽的時序連續(xù)型數(shù)據(jù)進(jìn)行訓(xùn)練后,在測試樣本中混淆矩陣的情況見圖6。圖6顯示該質(zhì)量控制模型對信號質(zhì)量具有顯著的區(qū)分能力。針對圖像數(shù)據(jù)類型與時序連續(xù)數(shù)據(jù)類型質(zhì)量控制的性能見表1。
圖6 圖像數(shù)據(jù)與時序連續(xù)數(shù)據(jù)質(zhì)量的混淆矩陣
表1 圖像數(shù)據(jù)和時序連續(xù)數(shù)據(jù)預(yù)測性能(%)
對于同種數(shù)據(jù)類型但不同場景的數(shù)據(jù),如心電數(shù)據(jù)和腦電數(shù)據(jù),眼底圖像和腦電圖像之間的訓(xùn)練性能雖然存在一定差異但整體性能與均值性能偏差在±2%~8%。與時序連續(xù)數(shù)據(jù)相比,圖像數(shù)據(jù)的偽影,偽跡等干擾比時序性信號更顯著,所以在圖像質(zhì)量控制中質(zhì)量控制的性能優(yōu)于時序連續(xù)數(shù)據(jù)的質(zhì)量控制。但在臨床的運(yùn)用中除低質(zhì)量數(shù)據(jù)無法使用外,中質(zhì)量與高質(zhì)量數(shù)據(jù)均可以正常使用,兩者識別模糊對實際影響不大。所以在時序連續(xù)數(shù)據(jù)中雖然質(zhì)量控制的性能不如圖像數(shù)據(jù),但仍具有臨床使用的價值。
本研究質(zhì)量控制的方法借鑒了模型遷移的思路,在保留同類數(shù)據(jù)的一些共性特征外,通過專家建議與數(shù)據(jù)分析添加該數(shù)據(jù)的個性化特征。提高模型利用率的同時也考慮到了各類數(shù)據(jù)之間的場景差異,切合了健康數(shù)據(jù)管理的運(yùn)用場景。綜上可知,本研究建立的健康數(shù)據(jù)質(zhì)量控制方法可以較好地運(yùn)用于人體健康態(tài)數(shù)據(jù)。如前文所述,人體健康數(shù)據(jù)的質(zhì)量控制可用于保障人體健康信息化的準(zhǔn)確性,并降低異常數(shù)據(jù)的干擾。為了驗證本研究的質(zhì)量控制是否達(dá)到該效果,以睡眠心沖擊信號為例,本研究分別計算了整體數(shù)據(jù)的幅度熵特性、周期熵值特性以及信號比,見表2。由表2可知,通過質(zhì)量控制獲取的高質(zhì)量數(shù)據(jù)的幅度與周期的熵值均降低,即信號幅度和周期的穩(wěn)定性變強(qiáng)。而信號的信噪比也得到提升,從而驗證了質(zhì)量控制方法可以保障健康信息化數(shù)據(jù)的準(zhǔn)確性。
表2 質(zhì)量控制對數(shù)據(jù)的影響
本研究研究了圖像健康數(shù)據(jù)、時序連續(xù)健康數(shù)據(jù)和離散健康數(shù)據(jù)這3種不同數(shù)據(jù)型的質(zhì)量判別方法,實現(xiàn)了多模態(tài)人體健康數(shù)據(jù)的評價規(guī)范化。利用模型遷移的思想,通過數(shù)據(jù)的共性特征和該數(shù)據(jù)的個性特征聯(lián)合訓(xùn)練,解決了相同數(shù)據(jù)類型但不同場景下模型泛化能力不足的問題。但本研究目前只關(guān)注了不同數(shù)據(jù)類型之間的差異,未來可以進(jìn)一步考慮不同數(shù)據(jù)類型之間存在的數(shù)據(jù)耦合關(guān)系,對更多模態(tài)的數(shù)據(jù)進(jìn)行融合。