国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

高校數(shù)據(jù)平臺(tái)建設(shè)與數(shù)據(jù)治理實(shí)踐

2021-12-10 09:58:00喻姣黃安琪袁新輝
中國(guó)教育信息化 2021年11期
關(guān)鍵詞:數(shù)據(jù)平臺(tái)數(shù)據(jù)治理

喻姣 黃安琪 袁新輝

摘 ? 要:數(shù)字經(jīng)濟(jì)時(shí)代,數(shù)據(jù)已定位為電子資產(chǎn)、重要生產(chǎn)要素、基礎(chǔ)戰(zhàn)略資源。高校正以數(shù)據(jù)為驅(qū)動(dòng)力,充分發(fā)揮數(shù)據(jù)價(jià)值,推進(jìn)教育治理現(xiàn)代化進(jìn)程。在利用和挖掘數(shù)據(jù)價(jià)值過程中,最基礎(chǔ)的工作是建立一個(gè)數(shù)據(jù)全生命周期管理的平臺(tái),最緊迫和困難的工作是數(shù)據(jù)治理。文章首先介紹了高校數(shù)據(jù)工作的背景;隨后提出了“平臺(tái)共享、生態(tài)共建”的工作思路,從架構(gòu)及功能兩個(gè)方面對(duì)數(shù)據(jù)平臺(tái)做了闡述;最后文章重點(diǎn)論述如何利用數(shù)據(jù)平臺(tái)開展數(shù)據(jù)治理實(shí)踐,以期為高校數(shù)據(jù)工作提供有益參考和實(shí)踐借鑒。

關(guān)鍵詞:數(shù)據(jù)平臺(tái);數(shù)據(jù)交換與共享;數(shù)據(jù)標(biāo)準(zhǔn);數(shù)據(jù)治理

中圖分類號(hào):G647 文獻(xiàn)標(biāo)志碼:A 文章編號(hào):1673-8454(2021)21-0048-05

一、引言

數(shù)字經(jīng)濟(jì)時(shí)代,數(shù)據(jù)已經(jīng)被定位為電子資產(chǎn)、重要生產(chǎn)要素、基礎(chǔ)戰(zhàn)略資源。如何利用數(shù)據(jù)來實(shí)現(xiàn)管理的精細(xì)化、決策的科學(xué)化和服務(wù)的個(gè)性化是國(guó)內(nèi)外各領(lǐng)域研究和探索的熱點(diǎn)。各行業(yè)密集出臺(tái)各類政策文件,要求加強(qiáng)數(shù)據(jù)資源管理、推動(dòng)數(shù)據(jù)共享與公開、實(shí)現(xiàn)數(shù)據(jù)互聯(lián)互通、挖掘數(shù)據(jù)價(jià)值。[1-4]

十三五期間高校信息化建設(shè)目標(biāo)為“數(shù)字校園”,建設(shè)了大量的信息系統(tǒng)以支撐業(yè)務(wù)管理。雖然信息化建設(shè)成果顯著,但隨之而來出現(xiàn)了許多數(shù)據(jù)問題,如數(shù)據(jù)共享不暢、數(shù)據(jù)質(zhì)量堪憂、全校協(xié)同乏力、數(shù)據(jù)權(quán)責(zé)不清、數(shù)據(jù)服務(wù)急缺等。本研究通過實(shí)地考察調(diào)研和相關(guān)文獻(xiàn)統(tǒng)計(jì),總結(jié)出當(dāng)前高校數(shù)據(jù)工作現(xiàn)狀如下:[5-8]①高校都意識(shí)到了數(shù)據(jù)的基礎(chǔ)性和重要性,已將數(shù)據(jù)工作作為高校信息化十四五規(guī)劃重點(diǎn)內(nèi)容;②基于“ETL +視圖”建成的數(shù)據(jù)中心已無法滿足日益增長(zhǎng)的數(shù)據(jù)需求,迫切需要一個(gè)數(shù)據(jù)平臺(tái)來管理數(shù)據(jù)全生命周期,促進(jìn)數(shù)據(jù)開放和應(yīng)用;③數(shù)據(jù)質(zhì)量普遍堪憂,因而數(shù)據(jù)治理是當(dāng)前最緊要,也是最困難的任務(wù);④數(shù)據(jù)應(yīng)用落地場(chǎng)景各有側(cè)重點(diǎn),分別有學(xué)科建設(shè)、職稱評(píng)審、年度考核、導(dǎo)師評(píng)選、學(xué)生和教師畫像、教學(xué)評(píng)價(jià)等。

中南大學(xué)(下文簡(jiǎn)稱“學(xué)?!保┰?016—2019年用“ETL+視圖”將基礎(chǔ)數(shù)據(jù)集中到數(shù)據(jù)中心庫(kù),為業(yè)務(wù)信息系統(tǒng)提供簡(jiǎn)單的數(shù)據(jù)流通服務(wù),但鑒于信息化在學(xué)校深入應(yīng)用情況,數(shù)據(jù)中心庫(kù)模式與學(xué)校數(shù)據(jù)訴求相距甚遠(yuǎn),具體表現(xiàn)在以下兩個(gè)方面:①業(yè)務(wù)部門雖有信息系統(tǒng),但還是將大量時(shí)間用于數(shù)據(jù)收集、統(tǒng)計(jì)和報(bào)送,師生被通知登錄各系統(tǒng)或者采用Excel重復(fù)填報(bào)個(gè)人數(shù)據(jù);②“用數(shù)據(jù)說話、用數(shù)據(jù)管理、用數(shù)據(jù)決策、用數(shù)據(jù)創(chuàng)新”的訴求日益增長(zhǎng),而現(xiàn)狀多是耗時(shí)耗力組合Excel形成的合計(jì)報(bào)表,但報(bào)表口徑不一致、準(zhǔn)確性不高。因此學(xué)校管理層、業(yè)務(wù)部門、師生強(qiáng)烈呼吁盡快開展數(shù)據(jù)工作。

綜上所述,高校積極探索以數(shù)據(jù)為核心推進(jìn)智能校園建設(shè),以期提升教育決策科學(xué)化、管理精準(zhǔn)化、服務(wù)個(gè)性化水平。但由于各高校信息化戰(zhàn)略和目標(biāo)、信息部門職責(zé)、信息化進(jìn)程等情況不同,數(shù)據(jù)工作沒有成熟可依的數(shù)據(jù)標(biāo)準(zhǔn)、通用完善的數(shù)據(jù)平臺(tái)和系統(tǒng)性的實(shí)施方法。近年相關(guān)文獻(xiàn)[5][8-11]的研究主要集中在高校大數(shù)據(jù)體系框架的構(gòu)建、數(shù)據(jù)治理的理論研究等方面,而本研究則著力闡述如何建設(shè)一個(gè)數(shù)據(jù)全生命周期管理的平臺(tái),提出了“平臺(tái)共享、生態(tài)共建”的工作思路(本文中的數(shù)據(jù)工作是指數(shù)據(jù)平臺(tái)建設(shè)和數(shù)據(jù)治理相關(guān)工作),探索出了“分步實(shí)施、以用促建”的高校數(shù)據(jù)治理實(shí)踐途徑。

二、數(shù)據(jù)工作思路

學(xué)校數(shù)據(jù)工作思路為“平臺(tái)共享、生態(tài)共建”。先建設(shè)一個(gè)數(shù)據(jù)平臺(tái),配套平臺(tái)建立數(shù)據(jù)管理責(zé)任體系,制定數(shù)據(jù)管理辦法、數(shù)據(jù)服務(wù)指南、數(shù)據(jù)治理規(guī)范等規(guī)章和指導(dǎo)性文件。然后遵照學(xué)校文件、利用數(shù)據(jù)平臺(tái)形成全校協(xié)同共建的生態(tài),一方面各部門各盡其責(zé)與信息部門共同進(jìn)行數(shù)據(jù)治理后共享數(shù)據(jù);另一方面跨部門、跨業(yè)務(wù)主題、跨系統(tǒng)的數(shù)據(jù)優(yōu)先通過數(shù)據(jù)平臺(tái)獲取,避免重復(fù)采集。

數(shù)據(jù)工作的思路參照互聯(lián)網(wǎng)電商模式,如圖1所示,基礎(chǔ)數(shù)據(jù)平臺(tái)建成后主要任務(wù)就是開展數(shù)據(jù)資源的建設(shè),并基于數(shù)據(jù)資源形成公開目錄。參照商品目錄,數(shù)據(jù)資源目錄陳列的數(shù)據(jù)分為學(xué)校標(biāo)準(zhǔn)數(shù)據(jù)和部門共享數(shù)據(jù)兩類。學(xué)校標(biāo)準(zhǔn)數(shù)據(jù)類比自營(yíng)商品,是指經(jīng)過數(shù)據(jù)治理,確定“一數(shù)一源”、進(jìn)行標(biāo)準(zhǔn)化后在數(shù)據(jù)資源目錄發(fā)布的學(xué)校主數(shù)據(jù)。學(xué)校標(biāo)準(zhǔn)數(shù)據(jù)將定期接受準(zhǔn)確性、完整性等質(zhì)量檢查。部門共享數(shù)據(jù)類比直供商品,是由業(yè)務(wù)部門直接在數(shù)據(jù)平臺(tái)上發(fā)布供其他單位申請(qǐng)使用的交換數(shù)據(jù),此類數(shù)據(jù)使用頻率較低或者只有特定的業(yè)務(wù)會(huì)用到,除非數(shù)據(jù)生產(chǎn)單位有特別的要求,否則一般不進(jìn)行標(biāo)準(zhǔn)化處理和質(zhì)量檢查。學(xué)校標(biāo)準(zhǔn)數(shù)據(jù)在目錄中標(biāo)記為校級(jí),管理責(zé)任屬于數(shù)據(jù)生產(chǎn)部門和信息部門。部門共享數(shù)據(jù)在目錄中標(biāo)記為部門級(jí),管理責(zé)任屬于數(shù)據(jù)生產(chǎn)部門。

數(shù)據(jù)資源建設(shè)的主體分為數(shù)據(jù)管理者、數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)消費(fèi)者,其中數(shù)據(jù)管理者是負(fù)責(zé)數(shù)據(jù)平臺(tái)建設(shè)和數(shù)據(jù)運(yùn)營(yíng)與管理的信息部門,數(shù)據(jù)生產(chǎn)者是學(xué)校生產(chǎn)數(shù)據(jù)的業(yè)務(wù)部門,數(shù)據(jù)消費(fèi)者是需要使用數(shù)據(jù)的業(yè)務(wù)部門。數(shù)據(jù)管理者、數(shù)據(jù)生產(chǎn)者、數(shù)據(jù)消費(fèi)者三者協(xié)同共建,各盡其責(zé),形成學(xué)校數(shù)據(jù)生態(tài)圈。

數(shù)據(jù)管理者主要職能如下:①搭建數(shù)據(jù)平臺(tái);②在全校范圍內(nèi)尋找主數(shù)據(jù)的生產(chǎn)者,然后與其共同完成主數(shù)據(jù)治理后上架校級(jí)產(chǎn)品;③制定數(shù)據(jù)管理辦法、數(shù)據(jù)治理規(guī)范、數(shù)據(jù)服務(wù)指南等規(guī)章和指導(dǎo)性文件,明確數(shù)據(jù)工作中各方的責(zé)任,管理、規(guī)范、指導(dǎo)數(shù)據(jù)生產(chǎn)和消費(fèi)過程;④建立數(shù)據(jù)質(zhì)量評(píng)價(jià)體系,在上架前和上架后持續(xù)對(duì)數(shù)據(jù)進(jìn)行質(zhì)量檢查,并督促生產(chǎn)者持續(xù)改進(jìn);⑤建立數(shù)據(jù)產(chǎn)品售后體系,根據(jù)消費(fèi)者反饋的質(zhì)量問題走不同的售后處理流程;⑥建立支撐數(shù)據(jù)流通的物流體系,根據(jù)生產(chǎn)者和消費(fèi)者約定的發(fā)貨時(shí)間提供數(shù)據(jù)的運(yùn)輸服務(wù)等。

數(shù)據(jù)生產(chǎn)者主要職能如下:①生產(chǎn)高質(zhì)量的數(shù)據(jù)并嚴(yán)格按照流程上架;②確保定時(shí)定量將數(shù)據(jù)提供給數(shù)據(jù)平臺(tái);③提供詳實(shí)的產(chǎn)品說明書,產(chǎn)品說明書包含數(shù)據(jù)字段的業(yè)務(wù)規(guī)則和描述、數(shù)據(jù)使用方法及注意事項(xiàng)等;④做好售后保障,在數(shù)據(jù)管理員或者消費(fèi)者反饋質(zhì)量問題時(shí)及時(shí)答復(fù),并找出原因及時(shí)修正等。

數(shù)據(jù)消費(fèi)者主要職能如下:①在數(shù)據(jù)資源目錄中找尋需要的數(shù)據(jù)項(xiàng),仔細(xì)閱讀數(shù)據(jù)項(xiàng)說明和數(shù)據(jù)樣例后,提出明確的數(shù)據(jù)需求;②與數(shù)據(jù)管理員、數(shù)據(jù)生產(chǎn)者交流,確定最小最合理的數(shù)據(jù)范圍;③按照管理辦法的流程提交申請(qǐng),等待管理員的合規(guī)性審核及生產(chǎn)者同意后接受供給;④接受在三方約定的供給時(shí)間、頻率和范圍內(nèi)獲得數(shù)據(jù)的條件;⑤按約定要求使用數(shù)據(jù),在使用過程中發(fā)現(xiàn)數(shù)據(jù)問題后按照售后流程反饋。

三、數(shù)據(jù)平臺(tái)介紹

數(shù)據(jù)平臺(tái)主要分為數(shù)據(jù)層和應(yīng)用層,平臺(tái)架構(gòu)如圖2所示(虛線范圍內(nèi))。

數(shù)據(jù)層為數(shù)據(jù)平臺(tái)所建的數(shù)據(jù)存儲(chǔ)環(huán)境,包括原始庫(kù)、標(biāo)準(zhǔn)庫(kù)、主題庫(kù)、緩存庫(kù)和運(yùn)行庫(kù)。原始庫(kù)用于存儲(chǔ)業(yè)務(wù)系統(tǒng)共享的原始數(shù)據(jù),其數(shù)據(jù)可由生產(chǎn)者在數(shù)據(jù)平臺(tái)注冊(cè)發(fā)布形成部門共享數(shù)據(jù),也可以通過規(guī)范流程形成標(biāo)準(zhǔn)數(shù)據(jù)。標(biāo)準(zhǔn)庫(kù)存儲(chǔ)學(xué)校標(biāo)準(zhǔn)數(shù)據(jù),它由原始庫(kù)里的主數(shù)據(jù)經(jīng)過清洗、轉(zhuǎn)換和標(biāo)準(zhǔn)化后形成。主題庫(kù)存儲(chǔ)的主題數(shù)據(jù),根據(jù)經(jīng)常性的應(yīng)用需求由幾個(gè)學(xué)校標(biāo)準(zhǔn)數(shù)據(jù)表通過聯(lián)接、條件組合后形成。緩存庫(kù)存儲(chǔ)備份數(shù)據(jù),在每次提供數(shù)據(jù)服務(wù)時(shí)將每一次推送出去的數(shù)據(jù)進(jìn)行備份。緩存庫(kù)有著十分重要的作用,不僅能用于計(jì)算前后兩輪數(shù)據(jù)推送之間的差異,將差異進(jìn)行標(biāo)記,還能以數(shù)據(jù)拉鏈表的形式記錄數(shù)據(jù)的歷史狀態(tài)。運(yùn)行庫(kù)為數(shù)據(jù)平臺(tái)的應(yīng)用支撐數(shù)據(jù)庫(kù),主要存儲(chǔ)元數(shù)據(jù)、質(zhì)量規(guī)則、檢測(cè)出來的異常數(shù)據(jù)等。

應(yīng)用層為數(shù)據(jù)平臺(tái)的功能層,主要功能模塊包括數(shù)據(jù)共享交換、主數(shù)據(jù)管理、元數(shù)據(jù)管理、標(biāo)準(zhǔn)管理、質(zhì)量管理、系統(tǒng)管理。

1.數(shù)據(jù)共享交換

數(shù)據(jù)共享交換模塊起橋梁樞紐作用,它管理各類數(shù)據(jù)源的有效連接,提供多種數(shù)據(jù)交換方式,實(shí)現(xiàn)數(shù)據(jù)在不同業(yè)務(wù)系統(tǒng)間順暢、批量傳輸,還以數(shù)據(jù)資源目錄為基礎(chǔ)和依據(jù),為數(shù)據(jù)消費(fèi)者提供數(shù)據(jù)服務(wù),并記錄每次服務(wù)的詳細(xì)情況,例如推送服務(wù)數(shù)據(jù)量、頻率、服務(wù)時(shí)間等。

數(shù)據(jù)共享類型根據(jù)數(shù)據(jù)的保密性、重要性、使用范圍等分為無條件共享、有條件共享、保密共享三類。數(shù)據(jù)平臺(tái)根據(jù)數(shù)據(jù)共享類型的不同,支撐不同的服務(wù)流程,并配置了對(duì)數(shù)據(jù)字段的加密和脫敏、傳輸過程加密解密、數(shù)據(jù)僅對(duì)授權(quán)用戶可見等安全保護(hù)措施。

2.主數(shù)據(jù)管理

主數(shù)據(jù)是具有高業(yè)務(wù)價(jià)值,在學(xué)校內(nèi)跨部門、跨系統(tǒng)重復(fù)使用的數(shù)據(jù)。它具有唯一、準(zhǔn)確、權(quán)威的數(shù)據(jù)源,是代表學(xué)校關(guān)鍵業(yè)務(wù)實(shí)體(例如教職工、學(xué)生、項(xiàng)目等)的可用數(shù)據(jù)。因此主數(shù)據(jù)管理不僅需要認(rèn)證數(shù)據(jù)源,還要規(guī)范維護(hù)流程、確定開放屬性、更新周期等。主數(shù)據(jù)在數(shù)據(jù)平臺(tái)發(fā)布,消費(fèi)者及時(shí)通過平臺(tái)獲取,從而實(shí)現(xiàn) “一點(diǎn)錄入、多點(diǎn)調(diào)用”。[12]

3.元數(shù)據(jù)管理

元數(shù)據(jù)是描述數(shù)據(jù)的數(shù)據(jù),用于打破業(yè)務(wù)和IT之間的語(yǔ)言障礙,幫助業(yè)務(wù)更好地理解數(shù)據(jù),通常分為業(yè)務(wù)、技術(shù)和操作三類元數(shù)據(jù)。[13]元數(shù)據(jù)管理中數(shù)據(jù)字典用來管理所有元數(shù)據(jù)相關(guān)信息,U/C矩陣表達(dá)數(shù)據(jù)項(xiàng)的生產(chǎn)與使用情況,數(shù)據(jù)地圖呈現(xiàn)學(xué)校數(shù)據(jù)的總體概況,血緣分析實(shí)現(xiàn)數(shù)據(jù)全鏈路可追溯和數(shù)據(jù)影響分析。

4.標(biāo)準(zhǔn)管理

數(shù)據(jù)標(biāo)準(zhǔn)是數(shù)據(jù)在學(xué)校層面共同遵守的屬性層含義和業(yè)務(wù)規(guī)則,是學(xué)校對(duì)某個(gè)業(yè)務(wù)實(shí)體對(duì)象的共同理解。數(shù)據(jù)標(biāo)準(zhǔn)包括數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)和代碼標(biāo)準(zhǔn)。數(shù)據(jù)項(xiàng)是數(shù)據(jù)不可分割的最小單位,數(shù)據(jù)項(xiàng)標(biāo)準(zhǔn)包含每個(gè)數(shù)據(jù)項(xiàng)的編號(hào)及規(guī)則、名稱、中文簡(jiǎn)稱、類型、長(zhǎng)度、約束、值空間、解釋及舉例等。代碼標(biāo)準(zhǔn)用于規(guī)范數(shù)據(jù)項(xiàng)的取值,通過定義取值范圍來限定數(shù)據(jù)項(xiàng)的取值。代碼應(yīng)具有一定規(guī)律性,易于計(jì)算機(jī)和人識(shí)別與處理,例如校區(qū)、機(jī)構(gòu)、學(xué)生類別。數(shù)據(jù)標(biāo)準(zhǔn)管理功能包括數(shù)據(jù)項(xiàng)、代碼的建立與維護(hù),以及其版本的迭代發(fā)布。

5.質(zhì)量管理

數(shù)據(jù)質(zhì)量被定義為“適合使用”[14],即數(shù)據(jù)適合使用、滿足特定用戶期望的程度。學(xué)校從準(zhǔn)確性、完整性、規(guī)范性、及時(shí)性四個(gè)維度來描述數(shù)據(jù)質(zhì)量,根據(jù)這四個(gè)維度建立評(píng)估體系,采用正向和逆向兩種方式推進(jìn)質(zhì)量提升:①主動(dòng)為校級(jí)數(shù)據(jù)的每個(gè)數(shù)據(jù)項(xiàng)設(shè)計(jì)校驗(yàn)規(guī)則,定期檢查數(shù)據(jù)的質(zhì)量,生成異常數(shù)據(jù)明細(xì),復(fù)核數(shù)據(jù)問題和校驗(yàn)規(guī)則設(shè)置的合理性,最終形成數(shù)據(jù)質(zhì)量報(bào)告發(fā)送給數(shù)據(jù)生產(chǎn)者;②建立質(zhì)量反饋流程,消費(fèi)者發(fā)現(xiàn)問題后通過回溯方式來促進(jìn)數(shù)據(jù)修正。

6.系統(tǒng)管理

系統(tǒng)管理包括用戶及權(quán)限的管理,數(shù)據(jù)平臺(tái)的數(shù)據(jù)庫(kù)資源、任務(wù)運(yùn)行情況等的管理。

四、數(shù)據(jù)治理實(shí)踐

數(shù)據(jù)平臺(tái)建成后,采用“分步實(shí)施”和 “以用促建”兩種方法在學(xué)校開展數(shù)據(jù)治理的實(shí)踐。

第一種方法是分步實(shí)施學(xué)校主數(shù)據(jù)。根據(jù)主數(shù)據(jù)消費(fèi)需求旺盛程度、主數(shù)據(jù)管理單位是否唯一和明確、業(yè)務(wù)數(shù)字化水平高低、業(yè)務(wù)部門數(shù)據(jù)專業(yè)人員配備情況等對(duì)學(xué)校主數(shù)據(jù)統(tǒng)籌規(guī)劃,分步實(shí)施。對(duì)教職工、學(xué)生、科研項(xiàng)目、教學(xué)課表和成績(jī)等主數(shù)據(jù)進(jìn)行梳理和標(biāo)準(zhǔn)化,第一批發(fā)布生成校級(jí)的數(shù)據(jù)資源目錄。

第二種方法是以用促建拉動(dòng)數(shù)據(jù)供應(yīng)鏈條各個(gè)節(jié)點(diǎn)參與。在第一批學(xué)校標(biāo)準(zhǔn)數(shù)據(jù)入駐平臺(tái)后,平臺(tái)正式在全校上線并推廣使用,滿足數(shù)據(jù)消費(fèi)需求。鼓勵(lì)業(yè)務(wù)部門提交數(shù)據(jù)申請(qǐng)表,數(shù)據(jù)管理員收到申請(qǐng)表后確定數(shù)據(jù)已在目錄中發(fā)布,通知消費(fèi)者直接在平臺(tái)訂閱即可,而不在目錄的需求則形成數(shù)據(jù)消費(fèi)隊(duì)列。數(shù)據(jù)消費(fèi)隊(duì)列的實(shí)踐常見情況可分為兩類:①若消費(fèi)數(shù)據(jù)被識(shí)別為主數(shù)據(jù),數(shù)據(jù)管理者將協(xié)同消費(fèi)者在學(xué)校范圍內(nèi)尋找生產(chǎn)者,召開三方協(xié)調(diào)會(huì)議達(dá)成一致意見后再根據(jù)主數(shù)據(jù)流程與規(guī)范實(shí)施;②若消費(fèi)數(shù)據(jù)僅用于兩個(gè)業(yè)務(wù)系統(tǒng)之間的交換,則由生產(chǎn)者采用發(fā)布實(shí)時(shí)接口和部門級(jí)共享的方式上架數(shù)據(jù)。

在“分步實(shí)施”和“以用促建”兩種方法的有效指導(dǎo)下推進(jìn)學(xué)校數(shù)據(jù)工作,形成規(guī)范的主數(shù)據(jù)和數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)過程,制定數(shù)據(jù)服務(wù)方案。

1.主數(shù)據(jù)形成過程

任何組織進(jìn)行數(shù)據(jù)工作首先專注于主數(shù)據(jù)。面對(duì)學(xué)校信息系統(tǒng)上百個(gè)、建設(shè)程度參差不齊的復(fù)雜局面,采取分步實(shí)施的方法,一次完成一個(gè)業(yè)務(wù)主題域中的一個(gè)核心業(yè)務(wù)對(duì)象,然后逐漸擴(kuò)大業(yè)務(wù)對(duì)象范圍來進(jìn)行主數(shù)據(jù)的識(shí)別和數(shù)據(jù)治理。學(xué)校主數(shù)據(jù)范圍包括人事、教學(xué)、科研、財(cái)務(wù)、資產(chǎn)、學(xué)工等業(yè)務(wù)主題域,其核心業(yè)務(wù)對(duì)象有教職工、學(xué)生、課表、成績(jī)、項(xiàng)目、論文等。

主數(shù)據(jù)的形成分為五個(gè)過程:①?gòu)娜耸?、教學(xué)、學(xué)工等主題中,基于教職工、學(xué)生、課表、成績(jī)等業(yè)務(wù)對(duì)象來識(shí)別單一數(shù)據(jù)源及管控組織;②對(duì)數(shù)據(jù)進(jìn)行分類,規(guī)范數(shù)據(jù)項(xiàng)命名,明確數(shù)據(jù)項(xiàng)的代碼取值范圍;③針對(duì)有爭(zhēng)議、多部門共同管理的業(yè)務(wù)對(duì)象,組織協(xié)調(diào)會(huì)議協(xié)商確定,例如通過學(xué)生學(xué)籍相關(guān)數(shù)據(jù)項(xiàng)確定教務(wù)部門為生產(chǎn)者、學(xué)生管理相關(guān)數(shù)據(jù)項(xiàng)確定學(xué)生工作處為生產(chǎn)者;④基于上述步驟,初步確定質(zhì)量檢查規(guī)則;⑤根據(jù)每年度的《高等教育學(xué)校統(tǒng)計(jì)調(diào)查表》《普通高等學(xué)校本科教學(xué)工作狀態(tài)數(shù)據(jù)分析報(bào)告》等學(xué)校層面的報(bào)表確定指標(biāo)數(shù)據(jù)和統(tǒng)計(jì)維度。

2.數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)過程

在主數(shù)據(jù)建設(shè)過程中,還有一個(gè)重要環(huán)節(jié)就是同步形成學(xué)校的數(shù)據(jù)標(biāo)準(zhǔn)。數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè)是以國(guó)家和教育行業(yè)標(biāo)準(zhǔn)為參考,根據(jù)現(xiàn)有系統(tǒng)的實(shí)際情況,與系統(tǒng)的主管部門共同確定數(shù)據(jù)項(xiàng)和代碼。每形成一條主數(shù)據(jù)就能形成與其相關(guān)的數(shù)據(jù)標(biāo)準(zhǔn),并錄入數(shù)據(jù)平臺(tái)進(jìn)行管理。學(xué)校數(shù)據(jù)標(biāo)準(zhǔn)既是業(yè)務(wù)部門信息化建設(shè)的數(shù)據(jù)標(biāo)準(zhǔn),也是數(shù)據(jù)的質(zhì)量檢查標(biāo)準(zhǔn),還是學(xué)校數(shù)據(jù)報(bào)表的統(tǒng)計(jì)標(biāo)準(zhǔn)。數(shù)據(jù)標(biāo)準(zhǔn)經(jīng)過學(xué)校審核后定期迭代發(fā)布,從而減少學(xué)校眾多信息系統(tǒng)中同一業(yè)務(wù)實(shí)體對(duì)象出現(xiàn)模棱兩可或者自相矛盾定義的風(fēng)險(xiǎn)。

3.制定數(shù)據(jù)服務(wù)方案

數(shù)據(jù)服務(wù)是指將數(shù)據(jù)作為一種產(chǎn)品在平臺(tái)上提供,用于滿足學(xué)校的消費(fèi)需求且能提供靈活多樣的服務(wù)方式,學(xué)校數(shù)據(jù)服務(wù)應(yīng)用場(chǎng)景如圖3所示。數(shù)據(jù)服務(wù)由數(shù)據(jù)管理專員進(jìn)行申請(qǐng),申請(qǐng)時(shí)寫明需求數(shù)據(jù)字段和用途并承諾保障安全,相關(guān)部門審核數(shù)據(jù)用途的必要性、合理性、合法性。數(shù)據(jù)管理員收到申請(qǐng)表后根據(jù)業(yè)務(wù)系統(tǒng)情況、數(shù)據(jù)使用頻率、數(shù)據(jù)量多少、數(shù)據(jù)可靠性等因素確定一個(gè)最優(yōu)數(shù)據(jù)服務(wù)方式,包括數(shù)據(jù)輪詢、接口調(diào)用、Kafka和在線查詢。

(1)數(shù)據(jù)輪詢

數(shù)據(jù)輪詢是主流的服務(wù)方式,適用于數(shù)據(jù)量較大但對(duì)實(shí)時(shí)性沒有極高要求的場(chǎng)景。學(xué)校人事、教務(wù)、科研等系統(tǒng)作為主數(shù)據(jù)的生產(chǎn)系統(tǒng),不僅需要給數(shù)據(jù)平臺(tái)供應(yīng)數(shù)據(jù),同時(shí)還需要其他系統(tǒng)的數(shù)據(jù),采用此種服務(wù)方式。

數(shù)據(jù)輪詢方式有三個(gè)步驟。

①建立前置數(shù)據(jù)庫(kù)(以下簡(jiǎn)稱前置庫(kù))。前置庫(kù)是指業(yè)務(wù)部門必須建立的一個(gè)與數(shù)據(jù)平臺(tái)進(jìn)行有效連接的數(shù)據(jù)庫(kù)環(huán)境,由業(yè)務(wù)部門設(shè)立的數(shù)據(jù)管理專員負(fù)責(zé)管理并保障安全。

②選擇數(shù)據(jù)推送方式。推送方式分為全量、增量、增量更新三種。全量:新一輪數(shù)據(jù)推送時(shí)先清空表中原有數(shù)據(jù)再重新將全部數(shù)據(jù)加入,適用于沒有主鍵的數(shù)據(jù)表。增量:數(shù)據(jù)表應(yīng)有唯一標(biāo)識(shí)的主鍵,新一輪數(shù)據(jù)推送時(shí)平臺(tái)會(huì)在緩存庫(kù)中找到前一輪推送的數(shù)據(jù),根據(jù)主鍵逐行進(jìn)行比對(duì),對(duì)新記錄增加一個(gè)新增時(shí)間和新增標(biāo)記,多適用于數(shù)據(jù)記錄不進(jìn)行修改和刪除的流水表。增量更新:數(shù)據(jù)表應(yīng)有唯一標(biāo)識(shí)的主鍵,新一輪數(shù)據(jù)推送時(shí)平臺(tái)會(huì)在緩存庫(kù)中找到前一輪推送的數(shù)據(jù),根據(jù)主鍵逐行、逐列進(jìn)行比對(duì),比對(duì)完成后對(duì)數(shù)據(jù)有變化的記錄增加一個(gè)AUD標(biāo)記(A新增、U修改、D刪除)和修改時(shí)間再推送,多適用于教職工信息、學(xué)生信息等主數(shù)據(jù)表。

③按需選取。數(shù)據(jù)平臺(tái)存儲(chǔ)的是全部數(shù)據(jù),例如教師信息表、學(xué)生信息表里包含全校所有相關(guān)數(shù)據(jù)。根據(jù)“最少使用”原則,數(shù)據(jù)消費(fèi)者只允許獲得限定行、限定列的數(shù)據(jù)。因此在申請(qǐng)和審核時(shí),平臺(tái)通過提供編輯條件、選取數(shù)據(jù)字段來控制共享范圍。

(2)接口調(diào)用

接口調(diào)用是政府?dāng)?shù)據(jù)開放平臺(tái)主流的服務(wù)方式,但是在高校應(yīng)用較少,推行有阻力,主要原因:一是高校業(yè)務(wù)系統(tǒng)開放的理念和意愿較低,幾乎都沒有形成通用、規(guī)范的數(shù)據(jù)對(duì)外接口;二是調(diào)用接口要求消費(fèi)者根據(jù)數(shù)據(jù)平臺(tái)的加密解密策略和程序規(guī)范定制開發(fā)程序,消費(fèi)者因畏難而拒絕。

雖有諸多阻力,但接口調(diào)用相比數(shù)據(jù)輪詢具有顯著優(yōu)勢(shì):①數(shù)據(jù)即調(diào)即用;②無需建前置庫(kù),也無需關(guān)注數(shù)據(jù)庫(kù)之間網(wǎng)絡(luò)權(quán)限的開通。接口調(diào)用分為API接口和實(shí)時(shí)接口兩種。API接口是由數(shù)據(jù)資源目錄中的數(shù)據(jù)資源生成的一個(gè)對(duì)外標(biāo)準(zhǔn)數(shù)據(jù)接口,其調(diào)用鏈接為數(shù)據(jù)平臺(tái)網(wǎng)址,數(shù)據(jù)平臺(tái)對(duì)API接口統(tǒng)一編號(hào)。需求數(shù)據(jù)量少且不對(duì)外共享數(shù)據(jù)的消費(fèi)者推薦采用API接口。實(shí)時(shí)接口是指業(yè)務(wù)系統(tǒng)直接發(fā)布的對(duì)外標(biāo)準(zhǔn)數(shù)據(jù)接口,其調(diào)用鏈接為發(fā)布者的網(wǎng)址,數(shù)據(jù)平臺(tái)提供接口信息和過程的管理。業(yè)務(wù)耦合較高、實(shí)時(shí)性要求高的兩個(gè)系統(tǒng)交換數(shù)據(jù)推薦實(shí)時(shí)接口。

(3)Kafka

Kafka是分布式“發(fā)布-訂閱”消息系統(tǒng),它主要用于處理活躍的流式數(shù)據(jù),常用于大數(shù)據(jù)系統(tǒng)中在各個(gè)子系統(tǒng)高性能、低延遲、不停流轉(zhuǎn)的數(shù)據(jù)。將校園卡各類刷卡記錄及時(shí)傳送到數(shù)據(jù)分析平臺(tái)形成實(shí)時(shí)數(shù)據(jù)統(tǒng)計(jì)報(bào)表這類應(yīng)用場(chǎng)景,可采用Kafka的服務(wù)方式。

(4)在線查詢

前面三種服務(wù)方式都需要具備一定IT技能的人員來完成,而在線查詢適用于IT技能人員缺乏時(shí)的緊急數(shù)據(jù)需求,允許使用者查詢和導(dǎo)出申請(qǐng)的數(shù)據(jù)。由于導(dǎo)出數(shù)據(jù)后,無法追蹤數(shù)據(jù)的去向,存在數(shù)據(jù)泄露風(fēng)險(xiǎn),因此一般不推薦。

五、結(jié)語(yǔ)

本研究基于學(xué)校數(shù)據(jù)工作的現(xiàn)狀和需求,提出了“平臺(tái)共享、生態(tài)共建”的工作思路,在該思路指導(dǎo)下建立的數(shù)據(jù)平臺(tái)和開展的數(shù)據(jù)治理實(shí)踐,在學(xué)校已落地實(shí)施了一段時(shí)間,數(shù)據(jù)平臺(tái)已逐漸成為學(xué)校信息系統(tǒng)之間的數(shù)據(jù)流通樞紐,在數(shù)據(jù)治理的實(shí)踐過程中業(yè)務(wù)部門的主動(dòng)性和積極性被充分調(diào)動(dòng),數(shù)據(jù)質(zhì)量得到大幅度提升,為學(xué)校提供了準(zhǔn)確高效的數(shù)據(jù)服務(wù)。

客觀地說,高校是一個(gè)非數(shù)字原生組織,數(shù)據(jù)工作是一個(gè)長(zhǎng)期、漸進(jìn)、困難、變革的過程。未來的高校數(shù)據(jù)工作不僅要對(duì)信息系統(tǒng)進(jìn)行改造以實(shí)現(xiàn)數(shù)據(jù)的高標(biāo)準(zhǔn)、高質(zhì)量生產(chǎn)和管理,還要?jiǎng)?wù)實(shí)求精地對(duì)存量數(shù)據(jù)進(jìn)行治理以實(shí)現(xiàn)數(shù)據(jù)共享與應(yīng)用,更需要根據(jù)教學(xué)、科研和管理需求推動(dòng)數(shù)據(jù)應(yīng)用落地,這樣才能以數(shù)據(jù)來驅(qū)動(dòng)創(chuàng)新和改革,推動(dòng)教育治理現(xiàn)代化。

參考文獻(xiàn):

[1]新華社.中共中央 國(guó)務(wù)院關(guān)于構(gòu)建更加完善的要素市場(chǎng)化配置體制機(jī)制的意見[EB/OL].http://www.gov.cn/zhengce/2020-04/09/content_5500622.htm.

[2]發(fā)改高技[2020]1922號(hào).關(guān)于加快構(gòu)建全國(guó)一體化大數(shù)據(jù)中心協(xié)同創(chuàng)新體系的指導(dǎo)意見[Z].

[3]新華網(wǎng).中共中央、國(guó)務(wù)院印發(fā)《中國(guó)教育現(xiàn)代化2035》[EB/OL].http://www.moe.gov.cn/jyb_xwfb/s6052/moe_838/201902/t20190223_370857.html.

[4]教科信函[2021]13號(hào).教育部關(guān)于加強(qiáng)新時(shí)代教育管理信息化工作的通知[Z].

[5]董曉輝,鄭小斌,彭義平.高校教育大數(shù)據(jù)治理的框架設(shè)計(jì)與實(shí)施[J].中國(guó)電化教育,2019(8):63-71.

[6]吳南中,黃治虎,曾靚,等.教育大數(shù)據(jù)生態(tài)圈構(gòu)建:“3+3”模型的邏輯與實(shí)踐[J].中國(guó)遠(yuǎn)程教育(綜合版),2019(7):77-85.

[7]羅軍鋒,張亞娟,馮興利.基于高校的數(shù)據(jù)資產(chǎn)管理模型研究[J].現(xiàn)代信息科技,2020(5):108-111.

[8]余鵬,李艷.智慧校園視域下高等教育數(shù)據(jù)生態(tài)治理體系研究[J].中國(guó)電化教育,2020(5):88-100.

[9]宋蘇軒,楊現(xiàn)民,宋子強(qiáng).智能時(shí)代高校數(shù)據(jù)中心的新內(nèi)涵及其體系架構(gòu)[J].現(xiàn)代教育技術(shù),2020(7):81-88.

[10]熊余,儲(chǔ)雯,蔡婷,等.高校教育大數(shù)據(jù)應(yīng)用支撐體系的設(shè)計(jì)與實(shí)踐[J].現(xiàn)代教育技術(shù),2020(11):91-97.

[11]王正青,但金鳳.大數(shù)據(jù)時(shí)代教育大數(shù)據(jù)治理架構(gòu)與關(guān)鍵領(lǐng)域[J].現(xiàn)代教育技術(shù),2019(2):5-11.

[12]華為公司數(shù)據(jù)管理部.華為數(shù)據(jù)之道[M].北京:機(jī)械工業(yè)出版社,2020.

[13]勞拉·塞巴斯蒂安-科爾曼(Laura Sebastian-Coleman).穿越數(shù)據(jù)的迷宮[M].汪廣盛,譯.北京:機(jī)械工業(yè)出版社,2020.

[14]Won Kim,Byoung-Ju Choi,Eui-Kyeong Hong,et al.A Taxonomy of Dirty Data[J].Data Mining and Knowledge Discovery,2003(1):81-99.

(編輯:王天鵬)

猜你喜歡
數(shù)據(jù)平臺(tái)數(shù)據(jù)治理
MES系統(tǒng)在化工行業(yè)的應(yīng)用
基于云計(jì)算的數(shù)據(jù)挖掘平臺(tái)架構(gòu)及其關(guān)鍵技術(shù)
基于本體的企業(yè)運(yùn)營(yíng)數(shù)據(jù)治理
醫(yī)療物聯(lián)網(wǎng)基礎(chǔ)平臺(tái)研究與設(shè)計(jì)
云端數(shù)據(jù)治理初探
運(yùn)用流程化手段提升資產(chǎn)管理水平
大數(shù)據(jù)治理模型與治理成熟度評(píng)估研究
電力調(diào)度綜合數(shù)據(jù)平臺(tái)體系結(jié)構(gòu)及相關(guān)技術(shù)
科學(xué)家(2015年9期)2015-10-29 06:52:09
高校學(xué)生工作數(shù)據(jù)平臺(tái)的構(gòu)建和創(chuàng)新長(zhǎng)效機(jī)制研究
大數(shù)據(jù)時(shí)代城市治理:數(shù)據(jù)異化與數(shù)據(jù)治理
海原县| 花垣县| 弥渡县| 南岸区| 清苑县| 荣昌县| 东乌珠穆沁旗| 洛浦县| 萝北县| 青神县| 恭城| 瑞昌市| 东安县| 万山特区| 黄大仙区| 沭阳县| 济宁市| 新建县| 淮安市| 宝清县| 尖扎县| 茂名市| 盱眙县| 临城县| 云林县| 保山市| 丹阳市| 旬阳县| 平远县| 额尔古纳市| 翁牛特旗| 白玉县| 襄垣县| 沂水县| 北流市| 都兰县| 贵南县| 太保市| 松桃| 怀远县| 海安县|