李豐

摘 要：高校助學(xué)金評比主要依據(jù)為學(xué)生家庭經(jīng)濟(jì)情況，如何通過學(xué)生檔案數(shù)據(jù)、校內(nèi)外兼職數(shù)據(jù)和校內(nèi)一卡通使用相關(guān)數(shù)據(jù)真實(shí)反映學(xué)生經(jīng)濟(jì)狀況是關(guān)鍵。文章針對這一問題提出使用PostgreSQL作為非關(guān)系型數(shù)據(jù)庫，使用可編程統(tǒng)計(jì)分析軟件R對存儲流進(jìn)行分析和建模后數(shù)據(jù)挖掘，通過對上述數(shù)據(jù)進(jìn)行采集、數(shù)據(jù)提取和存儲、數(shù)據(jù)計(jì)算和分析等過程，產(chǎn)生學(xué)生消費(fèi)數(shù)據(jù)分析匯總表，作為學(xué)生助學(xué)金評比的重要依據(jù)。

關(guān)鍵詞：大數(shù)據(jù)；助學(xué)金；PostgreSQL；統(tǒng)計(jì)分析軟件R

文章編號：1672-5913（2017）05-0154-04

中圖分類號：G642

1 大數(shù)據(jù)技術(shù)和高校學(xué)生行為活動中大數(shù)據(jù)的產(chǎn)生

1.1 大數(shù)據(jù)的產(chǎn)生

隨著計(jì)算機(jī)相關(guān)信息技術(shù)和互聯(lián)網(wǎng)技術(shù)的推廣與發(fā)展，互聯(lián)網(wǎng)根據(jù)應(yīng)用協(xié)議在信息傳輸中大規(guī)模運(yùn)用“請求”+“響應(yīng)”模式。所有接入互聯(lián)網(wǎng)的設(shè)備、軟件等客戶端通過發(fā)送數(shù)據(jù)主動提出服務(wù)請求，服務(wù)器端會根據(jù)指令發(fā)送相應(yīng)的請求數(shù)據(jù)，用戶在客戶端上的每一次訪問請求其實(shí)就是一次鼠標(biāo)點(diǎn)擊或鍵盤輸入數(shù)據(jù)的操作，在服務(wù)器的操作日志中，會忠實(shí)地記錄下每個(gè)人“訪問的時(shí)間、請求的命令、訪問的網(wǎng)址”[1]等數(shù)據(jù)。用戶在網(wǎng)絡(luò)上或各種應(yīng)用系統(tǒng)操作中產(chǎn)生的各種數(shù)據(jù)就像生活中不經(jīng)意間留下的各種各樣痕跡一樣，這些痕跡串連到一起，交織成了網(wǎng)民們在互聯(lián)網(wǎng)上的各種行為軌跡。這些貌似雜亂無章的各種龐大數(shù)據(jù)，經(jīng)過量的積累完成了質(zhì)的飛躍，數(shù)據(jù)中蘊(yùn)含著巨大的價(jià)值。

類似的數(shù)據(jù)之間“具有非關(guān)系型、無序”，被稱為非結(jié)構(gòu)化大數(shù)據(jù)，包含文字、圖片、視頻、音頻等[2]，過去幾十年中已經(jīng)積累了好多，未來還會有更多的數(shù)據(jù)呈幾何級數(shù)增長，而云計(jì)算的產(chǎn)生和云技術(shù)的不斷成熟，為大數(shù)據(jù)的存在提供了巨大的存儲空間和合理的訪問技術(shù)，為數(shù)據(jù)分類、查詢和透視分析帶來了可能，從而使得大數(shù)據(jù)技術(shù)成為信息技術(shù)發(fā)展到一定階段后再次產(chǎn)生質(zhì)的飛躍的必然產(chǎn)物。

1.2 高校學(xué)生活動中的大數(shù)據(jù)

高等學(xué)校是一個(gè)人員非常密集的生活教育場所，校內(nèi)學(xué)生是信息技術(shù)的天然受眾，學(xué)生的出行、購物、飲食起居、生活娛樂、接受教育等過程中，各種數(shù)據(jù)終端的使用和各種系統(tǒng)的應(yīng)用，會在無形中產(chǎn)生巨大的數(shù)據(jù)量。如果對這些數(shù)據(jù)加以運(yùn)用，可以更好地改善學(xué)生生活服務(wù)質(zhì)量，提升服務(wù)水平。

（1）高校原始基本數(shù)據(jù)的產(chǎn)生。主要是指學(xué)生和學(xué)校原始基本數(shù)據(jù)的錄入，如每年的“高等學(xué)校數(shù)據(jù)平臺”和“高等學(xué)校基層統(tǒng)計(jì)報(bào)表”中學(xué)校相關(guān)數(shù)據(jù)的全方位輸入、學(xué)校固定資產(chǎn)管理系統(tǒng)中資產(chǎn)增加或淘汰后的信息更新、高校實(shí)驗(yàn)室信息管理系統(tǒng)中實(shí)驗(yàn)實(shí)訓(xùn)設(shè)備數(shù)據(jù)的更新以及每年新生入學(xué)后所有新生基本數(shù)據(jù)的導(dǎo)入。

（2）應(yīng)用系統(tǒng)中數(shù)據(jù)的產(chǎn)生。目前學(xué)校使用的各種信息化系統(tǒng)主要有進(jìn)出校門的門禁系統(tǒng)、平時(shí)服務(wù)的校園一卡通系統(tǒng)、教學(xué)管理方面的教務(wù)管理系統(tǒng)和學(xué)工管理系統(tǒng)、學(xué)生學(xué)費(fèi)管理方面的財(cái)務(wù)管理系統(tǒng)、圖書借閱方面的圖書管理系統(tǒng)、行政辦公方面的OA辦公系統(tǒng)、學(xué)生聯(lián)系方面的校迅通、固定資產(chǎn)管理方面的資產(chǎn)設(shè)備管理系統(tǒng)，另外還有校園BBS和百度貼吧中的各種文本內(nèi)容和視頻監(jiān)控系統(tǒng)中的各種數(shù)據(jù)。以上一系列信息設(shè)備的使用，不僅僅方便了高校管理，而且在系統(tǒng)使用過程中產(chǎn)生出大量的中間數(shù)據(jù)，這些來源廣泛的數(shù)據(jù)，其類型呈現(xiàn)多樣化的形式，有結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和視頻、音頻、圖形等非結(jié)構(gòu)化的數(shù)據(jù)。這些中間數(shù)據(jù)和互聯(lián)網(wǎng)上相關(guān)的學(xué)生活動數(shù)據(jù)整合起來，和基礎(chǔ)數(shù)據(jù)一起進(jìn)行過濾、清洗與整合，共同組成能反映學(xué)生各方面生活學(xué)習(xí)細(xì)節(jié)的原始大數(shù)據(jù)。

2 學(xué)生助學(xué)金評比中涉及的相關(guān)數(shù)據(jù)

通過與學(xué)生資助管理部門工作人員、高校中各系分管學(xué)生工作人員和輔導(dǎo)員溝通交流，他們一致認(rèn)為學(xué)生助學(xué)金和學(xué)生獎學(xué)金是有很大區(qū)別的，它存在的目的為資助家庭經(jīng)濟(jì)困難學(xué)生完成學(xué)業(yè)，因此評比標(biāo)準(zhǔn)中最重要的一條就是學(xué)生家庭經(jīng)濟(jì)情況。大數(shù)據(jù)技術(shù)使用的最終目的是如何真實(shí)反映學(xué)生家庭經(jīng)濟(jì)情況，數(shù)據(jù)的采集和整理可從以下幾方面考慮。

（1）學(xué)生學(xué)籍檔案中體現(xiàn)出的各種數(shù)據(jù)，如家庭年收入情況、父母居住地為農(nóng)村或城市、是否為單親或離異家庭、父母工作單位、主要社會關(guān)系、學(xué)生健康狀況等各種數(shù)據(jù)，這些信息可以作為評定學(xué)生助學(xué)金的一個(gè)重要參考，但由于助學(xué)金評定范圍廣、參與學(xué)生多，對一些家庭經(jīng)濟(jì)情況不太明顯的學(xué)生，參考價(jià)值就不是太大。

（2）學(xué)生校內(nèi)外兼職數(shù)據(jù)。這個(gè)數(shù)據(jù)主要涉及兩方面，一方面是兼職遲早問題，也就是大一就開始兼職，還是大二或大三才開始兼職，兼職越早從理論上來說，家庭經(jīng)濟(jì)情況可能更差；另一方面是兼職時(shí)間問題，每周多少小時(shí)，時(shí)間越長、權(quán)重越高，有的學(xué)生可能有幾份兼職；最后是兼職地點(diǎn)問題，校外兼職還是校內(nèi)兼職。

（3）學(xué)生在校內(nèi)餐廳、小賣部等處刷卡消費(fèi)數(shù)據(jù)。這個(gè)是學(xué)生助學(xué)金發(fā)放依據(jù)的主要數(shù)據(jù)，最能說明問題，由以下幾點(diǎn)組成：①刷卡頻次問題，因?yàn)閷W(xué)校餐廳的就餐費(fèi)用相對來說比較低，所以頻次太低的同學(xué)雖然每月刷卡金額總數(shù)少，但不能說明家庭經(jīng)濟(jì)情況差，頻次太高的同學(xué)說明家庭經(jīng)濟(jì)情況相對較好，所以經(jīng)過認(rèn)真核對之后，把每月刷卡頻次大于平均頻次1/3的同學(xué)數(shù)據(jù)提取，其他淘汰；②刷卡金額問題，家庭經(jīng)濟(jì)情況不好的同學(xué)刷卡頻次一般，就餐時(shí)可能以主食為主，中高價(jià)菜肴和小賣部較貴物品購買較少，每月平均單次刷卡金額一定不會太高；③刷卡時(shí)間問題，因涉及學(xué)生服務(wù)和利益因素，學(xué)生食堂開放時(shí)段很長，對單個(gè)學(xué)生來說如果長期刷卡時(shí)間和正常上課時(shí)間重復(fù)，說明該生學(xué)習(xí)態(tài)度和學(xué)習(xí)積極性有問題。

3 大數(shù)據(jù)技術(shù)的使用和解決方案

3.1 技術(shù)分析和工具的使用

由上文的大數(shù)據(jù)技術(shù)應(yīng)用和學(xué)生助學(xué)金評定中大數(shù)據(jù)的產(chǎn)生可以看出，技術(shù)上問題的解決實(shí)際就是對產(chǎn)生的大數(shù)據(jù)進(jìn)行恰當(dāng)?shù)牟杉?、合理的分類存儲并最終正確計(jì)算分析的過程[3]。這個(gè)過程中涉及兩個(gè)技術(shù)問題：一個(gè)是數(shù)據(jù)的分類存儲過程中需要將原來的數(shù)據(jù)導(dǎo)入能夠進(jìn)行大數(shù)據(jù)技術(shù)應(yīng)用的相關(guān)數(shù)據(jù)庫中，如Hadoop++、HBase、HadoopDB、Hive等；另一個(gè)是導(dǎo)入過程和計(jì)算分析過程需要用到的工具，如OCTAVE、SCILAB、R軟件等[4]。經(jīng)過對數(shù)據(jù)庫規(guī)模、計(jì)算速度、適用性、使用熟練程度等綜合分析，我們決定在數(shù)據(jù)庫方面使用PostgreSQL，在對存儲流進(jìn)行分析和建模后的數(shù)據(jù)挖掘過程中使用可編程統(tǒng)計(jì)分析軟件R，理由有以下幾點(diǎn)：①這兩款軟件都是開源的免費(fèi)軟件，從技術(shù)方面看成本特別低，有利于高校的開發(fā)和使用；②PostgreSQL 是一個(gè)對象—關(guān)系數(shù)據(jù)庫服務(wù)器，涵蓋極其豐富的數(shù)據(jù)類型支持和十幾種平臺支持，具備多版本并行控制系統(tǒng)（MVCC）、子查詢、數(shù)據(jù)完整性檢查等多種特性，雖然在數(shù)據(jù)庫集群方面有所欠缺，但是正好適用于本系統(tǒng)的數(shù)據(jù)存?。虎跼軟件能夠進(jìn)行制圖、計(jì)算和數(shù)據(jù)處理，具備簡潔高效的編程語言、完整的統(tǒng)計(jì)分析、強(qiáng)大的數(shù)組運(yùn)算工具等功能。endprint

3.2 技術(shù)實(shí)現(xiàn)的解決方案

1）相關(guān)數(shù)據(jù)的采集。

（1）學(xué)生檔案中涉及的相關(guān)信息在學(xué)生入學(xué)時(shí)提供的電子檔案基礎(chǔ)上，由學(xué)生工作人員在每年的新生開學(xué)前采集并上傳至學(xué)工管理信息系統(tǒng)，在需要時(shí)首先由系統(tǒng)操作人員根據(jù)關(guān)鍵字對信息進(jìn)行查詢，將符合要求的相關(guān)信息篩選到助學(xué)金評定人員手中，作為評定最先需要依據(jù)的數(shù)據(jù)，一些特殊情況如單親、低保等情況可以不考慮后面數(shù)據(jù)直接評定助學(xué)金。

（2）學(xué)生校外兼職數(shù)據(jù)可以作為一個(gè)重要的參考，由各班班主任和輔導(dǎo)員負(fù)責(zé)采集、匯總并上報(bào)相關(guān)部門，兼職時(shí)間的長短和兼職地點(diǎn)在校內(nèi)或校外這兩大因素對學(xué)生校內(nèi)刷卡頻次和消費(fèi)金額有直接而深遠(yuǎn)的影響。

（3）刷卡消費(fèi)相關(guān)數(shù)據(jù)量大、結(jié)構(gòu)復(fù)雜、技術(shù)要求高，是本次大數(shù)據(jù)技術(shù)應(yīng)用中分析的數(shù)據(jù)，相關(guān)數(shù)據(jù)內(nèi)容存儲于校內(nèi)一卡通服務(wù)器上，存儲方式單一，有利用提取和分析。

2）學(xué)生刷卡消費(fèi)相關(guān)數(shù)據(jù)的提取和存儲。

在一個(gè)時(shí)間節(jié)點(diǎn)上如一學(xué)年結(jié)束后進(jìn)行數(shù)據(jù)采集，用R軟件對數(shù)據(jù)進(jìn)行流分析，把處理完成的數(shù)據(jù)流用關(guān)系型數(shù)據(jù)庫的方法以JSON格式讀入PostgreSQL數(shù)據(jù)庫中。具體的操作過程為：第1步，把R軟件和PostgreSQL數(shù)據(jù)庫以開放數(shù)據(jù)庫連接方式進(jìn)行連接；第2步，在數(shù)據(jù)結(jié)構(gòu)現(xiàn)有狀態(tài)不變的情況下，通過數(shù)據(jù)框添加，插入PostgreSQL數(shù)據(jù)庫內(nèi)臨時(shí)表中；第3步，根據(jù)要求創(chuàng)建一個(gè)新的數(shù)據(jù)庫，通過一個(gè)新編寫的SQL腳本把上一步中臨時(shí)表內(nèi)的數(shù)據(jù)以一定的頻率寫入新的數(shù)據(jù)庫中，最后將臨時(shí)表刪除。數(shù)據(jù)采集工作結(jié)束以后，前2個(gè)步驟根據(jù)程序設(shè)定自動執(zhí)行，步驟3中的SQL腳本一般不定時(shí)，根據(jù)數(shù)據(jù)量手動運(yùn)行。

3）學(xué)生刷卡消費(fèi)數(shù)據(jù)的計(jì)算分析過程。

導(dǎo)入PostgreSQL數(shù)據(jù)庫后就要進(jìn)行數(shù)據(jù)分析，此處主要是指對數(shù)據(jù)進(jìn)行挖掘和統(tǒng)計(jì)。一開始的數(shù)據(jù)分析因?yàn)閿?shù)據(jù)總量相對比較少，我們應(yīng)用硬盤緩存技術(shù)緩解由于內(nèi)存容量低產(chǎn)生的卡和慢問題，將R軟件采用開放數(shù)據(jù)庫連接方式連接到PostgreSQL數(shù)據(jù)庫中，把數(shù)據(jù)移動到R軟件進(jìn)行分析。在以后的操作過程中，如果數(shù)據(jù)量特別大，因?yàn)閿?shù)據(jù)分析的需求通常情況下比較固定，為了降低數(shù)據(jù)遷移的成本，就必須將R軟件代碼用自定義函數(shù)的形式插入PostgreSQL數(shù)據(jù)庫的存儲過程中，在PostgreSQL數(shù)據(jù)庫內(nèi)部對數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析和數(shù)據(jù)挖掘。

經(jīng)過數(shù)據(jù)統(tǒng)計(jì)分析和挖掘后，綜合刷卡頻次、刷卡金額和刷卡時(shí)間對數(shù)據(jù)進(jìn)行計(jì)算，取一個(gè)值α。α計(jì)算方法為每月刷卡總金額/（每月刷卡總次數(shù)-規(guī)定時(shí)間外刷卡次數(shù)），然后排除每月刷卡頻次小于平均頻次1/3的同學(xué)，最后把每月的α加起來，以班級為單位由低到高排名。

4 結(jié)果呈現(xiàn)

經(jīng)過大數(shù)據(jù)提取分析后，最終提交給班主任和學(xué)校資助管理人員3張表，優(yōu)先級別分別為表1、表2和表3。

（1）表1是學(xué)生家庭情況表，分為三星、二星、一星3種情況：三星為嚴(yán)重情況，如家庭為單親或離異家庭、家中直接親屬有重大疾病、家住農(nóng)村為低保戶等，可以不考慮后2張表優(yōu)先評定；二星為一般情況，如家庭經(jīng)濟(jì)收入較低等，在參考表3的情況下做到優(yōu)先評定；一星為普通情況，也有可能家庭收入較低但在表上沒有體現(xiàn)出來。

（2）表2是學(xué)生兼職情況表，以班為單位，有本班學(xué)生姓名、兼職地點(diǎn)、兼職開始時(shí)間、每月兼職時(shí)長等相關(guān)信息，評定人員根據(jù)相關(guān)信息進(jìn)行評定。

（3）表3是學(xué)生消費(fèi)數(shù)據(jù)統(tǒng)計(jì)匯總表，由于表中涉及的數(shù)據(jù)龐雜，呈現(xiàn)給學(xué)生助學(xué)金評定人員的有兩部分內(nèi)容：一部分是每月刷卡頻次大于等于平均頻次1/3的同學(xué)，把每月的α加起來，每名學(xué)生一個(gè)數(shù)值，由低到高排名；另一部分是每月刷卡頻次小于平均頻次1/3的同學(xué)，也把每月的α加起來并排名。

各班班主任（輔導(dǎo)員）和學(xué)生資助管理人員根據(jù)3張表的優(yōu)先級和表的內(nèi)容，將其作為評定助學(xué)金時(shí)一個(gè)重要依據(jù)。另外一個(gè)值得注意的重要問題就是表中內(nèi)容涉及學(xué)生個(gè)人隱私，根據(jù)相關(guān)法律不能在公開場合泄露，希望相關(guān)人員高度重視。

5 結(jié) 語

學(xué)生助學(xué)金的評比是一個(gè)多維度、復(fù)雜的過程，除了家庭經(jīng)濟(jì)情況外，還要參考學(xué)生學(xué)習(xí)狀況、遵守校規(guī)校紀(jì)情況等。大數(shù)據(jù)技術(shù)的應(yīng)用可以給評定過程提供一些重要依據(jù)和有意義的參考，但技術(shù)的發(fā)展和完善是一個(gè)長期的過程，文中提到的技術(shù)有局限性，整合的數(shù)據(jù)也有片面性，希望高校的教育工作者能夠不忘初心，秉持崇高理想，充分運(yùn)用自己的管理技巧使學(xué)生助學(xué)金評定更加客觀、公正、合理。

參考文獻(xiàn)：

[1] 趙國棟， 易歡歡， 糜萬軍， 等. 大數(shù)據(jù)時(shí)代的歷史機(jī)遇[M]. 北京： 清華大學(xué)出版社， 2013： 13.

[2] 黃恒軍， 漆威. 海量半結(jié)構(gòu)化數(shù)據(jù)采集存儲及分析[J]. 統(tǒng)計(jì)研究， 2014（5）： 10-16.

[3] 陳吉榮， 樂嘉錦. 基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)解決方案綜述 [J]. 計(jì)算機(jī)工程與科學(xué)， 2013（10）： 25-34.

[4] 張德剛， 張德海， 吳毅， 等. 面向大數(shù)據(jù)分析的企業(yè)信息化解決方案研究[J]. 電力信息通信技術(shù)， 2014（9）： 11-14.

（編輯：宋文婷）endprint