“數(shù)據(jù)科學(xué)應(yīng)用技術(shù)”專輯導(dǎo)讀

2017年6月，第十一屆夏季達沃斯論壇以“第四次工業(yè)革命將帶來什么？”為主題，探討了如何以創(chuàng)新引領(lǐng)經(jīng)濟轉(zhuǎn)型升級．在全球經(jīng)濟漫長的低迷中，全球經(jīng)濟新動能正在孕育，亮點頻現(xiàn)：以數(shù)字化、網(wǎng)絡(luò)化和機器自組織為標(biāo)志的第四次工業(yè)革命正蓬勃興起，大數(shù)據(jù)無疑已成為新一輪科技和工業(yè)革命的基礎(chǔ)性資源．作為戰(zhàn)略資源的大數(shù)據(jù)已成為社會生產(chǎn)的新要素，正在深刻變革我們的科技、產(chǎn)業(yè)和管理，為引領(lǐng)經(jīng)濟和社會新常態(tài)提供了強力的支撐．當(dāng)前，各種智能終端和移動互聯(lián)網(wǎng)蓬勃發(fā)展，各種各樣的數(shù)據(jù)呈爆炸式增長，致使數(shù)據(jù)的采集、傳輸和存儲都發(fā)生了翻天覆地的變化．這種變化使得科學(xué)研究在經(jīng)歷了實驗科學(xué)、理論科學(xué)和計算科學(xué)之后，步入了數(shù)據(jù)密集型科學(xué)時代．在這種背景下，數(shù)據(jù)科學(xué)作為新興的交叉學(xué)科油然而生．?dāng)?shù)據(jù)科學(xué)交叉學(xué)科旨在運用統(tǒng)計、數(shù)據(jù)挖掘和機器學(xué)習(xí)的方法，快速、準確地獲取大數(shù)據(jù)中的有價值信息，實現(xiàn)深度理解、敏銳發(fā)現(xiàn)與精準決策．因此，數(shù)據(jù)科學(xué)學(xué)科的發(fā)展是第四次工業(yè)革命的先進生產(chǎn)力之一．

數(shù)據(jù)采集、數(shù)據(jù)存儲計算能力和提取數(shù)據(jù)價值的能力是大數(shù)據(jù)應(yīng)用的三大要素，也是數(shù)據(jù)科學(xué)這門學(xué)科的研究對象．因此，數(shù)據(jù)科學(xué)是涉及數(shù)據(jù)的全生命周期，包括數(shù)據(jù)采集、分析管理和可視化．它在各行各業(yè)中有著廣泛的應(yīng)用，包括電子商務(wù)、金融、醫(yī)療、生物技術(shù)、教育、旅游、交通和農(nóng)業(yè)等．無論是工業(yè)界還是學(xué)術(shù)界，越來越多的國內(nèi)外專家和學(xué)者已經(jīng)意識到數(shù)據(jù)科學(xué)技術(shù)的研究和應(yīng)用是推動和引領(lǐng)經(jīng)濟和社會新常態(tài)的關(guān)鍵因素，他們相繼開展了大量的相關(guān)研究，也取得了許多有價值的研究成果，但依然存在很多問題亟待解決．

正是在這樣的大背景下，2016年9月，華東師范大學(xué)數(shù)據(jù)科學(xué)與工程學(xué)院（以下簡稱數(shù)據(jù)學(xué)院）宣布成立．其前身可追溯到2012年下半年成立的“華東師范大學(xué)云計算和大數(shù)據(jù)研究中心”，該中心的基本思路是為了踐行“協(xié)同創(chuàng)新”這一重要理念；隨后，為集聚華東師范大學(xué)與大數(shù)據(jù)相關(guān)的學(xué)科優(yōu)勢，推進學(xué)校的“學(xué)科交叉”戰(zhàn)略，支持學(xué)校優(yōu)勢學(xué)科的發(fā)展，2013年9月成立了華東師范大學(xué)數(shù)據(jù)科學(xué)與工程研究院，成為全國高校第一個大數(shù)據(jù)研究院．認真梳理在3年實踐中的學(xué)習(xí)、認識和體會之后，加上Info Sys為數(shù)據(jù)學(xué)院成立專門進行了捐贈，2016年9月華東師范大學(xué)正式批準成立數(shù)據(jù)學(xué)院．2017年3月17日，教育部公布2016年度普通高等學(xué)校本科專業(yè)備案和審批結(jié)果，數(shù)據(jù)學(xué)院獲批新增數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)（專業(yè)代碼：080910T）專業(yè)．學(xué)院依托本校軟件工程、計算機技術(shù)、教育學(xué)、人口學(xué)、地球科學(xué)等方面的獨特優(yōu)勢，瞄準國際前沿領(lǐng)域，對接國家重大需求，培養(yǎng)新型復(fù)合型工科人才，研發(fā)具有中國特色的大數(shù)據(jù)技術(shù)和應(yīng)用系統(tǒng)．

數(shù)據(jù)學(xué)院順應(yīng)應(yīng)用驅(qū)動創(chuàng)新、開放成就創(chuàng)新的潮流，立足應(yīng)用，順應(yīng)潮流，穩(wěn)步推進學(xué)科交叉，漸漸形成了可持續(xù)的創(chuàng)新生態(tài)．當(dāng)前，數(shù)據(jù)學(xué)院聯(lián)合西北工業(yè)大學(xué)、中國人民大學(xué)、交通銀行共同承擔(dān)了國家863課題“基于內(nèi)存計算的數(shù)據(jù)管理系統(tǒng)研究與開發(fā)”；與合肥工業(yè)大學(xué)、中國科學(xué)技術(shù)大學(xué)和西安交通大學(xué)等單位一起聯(lián)合攻關(guān)國家重點研發(fā)計劃項目“大數(shù)據(jù)知識工程基礎(chǔ)理論及其應(yīng)用研究”；與中國人民大學(xué)和東北大學(xué)共同承擔(dān)了國家自然科學(xué)基金重點項目“面向物聯(lián)網(wǎng)搜索的隱私保護理論和關(guān)鍵技術(shù)”；與中國人民大學(xué)和中科院計算所共同承擔(dān)了國家自然科學(xué)基金重點項目“大數(shù)據(jù)管理系統(tǒng)評測基準的理論與方法”；與東北大學(xué)和中山大學(xué)共同承擔(dān)了國家自然科學(xué)基金重點項目“基于超云平臺的社會化移動網(wǎng)絡(luò)大數(shù)據(jù)管理與分析關(guān)鍵技術(shù)研究”；在校企合作方面，學(xué)院與歐冶云商成立了“華師大-歐冶產(chǎn)業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)與區(qū)塊鏈實驗室”；學(xué)院聯(lián)合中國人民大學(xué)和印孚瑟斯成立了“數(shù)據(jù)科學(xué)聯(lián)合實驗室”；與珍島信息技術(shù)有限公司成立了“智慧營銷聯(lián)合實驗室”．在這些科研項目的支持下，經(jīng)過多年研發(fā)，沉淀了一批研究結(jié)果，為了更好地總結(jié)成果，同時促進國內(nèi)相關(guān)研發(fā)人員的交流，特此組織《華東師范大學(xué)學(xué)報（自然科學(xué)版）》“數(shù)據(jù)科學(xué)應(yīng)用技術(shù)”專輯．專輯采用邀稿和征稿相結(jié)合的方式組織稿件，所有收到的稿件通過通訊評審，最終確定錄用稿件20篇，分為數(shù)據(jù)管理、大數(shù)據(jù)分析、用戶行為分析、位置服務(wù)和應(yīng)用系統(tǒng)等5個專欄．

數(shù)據(jù)管理專欄共收錄了5篇論文，這些工作主要探討了各類不同數(shù)據(jù)管理系統(tǒng)中連接算子優(yōu)化、負載均衡和列存儲等問題．在連接算法優(yōu)化方面，徐石磊等人分析了Ocean Base中嵌套循環(huán)連接、哈希連接、半連接等算子執(zhí)行的優(yōu)缺點，充分利用并行優(yōu)化思想對Ocean-Base數(shù)據(jù)庫中的嵌套循環(huán)連接、哈希連接、半連接等算子進行了改造；陳明珠等人考慮到分布式數(shù)據(jù)流管理系統(tǒng)面臨的數(shù)據(jù)傾斜、無邊界與不可預(yù)知性，在Storm系統(tǒng)中設(shè)計并實現(xiàn)了Join-Matrix的連接算子，使得該算子具備良好的通用性；張敬偉等人總結(jié)了評論數(shù)據(jù)分析與應(yīng)用的特征，設(shè)計了基于同構(gòu)Redis集群環(huán)境的數(shù)據(jù)平衡存儲模型，以“負載與訪問性能相平衡”為原則，充分挖掘異構(gòu)Redis集群中節(jié)點的性能差異，提高了集群的整體查詢效率；張晗等人提出了支持列存儲數(shù)據(jù)管理系統(tǒng)的一種新物化策略，基于該策略在分布式數(shù)據(jù)管理系統(tǒng)CLAIMS上設(shè)計并實現(xiàn)了列存儲引擎；于洋等人基于布谷鳥過濾器在分布式系統(tǒng)Ginkgo上設(shè)計并實現(xiàn)了分布式外連接算法，通過布谷鳥過濾器對數(shù)據(jù)進行篩選和分配的同時，提高執(zhí)行的并行度，使得查詢性能得到大幅提升．

大數(shù)據(jù)分析是大數(shù)據(jù)價值發(fā)現(xiàn)的關(guān)鍵，也是輔助決策的基礎(chǔ)，該欄目共錄用了4篇論文，專注于介紹大數(shù)據(jù)價值發(fā)現(xiàn)的技術(shù)綜述和相關(guān)分析技術(shù)的最新研究成果．郁可人等人介紹了基于神經(jīng)網(wǎng)絡(luò)的分布式詞向量構(gòu)建方法、優(yōu)化方法及訓(xùn)練方法；金麗嬌等人從語義表示和語義匹配角度梳理總結(jié)了基于卷積神經(jīng)網(wǎng)絡(luò)的自動問答系統(tǒng)技術(shù)；肖垚等人驗證了真實在線廣告平臺上點擊率預(yù)測的最佳方案；田秀霞等人通過有效融合門限密鑰共享方案和Laplace噪音干擾算法提出了一種實現(xiàn)電力公司分時電價計費的同時保護用戶隱私的方法．

用戶行為分析主要應(yīng)用于精準營銷、客戶流失發(fā)現(xiàn)和異常檢測等問題，該欄目共有5篇論文．陳雷慧等人對當(dāng)前熱門的跨領(lǐng)域推薦技術(shù)進行了系統(tǒng)的總結(jié)和梳理；袁培森等人實現(xiàn)了多個搜索引擎食品安全信息查詢相關(guān)的結(jié)果集成，而且能夠根據(jù)用戶的偏好實現(xiàn)結(jié)果的個性化排序；潘松松等人使用隨機森林方法分病種進行特征選擇，隨后通過基于CBLOF的方法以及改進的CBLOF方法檢測醫(yī)療欺詐行為；王珊蕾等人以用戶偏好和隱變量的特定含義為約束，提出了一種基于貝葉斯網(wǎng)絡(luò)的用戶偏好生成方法；周蘭鳳等人綜合考慮用戶主觀評分和商品客觀評分，提出了一種結(jié)合情境預(yù)過濾、社會網(wǎng)絡(luò)理論以及專家意見的混合協(xié)同過濾推薦方法．

位置服務(wù)是智慧城市、社交網(wǎng)絡(luò)和應(yīng)急救災(zāi)等問題的核心技術(shù)，該欄目共錄用4篇論文．王婧等人形式化定義了基于正則表達式的限制性路徑規(guī)劃問題并設(shè)計了通用的解決框架，基于該框架提出了路徑規(guī)劃算法BCRP和優(yōu)化的路徑規(guī)劃算法ICRP；楊姿等人提出了一種基于k-泛化的個人時空數(shù)據(jù)隱私保護方法，該方法不僅提高了數(shù)據(jù)可用性，而且增強了數(shù)據(jù)安全性能；吳濤等人提出了一種基于實時路況的兩階段載客熱門區(qū)域?qū)崟r推薦算法；王藝霖等人提出了一種基于時空近鄰性的站點恢復(fù)算法和基于歷史數(shù)據(jù)的刷卡站點恢復(fù)方法．

應(yīng)用系統(tǒng)是大數(shù)據(jù)應(yīng)用的接口，該欄目共有2篇論文，分別介紹了我校新版研究生系統(tǒng)開發(fā)的成果．李彥斌等人介紹了基于開源框架的新一代研究生信息系統(tǒng)的設(shè)計及實現(xiàn)細節(jié)；史兵等人介紹了基于日志收集與分析的運維系統(tǒng)的設(shè)計方案及基于交互式儀表盤的運維實現(xiàn)．

專家和學(xué)者從不同的角度，對各自正在研發(fā)的數(shù)據(jù)科學(xué)應(yīng)用相關(guān)領(lǐng)域的核心技術(shù)、系統(tǒng)架構(gòu)和最新研究進展等進行了介紹，對數(shù)據(jù)科學(xué)應(yīng)用技術(shù)的難點和挑戰(zhàn)及發(fā)展趨勢進行了分析和展望．

最后在專輯出版之際，謹在此衷心感謝提供優(yōu)質(zhì)稿件的各位作者和參與稿件評審的各位專家學(xué)者，特別感謝華東師范大學(xué)學(xué)報編輯部自然科學(xué)版各位老師的辛勤工作和大力支持，正是他們冒著酷暑不辭辛苦地加班才讓本專輯得以順利出版．希望本專輯為大數(shù)據(jù)應(yīng)用技術(shù)的研發(fā)提供一個窗口，并推動相關(guān)領(lǐng)域的研究進展和應(yīng)用實施．