劉紅梅，鄧嘉明

(嘉應學院，廣東 梅州 514015)

一、引言

隨著大學英語教學應用軟件應用服務建設的不斷深入，面向師生的應用服務層出不窮，學校現有應用系統(tǒng)和部分服務器均在幾年前完成，軟件和硬件已無法滿足學校發(fā)展的需要，隨著技術發(fā)展及校園應用規(guī)模的越來越大，傳統(tǒng)校園應用軟件基礎架構設計也存在不少問題，難以持續(xù)性的進行擴展，給學校信息化進一步發(fā)展帶來極大的困擾。本文主要通過建立一種基于Hadoop 數據總線的數字化大學英語教學應用平臺，通過應用開放服務模式，高效地推廣與使用校園應用服務，探索一種師生共同參與數字化校園建設的新模式［1］。通過搭建大學英語教學應用平臺，建設統(tǒng)一的應用業(yè)務平臺、統(tǒng)一的基礎支撐體系，集中承載業(yè)務應用系統(tǒng)，同時面向用戶服務;實現統(tǒng)一管理、統(tǒng)一運維、統(tǒng)一支撐、統(tǒng)一標準，建立健全一套信息化協(xié)調發(fā)展的運行機制，創(chuàng)新業(yè)務應用模式和管理機制，提升校園應用服務提高和運行維護的專業(yè)化水平。

二、大學英語教學應用APP 教學優(yōu)勢

1.大學英語教學手機應用軟件普及。

2.粵教云平臺的建設為大學英語教學提供良好平臺。

三、區(qū)域教育云平臺環(huán)境下大學英語教學應用建設思路

(一)基于SaaS 的應用開放平臺布局

基于各高校已經建立數字化校園的基礎應用，基本完成三大平臺建設，包括統(tǒng)一數據中心、統(tǒng)一身份認證平臺和統(tǒng)一門戶。通過應用開放平臺方式可以實現從數字化校園的傳統(tǒng)應用模式向中小學英語教學應用平臺服務模式轉變，改變以往的由信息網絡中心或者數字化校園建設小組統(tǒng)一開發(fā)，到各部門、院系、甚至學生用戶、第三方開發(fā)者共同開發(fā)的第三方應用與大學英語教學應用平臺的結構布局。SaaS 應用開放平臺布局是將大學英語教學應用平臺建設成一個軟件集散平臺、一個軟件服務平臺［2］。一個可以對開發(fā)者和作品進行認證的體系結構;一個可以讓開發(fā)者上傳作品，并展示這些作品的平臺;一套向用戶推薦各種用戶可能喜歡的作品的機制;一個用戶購買軟件時所需的計費和支付體系;一個供用戶查找所需功能應用的搜索引擎;一些供開發(fā)者參考相關運用數據的接口［3］。通過分析學校已有校園應用的界面設計特點，通過數據總線接口做到應用中心與已有應用系統(tǒng)的基本協(xié)調與統(tǒng)一，通過整合數字化校園資源，以SaaS 應用開放平臺布局搭建中小學英語教學應用平臺。

(二)基于數據總線的數據集成模式

傳統(tǒng)的校園應用必須每個應用建立相應的數據庫，而在數據應用開放中，通用數據可以由各個應用共同建立。基于數據總線的數據挖掘模式，在制定統(tǒng)一數據標準的基礎上，構建數據集成平臺，保證業(yè)務系統(tǒng)之間能夠通過該平臺實現數據共享與集成。數據集成平臺是大學英語教學應用平臺的重要組成部分，是整個系統(tǒng)的信息傳輸、信息交換總線。通過數據集成平臺將各APP 數據庫中需交換的數據自動上傳到數據集成中心庫中，并按各APP 的數據需求將數據集成中心庫的數據分發(fā)，從而實現數據的統(tǒng)一集成和標準化，為提供數據的綜合查詢、統(tǒng)計分析奠定數據基礎［4］。為滿足海量數據的分布式計算和處理需求，采用基于無共享集群架構的并行化數據處理方式完成海量數據的組織、檢索、傳輸等工作，提高業(yè)務效率［5］。同時，建立標準統(tǒng)一的開發(fā)平臺向編程人員屏蔽底層分布式計算細節(jié)，提高業(yè)務實現效率。

(三)基于分布式計算的數據存儲模式

為了使用數據總線集成模式更好的針對海量數據的智能分析和深度挖掘應用，大學英語教學應用平臺將在建立分布式計算的數據倉庫。數據倉庫是建立在Hadoop 上的數據倉庫基礎構架，通過數據提取轉化加載(ETL)，實現一種可以存儲、查詢和分析存儲在Hadoop 中的大規(guī)模數據的機制，并提供完整的SQL 查詢功能，可以將SQL 語句轉換為MapReduce 任務進行運行［6］。大學英語教學應用平臺通過分布式處理技術可以將大量服務器計算存儲節(jié)點整合成為一個統(tǒng)一的數據存儲、處理集群，為海量音視頻、圖像、互聯網等大數據的處理提供超大的計算能力和海量的存儲空間，實現傳統(tǒng)方法無法實現的數據存儲和邏輯運算，在基于分布式計算的數據存儲模式基礎上開發(fā)和運行處理海量數據的應用程序，完成校園應用開放開發(fā)。

四、基于Hadoop 數據總線的大學英語教學應用平臺架構

(一)大學英語教學應用平臺整體架構

大學英語教學應用平臺總體架構分為三層，包括APP 層、分布式數據總線層和硬件層。校園應用中心的核心是APP 層。APP 層是各種應用的功能服務體現和訪問入口。APP 層通過建設開放式APP 應用平臺，第三方開發(fā)者可以根據平臺接口，自行開發(fā)平臺上傳至應用中心，并運行在整體架構上。數據總線層是基于Hadoop 的分布式數據協(xié)作平臺，平臺所有數據以總線形式集成，為平臺上層應用提供數據分布式存儲和分布式數據管理，完成數據挖掘等應用所需功能。硬件層包括服務器和存儲，通過虛擬化操作系統(tǒng)與數據總線層相連。

圖1 大學英語教學應用平臺整體架構

(二)大學英語教學應用平臺服務框架

大學英語教學應用平臺整個服務框架由用戶平臺(各教職工、學生用戶平臺)、開發(fā)者平臺(各部門、院系、甚至學生用戶、第三方開發(fā)者平臺)及應開放平臺管理中心三個部分組成。

用戶平臺通過注冊、訂閱、購買形式使用平臺中的APP，在統(tǒng)一的應用開放平臺中，獲取各種格式的APP，包括手機、平板和WEB 端，并實現不同的操作系統(tǒng)，包括IOS、android 等，通過訂閱、購買來構建應用列表，實現應用的個性化定制與快速訪問。

開發(fā)者平臺是開發(fā)者建立新應用的平臺。應用功能可以由部門、院系、甚至學生用戶發(fā)起，可以是一些簡單的WEB 集成應用，通過開放平臺的組件即可完成;也可以由第三方開發(fā)者完成，可以由計算機學院組織學生按照組件方式進行開發(fā)。開放平臺通過數據總線模式完成，每一個組件都可以建立成工具形式進行共享［7］。

開放平臺管理中心是所有應用的管理中心，包括三方面功能。一是用戶訂閱、購買、下載管理，作為整個開放平臺的運營機構，直接對用戶負責。二是開發(fā)者軟件管理，包括應用的注冊、組件使用、版本維護等。三是數據管理，包括數據接口、數據計算、數據存儲和數據的安全性維護。管理中心肩負著整個平臺的運維職責，對各種用戶負責。管理中心還需要提供數據挖掘任務，包括用戶興趣數據挖掘，對校園應用中哪些數據是學生感興趣的，哪些數據是校領導關注的，進行數據挖掘，定期提供各種關鍵數據的組件，以推動軟件更新，通過興趣驅動使數字化校園的應用更加完善。

五、大學英語教學應用平臺Hadoop 數據總線核心技術開發(fā)與探索

(一)HDFS 分布式文件系統(tǒng)

大學英語教學應用平臺的文件存儲系統(tǒng)采用分布式文件系統(tǒng)，通過建立一個高度容錯性的系統(tǒng)。和以往的整體部署思路不同，分布式部署適合部署在相對性能要求較低的服務器上，通過提供高吞吐量的數據訪問，來完成大規(guī)模數據集上的應用［8］。分布式文件系統(tǒng)特點主要包括:使用低成本存儲和服務器構建，能夠存放PB 以上級數據;高可擴展性，實際生產環(huán)境可擴展至4000 個節(jié)點;高可靠性和容錯性，數據自動復制，可自我修復;高帶寬，支持高并發(fā)I/O 訪問。

大學英語教學應用平臺的分布式文件系統(tǒng)HDFS 運行在使用通用服務器構建的大規(guī)模集群之上，采用鍵值對(key/value)模型進行數據存儲。整個HDFS 系統(tǒng)采用元數據集中管理、數據塊分布存儲的架構，包括一個主服務器和多個塊服務器，支持多個客戶端訪問。大規(guī)模數據被分割成固定大小的塊(64 MB 或128 MB)，塊服務器將塊以文件形式保存至硬盤，并根據塊句柄和字節(jié)范圍讀寫數據。為了實現容錯以確?？煽啃?，每個塊被缺省的復制3 個備份。主服務器采用B+樹管理文件系統(tǒng)的名字空間、文件映射、塊物理位置等元數據。此外，HDFS 的設計充分考慮了互聯網應用負載和環(huán)境特征，通過服務端與客戶端的聯合設計，使性能和可用性達到最優(yōu)，實現四個方面的功能，包括:考慮到節(jié)點的失效問題，以軟件方式實現系統(tǒng)故障恢復;采用特殊的文件系統(tǒng)參數，文件大小以GB 計并支持大量小文件;適應應用特征，增加追加寫文件操作以優(yōu)化磁盤順序讀寫速度;部分文件操作不再透明，由應用程序完成。

圖2 HDFS 分布式文件系統(tǒng)

(二)基于MapReduce 計算框架的數據總線計算框架

為滿足對海量數據的智能分析和深度挖掘需求，大學英語教學應用平臺采用Hadoop MapReduce并行計算框架對各類結構化、非結構化數據進行離線分析［9］。Hadoop 是一個利用key/value 數據并行性進行分布運算而后匯總結果的計算框架，適合作用于具有可劃分屬性(時間、空間等)的數據集合的，利于線性擴展;采用數據本地化處理優(yōu)化，通過移動計算，而非移動數據來實現高效數據處理;同時，Hadoop 通過與HDFS 配合使用和容錯設計，具有高可靠性。

為了簡化集群環(huán)境下的并行編程負擔，大學英語教學應用平臺使用Hadoop 技術，實現MapReduce編程模型，使得程序員只需關注應用處理邏輯，而由運行環(huán)境負責集群應用的任務調度、數據通信、可靠性和可伸縮性保障等底層處理細節(jié)。計算框架中，通過MapReduce 把數據處理過程分解為Map階段和Reduce 階段兩個階段，編寫map 和reduce方法即實現對海量數據的并行處理。map 方法處理key/value 鍵值對數據生成一系列key/value 中間結果，reduce 方法合并具有相同鍵值的中間結果得到最終結果。MapReduce 的執(zhí)行過程，首先對數據進行分塊并分配給多個Map 任務執(zhí)行map 方法，然后根據某種規(guī)則對中間結果進行劃分(partition)并寫入本地硬盤;Map 階段完成后進入Reduce 階段，具有相同key 值的中間結果被從多個Map 任務節(jié)點收集(shuffle)到Reduce 節(jié)點進行合并排序(sort)，并執(zhí)行reduce 方法，輸出結果寫入分布式文件系統(tǒng)。

圖3 MapRednce 模型

大學英語教學應用平臺MapReduce 模型為:

Map:k1，v1→＇List(k2，v2)

Reduce:k2，List(v2)→＇list(v2)

其中，Map 方法將key/value 數據［k1，v1］轉換為［k2，v2］，Reduce 方法針對每個k2 的值列表List(v2)做list 操作。此外，MapReduce 模型中還包括partition、combine 和sort 等方法，可根據需要進行定制。

將已有智能分析和挖掘應用MapReduce 化的一般過程為:分析問題并行性，即輸入數據集是否可被切分處理;編寫Map 函數，在第一階段計算＜Key，Value ＞對。Map 方法可以完成選擇、投影等運算;編寫Reduce 函數，在第二階段用于匯總Map 函數的結果，Reduce 方法可以完成表中定義的其他key/value 代數運算。通過MapReduce 模型，完成大學英語教學應用平臺的分布式計算任務。

(三)HBase 分布式數據庫

HBase 是一個分布式的、按列存儲的、多維表結構的實時數據庫，為高速在線數據服務而設計。HBase 的特點主要包括:

采用NoSQL 數據庫結構，面向列存儲、可壓縮，有效降低磁盤I/O，提高利用率;多維表結構，在四個維度中三個維度可變，適合描述復雜嵌套關系;靈活的表結構，可動態(tài)改變和增加(包括行、列和時間戳);支持單行的ACID 事務處理。

基于分布式架構，高性能，支持高速并發(fā)寫入和高并發(fā)查詢;可擴展，數據自動切分和分布，可動態(tài)擴容，無需停機;高可用性，建立在HDFS 分布式文件系統(tǒng)之上［10］。

圖4 HBasewv 分布式數據庫

為了支持互聯網應用的格式化和半格式化數據，可構建了弱一致性要求的大規(guī)模數據庫系統(tǒng)HBase。HBase 數據模型包括行、列以及時間戳，多個行組成一個子表(Tablet)，保存在子表服務器中。為使性能最大程度地適應需求，HBase 體系結構也是基于客戶端和服務器架構設計的(如圖5)。HBase 依賴于集群任務調度器、HDFS 文件系統(tǒng)以及分布式鎖服務ZooKeeper。HBase 使用具有魯棒性的分布式鎖ZooKeeper 來保存根元數據表的指針，客戶端應用首先通過程序庫從ZooKeeper 中獲得根表的位置，然后與主服務器進行元數據通信，進而與子表服務器進行數據通信［11］。HBase 使用一臺服務器作為主服務器管理元數據，并對子表服務器進行監(jiān)控、故障處理和負載調度。

圖5 HBase 體系結構

六、總結

大學英語教學應用平臺并不僅僅是一個軟件的平臺架構，而是一種完善的數字化校園生態(tài)圈。這個生態(tài)圈包含了用于部署應用的那些相對標準的軟件開放平臺，也就是通常所說的電腦操作系統(tǒng)、手機操作系統(tǒng)等，任何一個應用開放平臺環(huán)境都必然有其服務的特定軟件平臺，所有大學英語教學應用平臺中的程序，都基本能夠兼容于這些目標平臺;大學英語教學應用平臺系統(tǒng)，也就是那個應用分發(fā)和銷售的服務體系;一套完善、安全、方便的用戶認證、服務、應用體系;最終用戶，也就是真正通過那些目標平臺來使用應用開放的人，他們通常是使用手機之類的移動設備，到設備相對應的應用開放中查找自己所需要的軟件、服務或特定的功能，并為這些功能支付相應的費用;提供應用開放平臺或通過應用平臺來為用戶提供服務的個人或組織機構;為校園應用開放開發(fā)應用的一個人或很少的幾個人組成團隊就能夠開發(fā)出非常絢麗的軟件;廣告商、運營商等附屬參與者［12］。所有的這一切構成了大學英語教學應用平臺的完整生態(tài)圈，對于推進大學英語教學改革，實現有效教學具有參考價值。

［1］張德時.高校數字化校園建設規(guī)劃科學研究［J］.黑龍江高教研究，2010，196 (8):39-41.

［2］陳明，李猛坤，張強.一種基于擴展MVVM 模式的SaaS面向服務計算模型［J］.微電子學與計算機，2010，27(8):27-31.

［3］潘建新.WLAN 統(tǒng)一接入平臺的研究與實現［J］.實驗室研究與探索，2013，32 (8):76-79.

［4］劉丹陽.高校數據中心數據集成方案設計的方法研究［J］.實驗技術與管理，2011，28(4):256-258.

［5］姜春茂，吳翔虎，段瑩.一個基于消息傳遞接口和面向對象的圖像信號處理并行向量庫［J］.計算機應用研究，2012，29 (12):4560-4563.

［6］謝桂蘭，羅省賢.基于Hadoop MapReduce 模型的應用研究［J］.微型機與應用，2010，8 (8):4-7.

［7］范曉鑫，嚴雋薇，劉敏.基于門戶的Web 集成體系及其適應性技術的研究［J］.計算機應用研究，2007，24(7):208-210.

［8］張春，張金霞.分布式多協(xié)議中間件的架構與實現［J］.計算機工程與設計，2011，32(10):3419-3423.

［9］李成華，張新訪，金海.MapReduce:新型的分布式并行計算編程模型［J］.計算機工程與科學，2011，33(3):129-135.

［10］師明，劉軼，唐歌實.一種面向分布式文件系統(tǒng)的文件預取模型的設計與實現［J］.計算機科學，2014，41(7):30-35.

［11］汪濟洲，劉偉.一種新的具有魯棒性動態(tài)二進制時隙防碰撞算法［J］.計算機工程與科學，2011，33(10):169-173.

［12］龍亞平.基于SoLoMo 的移動商務信息生態(tài)系統(tǒng)的構建研究［J］.電子商務，2013，9(9):55-56.