孫啟昌,常會卿,黃梅英
(中國移動通信集團河南有限公司,鄭州 450008)
彩鈴業(yè)務為近幾年來在移動通信行業(yè)興起的一項音樂回鈴音業(yè)務。
現(xiàn)有一般彩鈴鈴音資源的制作,是由提供鈴音資源的CP(內(nèi)容提供商)負責完成的。CP負責選擇歌曲的高潮部分或者熱門部分進行剪切。長度一般保持在45s以上。由CP按照彩鈴系統(tǒng)鈴音發(fā)布流程完成對該鈴音的上傳,并保存在鈴音資源庫中,供用戶訂購。
彩鈴平臺系統(tǒng)隨著CP不斷地發(fā)布新的鈴音資源,在彩鈴平臺上慢慢地形成了一個規(guī)模龐大的鈴音資源庫,其中可能包含上百萬首的彩鈴鈴音資源,并且會一直不斷的增長。從彩鈴業(yè)務開始向用戶提供以來,每個彩鈴鈴音庫的鈴音數(shù)量已經(jīng)超過130萬首以上,需要的存儲空間達到700 GB以上,并且每月還有十幾到幾十個GB的新增鈴音上線加入。
對于一個彩鈴平臺來說,彩鈴用戶根據(jù)自己的喜好來定制彩鈴音,而彩鈴平臺提供了巨量的彩鈴音資源,這就必然會造成鈴音定制的不均衡,有的鈴音比較流行,喜好的人多,因此訂購的就多,而有的鈴音,從上線到如今幾年中沒有一次的訂購,而且這種零訂購或極低訂購次數(shù)(比如一次兩次)的鈴音資源與訂購上萬次的鈴音可能平等同樣占用多套鈴音庫的存儲資源,這就造成大量的存儲空間及設備處理能力的浪費。
按照上述的彩鈴鈴音庫的部署情況的分析,在彩鈴平臺中鈴音庫的部署占用的巨大的數(shù)據(jù)存儲資源,而且這些設備利用率較低,同時由于每個彩鈴平臺中都建立有一套或多套彩鈴鈴音庫,如何保證各個彩鈴平臺的各種業(yè)務數(shù)據(jù)一致性,保證彩鈴呼叫平臺中實際進行彩鈴播放時的準確性,對于整個彩鈴業(yè)務是極為關(guān)鍵的。
針對上面的分析,本文提出了一種彩鈴平臺鈴音庫的采用云存儲資源分配調(diào)度的方法,通過此方法,使彩鈴系統(tǒng)的所有鈴音庫全部都建設在一套基于云存儲的系統(tǒng)之上,達到多套彩鈴平臺共享一套彩鈴鈴音庫存儲池。
基于私有云存儲的多彩鈴鈴音庫共享系統(tǒng)的工作原理是利用數(shù)據(jù)傳輸專線網(wǎng)絡構(gòu)建私有云存儲系統(tǒng),當彩鈴系統(tǒng)發(fā)布新的彩鈴音媒體文件數(shù)據(jù)時,數(shù)據(jù)通過統(tǒng)一的數(shù)據(jù)流接口存儲到私有云端。通過統(tǒng)一的彩鈴平臺的數(shù)據(jù)接口隨時提供彩鈴業(yè)務管理平臺和彩鈴呼叫平臺使用。
彩鈴私有存儲云系統(tǒng)結(jié)構(gòu)如圖1所示。數(shù)據(jù)存儲設備是云存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備,可以是NAS和 iSCSI等IP存儲設備,也可以是 SCSI或SAS等 DAS存儲設備。存儲設備之上是一個統(tǒng)一存儲設備管理系統(tǒng),可以實現(xiàn)存儲設備的邏輯虛擬化管理、多鏈路冗余管理以及硬件設備的狀態(tài)監(jiān)控和故障維護。
圖1 彩鈴私有存儲云系統(tǒng)結(jié)構(gòu)
基礎管理模塊是云存儲系統(tǒng)管理的核心部分?;A管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計算等技術(shù),實現(xiàn)云存儲中多個存儲設備之間的協(xié)同工作,使多個的存儲設備可以對外提供同一種服務,并提供更大更強更好的數(shù)據(jù)訪問性能。
元數(shù)據(jù)服務模塊是云存儲數(shù)據(jù)訪問核心的部分。元數(shù)據(jù)是描述文件系統(tǒng)中文件屬性和位置信息的數(shù)據(jù),元數(shù)據(jù)管理是并行文件系統(tǒng)的重要組成部分,由于其被操作的頻繁性,元數(shù)據(jù)管理方式對并行文件系統(tǒng)有重要影響。元數(shù)據(jù)服務模塊主要的功能是對元數(shù)據(jù)庫和元數(shù)據(jù)標準進行管理和操作,其主要功能有注冊元數(shù)據(jù)標準,基于元數(shù)據(jù)標準建立元數(shù)據(jù)庫,對元數(shù)據(jù)庫和元數(shù)據(jù)標準的注冊和刪除;注冊和刪除用戶,修改用戶密碼,修改用戶權(quán)限;在元數(shù)據(jù)庫里導入元數(shù)據(jù)標準等。
彩鈴平臺作為存儲云的使用用戶,通過標準的公用應用接口來訪問云存儲系統(tǒng),享受云存儲服務。彩鈴平臺是與文件存儲系統(tǒng)相關(guān)的應用系統(tǒng),彩鈴平臺中的各個應用可以通過POSIX、NFS、CIFS、FTP訪問云存儲系統(tǒng)的文件存儲相關(guān)功能,或通過記錄存儲及檢索API訪問記錄存儲擴展功能。
應用接口模塊為上層彩鈴應用提供POSIX API、FTP、NFS、CIFS以及記錄存儲及檢索API等接口。提供文件系統(tǒng)服務分為:
文件與目錄操作:包括新增文件或目錄、文件或目錄更名、刪除文件或目錄、移動文件或目錄、創(chuàng)建與刪除鏈接以及文件與目錄的統(tǒng)計功能。
文件訪問功能:包括文件的讀取和寫入、文件加鎖與文件截斷功能。
文件與目錄的訪問控制:功能包括更改文件或目錄的訪問權(quán)限、更改文件或目錄的所有者。
另外還要包括:操作維護功能,如數(shù)據(jù)導入、系統(tǒng)管理、用戶管理、服務管理、配額管理、服務等級管理、系統(tǒng)統(tǒng)計與監(jiān)測。同時還包括安全相關(guān)功能,如包括數(shù)據(jù)加密和數(shù)據(jù)隔離等。
將各個彩鈴平臺的鈴音庫從原來的傳統(tǒng)存儲模式下改造為采用基于云存儲的技術(shù)下實現(xiàn)。在彩鈴鈴音庫云中建立一組存儲池用來存儲鈴音實體文件,如前所述,這些文件有的使用頻次高,有的使用頻次低,而對于一定合理性價比的硬件設備來說,可以提供的數(shù)據(jù)吞吐能力或者數(shù)據(jù)存取能力是有一定的限度的,不能無止境的增加,如果整個彩鈴平臺的存取能力需求遠超過這個上限,通常需要配置多套來并行處理來分擔這些存取能負荷。即建立多套的鈴音庫存儲實體的存儲池,如果存儲池中對每個鈴音庫都采取完整全庫的方法則基本上等效于傳統(tǒng)方法下的彩鈴鈴音庫的配置方案,并不能體現(xiàn)云存儲帶來的好處。
本文提供一種彩鈴鈴音庫云的內(nèi)部鈴音部署算法,該算法根據(jù)彩鈴業(yè)務管理平臺和彩鈴呼叫平臺對彩鈴鈴音庫的彩鈴音文件的存取負荷進行計算統(tǒng)計,然后根據(jù)這些存取負荷計算鈴音庫存儲池的文件存儲配置,在按照一定合適的性價比的硬件存儲設備組織彩鈴鈴音庫云。
圖2 彩鈴鈴音庫云內(nèi)部鈴音部署調(diào)度算法
本文的彩鈴鈴音庫云的內(nèi)部鈴音部署調(diào)度算法如圖2所示,以下算法和存儲資源調(diào)度策略的運行由基礎管理模塊和元數(shù)據(jù)服務模塊定期執(zhí)行或認為命令下強制執(zhí)行:
步驟101,在基礎管理模塊中,先計算忙時平均每秒彩鈴鈴音播放負荷:
忙時平均每秒彩鈴鈴音播放負荷(E)= (總用戶數(shù)×忙時集中率×彩鈴平均呼叫時長×彩鈴播放帶寬)÷3 600 。
步驟102,在基礎管理模塊中,統(tǒng)計計算彩鈴系統(tǒng)鈴音庫的鈴音總訂購數(shù)量,需要彩鈴業(yè)務平臺的業(yè)務數(shù)據(jù)庫提供基礎訂購數(shù)據(jù)信息,再由本模塊進行統(tǒng)計計算。即鈴音總訂購數(shù)量=∑Ki(i=1…n)(Ki:某鈴音訂購次數(shù),n為鈴音總數(shù))。
步驟103,選取合適的性價比的硬件存儲設備,記錄該設備的處理能力參數(shù),作為存儲設備處理能力標準,標記為S。以此硬件存儲設備為標準作為存儲池中的存儲設備的基本單元,該存儲單元作為配置的參考,實際配置時不限于此單一設備,其他設備也可以使用,只是在計算時按以該單元為標準進行等效核算。此數(shù)據(jù)預先配置于系統(tǒng)中。由基礎管理模塊從配置數(shù)據(jù)中取得。
步驟104,通過彩鈴系統(tǒng)忙時平均每秒彩鈴鈴音播放總負荷(E)和存儲設備處理能力標準(S),計算整個彩鈴系統(tǒng)需要的等效的標準存儲設備數(shù)量M。如需考慮安全冗余,則可以在計算結(jié)果的基礎上增加一定的比例即可得出總存儲設備的需求量。即:M=(∑Ki×e1)/S,(i=1…n);(其中 :e1是鈴音單次訂購的平均播放負荷)。
步驟105,在基礎管理模塊中,對彩鈴系統(tǒng)鈴音庫的鈴音按訂購數(shù)量進行排序,提取鈴音文件進行分組,然后進行存儲資源分配。即對有用戶訂購的鈴音,從最高訂購次數(shù)起依次累加選取總負荷的p%的鈴音文件作為一個鈴音文件分組。
步驟106,在基礎管理模塊中,把步驟104產(chǎn)生的鈴音文件分組進行部署。對彩鈴私有鈴音存儲云的數(shù)據(jù)存儲設備進行分配,以預設的存儲設備處理能力標準(S)為基本分配單元。分配(M-2)p%的存儲設備到該分組,把本組文件分配在組內(nèi)所有存儲設備上。
步驟107,判斷鈴音是否分配完成,如果未分配完成,則跳轉(zhuǎn)到步驟105繼續(xù)鈴音的下一個分組及資源的分配。如果分配完成,分配系統(tǒng)中零訂購次數(shù)的非活躍鈴音文件。
步驟108,對下一個分組的資源分配準備相應的計算資源。
步驟109,在基礎管理模塊中,分配系統(tǒng)中零訂購次數(shù)的非活躍鈴音文件。這些文件不會產(chǎn)生播放負荷,因此可以分配極低性能的主備兩套存儲資源達到安全存儲不丟失即可。
步驟110,在基礎管理模塊中,向彩鈴系統(tǒng)數(shù)據(jù)庫提交彩鈴鈴音文件分組及鈴音文件定位數(shù)據(jù)。
步驟111,在基礎管理模塊中,對鈴音文件分組及資源分配結(jié)果提交元數(shù)據(jù)模塊,更新元數(shù)據(jù)服務數(shù)據(jù)庫。
當采用云存儲,使用者不需要了解云存儲內(nèi)部具體的設備的具體細節(jié)。不用管設備是什么型號,什么結(jié)構(gòu)。云狀存儲系統(tǒng)中的所有設備對使用者來講都是完全透明的,任何地方的任何一個經(jīng)過授權(quán)的使用者都可以通過網(wǎng)絡與云存儲連接,對云存儲進行數(shù)據(jù)訪問。
同時,按本文對彩鈴云存儲進行部署和動態(tài)的資源分配,可以最大的利用存儲設備資源,提高存儲設備的處理能力。是一種降低系統(tǒng)建設成本的同時不會降低系統(tǒng)處理性能和安全性的技術(shù)方案。
與傳統(tǒng)的鈴音上線方法相比,本文中的方法和技術(shù)的優(yōu)點主要體現(xiàn)在以下5個方面。
首先,采用程序自動運行,避免了人為因素帶來的諸多不便,在降低維護工作量的同時,大大提高了鈴音上線效率。
其次,具有通用型,適合各種類型的鈴音,包括本地鈴音、中央音樂平臺鈴音、集團鈴音、DIY鈴音等,而且還具備可擴展性,傳統(tǒng)的兩種方法均不具備這些特點。
第三,本方法添加了程序自動檢測鈴音功能。通過專門編寫的鈴音檢測軟件,對新發(fā)布的鈴音進行自動檢查,可以檢查出鈴音的質(zhì)量方面的問題。
第四,本方法對網(wǎng)絡環(huán)境要求不高。本方法為非實時性接口,沒有實時性接口對網(wǎng)絡要求那么嚴格,雙方只要能正常登陸ftp,就可以完成鈴音自動上線,并得到結(jié)果反饋。
第五,本方法結(jié)構(gòu)簡單,交互接口少,易于使用。
[1]卓蘇拉,歐爾,佩吉.云計算與數(shù)據(jù)中心自動化[M].張猛,譯.北京:人民郵電出版社,2012.
[2]羅頓等.云計算架構(gòu):解決方案設計手冊[M].趙龍剛等,譯.北京:機械工業(yè)出版社,2012.
[3]樓攬月.彩鈴業(yè)務發(fā)展探討[J].電信工程技術(shù)與標準化,2006(12).
[4]康曉非,暴宇.數(shù)字移動通信[M].北京:人民郵電出版社,2010.