文／鄭緯民

數(shù)據(jù)存儲(chǔ)的意義，用一句話概括就是“記錄當(dāng)下，相約未來”。

數(shù)據(jù)存儲(chǔ)完成了數(shù)據(jù)在時(shí)間維度的傳播和跨越，將今天人的智慧、故事、喜怒哀樂、悲歡離愁忠實(shí)地記錄下來，供未來的人體驗(yàn)、學(xué)習(xí)、借鑒和欣賞。

在計(jì)算機(jī)產(chǎn)生之前，人們記載這些故事和智慧的手段是紙和筆，能夠承載和傳遞的信息量十分有限，在現(xiàn)代電子計(jì)算機(jī)誕生這半個(gè)多世紀(jì)以來，存儲(chǔ)介質(zhì)發(fā)生了天翻地覆的變化，從早期的打孔紙帶、磁帶到磁盤、固態(tài)盤，再到近些年新涌現(xiàn)的非易失存儲(chǔ)等，負(fù)載特征和訪問模式也早已今非昔比，唯一不變的是計(jì)算機(jī)存儲(chǔ)系統(tǒng)研究在整個(gè)計(jì)算機(jī)領(lǐng)域中的基礎(chǔ)地位和重要意義。

從學(xué)科建設(shè)的角度來看，幾乎沒有一個(gè)應(yīng)用和數(shù)據(jù)訪問完全沒有關(guān)系的，所以對(duì)于任何一個(gè)應(yīng)用來說，在給定訪問模式的前提下，如果希望能夠在現(xiàn)有的硬件上充分發(fā)揮數(shù)據(jù)的讀寫性能，就離不開高效的存儲(chǔ)系統(tǒng)。

從時(shí)代特點(diǎn)來看，我們已經(jīng)進(jìn)入一個(gè)大數(shù)據(jù)時(shí)代，全球的數(shù)據(jù)量積累速度加快，數(shù)據(jù)來源和種類多樣、可信度低、價(jià)值密度低，所以在這樣一個(gè)時(shí)代，研究設(shè)計(jì)新的存儲(chǔ)系統(tǒng)大有可為。

從國家需求和戰(zhàn)略發(fā)展來看，數(shù)據(jù)是影響國計(jì)民生的戰(zhàn)略資源，我國在“十三五”期間集中建設(shè)數(shù)字中國、網(wǎng)絡(luò)強(qiáng)國，經(jīng)過近五年的開拓創(chuàng)新和銳意進(jìn)取，我國數(shù)字產(chǎn)業(yè)、網(wǎng)絡(luò)產(chǎn)業(yè)蓬勃發(fā)展，數(shù)字經(jīng)濟(jì)、共享經(jīng)濟(jì)、人工智能、大數(shù)據(jù)、云計(jì)算等已經(jīng)飛入尋常百姓家。

例如在這次抗擊新冠肺炎疫情的過程中，基于大數(shù)據(jù)的密切接觸者追蹤、篩查技術(shù)就為迅速控制住疫情作出重大貢獻(xiàn)。但從另一方面來說，這也意味著我國經(jīng)濟(jì)社會(huì)對(duì)于數(shù)據(jù)的依存度在不斷上升，盡管我們?cè)谟?jì)算機(jī)領(lǐng)域已經(jīng)取得長足發(fā)展，但是在一些關(guān)鍵技術(shù)上依舊和發(fā)達(dá)國家差距較大，其中就包括大數(shù)據(jù)存儲(chǔ)系統(tǒng)，不斷上升的數(shù)據(jù)依存度意味著這些技術(shù)短板帶來潛在國家信息安全隱患和發(fā)生系統(tǒng)性重大風(fēng)險(xiǎn)挑戰(zhàn)的可能性也在不斷上升。站在風(fēng)口浪尖之上，推動(dòng)我國存儲(chǔ)技術(shù)的持續(xù)發(fā)展，成為這一代計(jì)算機(jī)人責(zé)無旁貸的使命與擔(dān)當(dāng)。

結(jié)合大數(shù)據(jù)存儲(chǔ)的新特點(diǎn)和新挑戰(zhàn)，我認(rèn)為研究工作應(yīng)主要圍繞存儲(chǔ)系統(tǒng)擴(kuò)展性、可靠性和集約性三個(gè)方面展開。

存儲(chǔ)的可擴(kuò)展性的主要問題在于，存儲(chǔ)系統(tǒng)的建設(shè)往往無法一步建設(shè)到位，特別是在大數(shù)據(jù)時(shí)代，數(shù)據(jù)的增長速度往往遠(yuǎn)遠(yuǎn)超過預(yù)期，因此必須要實(shí)現(xiàn)存儲(chǔ)容量隨著數(shù)據(jù)量的增加能夠逐步動(dòng)態(tài)擴(kuò)展。

這個(gè)問題主要的挑戰(zhàn)有兩個(gè)，一個(gè)是設(shè)備和網(wǎng)絡(luò)選擇方面，往往擴(kuò)展時(shí)必須選擇原來類型的磁盤，新型號(hào)的磁盤不行，不同的廠家更不行；二是在線擴(kuò)展的效率較低，在給一個(gè)系統(tǒng)增加了空的磁盤之后，需要在新舊磁盤之間重新分布數(shù)據(jù)，從而提高整個(gè)系統(tǒng)的讀寫性能，但是在線擴(kuò)展過程非常慢。

針對(duì)第一個(gè)問題，我們團(tuán)隊(duì)設(shè)計(jì)了一種可擴(kuò)展的網(wǎng)絡(luò)存儲(chǔ)系統(tǒng)結(jié)構(gòu)，實(shí)現(xiàn)了系統(tǒng)和存儲(chǔ)設(shè)備的解耦，可以把異構(gòu)的存儲(chǔ)設(shè)備、IO網(wǎng)絡(luò)集成到一個(gè)系統(tǒng)中。針對(duì)第二個(gè)問題，我們團(tuán)隊(duì)通過觀察發(fā)現(xiàn)一種可重排序窗口特性，基于這一特性采用數(shù)據(jù)批量并行遷移、元數(shù)據(jù)懶惰更新、數(shù)據(jù)遷移量最小化等方法，顯著提高了擴(kuò)展的執(zhí)行速度。

存儲(chǔ)的可靠性的主要問題在于，在大數(shù)據(jù)存儲(chǔ)系統(tǒng)中，存儲(chǔ)設(shè)備類多量大，設(shè)備出錯(cuò)成為一種常態(tài)，可靠性不足造成的損失越來越大。IBM對(duì)400家公司的調(diào)研表明，由于數(shù)據(jù)損失和宕機(jī)給這些企業(yè)帶來的損失高達(dá)7000億美元。

存儲(chǔ)的可靠性保證方法有兩種類型，一種是容災(zāi)，基本思路是做跨數(shù)據(jù)中心的異地備份，主要用于避免各種因?yàn)闉?zāi)害、戰(zhàn)爭、恐怖襲擊導(dǎo)致的系統(tǒng)總體毀損；另一種是容錯(cuò)，基本思路是通過增加設(shè)備冗余、數(shù)據(jù)恢復(fù)等手段，主要用于避免因?yàn)榇鎯?chǔ)部件失效造成的部分?jǐn)?shù)據(jù)丟失。

針對(duì)容災(zāi)框架一致性保證困難，數(shù)據(jù)依賴關(guān)系復(fù)雜的挑戰(zhàn)，我們團(tuán)隊(duì)提出了一種結(jié)構(gòu)無關(guān)的容災(zāi)框架，實(shí)現(xiàn)了進(jìn)程狀態(tài)和用戶數(shù)據(jù)一起備份的全系統(tǒng)保護(hù)思想，設(shè)計(jì)了并行流水的恢復(fù)機(jī)制。針對(duì)容錯(cuò)問題，我們提出了一種輕量編碼方法，設(shè)計(jì)了一整套防止數(shù)據(jù)丟失、無需管理員維護(hù)的自維護(hù)系統(tǒng)，能夠用較少的存儲(chǔ)空間使得數(shù)據(jù)不會(huì)丟失，系統(tǒng)在生命周期內(nèi)免人工維護(hù)。

存儲(chǔ)的集約性的主要問題在于，面對(duì)數(shù)據(jù)產(chǎn)生的速度遠(yuǎn)快于磁盤生產(chǎn)速度造成的數(shù)據(jù)產(chǎn)生和存儲(chǔ)容量之間的缺口，如何能夠去除系統(tǒng)中的重復(fù)文件和冗余數(shù)據(jù)塊，盡量降低存儲(chǔ)開銷。例如通過調(diào)研，我們發(fā)現(xiàn)在蘭州大學(xué)、清華大學(xué)校園網(wǎng)絡(luò)存儲(chǔ)的數(shù)據(jù)中，相同的文件存儲(chǔ)副本數(shù)平均達(dá)20個(gè)，單個(gè)文件存儲(chǔ)備份最高達(dá)1萬個(gè)，因此利用不同用戶之間存在很多內(nèi)容相同的文件這一特點(diǎn)，我們可以通過用戶共享來去掉這些重復(fù)的文件，從而節(jié)省存儲(chǔ)空間。

在此基礎(chǔ)之上，我們團(tuán)隊(duì)在云存儲(chǔ)系統(tǒng)中引入實(shí)體化社區(qū)，采用面向共享的存儲(chǔ)資源自適應(yīng)組織和數(shù)據(jù)共享管控等關(guān)鍵技術(shù)，實(shí)現(xiàn)了數(shù)十倍的數(shù)據(jù)共享率，大幅節(jié)省了存儲(chǔ)空間和主干網(wǎng)的流量費(fèi)用。此外，針對(duì)現(xiàn)有主存儲(chǔ)中存有大量相似數(shù)據(jù)塊的問題，我們提出通過位置敏感哈希識(shí)別數(shù)據(jù)段的主存儲(chǔ)內(nèi)嵌刪冗方法，刪冗率達(dá)到30-70%，基于該方法，我們?cè)O(shè)計(jì)實(shí)現(xiàn)了高效刪冗的存儲(chǔ)系統(tǒng)。

我們的研究工作就是研究并設(shè)計(jì)可以高效擴(kuò)展、高可靠、既能夠抵御一般性錯(cuò)誤也能夠抵御各類災(zāi)難、同時(shí)還高度集約，能夠高效存儲(chǔ)大量數(shù)據(jù)的大數(shù)據(jù)存儲(chǔ)系統(tǒng)。近年來，我們的研究成果用于影響國計(jì)民生和社會(huì)發(fā)展的近數(shù)千家單位，惠及數(shù)千萬用戶，取得顯著經(jīng)濟(jì)和社會(huì)效益。未來，我們還將繼續(xù)厚植大數(shù)據(jù)存儲(chǔ)系統(tǒng)的科學(xué)研究，爭取做出更多有價(jià)值、有分量的成果，經(jīng)得起時(shí)代、歷史和人民的檢驗(yàn)。