數(shù)據(jù)特性和硬件特征是高效數(shù)據(jù)管理的兩個關(guān)鍵因素.一方面，隨著大數(shù)據(jù)時代的到來，數(shù)據(jù)管理系統(tǒng)需要支持越來越海量、高速、多樣的數(shù)據(jù).各種新的數(shù)據(jù)管理技術(shù)紛紛涌現(xiàn)，不僅包括對傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)的擴展，而且包括多種新型的大數(shù)據(jù)系統(tǒng)，例如NoSQL系統(tǒng)、NewSQL系統(tǒng)等.數(shù)據(jù)的種類不僅有傳統(tǒng)的關(guān)系型數(shù)據(jù)，而且有圖類型、JSON樹狀數(shù)據(jù)等多種非傳統(tǒng)數(shù)據(jù)類型.另一方面，計算機系統(tǒng)的硬件正在經(jīng)歷著深遠(yuǎn)的變化.更大容量的主存、NVM技術(shù)等正改變著存儲系統(tǒng)的面貌.GPU、FPGA、專用加速硬件正逐漸由專用領(lǐng)域走向通用計算，對數(shù)據(jù)的運算和管理發(fā)揮著越來越重要的影響.因此，如何把這兩者相結(jié)合，利用新型的存儲和計算硬件高效地支持?jǐn)?shù)據(jù)管理的需求成為一個重要的學(xué)術(shù)課題.許多基本問題還有待探索，包括系統(tǒng)架構(gòu)、數(shù)據(jù)存儲、索引、查詢處理、能源效率等.

鑒于此，《計算機研究與發(fā)展》出版“面向新型硬件的數(shù)據(jù)管理”專題，側(cè)重面向新硬件的數(shù)據(jù)庫技術(shù)、面向新硬件的大數(shù)據(jù)系統(tǒng)、軟硬件協(xié)同設(shè)計(Co-Design)的數(shù)據(jù)處理等方面，探討面向新型硬件的數(shù)據(jù)管理基礎(chǔ)理論研究及其應(yīng)用，討論該領(lǐng)域內(nèi)最新的突破性進(jìn)展，交流新的學(xué)術(shù)思想和新方法，展望未來的發(fā)展趨勢.本專題包含7篇文章，內(nèi)容涵蓋面向新型非易失存儲NVM的數(shù)據(jù)管理和面向新型加速硬件的數(shù)據(jù)管理兩大方面，并反映了國內(nèi)學(xué)術(shù)領(lǐng)域和產(chǎn)業(yè)界在面向新型硬件的數(shù)據(jù)管理方面的主要工作.

在大數(shù)據(jù)運算系統(tǒng)中，許多大規(guī)模運算分析要求數(shù)據(jù)在不同階段以不同的順序或劃分方式分布在大數(shù)據(jù)系統(tǒng)的運算節(jié)點上，這是由Shuffle操作實現(xiàn)的.為了容錯和避免重復(fù)計算，Shuffle操作常常把數(shù)據(jù)持久化到外存文件系統(tǒng)中，因而IO就成為影響Shuffle性能的重要因素，尤其對于以Spark為代表的內(nèi)存大數(shù)據(jù)運算系統(tǒng)更是如此.NVM具有讀寫速度快、非易失、高密度等優(yōu)點，為解決Shuffle操作的IO性能問題提供了新的契機.潘鋒烽等作者在論文“NV-Shuffle：基于非易失內(nèi)存的Shuffle機制”中，提出一種基于 NVM的Shuffle優(yōu)化策略NV-Shuffle，采用了NVM主存進(jìn)行Shuffle數(shù)據(jù)的存儲與管理，從而避免了外存文件系統(tǒng)的開銷.實驗表明NV-Shuffie可有效降低Shuffle-heavy負(fù)載在Spark上的執(zhí)行時間.

當(dāng)運算節(jié)點的主存是由DRAM和NVM共同構(gòu)成的異質(zhì)內(nèi)存時，除了可以利用NVM來避免IO開銷，還需研究如何在內(nèi)存大數(shù)據(jù)運算系統(tǒng)中合理布局?jǐn)?shù)據(jù)到異質(zhì)內(nèi)存這個關(guān)鍵問題.王晨曦等作者在論文“面向大數(shù)據(jù)處理的基于Spark的異質(zhì)內(nèi)存編程框架”中，系統(tǒng)地分析了Spark應(yīng)用的訪存特征和其對OpenJDK的內(nèi)存使用特點，提出了一套數(shù)據(jù)在異質(zhì)內(nèi)存布局的框架，通過簡單調(diào)用的接口，可以將數(shù)據(jù)合理布局在NVM和DRAM之中.詳細(xì)的實驗分析表明由少量DRAM和大量NVM組成的異質(zhì)內(nèi)存可以達(dá)到與相同容量DRAM內(nèi)存相近的性能，從而能夠有效地利用NVM來滿足更大規(guī)模內(nèi)存大數(shù)據(jù)處理的需求.

為了滿足數(shù)據(jù)管理、大數(shù)據(jù)計算對新型主存系統(tǒng)的需求，必須考慮不同種類存儲器件的特性，設(shè)計高能效的存儲架構(gòu).劉珂等作者在論文“基于高性能SOC FPGA陣列的NVM驗證架構(gòu)設(shè)計與驗證”中，提出一種基于高性能SOC FPGA陣列的NVM驗證架構(gòu)，利用多層次FPGA結(jié)構(gòu)擴展連接多片NVM，并在此基礎(chǔ)上設(shè)計了主從式NVM控制器，不僅可以測試協(xié)同工作的同類型多片NVM，也可以驗證混合NVM的存儲方案.

在面向新型加速硬件的數(shù)據(jù)管理方面，GPU能夠提供大規(guī)模線程的并行環(huán)境、高吞吐的內(nèi)存和緩沖訪問機制，因此基于GPU的大規(guī)模圖數(shù)據(jù)處理算法和系統(tǒng)日益成為研究熱點.但是，單個GPU的訪存空間容量限制了圖數(shù)據(jù)的規(guī)模.張珩等作者在論文“基于Multi-GPU平臺的大規(guī)模圖數(shù)據(jù)處理”中提出了一個基于多GPU平臺的支持高效、可擴展的大規(guī)模圖數(shù)據(jù)處理系統(tǒng)GFlow.GFlow提出了適用于多GPU的圖數(shù)據(jù)切分策略和雙展滑動窗口算法，合理布局圖的屬性數(shù)據(jù)、圖結(jié)構(gòu)數(shù)據(jù)和迭代計算的中間結(jié)果，從SSD存儲至GPU設(shè)備動態(tài)地加載數(shù)據(jù)分塊，從而有效地支持GPU對大規(guī)模圖的計算.實驗表明GFlow在多GPU平臺下相比其他外存圖處理系統(tǒng)有明顯的性能優(yōu)勢.

傳統(tǒng)的硬件加速器(GPU，F(xiàn)PGA等)和計算機主存是相互分離的，因此數(shù)據(jù)在主存和加速器之間的移動常常成為影響性能的重要因素.靠近數(shù)據(jù)的處理技術(shù)(near-data processing)和3D堆疊DRAM等新技術(shù)使硬件加速器可能集成到DRAM中，從而大大降低數(shù)據(jù)移動的代價.其中一個關(guān)鍵設(shè)計問題是如何合理地在CPU和加速器之間劃分加速任務(wù)，以簡化加速器，使其可以滿足3D堆疊DRAM對面積、功耗和散熱等的嚴(yán)格限制.吳林陽等作者在論文“CPU和DRAM加速任務(wù)劃分方法：大數(shù)據(jù)處理中Hash Joins的加速實例”中，以數(shù)據(jù)管理系統(tǒng)中的核心算法Hash Joins為實例，討論CPU和內(nèi)存端加速任務(wù)的劃分，設(shè)計了一個包含內(nèi)存端定制加速器和處理器端SIMD加速單元的混合加速系統(tǒng)，對于數(shù)據(jù)移動成本低的階段采用處理器端SIMD加速，而對于數(shù)據(jù)移動代價高的階段采用內(nèi)存端加速.實驗表明與英特爾的 Haswell處理器和Xeon Phi相比，混合加速系統(tǒng)取得了大幅度的能效提升.

在本專題出版的7篇論文中，上述5篇論文來自學(xué)術(shù)界，反映了國內(nèi)學(xué)術(shù)界在面向新型硬件的數(shù)據(jù)管理方面的最新研究成果，2篇論文來自產(chǎn)業(yè)界，分別來自華為公司和阿里巴巴公司的數(shù)據(jù)庫系統(tǒng)團(tuán)隊，體現(xiàn)了產(chǎn)業(yè)界對數(shù)據(jù)管理系統(tǒng)中應(yīng)用新型硬件的關(guān)注.

硬件事務(wù)內(nèi)存HTM已經(jīng)被x86等主流系統(tǒng)所廣泛支持.HTM可以確保原子性(Atomicity)、一致性(Consistency)和隔離性(Isolation)，而NVM可以確保持久性(Durability)，因此兩者結(jié)合有可能高效地支持事務(wù)處理ACID的要求.然而，HTM所能支持的數(shù)據(jù)量受限于硬件的固有容量，難以滿足數(shù)據(jù)庫事務(wù)處理的需求.華為公司的Hillel Avni和王鵬在論文“面向數(shù)據(jù)庫的持久化事務(wù)內(nèi)存”中，研究了如何擴展HTM并結(jié)合NVM以支持?jǐn)?shù)據(jù)庫ACID事務(wù)，提出了一種通過HTM進(jìn)行ACID事務(wù)處理的軟硬件解決方案PHTM(persistent HTM).為了消除PHTM的局限性，作者提出了一種持久化混合事務(wù)內(nèi)存，允許PHTM事務(wù)與支持任意大小的純軟件事務(wù)并發(fā)執(zhí)行.此外，又進(jìn)一步提出了一種分離事務(wù)的執(zhí)行算法，專門優(yōu)化了關(guān)系型數(shù)據(jù)庫事務(wù)，解決了事務(wù)數(shù)據(jù)量超過PHTM的容量限制的問題.

阿里巴巴公司的張鐵贏等作者在“X-DB：軟硬一體的新型數(shù)據(jù)庫系統(tǒng)”論文中，介紹了阿里巴巴數(shù)據(jù)庫系統(tǒng)團(tuán)隊新近研發(fā)的X-DB系統(tǒng).X-DB的設(shè)計是基于阿里巴巴大規(guī)模業(yè)務(wù)的需求，充分地利用了新硬件的特性，圍繞存儲、網(wǎng)絡(luò)、多核、并行和異構(gòu)計算進(jìn)行了軟硬一體的協(xié)同設(shè)計.作者介紹了X-DB的系統(tǒng)架構(gòu)和存儲引擎、內(nèi)存索引、并發(fā)控制等功能模塊，并重點說明了面向FPGA，NVM等新硬件的軟硬一體設(shè)計.

本專題征文發(fā)出后得到了廣大研究人員的積極響應(yīng).我們感謝廣大作者對本專題的大力支持！感謝審稿專家對本專題投稿及時認(rèn)真的審閱和詳細(xì)中肯的意見和建議！特別感謝《計算機研究與發(fā)展》編委會和編輯部，感謝他們支持面向新型硬件的數(shù)據(jù)管理這一前沿技術(shù)專題，為本期專題的編輯和出版付出了辛勤的工作！