摘 要：

當前基于DRAM和NVM的混合內存系統(tǒng)在系統(tǒng)結構領域的研究前景廣闊，特別是對混合內存系統(tǒng)進行數(shù)據(jù)放置的研究已經(jīng)成為國內外研究的熱點。對混合內存架構下數(shù)據(jù)放置策略進行了研究，在介紹當前常見混合內存架構的基礎上，對現(xiàn)有數(shù)據(jù)放置策略的設計思路進行了全面分析，主要涉及硬件/軟件機制、內存訪問特征、靜態(tài)/動態(tài)分析、機器智能、觸發(fā)方式和粒度選擇等方面，并針對混合內存性能、功耗和耐久性的數(shù)據(jù)放置優(yōu)化進行總結。綜合分析發(fā)現(xiàn)，現(xiàn)有的混合內存數(shù)據(jù)放置策略在內存架構、數(shù)據(jù)遷移、計算成本和全局優(yōu)化等方面還存在局限性，未來在架構設計以及內存管理方面的改進還有很大的研究探索空間和發(fā)展前景。

關鍵詞：混合內存；數(shù)據(jù)放置；非易失性存儲器；研究綜述

中圖分類號：TP333 文獻標志碼：A 文章編號：1001-3695（2024）09-003-2585-07

doi：10.19734/j.issn.1001-3695.2023.12.0639

Review of data placement in hybrid memory architecture

Lin Binghui， Zhang Jianxun， Qiao Xinyu

（School of Information Technology Engineering， Tianjin University of Technology & Education， Tianjin 300222， China）

Abstract：

The current research on hybrid memory systems based on DRAM and NVM is promising in the field of system architecture， especially the research on data placement in hybrid memory systems has become a research hotspot in domestic and foreign studies. This paper studied the data placement strategy in hybrid memory architecture. On the basis of introducing the common hybrid memory architectures， it comprehensively analyzed the design ideas of existing data placement strategies， mainly involving hardware/software mechanisms， memory access characteristics， static/dynamic analysis， machine intelligence， trigger modes， and granularity selection， and summarized the data placement optimization in hybrid memory in terms of performance， power consumption， and endurance. The comprehensive analysis reveals that existing data placement strategies in hybrid memory still have limitations in terms of memory architecture， data migration， computational cost， and global optimization. In the future， there is still a lot of research space and development prospects in improving architectural design and memory management.

Key words：hybrid memory; data placement; non-volatile memory; research review

0 引言

隨著高性能計算、人工智能、大數(shù)據(jù)和云計算等領域的蓬勃發(fā)展，相關技術對高內存占用、高吞吐量和低能耗的需求日益增加［1］，應用對內存系統(tǒng)的容量、能效和訪問延遲提出了較高的要求。然而，由于傳統(tǒng)的動態(tài)隨機存取存儲器（dynamic random access memory， DRAM）靜態(tài)功耗高且存在可擴展性問題，從而導致DRAM內存系統(tǒng)成為當前計算機系統(tǒng)性能提升的主要瓶頸之一。大量研究表明［2～5］，基于DRAM的主存系統(tǒng)消耗了現(xiàn)代計算機系統(tǒng)中約40%的能耗。

新興的非易失性存儲器（non-volatile memory，NVM）技術是未來極具潛力的內存技術。NVM主要包括相變存儲器（phase change memory， PCM）、自旋轉移矩磁隨機存儲器（spin transfer torque random access memory，STT-RAM）、鐵電隨機存儲器（ferroelectric random access memory，F(xiàn)eRAM）、阻變隨機存儲器（resistive random access memory，RRAM）［6～9］。為綜合對比不同內存技術的特點，表1［2，7，8］從讀/寫延遲、耐久性和功耗等幾個方面對現(xiàn)有的內存技術進行了對比分析。盡管NVM具備非易失性、高密度和低靜態(tài)功耗等優(yōu)勢，但相較于DRAM仍存在寫功耗高、寫延遲高和耐久性有限等問題［10～13］，導致NVM并不能完全取代現(xiàn)有的DRAM。因此在內存設計上需充分考慮兩者的內存特性。當前采用基于DRAM和NVM的混合內存結構替代單一DRAM組成的傳統(tǒng)內存結構設計已經(jīng)成為系統(tǒng)結構研究領域的共識，并已經(jīng)成功應用于商用系統(tǒng)。新型的混合內存結構設計在不影響成本和性能的情況下獲得了高容量的內存［12］，同時也增加了對內存管理的復雜性，如何對混合內存進行有效調度和管理的研究也成為研究的熱點領域，其中包括混合內存系統(tǒng)的數(shù)據(jù)放置研究。

混合內存數(shù)據(jù)放置的研究主要包括數(shù)據(jù)的分配和遷移兩個方面。當前，DRAM-NVM混合內存系統(tǒng)的數(shù)據(jù)放置主要面臨以下挑戰(zhàn)：一是識別和管理需要進行數(shù)據(jù)放置的數(shù)據(jù)，選擇合適的數(shù)據(jù)進行放置，才能提升混合內存系統(tǒng)的性能；二是設計數(shù)據(jù)放置的算法，需要對數(shù)據(jù)放置考慮以何種方式實現(xiàn)和何時觸發(fā)等因素，同時還需要考慮數(shù)據(jù)遷移的頻率。如果遷移頻率過高，可能會導致不必要的遷移，而如果遷移頻率過低，一些必要的遷移可能無法及時進行。

本文關注于混合內存系統(tǒng)中數(shù)據(jù)的分配和遷移來對數(shù)據(jù)放置策略進行研究，并從架構設計、方法特點和優(yōu)化目標等方面對現(xiàn)有的混合內存數(shù)據(jù)放置策略進行了梳理，并探討了混合內存放置策略未來的研究方向。

1 混合內存架構

混合內存架構根據(jù)DRAM和NVM的相對位置和功能進行分類，主要分為層次架構和水平架構［2］。

1.1 層次架構

如圖1所示，層次架構將DRAM作為NVM的高速緩存層或者緩沖區(qū)，而將NVM作為主存層［14］。由NVM和DRAM緩存構成的混合內存系統(tǒng)，在應用程序執(zhí)行期間，DRAM負責緩存最近訪問的數(shù)據(jù)以減少對NVM的訪問次數(shù)，而NVM負責保存大部分所需的數(shù)據(jù)以緩解DRAM和NVM之間讀/寫延遲的不對稱性。由NVM和DRAM寫緩沖區(qū)構成的混合內存系統(tǒng)，DRAM用于接收來自最后一級緩存（last level cache，LLC）的寫數(shù)據(jù)，以提供更高的性能。

1.1.1 層次架構的優(yōu)勢

層次架構下，內存訪問只在DRAM缺失時，請求才被定向到NVM，因此對NVM的訪問量減少。在層次架構中，數(shù)據(jù)通常按需獲取，因此DRAM中沒有帶寬損失或容量損失，加之DRAM由硬件管理，對操作系統(tǒng)和應用程序是完全透明的［15］。

1.1.2 層次架構的局限性

在層次架構中，DRAM被組織為N路組相聯(lián)緩存，需要額外的硬件來管理DRAM緩存，在實現(xiàn)上較為復雜。管理用于跟蹤DRAM緩存數(shù)據(jù)的元數(shù)據(jù)可能會導致過高的存儲開銷，從而增加內存訪問延遲［10，16，17］。面對局部性差的工作負載，緩存的性能會顯著下降并伴隨功耗的上升。雖然DRAM作為緩沖區(qū)也能夠提升系統(tǒng)性能，但每次寫請求至少需要在DRAM中執(zhí)行一次寫操作，可能還需要在將數(shù)據(jù)刷新到NVM時執(zhí)行一次DRAM讀操作和一次NVM寫操作。這些額外的讀/寫操作都會增加內存系統(tǒng)的總能耗。此外，DRAM空間不會增加混合內存的總體容量。

1.2 水平架構

如圖2所示，在水平架構中，DRAM和NVM形成了一個統(tǒng)一可尋址的內存層。

1.2.1 水平架構的優(yōu)勢

水平架構使DRAM和NVM共享一個公共地址空間，能夠提供更高的容量［18］。由于可以同時訪問兩種內存，所以水平架構提供的內存帶寬更高。此外，水平架構不需要額外的硬件來維護內存，DRAM和NVM對操作系統(tǒng)是可見的［15］。

1.2.2 水平架構的局限性

為了提高數(shù)據(jù)訪問性能，水平架構的混合內存系統(tǒng)需要將頻繁訪問的NVM熱頁面遷移到DRAM。在進行頁面遷移時，需要修改軟件或操作系統(tǒng)干預來確保頁面分配的進行，因此會增加系統(tǒng)開銷。在跟蹤內存活動時，頁面級內存監(jiān)控需要硬件支持，需要對硬件進行修改才能統(tǒng)計內存訪問［2］。此外，系統(tǒng)的數(shù)據(jù)放置策略也在很大程度上決定了混合內存系統(tǒng)的性能［19］。

1.3 架構設計改進

現(xiàn)有的研究通過融合兩種內存架構的優(yōu)點進行了設計改進。例如，Kotra等人［20］提出的Chameleon可以根據(jù)應用程序的內存需求動態(tài)配置。Chameleon使用空閑空間作為緩存，當應用程序需要更大的容量時，其會切換到統(tǒng)一地址空間。Liu等人［10］提出了一種用于混合內存架構的硬件/軟件協(xié)同緩存機制HSCC，以解決基于硬件機制的限制。如表2［10］所示，HSCC將DRAM和NVM以水平架構的形式組織，但在邏輯上支持層次架構。HSCC通過軟件層進行DRAM緩存管理來簡化硬件設計。同樣，Chi等人［17］提出Mocha混合內存架構，將DRAM和NVM在物理上組織成一個統(tǒng)一地址空間，但在邏輯上將DRAM視為NVM的緩存。改進后架構具有更低的數(shù)據(jù)遷移流量和更好的系統(tǒng)性能，此類方法可以避免大量的硬件修改，同時保證混合內存管理的靈活性。

2 混合內存數(shù)據(jù)放置方法分類及特點

數(shù)據(jù)放置主要涉及在應用程序執(zhí)行之前對數(shù)據(jù)的初始分配，以及應對實時工作負載的數(shù)據(jù)遷移。

2.1 基于硬件和軟件的數(shù)據(jù)放置

2.1.1 基于硬件機制

在混合內存中，基于硬件的數(shù)據(jù)放置支持小粒度的內存管理，不需要修改軟件，總體上的性能開銷更少，對于具有良好局部性的應用程序也更有利［19］。但基于硬件的數(shù)據(jù)放置也存在問題，其需要額外的硬件來跟蹤內存訪問活動并執(zhí)行數(shù)據(jù)放置，同時可能會消耗DRAM的部分容量［13］。此外，如果應用程序的空間局部性較差，可能會影響帶寬利用率。

2.1.2 基于軟件機制

基于軟件的數(shù)據(jù)放置可以開發(fā)專門的API處理數(shù)據(jù)的分配和遷移以滿足系統(tǒng)需求，不需要額外的硬件支持［13］。修改軟件和自定義操作系統(tǒng)策略使內存資源的管理變得更加靈活。但基于軟件的數(shù)據(jù)放置通常成本更高，操作系統(tǒng)干預、調用中斷/處理程序和修改頁表等操作都需要額外成本［13］。操作系統(tǒng)通常以頁面粒度進行數(shù)據(jù)放置，以頁面粒度進行遷移可能會產(chǎn)生更高的開銷［13，21，22］。此外，操縱系統(tǒng)可能會對熱頁面的識別不夠準確，導致錯過必要的遷移或發(fā)生不必要的遷移。

2.1.3 存在的挑戰(zhàn)

在基于硬件的方法中，最大的挑戰(zhàn)是在不增加規(guī)模和成本開銷的情況下處理數(shù)據(jù)放置，而基于軟件的方法應該致力于在對現(xiàn)有軟件進行最小修改的情況下進行數(shù)據(jù)放置［8］。

2.2 基于訪問頻率的數(shù)據(jù)放置

混合內存數(shù)據(jù)放置策略通常將頻繁訪問的數(shù)據(jù)存儲在DRAM中，將很少訪問的數(shù)據(jù)存儲在NVM中。根據(jù)數(shù)據(jù)的訪問次數(shù)，可將數(shù)據(jù)分成熱數(shù)據(jù)和冷數(shù)據(jù)。通常，熱數(shù)據(jù)被遷移到DRAM，而冷數(shù)據(jù)保留在NVM中。只根據(jù)數(shù)據(jù)的使用時間不足以準確識別熱數(shù)據(jù)［21，23］。CMMP［21］、UIMigrate［23］、On-fly-Page［24］都通過額外的計數(shù)器跟蹤數(shù)據(jù)的訪問次數(shù)，以確定待遷移的數(shù)據(jù)。此外，在NVM中頻繁寫入數(shù)據(jù)不僅會降低性能還會增加功耗。因此APP-LRU［14］和寫感知與行緩沖區(qū)缺失（WARM）計數(shù)器［25］根據(jù)寫次數(shù)將寫密集型數(shù)據(jù)從NVM遷移到DRAM。

2.3 基于局部性和內存級并行的數(shù)據(jù)放置

2.3.1 考慮局部性原理

根據(jù)局部性原理，如果某個數(shù)據(jù)被訪問，那么在不久的將來，該數(shù)據(jù)很可能會再次被訪問或者在內存中相鄰的數(shù)據(jù)很可能會被訪問。在行緩沖區(qū)中被訪問多次的行表現(xiàn)出較高的行緩沖區(qū)局部性。Yoon等人［26］觀察到在延遲、帶寬和功耗方面，NVM的行緩沖區(qū)缺失成本相比DRAM的要高得多，由此提出利用行緩沖區(qū)局部性來進行混合內存間的頁面遷移。行緩沖區(qū)命中率低的頁面被遷移到DRAM，而行緩沖區(qū)命中率高的頁面仍然保留在NVM中。計數(shù)器用于跟蹤NVM中行的缺失計數(shù)，以增加這些行的遷移優(yōu)先級，具有良好局部性的應用程序的性能和能效可以得到提升。

2.3.2 考慮內存級并行

內存級并行能在執(zhí)行程序的同時利用多個內存訪問操作來提高性能和效率。Li等人［12］首次考慮了內存級并行，提出了基于效用的混合內存頁面管理策略UH-MEM。UH-MEM通過綜合考慮訪問頻率、行緩沖區(qū)局部性和內存級并行，計算頁面從慢速內存（NVM）遷移到快速內存（DRAM）的潛在系統(tǒng)性能收益，稱之為效用值，將具有最大效用值的頁面遷移到快速內存中。

2.4 基于靜態(tài)分析的數(shù)據(jù)放置

基于靜態(tài)分析的數(shù)據(jù)放置在程序編譯階段或程序加載階段進行，將數(shù)據(jù)分配到內存中的特定位置，之后不隨工作負載的變化而改變。表3總結了基于靜態(tài)分析的數(shù)據(jù)放置策略。

Wei等人［27］研究發(fā)現(xiàn)，理解程序語義，系統(tǒng)可以更好地指導混合內存中數(shù)據(jù)的初始放置。根據(jù)程序語義進行初始放置能夠顯著減少由錯誤的遷移帶來的內存拷貝開銷。通過分析代碼和跟蹤堆對象，對具有相似訪問特征的對象進行分配，同時考慮將代碼段放置到NVM中，將堆棧數(shù)據(jù)和全局數(shù)據(jù)放置在DRAM中。Hassan等人［28］提出應用程序級對象的細粒度，將數(shù)據(jù)放置在混合內存中，其中的對象可以是單獨的程序變量或內存分配塊。通過分析應用程序中對象的內存訪問模式，選擇受益最大的對象放置在DRAM中。Liu等人［22］提出的對象級內存分配和遷移機制OAM，對于不可變對象，只需要根據(jù)性能/能量模型計算的平均效用將其分配在DRAM或NVM上，而不需要考慮運行時對象遷移。Olson等人［29］提出的MemBrain利用程序分析和源代碼分析，并使用離線性能反饋來指導每個區(qū)域的分配，實現(xiàn)了不同類型內存有效而透明的數(shù)據(jù)放置。

由于內存訪問模式相對固定，所以基于靜態(tài)分析的數(shù)據(jù)放置在程序運行前可以進行有效的優(yōu)化。這種策略適用于工作負載變化較小的場景，可以提供穩(wěn)定的性能表現(xiàn)，但難以應對在運行時變化的場景。

2.5 基于動態(tài)分析的數(shù)據(jù)放置

通過動態(tài)監(jiān)測并分析數(shù)據(jù)訪問模式，基于動態(tài)分析的數(shù)據(jù)放置策略可以實時調整數(shù)據(jù)的位置和存儲方式，根據(jù)當前的工作負載和系統(tǒng)狀態(tài)，決定是否進行數(shù)據(jù)遷移，并將數(shù)據(jù)存儲在最優(yōu)的存儲位置以最小化訪問的總成本［30］。表4總結了基于動態(tài)分析的數(shù)據(jù)放置策略［22，31～35］。

混合內存數(shù)據(jù)放置決策需要考慮多種參數(shù)和不確定性，例如內存大小、讀/寫延遲、耐久性和功耗等。為此，de Moura等人［31］提出了使用模糊邏輯系統(tǒng)來支持混合內存中的頁面遷移。該策略通過訪問更新器和Intf-HybridMem兩個模塊來實現(xiàn)動態(tài)數(shù)據(jù)放置。訪問更新模塊首先將頁面訪問存儲在訪問緩沖區(qū)中，并定期更新連接到Intf-HybridMem的數(shù)據(jù)緩沖區(qū)。該策略評估訪問更新器接收到的數(shù)據(jù)，根據(jù)數(shù)據(jù)訪問模式和內存特性對數(shù)據(jù)進行分類，返回數(shù)據(jù)緩沖區(qū)中每個頁面的遷移建議值，并將讀取頻率高的頁面存儲在NVM中，其他頁面存儲在DRAM中。

Liu等人［32］嘗試將頁著色技術應用到DRAM-NVM混合內存管理。通過結合采樣和頁表遍歷，以較低的監(jiān)控采樣頻率精確地獲取內存頁面的熱度，利用混合內存所處的地址空間對頁面著色。同時，通過與cache、bank和內存通道（channel）等相關聯(lián)來控制數(shù)據(jù)分布并消除多道程序之間在內存體系上的相互干擾，進而有效提高了包含 NVM 在內的整個內存體系的資源利用率。如圖3［32，33］所示，頁著色技術通過為第32位著色控制內存通道，確定使用DRAM還是NVM來容納特定頁面，同時使用頁幀號（page frame number，PFN）的第15～18位來構成cache set的顏色，以實現(xiàn)對cache的劃分和分配，并通過bank索引位來實現(xiàn)對內存bank的劃分和分配。根據(jù)頁面的讀/寫特征將頁面映射到DRAM或NVM可以最大程度地利用DRAM和NVM通道提供的總帶寬。因此熱頁面通常被分配在DRAM中，而出于節(jié)省功耗和為熱頁面盡可能地留出DRAM空間的目的，冷頁面通常被分配在NVM中［33］。

文獻［34］介紹了一種名為RTHMS的數(shù)據(jù)放置工具。該工具結合單一對象分配規(guī)則和全局數(shù)據(jù)放置決策，給出內存對象放置建議。首先，RTHMS單獨分析每個內存對象，為每個內存對象與每個內存技術之間的匹配分配一個分數(shù)。這個分數(shù)表示將這個內存對象放置在這個內存技術上是否會帶來性能收益，以確定是否推薦該內存對象存儲在該內存技術中。之后，全局分析應用程序中所有內存對象并根據(jù)它們的期望性能影響對它們進行排序，以確定它們在可用內存中的存儲位置。RTHMS還考慮了內存對象的生命周期以更好地優(yōu)化內存對象的分配。通過這種方式，RTHMS可以提高應用程序的性能，減少內存訪問延遲和提高內存帶寬利用率。

Servat等人［35］提出了一個自動化的框架，用于自動識別和放置與應用程序最相關的內存對象到混合內存中。該框架首先探索應用程序行為，使用基于硬件的采樣機制收集內存對象的度量指標和跟蹤文件，隨后分析LLC缺失最多的對象及其大小，根據(jù)內存配置報告內存對象在快速內存中的最佳放置，為給定的內存配置分配對象從而替換動態(tài)內存分配，實現(xiàn)基于配置文件的執(zhí)行。該框架可以在不修改應用程序源代碼的情況下自動化地完成內存優(yōu)化。

對于可變對象，OAM［22］的內存訪問頻率會隨著不同執(zhí)行階段的變化而發(fā)生變化，利用靜態(tài)代碼插樁工具在應用程序源代碼中添加對象遷移指令，使應用程序在運行時執(zhí)行動態(tài)對象遷移，而無須操作系統(tǒng)干預。

基于動態(tài)分析的數(shù)據(jù)放置策略適用于具有變化的工作負載和系統(tǒng)需求的場景，能夠動態(tài)地適應不同的數(shù)據(jù)訪問模式和負載特征，提供靈活且高效的數(shù)據(jù)管理。

2.6 基于機器智能的數(shù)據(jù)放置

對于訪問模式頻繁發(fā)生改變的應用程序，使用機器智能可以捕獲短期和長期頁面訪問模式的數(shù)據(jù)，在預測未來頁面訪問行為方面表現(xiàn)出很大的潛力。Doudali等人［36］介紹了一種基于機器智能的混合內存管理方法，涉及Kleio、Cori、Coeus、Mnemo和CoMerge等技術［37～41］。該方法通過一系列創(chuàng)新機制和優(yōu)化策略實現(xiàn)了對機器智能的有效集成，降低了相關開銷。

Kleio［37］是一種混合內存頁面調度器，對頁面進行機器智能管理，利用循環(huán)神經(jīng)網(wǎng)絡（recurrent neural networks，RNN）來學習內存訪問模式，識別頁面訪問頻率的突然變化，從而在使用基于歷史記錄的管理方法時，實現(xiàn)了大部分應用性能的提高。

Cori［38］通過調整數(shù)據(jù)移動頻率實現(xiàn)DRAM容量的最大化利用以及整個系統(tǒng)資源的高效利用。該策略通過分析應用程序的數(shù)據(jù)重用趨勢，指導頻率調整過程。Cori從應用程序中提取必要的應用級數(shù)據(jù)重用信息。這些信息可以幫助Cori確定數(shù)據(jù)移動的時機和頻率。頻率生成器基于數(shù)據(jù)重用信息，計算出一系列候選的數(shù)據(jù)移動周期，得到候選頻率。智能算法可以根據(jù)應用程序的特征和系統(tǒng)資源狀況，預測不同頻率下的應用程序性能，并選擇最優(yōu)的頻率。

Coeus［39］是一種基于機器智能的頁面分組機制。Coeus利用數(shù)據(jù)重用信息，創(chuàng)建訪問行為相同的頁面的大集群。與使用K-means等數(shù)據(jù)聚類方法相比，Coeus幾乎沒有額外的執(zhí)行成本，降低了機器智能混合內存管理器的學習開銷。

Mnemo［40］作為一種內存大小和數(shù)據(jù)分層顧問，可以快速探索不同混合內存組件配置的成本和效益的權衡。 Mnemo能夠顯著降低應用的硬件成本并對應用性能幾乎沒有影響，從而提高了整個系統(tǒng)的內存成本效益。

CoMerge［41］作為內存共享方案，將每個應用的數(shù)據(jù)分層與先驗決定的優(yōu)先級放置相結合，以實現(xiàn)高效的內存利用并減緩共享應用的降低速度。

2.7 數(shù)據(jù)放置中觸發(fā)方式的選擇

在數(shù)據(jù)放置中，如果觸發(fā)頻率太高，將可能導致不必要的遷移和開銷激增。如果觸發(fā)頻率太低，可能影響到必要的遷移?；旌蟽却鏀?shù)據(jù)放置策略大多使用考慮不同因素計算的閾值來觸發(fā)遷移，如訪問次數(shù)［21，23，24］、寫強度［42］、行緩沖區(qū)缺失次數(shù)［26］和效用［12，22］等，通過計算來決定是否觸發(fā)遷移。

UIMigrate［23］通過計數(shù)器跟蹤訪問次數(shù)，同時采用一種訪問計數(shù)器衰減的方法來識別長時間未訪問的數(shù)據(jù)。SRS-Mig［42］的頁面遷移基于NVM頁面的寫強度。當NVM頁面的寫強度超過遷移閾值時，該頁面成為遷移候選頁面。在每個周期內，UH-MEM［12］更新頁面的效用值并與遷移閾值進行比較，只有當效用值大于閾值時，頁面才會從NVM移到DRAM。OAM［22］采用的效用值是基于效用函數(shù)計算能量延遲積（energy-delay product，EDP）。如果效用值大于某個閾值，則將對象放在DRAM中，否則放在NVM中，而閾值會根據(jù)對象的效用值動態(tài)更新。

2.8 數(shù)據(jù)放置中數(shù)據(jù)粒度的選擇

粒度的選擇會影響數(shù)據(jù)放置的效率。在混合內存系統(tǒng)中，DRAM和NVM之間的數(shù)據(jù)移動粒度可以是DRAM行、LLC塊、頁面或對象等［8］。不同的應用程序將受益于不同的粒度，因此使用通用粒度可能并不是理想的選擇［13］?，F(xiàn)有的混合內存數(shù)據(jù)放置研究主要關注頁面粒度和對象粒度。頁面粒度涉及頁面級別的數(shù)據(jù)管理和遷移。對于頁面粒度，需要合理控制頁面遷移策略在時間和空間上的開銷。因為一個頁面可能包含多個數(shù)據(jù)，但只有小部分數(shù)據(jù)會被頻繁訪問。采用過大的遷移粒度可能浪費內存帶寬和容量，特別是對于具有良好局部性的應用程序［17］。因此，在混合內存系統(tǒng)中支持小粒度數(shù)據(jù)遷移至關重要。對象粒度關注程序中具體的數(shù)據(jù)結構和變量，內存開銷較小。對于對象粒度，需要深入理解對象的訪問特征以及對象的分配和遷移過程，才能進行精細的內存管理。

3 混合內存數(shù)據(jù)放置優(yōu)化目標分類

混合內存系統(tǒng)具有不同的特性，如性能、功耗、耐久性等，關鍵問題在于如何管理不同內存技術之間的數(shù)據(jù)分配和移動，以便能夠達到所需的最佳性能指標［43，44］。通常，NVM的內存容量是DRAM的數(shù)倍，但目前NVM還無法完全替代DRAM，否則將會導致三個問題：a）寫延遲高，相較于DRAM，NVM的寫延遲更高；b）寫功耗高，在執(zhí)行寫操作時NVM比DRAM功耗高；c）耐久性有限，如果對NVM的某些存儲單元過度頻繁寫入，將對NVM的整體壽命產(chǎn)生嚴重影響。通過數(shù)據(jù)放置策略可實現(xiàn)對混合內存性能、功耗和壽命的優(yōu)化。

3.1 性能優(yōu)化

由于NVM自身的特性，其寫延遲相較于DRAM更高，所以優(yōu)化混合內存系統(tǒng)的性能主要在于減少NVM的寫操作。

APP-LRU［14］通過引入一個元數(shù)據(jù)表來記錄頁面的訪問歷史，并基于預測的頁面訪問模式來選擇將頁面放在NVM或DRAM中。除了LRU之外，它還使用兩個額外的列表來跟蹤讀密集型和寫密集型頁面。頁面根據(jù)它們的讀/寫計數(shù)進行分組。Salkhordeh 等人［45］分別在DRAM和NVM中使用LRU。當頁面到達NVM的LRU列表頂部并且超過閾值時，則遷移到DRAM；當計數(shù)器值超過閾值時，將頁面遷移到DRAM。

Lee等人［46］發(fā)現(xiàn)頁面的寫頻率比數(shù)據(jù)訪問的時間局部性更重要，由此提出了一種名為CLOCK-DWF的頁面置換算法。CLOCK-DWF使用兩個CLOCK算法，分別管理DRAM和NVM。CLOCK-DWF通過準確預測未來的寫操作將NVM中頻繁的寫操作轉移到DRAM中。TA-CLOCK［47］通過分析頁面的讀/寫計數(shù)對頁面的訪問傾向分類，并確定頁面的位置，將寫密集型頁面保留在DRAM中，將讀密集型頁面保留在NVM中，從而減少了不必要的頁面遷移。

李琪等人［48］提出了一種高效的混合內存頁面管理機制。該機制根據(jù)不同內存的寫入特性，將不同訪問特征的頁面進行合理分配，以減少系統(tǒng)中的數(shù)據(jù)遷移次數(shù)，從而提升系統(tǒng)性能。

直接遷移可能影響常規(guī)內存訪問的響應時間。SRS-Mig［42］選擇寫強度大于閾值的頁面作為遷移候選頁并且規(guī)劃了候選頁遷移到DRAM的時間，以此減少遷移開銷，改善應用程序的執(zhí)行時間和內存響應時間。

傳統(tǒng)NUMA內存管理策略在混合內存系統(tǒng)中無法有效工作，甚至可能導致應用性能下降。HiNUMA［49］利用NUMA感知內存分配和不對稱頁面遷移機制，實時監(jiān)測數(shù)據(jù)訪問情況，并根據(jù)數(shù)據(jù)訪問熱度和節(jié)點之間的距離等因素，動態(tài)地調整數(shù)據(jù)的存放位置，以最大限度地減少遠程訪問延遲和內存帶寬消耗，從而提高系統(tǒng)性能。

3.2 功耗優(yōu)化

雖然NVM的靜態(tài)功耗極低，但頻繁的寫操作會導致NVM動態(tài)功耗的上升，成為限制系統(tǒng)能效的主要因素。因此，優(yōu)化NVM寫功耗對于提高系統(tǒng)的能效至關重要。

曲良等人［50］通過選擇性分配目標程序到混合內存中來克服NVM寫功耗高和寫速度慢的問題。此方案將可執(zhí)行目標程序中有讀權限而沒有寫權限的段分配到NVM的地址空間內，將其余既有讀權限又有寫權限的段分配到DRAM的地址空間內，以此來降低系統(tǒng)功耗。

Zhang等人［51］提出能量感知的頁面置換策略EAPR，根據(jù)內存訪問計算DRAM和NVM中的頁面訪問能耗，并且將具有連續(xù)地址的類似頁面作為一個頁面組進行訪問，并根據(jù)其能耗選擇頁面組進行遷移，從而確定頁面是從NVM遷移到DRAM，還是從DRAM遷移到NVM。

孫浩等人［52］提出了一種面向邊緣計算的低功耗混合內存系統(tǒng)。為了實現(xiàn)低功耗管理，作者引入了內存控制器擴展，并通過一種改進的雙隊列算法篩選出NVM中寫請求較多的內存頁面，并通過地址映射模塊和遷移控制模塊將這些頁面從NVM遷移到DRAM中，從而回避了NVM寫操作的缺陷。

Kim等人［53］提出了一種用于混合內存系統(tǒng)的對象放置策略eMap。eMap考慮對象訪問模式和能耗，為對象提供理想的放置策略，以提高性能和降低功耗。eMap包含了兩個模塊，eMPlan和eMDyn。兩者都基于整數(shù)線性規(guī)劃（integer linear programming，ILP），并綜合考慮決策、容量和功耗三個主要約束條件。

3.3 壽命優(yōu)化

NVM耐久性有限的問題嚴重影響使用壽命。在混合內存系統(tǒng)中，主要有兩種策略來克服NVM有限的寫耐久性。一種是減少NVM的寫操作，另一種是磨損均衡（wear leveling）。前者主要通過數(shù)據(jù)遷移和緩存來實現(xiàn)。后者則通過在NVM上均勻分布寫操作，以確保所有存儲單元都獲得相對均等的使用，從而延長NVM的使用壽命。

磨損均衡技術大致可分為基于年齡的方法和基于隨機化的方法兩大類［54］。基于年齡的方法通過跟蹤寫操作計數(shù)來區(qū)分NVM中嚴重磨損和輕微磨損的區(qū)域，將嚴重磨損的NVM區(qū)域與輕微磨損的NVM區(qū)域交換，并盡可能將新的寫操作放置在輕微磨損的區(qū)域。通常，基于年齡的方案使用基于采樣的方法來獲取頁面的年齡。 Huang等人［54］通過有界尾部磨損均衡和輕量級磨損增強兩個關鍵模塊，有效延長了NVM的壽命。有界尾部磨損均衡通過動態(tài)提升和降低不同年齡段的頁面來保持頁面的年齡差距相等，以達到磨損均衡的效果。輕量級磨損增強則通過利用虛擬內存空間中的局部性原理來提高低頻采樣方案的準確性。多路磨損均衡（multi-way wear-leveling）［55］將邏輯地址空間劃分為子區(qū)域，然后對每個區(qū)域應用磨損均衡。

基于隨機化的方法將寫操作分布在內存區(qū)域中的隨機位置。細粒度磨損均衡（fine-grained wear-leveling）［56］技術將NVM頁的緩存行以旋轉方式存儲在NVM中。對于一個有16行的NVM頁，旋轉值為0～15。在0～15隨機生成一個旋轉值便可以用來表示移位的位置。

不同于將寫操作均勻分布在NVM上，Azevedo等人［57］利用禁用頁面中的備用塊為工作頁面提供更多的糾錯資源。從軟件的角度來看，內存占用是以頁面為單位組織的，因此包含有故障單元的整個頁面會被禁用。然而，如果提供了一些備用單元來替換故障單元，那么頁面將被再次使用。這些備用單元被稱為糾錯資源。作者利用禁用頁面中留存的大量糾錯資源與工作頁面配對，有效地實現(xiàn)了磨損均衡，從而提高了NVM的整體壽命。

4 混合內存數(shù)據(jù)放置的分析與展望

4.1 當前有關混合內存數(shù)據(jù)放置研究的問題

通過上述相關工作的分析和總結，可以看出在混合內存系統(tǒng)中數(shù)據(jù)放置的研究已經(jīng)取得了一定成果， 但是依然存在著一些問題，具體來說有以下幾點：

a）內存架構：混合內存架構設計上的復雜性使數(shù)據(jù)放置策略的決策變得更加復雜。研究人員需要考慮如何在不同架構的內存中有效地放置數(shù)據(jù)，以最大程度地提高性能和降低功耗。

b）數(shù)據(jù)遷移：在混合內存系統(tǒng)中，數(shù)據(jù)遷移是不可避免的，數(shù)據(jù)可能需要在內存介質中移動以滿足系統(tǒng)性能需求。這將引發(fā)延遲、功耗、資源利用等問題。如何以最小的開銷來進行數(shù)據(jù)遷移是一個富有挑戰(zhàn)性的問題。

c）計算成本：高效的數(shù)據(jù)放置策略可能需要更復雜的計算和算法，這將會增加系統(tǒng)的計算成本。

d）全局優(yōu)化：一些數(shù)據(jù)放置策略可能對特定工作負載表現(xiàn)出色，但在其他情況下可能并不理想，未能實現(xiàn)充分的效能優(yōu)化。例如，在工作負載變化頻繁的情況下，數(shù)據(jù)放置策略可能失效。因此，數(shù)據(jù)放置策略需要根據(jù)不同應用和工作負載的特點進行調整以獲得更全面的系統(tǒng)優(yōu)化。

4.2 混合內存數(shù)據(jù)放置研究展望

基于混合內存系統(tǒng)的數(shù)據(jù)放置具有很大的發(fā)展前景，未來在混合內存系統(tǒng)中數(shù)據(jù)放置策略的研究有以下方向值得探索和實踐。

a）混合內存架構設計：未來NVM將成為內存系統(tǒng)中極具潛力的產(chǎn)品，因此需要充分利用其高密度、低成本和非易性等優(yōu)點，解決其寫延遲高、寫功耗高和耐久性有限的問題，根據(jù)NVM的內存特性改進現(xiàn)有內存系統(tǒng)的架構。

b）操作系統(tǒng)內存管理：針對NVM技術的特點，需要重新設計操作系統(tǒng)的內存管理機制，充分利用其可字節(jié)尋址和非易失性的特性以提升現(xiàn)代計算機系統(tǒng)的整體效能。

c）機器智能數(shù)據(jù)放置：機器智能已在混合內存數(shù)據(jù)放置領域取得初步應用，在一定程度上為解決混合內存管理的研究提供了新的思路。探索更為成熟的基于機器智能的混合內存數(shù)據(jù)放置策略，以實現(xiàn)更為智能和高效的數(shù)據(jù)管理。

5 結束語

隨著高性能計算、人工智能、大數(shù)據(jù)和云計算等領域的蓬勃發(fā)展以及數(shù)據(jù)密集型應用程序不斷涌現(xiàn)，通用計算程序的訪存變得愈發(fā)密集。傳統(tǒng)內存系統(tǒng)已經(jīng)無法滿足計算機系統(tǒng)的處理需求。內存墻問題使得傳統(tǒng)內存系統(tǒng)在容量、性能和功耗等方面都面臨著嚴峻的挑戰(zhàn)，由NVM和DRAM構成的混合內存系統(tǒng)便應運而生。然而，如何將數(shù)據(jù)合理放置在混合內存系統(tǒng)中，數(shù)據(jù)放置的觸發(fā)方式和數(shù)據(jù)放置粒度是研究需要考慮的重要因素；如何從全局的角度綜合優(yōu)化數(shù)據(jù)放置，從而提高內存資源利用率和系統(tǒng)效能是未來仍需解決的問題。但可以預見，混合內存系統(tǒng)和數(shù)據(jù)放置策略的創(chuàng)新和發(fā)展將為計算機系統(tǒng)性能提升和混合內存架構的成熟發(fā)展提供強有力的支持，也是未來計算機體系結構研究的重要方向。

參考文獻：

［1］de Moura R C，Schneider G B，de Souza Oliveira L，et al. f-Hybridmem： a fuzzy-based approach for decision support in hybrid memory management ［C］// Proc of IEEE International Conference on Fuzzy Systems. Piscataway，NJ： IEEE Press，2020： 1-8.

［2］Liu Haikun，Chen Di，Jin Hai，et al. A survey of non-volatile main memory technologies： State-of-the-arts，practices，and future directions ［J］. Journal of Computer Science and Technology，2021，36（1）： 4-32.

［3］Guo Yuhua，Xiao Weijun，Liu Qing，et al. A cost-effective and energy-efficient architecture for die-stacked dram/nvm memory systems ［C］// Proc of the 37th IEEE International Performance Computing and Communications Conference. Piscataway，NJ： IEEE Press，2018： 1-2.

［4］Wang Bo，Tang Jie，Zhang Rui，et al. Energy-efficient data caching framework for spark in hybrid DRAM/NVM memory architectures ［C］// Proc of the 21st IEEE International Conference on High Performance Computing and Communications; the 17th IEEE International Conference on Smart City; the 5th IEEE International Conference on Data Science and Systems. Piscataway，NJ： IEEE Press，2019： 305-312.

［5］Lu Yanchao，Wu Donghong，He Bingsheng，et al. Rank-aware dynamic migrations and adaptive demotions for DRAM power management ［J］. IEEE Trans on Computers，2015，65（1）： 187-202.

［6］Boukhobza J，Rubini S，Chen R，et al. Emerging NVM： a survey on architectural integration and research challenges ［J］. ACM Trans on Design Automation of Electronic Systems，2017，23（2）： 1-32.

［7］冒偉，劉景寧，童薇，等. 基于相變存儲器的存儲技術研究綜述 ［J］. 計算機學報，2015，38（5）： 944-960. （Mao Wei，Liu Jingning，Tong Wei，et al. A review of storage technology research based on phase change memory ［J］. Chinese Journal of Computers，2015，38（5）： 944-960.）

［8］Rai S，Talawar B. Challenges in design，data placement，migration and power-performance trade-offs in DRAM-NVM-based hybrid memory systems ［J］. IETE Technical Review，2023，40（4）： 498-520.

［9］Kim J G，Kim S D，Yoon S K. Q-selector-based prefetching method for DRAM/NVM hybrid main memory system ［J］. Electronics，2020，9（12）： 2158.

［10］Liu Haikun，Chen Yujie，Liao Xiaofei，et al. Hardware/software coo-perative caching for hybrid DRAM/NVM memory architectures ［C］// Proc of International Conference on Supercomputing. New York：ACM Press，2017： 1-10.

［11］Hassan A，Vandierendonck H，Nikolopoulos D S. Energy-efficient hybrid DRAM/NVM main memory ［C］// Proc of International Conference on Parallel Architecture and Compilation. Piscataway，NJ： IEEE Press，2015： 492-493.

［12］Li Yang，Ghose S，Choi J，et al. Utility-based hybrid memory management ［C］// Proc of IEEE International Conference on Cluster Computing. Piscataway，NJ： IEEE Press，2017： 152-165.

［13］Ryoo J H，John L K，Basu A. A case for granularity aware page migration ［C］//Proc of International Conference on Supercomputing. New York： ACM Press，2018： 352-362.

［14］Wu Zhangling，Jin Peiquan，Yang Chengcheng，et al. APP-LRU： a new page replacement method for PCM/DRAM-based hybrid memory systems ［M］// Network and Parallel Computing. Berlin： Springer，2014： 84-95.

［15］Niu Na，F(xiàn)u Fangfa，Yang Bing，et al. PRO： a periodical reset optimized page migration scheme for hybrid memory system ［J］. Journal of Systems Architecture，2020，111： 101786.

［16］Cha S，Kim B，Park C H，et al. Morphable DRAM cache design for hybrid memory systems ［J］. ACM Trans on Architecture and Code Optimization，2019，16（3）： 1-24.

［17］Chi Ye，Yue Jianhui，Liao Xiaofei，et al. A hybrid memory architecture supporting fine-grained data migration ［J］. Frontiers of Computer Science，2024，18（2）： 182103.

［18］Jin Hai，Chen Di，Liu Haikun，et al. Miss penalty aware cache replacement for hybrid memory systems ［J］. IEEE Trans on Computer-Aided Design of Integrated Circuits and Systems，2020，39（12）： 4669-4682.

［19］Vasilakis E，Papaefstathiou V，Trancoso P，et al. Hybrid2： combining caching and migration in hybrid memory systems ［C］// Proc of IEEE International Symposium on High Performance Computer Architecture. Piscataway，NJ： IEEE Press，2020： 649-662.

［20］Kotra J B，Zhang H，Alameldeen A R，et al. Chameleon： a dynamically reconfigurable heterogeneous memory system ［C］// Proc of the 51st Annual IEEE/ACM International Symposium on Microarchitecture. Piscataway，NJ： IEEE Press，2018： 533-545.

［21］Bock S，Childers B R，Melhem R，et al. Concurrent migration of multiple pages in software-managed hybrid main memory ［C］// Proc of the 34th IEEE International Conference on Computer Design. Piscataway，NJ： IEEE Press，2016： 420-423.

［22］Liu Haikun，Liu Renshan，Liao Xiaofei，et al. Object-level memory allocation and migration in hybrid memory systems ［J］. IEEE Trans on Computers，2020，69（9）： 1401-1413.

［23］Tan Yujuan，Wang Baiping，Yan Zhichao，et al. UIMigrate： adaptive data migration for hybrid non-volatile memory systems ［C］// Proc of Design，Automation & Test in Europe Conference & Exhibition. Piscataway，NJ： IEEE Press，2019： 860-865.

［24］Islam M，Adavally S，Scrbak M，et al. On-the-fly page migration and address reconciliation for heterogeneous memory systems ［J］. ACM Journal on Emerging Technologies in Computing Systems，2020，16（1）： 1-27.

［25］Sun Hao，Chen Lan，Hao Xiaoran，et al. An energy-efficient and fast scheme for hybrid storage class memory in an AIoT terminal system ［J］. Electronics，2020，9（6）： 1013.

［26］Yoon H B，Meza J，Ausavarungnirun R，et al. Row buffer locality aware caching policies for hybrid memories ［C］// Proc of the 30th IEEE International Conference on Computer Design. Piscataway，NJ： IEEE Press，2012： 337-344.

［27］Wei Wei，Jiang Dejun，McKee S A，et al. Exploiting program semantics to place data in hybrid memory ［C］// Proc of International Conference on Parallel Architecture and Compilation. Piscataway，NJ： IEEE Press，2015： 163-173.

［28］Hassan A，Vandierendonck H，Nikolopoulos D S. Software-managed energy-efficient hybrid DRAM/NVM main memory ［C］// Proc of the 12th ACM International Conference on Computing Frontiers. New York： ACM Press，2015： 1-8.

［29］Olson M B，Zhou T，Jantz M R，et al. Membrain： automated application guidance for hybrid memory systems ［C］// Proc of IEEE International Conference on Networking，Architecture and Storage. Piscataway，NJ： IEEE Press， 2018： 1-10.

［30］Long Linbo，Du Jinpei，Deng Xuxu，et al. Optimizing data placement and size configuration for morphable NVM based SPM in embedded multicore systems ［J］. Future Generation Computer Systems，2022，135： 270-282.

［31］de Moura R C，de Souza Oliveira L，Schneider G B，et al. Intf-HybridMem： page migration in hybrid memories considering cost efficiency ［J］. Sustainable Computing： Informatics and Systems，2021，29： 100466.

［32］Liu Lei，Yang Shengjie，Peng Lu，et al. Hierarchical hybrid memory management in OS for tiered memory systems ［J］. IEEE Trans on Parallel and Distributed Systems，2019，30（10）： 2223-2236.

［33］邱杰凡，華宗漢，范菁，等. 內存體系劃分技術的研究與發(fā)展 ［J］. 軟件學報，2022，33（2）： 751-769. （Qiu Jiefan，Hua Zonghan，F(xiàn)an Jing，et al. Evolution of memory partitioning technologies： Case study through page coloring ［J］. Journal of Software，2022，33（2）： 751-769.）

［34］Peng I B，Gioiosa R，Kestor G，et al. RTHMS： a tool for data placement on hybrid memory system ［J］. ACM SIGPLAN Notices，2017，52（9）： 82-91.

［35］Servat H，Pe？a A J，Llort G，et al. Automating the application data placement in hybrid memory systems ［C］// Proc of IEEE International Conference on Cluster Computing. Piscataway，NJ： IEEE Press，2017： 126-136.

［36］Doudali T D，Gavrilovska A. Machine learning augmented hybrid memory management ［C］// Proc of the 30th International Symposium on High-Performance Parallel and Distributed Computing. New York： ACM Press，2021： 253-254.

［37］Doudali T D，Blagodurov S，Vishnu A，et al. Kleio： a hybrid memory page scheduler with machine intelligence ［C］// Proc of the 28th International Symposium on High-Performance Parallel and Distributed Computing. New York： ACM Press，2019： 37-48.

［38］Doudali T D，Zahka D，Gavrilovska A. Tuning the frequency of periodic data movements over hybrid memory systems ［EB/OL］. （2021-01-15）. https：//arxiv.org/abs/2101.07200.

［39］Doudali T D，Gavrilovska A. Coeus： clustering （a） like patterns for practical machine intelligent hybrid memory management ［C］// Proc of the 22nd IEEE International Symposium on Cluster，Cloud and Internet Computin. Piscataway，NJ： IEEE Press，2022： 615-624.

［40］Doudali T D，Gavrilovska A. Mnemo： boosting memory cost efficiency in hybrid memory systems ［C］// Proc of IEEE International Parallel and Distributed Processing Symposium Workshops. Piscataway，NJ： IEEE Press，2019： 412-421.

［41］Doudali T D，Gavrilovska A. CoMerge： toward efficient data placement in shared heterogeneous memory systems ［C］// Proc of International Symposium on Memory Systems. New York： ACM Press，2017： 251-261.

［42］Aswathy N S，Bhavanasi S，Sarkar A，et al. SRS-Mig： selection and run-time scheduling of page migration for improved response time in hybrid PCM-DRAM memories ［C］// Proc of Great Lakes Symposium on VLSI. New York： ACM Press，2022： 217-222.

［43］Cai Miao，Huang Hao. A survey of operating system support for persistent memory ［J］. Frontiers of Computer Science，2021，15： 1-20.

［44］Mutlu O. Main memory scaling： challenges and solution directions ［M］// More than Moore Technologies for Next Generation Computer Design. New York： Springer， 2015： 127-153.

［45］Salkhordeh R，Asadi H. An operating system level data migration scheme in hybrid DRAM-NVM memory architecture ［C］// Proc of Design，Automation & Test in Europe Conference & Exhibition. Piscataway，NJ： IEEE Press，2016： 936-941.

［46］Lee S，Bahn H，Noh S H. CLOCK-DWF： a write-history-aware page replacement algorithm for hybrid PCM and DRAM memory architectures ［J］. IEEE Trans on Computers，2013，63（9）： 2187-2200.

［47］Choi J H，Kim K M，Kwak J W. TA-CLOCK： tendency-aware page replacement policy for hybrid main memory in high-performance embedded systems ［J］. Electronics，2021，10（9）： 1111.

［48］李琪，鐘將，李雪，等. 基于新型非易失存儲器的混合內存架構的內存管理機制 ［J］. 電子學報，2019，47（3）： 664-670. （Li Qi，Zhong Jiang，Li Xue，et al. Memory management mechanism for hybrid memory architecture based on new non-volatile memory ［J］. Acta Electronica Sinica，2019，47（3）： 664-670.）

［49］Duan Zhuohui，Liu Haikun，Liao Xiaofei，et al. HiNUMA： NUMA aware data placement and migration in hybrid memory systems ［C］// Proc of the 37th IEEE International Conference on Computer Design. Piscataway，NJ： IEEE Press，2019： 367-375.

［50］曲良，陳嵐，郝曉冉，等. 基于混合內存的存儲系統(tǒng)優(yōu)化方案 ［J］. 電子設計工程，2019，27（21）： 140-145. （Qu Liang，Chen Lan，Hao Xiaoran，et al. Optimization scheme of memory system based on hybrid main memory ［J］. Electronic Design Engineering，2019，27（21）： 140-145.）

［51］Zhang Yiming，Zhan Jinyu，Yang Junhuan，et al. Energy-aware page replacement for NVM based hybrid main memory system ［C］// Proc of the 23rd IEEE International Conference on Embedded and Real-Time Computing Systems and Application. Piscataway，NJ： IEEE Press，2017： 1-6.

［52］孫浩，陳嵐，郝曉冉，等. 一種面向邊緣計算的混合內存系統(tǒng) ［J］. 北京郵電大學學報，2020，43（2）： 103-109. （Sun Hao，Chen Lan，Hao Xiaoran，et al. A hybrid memory system for edge computing ［J］. Journal of Beijing University of Posts and Telecommunications，2020，43（2）： 103-109.）

［53］Kim T，Jamil S，Park J，et al. Optimizing placement of heap memory objects in energy-constrained hybrid memory systems ［J］. arXiv preprint arXiv： 2006. 12133，2020.

［54］Huang Jiacheng，Peng Min，Wu Libing，et al. Lamina： low oO8k2Qx7RDZr4LedOK0BOPQ==verhead wear leveling for NVM with bounded tail ［C］// Proc of the 27th Asia and South Pacific Design Automation Conference. Piscataway，NJ： IEEE Press，2022： 377-382.

［55］Yu Hongliang，Du Yuyang. Increasing endurance and security of phase-change memory with multi-way wear-leveling ［J］. IEEE Trans on Computers，2012，63（5）： 1157-1168.

［56］Qureshi M K，Srinivasan V，Rivers J A. Scalable high performance main memory system using phase-change memory technology ［C］// Proc of the 36th Annual International Symposium on Computer Architecture. New York： ACM Press，2009： 24-33.

［57］Azevedo R，Davis J D，Strauss K，et al. Zombie memory： extending memory lifetime by reviving dead blocks ［C］// Proc of the 40th Annual International Symposium on Computer Architecture. 2013： 452-463.

收稿日期：2023-12-12；修回日期：2024-02-20 基金項目：中國高校產(chǎn)學研自然基金資助項目（2021FNA04016）

作者簡介：林炳輝（1998—），男，福建泉州人，碩士研究生，主要研究方向為混合內存優(yōu)化，軟件工程等；張建勛（1978—），男，河北保定人，教授，碩導，博士，CCF會員，主要研究方向為混合存儲優(yōu)化（Zhangjx@tute.edu.cn）；喬欣雨（1997—），女，江蘇南京人，碩士研究生，主要研究方向為軟件工程.