中國科學院深圳先進技術研究院高性能計算技術研究中心張云研究團隊在圖像級 JND 預測的研究取得進展。相應成果為“Liu HH, Zhang Y,Zhang H, et al.Deep learning based picture wise just noticeable distortion prediction for image compress[J].IEEE Transactions on Image Processing, 2020,29(1): 641-656(基于深度學習的圖像級 JND 預測與圖像壓縮應用)”。

人眼不能察覺圖像中處于一定閾值以下的圖像像素細微的變化，該閾值就是人眼的恰可感知失真(Just Noticeable Distortion，JND)閾值，代表著圖像中的視覺冗余度。JND 閾值描述了人眼能感知的圖像最小失真，反映了人類視覺系統(tǒng)的感知能力及敏感度，被廣泛應用于圖像/視頻編碼、流媒體應用和水印技術中。傳統(tǒng)的像素域和頻率域 JND 模型，只針對單個像素/頻率的 JND閾值進行估計，難以準確估計整幅圖像的 JND閾值，而人眼是對整幅圖像的質量進行感知。為此，該研究提出一種基于深度學習的圖像級 JND預測模型。

該模型首先訓練出二分類感知失真判別器，其能對壓縮圖像的失真能否被人眼感知進行預測；其次，通過訓練好的判別器對待測圖像和與待測圖像對應的壓縮圖像進行感知失真判別，得到判別結果集合；最后，通過 JND 搜索策略對感知失真判別結果集合進行容錯處理，從而降低JND 閾值的預測偏差，預測得到待測圖像的 JND閾值。

以美國南加州大學 Kuo 教授等人提出的MCL-JCI 公開數據集為例，對所提方法的有效性進行對比驗證。實驗結果表明，所提出的 JND模型預測偏差，即 ΔPSNR 約為 0.7 dB，優(yōu)于傳統(tǒng)像素域以及頻率域的 JND 模型。應用到 JPEG圖像壓縮中，可在相同視覺質量下節(jié)省約 88%的比特率。

該研究首次提出圖像級 JND 預測模型的建模方法，有助于揭示人眼視覺系統(tǒng)視覺質量感知過程，可服務于圖像/視頻編解碼、流媒體應用。

傳統(tǒng)失真模型與基于 JND 的失真模型