近日，上海交通大學(xué)聯(lián)合研發(fā)了一款換臉框架SimSwap，使人臉交換的應(yīng)用更加靈活廣泛且真實度更高。以前的換臉框架要么缺乏概括任意身份的能力，要么無法保留面部表情和注視方向等屬性，這一框架能夠?qū)⑷我庠慈四樀纳矸蒉D(zhuǎn)換為任意目標人臉，同時保留目標人臉的屬性。

近日，上海交通大學(xué)聯(lián)合研發(fā)了一款換臉框架SimSwap，使人臉交換的應(yīng)用更加靈活廣泛且真實度更高。以前的換臉框架要么缺乏概括任意身份的能力，要么無法保留面部表情和注視方向等屬性，這一框架能夠?qū)⑷我庠慈四樀纳矸蒉D(zhuǎn)換為任意目標人臉，同時保留目標人臉的屬性。

人臉交換是一項前景良好的智能技術(shù)。它在保持目標人臉的特征（如表情、姿態(tài)、光照等）不變的情況下，將源人臉的特征轉(zhuǎn)換為目標人臉。在電影行業(yè)被廣泛應(yīng)用于制造不存在的雙胞胎等畫面。讓影迷記憶最深的當屬2015年4月12日上映的《速度與激情7》中，原本于2013年便意外去世的保羅沃克通過換臉技術(shù)實現(xiàn)了“重生”，圓了影迷的一個夢。

利用先進的設(shè)備重建演員的人臉模型，重建場景的光照條件，這是大多數(shù)人無法企及的。

目前，人臉互換的主要困難有以下幾個方面：1）具有較強通用能力的人臉交換框架應(yīng)適用于任意人臉；2）合成后的面部的特征應(yīng)與源面孔特征相近；3）生成出來的人臉特征（如表情、姿勢、燈光等）應(yīng)與目標人臉的特征一致。

相關(guān)論文

上海交通大學(xué)的科研團隊從兩方面入手，首先，在框架中加入一個身份注入模塊（IIM）。其次，提出弱特征匹配損失。雙管齊下，將上述問題迎刃而解。

身份注入模塊

首先，增加身份注入模塊（IIM）以實現(xiàn)算法框架的廣泛性應(yīng)用。任何臉都能使用同一算法進行換臉，這一夢想成為現(xiàn)實。

目前，以DeepFake為代表的換臉框架使用編碼器-解碼器架構(gòu)，只能針對兩個特定的面孔進行交換，缺乏廣泛應(yīng)用的能力。

SimSwap通過在編碼器和解碼器之間添加額外的ID注入模塊來改進該體系結(jié)構(gòu)。在特征層面將源臉的身份信息遷移到目標臉，消除了原圖特征信息與解碼器的權(quán)重之間的相關(guān)性。

通過加入ID注入模塊，將原本局限于兩張?zhí)囟ㄈ四樀幕Q方法擴展到任意人臉的互換上。且這一算法框架不用挑選特定朝向及表情的面部圖片也能實現(xiàn)換臉。每次換臉不再需要更換算法，節(jié)省了時間及財力。同一算法結(jié)構(gòu)應(yīng)用到任意人臉更換，其通用性得以實現(xiàn)。

弱特征匹配損失

在人臉交換任務(wù)中，修改應(yīng)只在五官特征部分進行，目標人臉的屬性（如表情、位置、燈光等）保持不變。但是，由于SimSwap是從整體的角度直接進行人臉修改，包括目標人臉的身份信息和屬性信息，屬性信息很可能受到特征嵌入的影響。

為了防止屬性失配，研究人員通過使用訓(xùn)練損失來約束它們。然而，顯式地約束所有屬性，因為太多屬性需要考慮，過程過于繁瑣。因此，SimSwap選用一種相對簡潔的弱特征匹配損失進行隱式約束。損失函數(shù)共有5項：身份損失、重建損失、對抗損失、梯度懲罰和弱特征匹配損失。

通過使用這種損失函數(shù)，即使沒有進行顯式地網(wǎng)絡(luò)約束，算法框架也可以隱式地學(xué)習(xí)如何保留輸入目標面孔的屬性。

通過與其他換臉算法的對比，可以看出相較于DeepFakes和FaceShifter，SimSwap生成了可信的人臉交換結(jié)果，同時實現(xiàn)了更好的屬性保持性能。

相信在未來，通用型高保真人臉交換框架SimSwap因其高效低價的雙重優(yōu)勢，在影視等行業(yè)中得以充分應(yīng)用。 （摘自美《深科技》）