隨著數(shù)字人概念的火爆、生成技術(shù)的不斷發(fā)展，讓照片里的人物跟隨音頻的輸入動(dòng)起來也不再是難題。

不過目前「通過人臉圖像和一段語(yǔ)音音頻來生成會(huì)說話的人物頭像視頻」仍然存在諸多問題，比如頭部運(yùn)動(dòng)不自然、面部表情扭曲、視頻和圖片中的人物面部差異過大等問題。

(資料圖)

最近來自西安交通大學(xué)等的研究人員提出了SadTalker模型，在三維運(yùn)動(dòng)場(chǎng)中進(jìn)行學(xué)習(xí)從音頻中生成3DMM的3D運(yùn)動(dòng)系數(shù)（頭部姿勢(shì)、表情），并使用一個(gè)全新的3D面部渲染器來生成頭部運(yùn)動(dòng)。

論文鏈接：https://arxiv.org/pdf/2211.12194.pdf

項(xiàng)目主頁(yè)：https://sadtalker.github.io/

音頻可以是英文、中文、歌曲，視頻里的人物還可以控制眨眼頻率！

為了學(xué)習(xí)真實(shí)的運(yùn)動(dòng)系數(shù)，研究人員顯式地對(duì)音頻和不同類型的運(yùn)動(dòng)系數(shù)之間的聯(lián)系進(jìn)行單獨(dú)建模：通過蒸餾系數(shù)和3D渲染的臉部，從音頻中學(xué)習(xí)準(zhǔn)確的面部表情；通過條件VAE設(shè)計(jì)PoseVAE來合成不同風(fēng)格的頭部運(yùn)動(dòng)。

最后使用生成的三維運(yùn)動(dòng)系數(shù)被映射到人臉渲染的無監(jiān)督三維關(guān)鍵點(diǎn)空間，并合成最終視頻。

最后在實(shí)驗(yàn)中證明了該方法在運(yùn)動(dòng)同步和視頻質(zhì)量方面實(shí)現(xiàn)了最先進(jìn)的性能。

目前stable-diffusion-webui的插件也已經(jīng)發(fā)布！

數(shù)字人創(chuàng)作、視頻會(huì)議等多個(gè)領(lǐng)域都需要「用語(yǔ)音音頻讓靜態(tài)照片動(dòng)起來」的技術(shù)，但目前來說這仍然是一項(xiàng)非常有挑戰(zhàn)性的任務(wù)。

之前的工作主要集中在生成「唇部運(yùn)動(dòng)」，因?yàn)樽齑降膭?dòng)作與語(yǔ)音之間的關(guān)系最強(qiáng)，其他工作也在嘗試生成其他相關(guān)運(yùn)動(dòng)（如頭部姿勢(shì)）的人臉視頻，不過生成視頻的質(zhì)量仍然非常不自然，并受到偏好姿勢(shì)、模糊、身份修改和面部扭曲的限制。

另一種流行的方法是基于latent的人臉動(dòng)畫，主要關(guān)注在對(duì)話式人臉動(dòng)畫中特定類別的運(yùn)動(dòng)，同樣很難合成高質(zhì)量的視頻，因?yàn)殡m然三維面部模型中包含高度解耦的表征，可以用來單獨(dú)學(xué)習(xí)面部不同位置的運(yùn)動(dòng)軌跡，但仍然會(huì)生成不準(zhǔn)確的表情和不自然的運(yùn)動(dòng)序列。

基于上述觀察結(jié)果，研究人員提出了SadTalker（Stylized Audio-Driven Talking-head），通過隱式三維系數(shù)modulation的風(fēng)格化音頻驅(qū)動(dòng)的視頻生成系統(tǒng)。

為了實(shí)現(xiàn)這一目標(biāo)，研究人員將3DMM的運(yùn)動(dòng)系數(shù)視為中間表征，并將任務(wù)分為兩個(gè)主要部分（表情和姿勢(shì)），旨在從音頻中生成更真實(shí)的運(yùn)動(dòng)系數(shù)（如頭部姿勢(shì)、嘴唇運(yùn)動(dòng)和眼睛眨動(dòng)），并單獨(dú)學(xué)習(xí)每個(gè)運(yùn)動(dòng)以減少不確定性。

最后通過一個(gè)受face-vid2vid啟發(fā)設(shè)計(jì)的3D感知的面部渲染來驅(qū)動(dòng)源圖像。

3D面部

因?yàn)楝F(xiàn)實(shí)中的視頻都是在三維環(huán)境中拍攝的，所以三維信息對(duì)于提高生成視頻的真實(shí)性至關(guān)重要；不過之前的工作很少考慮三維空間，因?yàn)橹粡囊粡埰矫鎴D像很難獲得原始的三維稀疏，并且高質(zhì)量的面部渲染器也很難設(shè)計(jì)。

受最近的單圖像深度三維重建方法的啟發(fā)，研究人員將預(yù)測(cè)的三維形變模型（3DMMs）的空間作為中間表征。

在3DMM中，三維臉部形狀S可以被解耦為：

其中S是三維人臉的平均形狀，Uid和Uexp是LSFM morphable模型的身份和表情的正則，系數(shù)α（80維）和β（64維）分別描述人物身份和表情；為了保持姿勢(shì)的差異性，系數(shù)r和t分別表示頭部旋轉(zhuǎn)和平移；為了實(shí)現(xiàn)身份無關(guān)的系數(shù)生成，只將運(yùn)動(dòng)的參數(shù)建模為{β, r, t}。

即，從驅(qū)動(dòng)的音頻中單獨(dú)學(xué)習(xí)頭部姿勢(shì)ρ=[r, t]和表情系數(shù)β，然后使用這些運(yùn)動(dòng)系數(shù)被隱式地調(diào)制面部渲染用于最終的視頻合成。

通過音頻生成運(yùn)動(dòng)稀疏

三維運(yùn)動(dòng)系數(shù)包含頭部姿勢(shì)和表情，其中頭部姿勢(shì)是全局運(yùn)動(dòng)，而表情是相對(duì)局部的，所以完全學(xué)習(xí)所有的系數(shù)會(huì)給網(wǎng)絡(luò)帶來巨大的不確定性，因?yàn)轭^部姿勢(shì)與音頻的關(guān)系相對(duì)較弱，而嘴唇的運(yùn)動(dòng)則是與音頻高度關(guān)聯(lián)的。

所以SadTalker使用下面PoseVAE和ExpNet分別生成頭部姿勢(shì)和表情的運(yùn)動(dòng)。

ExpNet

學(xué)習(xí)到一個(gè)可以「從音頻中產(chǎn)生準(zhǔn)確的表情系數(shù)」的通用模型是非常困難的，原因有二：

1）音頻到表情（audio-to-expression）不是對(duì)不同人物的一對(duì)一的映射任務(wù)；

2）表情系數(shù)中存在一些與音頻相關(guān)的動(dòng)作，會(huì)影響到預(yù)測(cè)的準(zhǔn)確性。

ExpNet的設(shè)計(jì)目標(biāo)就是為了減少這些不確定性；至于人物身份問題，研究人員通過第一幀的表情系數(shù)將表情運(yùn)動(dòng)與特定的人物聯(lián)系起來。

為了減少自然對(duì)話中其他面部成分的運(yùn)動(dòng)權(quán)重，通過Wav2Lip和深度三維重建的預(yù)訓(xùn)練網(wǎng)絡(luò)，只使用嘴唇運(yùn)動(dòng)系數(shù)（lip motion only）作為系數(shù)目標(biāo)。

至于其他細(xì)微的面部運(yùn)動(dòng)（如眼睛眨動(dòng)）等，可以在渲染圖像上的額外landmark損失中引入。

PoseVAE

研究人員設(shè)計(jì)了一個(gè)基于VAE的模型以學(xué)習(xí)談話視頻中真實(shí)的、身份相關(guān)（identity-aware）的風(fēng)格化頭部運(yùn)動(dòng)。

在訓(xùn)練中，使用基于編碼器-解碼器的結(jié)構(gòu)對(duì)固定的n個(gè)幀進(jìn)行姿勢(shì)VAE訓(xùn)練，其中編碼器和解碼器都是兩層MLP，輸入包含一個(gè)連續(xù)的t幀頭部姿勢(shì)，將其嵌入到高斯分布；在解碼器中，網(wǎng)絡(luò)從采樣分布中學(xué)習(xí)生成t幀姿勢(shì)。

需要注意的是，PoseVAE并沒有直接生成姿勢(shì)，而是學(xué)習(xí)第一幀的條件姿勢(shì)的殘差，這也使得該方法在測(cè)試中能在第一幀的條件下生成更長(zhǎng)、更穩(wěn)定、更連續(xù)的頭部運(yùn)動(dòng)。

根據(jù)CVAE，PoseVAE中還增加了相應(yīng)的音頻特征和風(fēng)格標(biāo)識(shí)作為rhythm awareness和身份風(fēng)格的條件。

模型使用KL散度來衡量生成運(yùn)動(dòng)的分布；使用均方損失和對(duì)抗性損失來保證生成的質(zhì)量。

3D-aware面部渲染

在生成真實(shí)的三維運(yùn)動(dòng)系數(shù)后，研究人員通過一個(gè)精心設(shè)計(jì)的三維圖像動(dòng)畫器來渲染最終的視頻。

最近提出的圖像動(dòng)畫方法face-vid2vid可以隱含地從單一圖像中學(xué)習(xí)3D信息，不過該方法需要一個(gè)真實(shí)的視頻作為動(dòng)作驅(qū)動(dòng)信號(hào)；而這篇論文中提出的臉部渲染可以通過3DMM系數(shù)來驅(qū)動(dòng)。

研究人員提出mappingNet來學(xué)習(xí)顯式3DMM運(yùn)動(dòng)系數(shù)（頭部姿勢(shì)和表情）和隱式無監(jiān)督3D關(guān)鍵點(diǎn)之間的關(guān)系。

mappingNet通過幾個(gè)一維卷積層建立，類似PIRenderer一樣使用時(shí)間窗口的時(shí)間系數(shù)進(jìn)行平滑處理；不同的是，研究人員發(fā)現(xiàn)PIRenderer中的人臉對(duì)齊運(yùn)動(dòng)系數(shù)將極大地影響音頻驅(qū)動(dòng)的視頻生成的運(yùn)動(dòng)自然度，所以mappingNet只使用表情和頭部姿勢(shì)的系數(shù)。

訓(xùn)練階段包含兩個(gè)步驟：首先遵循原論文，以自監(jiān)督的方式訓(xùn)練face-vid2vid；然后凍結(jié)外觀編碼器、canonical關(guān)鍵點(diǎn)估計(jì)器和圖像生成器的所有參數(shù)后，以重建的方式在ground truth視頻的3DMM系數(shù)上訓(xùn)練mappingNet進(jìn)行微調(diào)。

在無監(jiān)督關(guān)鍵點(diǎn)的域中使用L1損失進(jìn)行監(jiān)督訓(xùn)練，并按照其原始實(shí)現(xiàn)方式給出最終生成的視頻。

為了證明該方法的優(yōu)越性，研究人員選取了Frechet Inception Distance（FID）和Cumulative Probability Blur Detection（CPBD）指標(biāo)來評(píng)估圖像的質(zhì)量，其中FID主要評(píng)估生成幀的真實(shí)性，CPBD評(píng)估生成幀的清晰度。

為了評(píng)估身份保留程度，使用ArcFace來提取圖像的身份嵌入，然后計(jì)算源圖像和生成幀之間身份嵌入的余弦相似度（CSIM）。

為了評(píng)估唇部同步和口型，研究人員評(píng)估了來自Wav2Lip的口型的感知差異，包括距離評(píng)分（LSE-D）和置信評(píng)分（LSE-C）。

在頭部運(yùn)動(dòng)的評(píng)估中，使用Hopenet從生成的幀中提取的頭部運(yùn)動(dòng)特征嵌入的標(biāo)準(zhǔn)偏差來計(jì)算生成頭部運(yùn)動(dòng)的多樣性；計(jì)算Beat Align Score來評(píng)估音頻和生成頭部運(yùn)動(dòng)的一致性。

在對(duì)比方法中，選取了幾種最先進(jìn)的談話頭像生成方法，包括MakeItTalk、Audio2Head和音頻轉(zhuǎn)表情生成方法（Wav2Lip、PC-AVS），使用公開的checkpoint權(quán)重進(jìn)行評(píng)估。

從實(shí)驗(yàn)結(jié)果中可以看出，文中提出的方法可以展現(xiàn)出更好的整體視頻質(zhì)量和頭部姿勢(shì)的多樣性，同時(shí)在唇部同步指標(biāo)方面也顯示出與其他完全說話的頭部生成方法相當(dāng)?shù)男阅堋?/p>

研究人員認(rèn)為，這些唇語(yǔ)同步指標(biāo)對(duì)音頻太敏感了，以至于不自然的唇部運(yùn)動(dòng)可能會(huì)得到更好的分?jǐn)?shù)，不過文中提出的方法取得了與真實(shí)視頻相似的分?jǐn)?shù)，也表明了該方法的優(yōu)勢(shì)。

不同方法生成的視覺結(jié)果中可以看到，該方法與原始目標(biāo)視頻的視覺質(zhì)量非常相似，而且與預(yù)期的不同頭部姿勢(shì)也非常相似。

與其他方法相比，Wav2Lip生成了模糊的半臉；PC-AVS和Audio2Head很難保留源圖像的身份；Audio2Head只能生成正面說話的臉；MakeItTalk和Audio2Head由于二維扭曲而生成了扭曲的人臉視頻。

關(guān)鍵詞：