背景介紹

實時音視頻通信 RTC 在成為人們生活和工作中不可或缺的基礎(chǔ)設(shè)施后，其中所涉及的各類技術(shù)也在不斷演進以應(yīng)對處理復雜多場景問題，比如音頻場景中，如何在多設(shè)備、多人、多噪音場景下，為用戶提供聽得清、聽得真的體驗。

作為語音信號處理研究領(lǐng)域的旗艦國際會議，ICASSP (International Conference on Acoustics, Speech and Signal Processing) 一直代表著聲學領(lǐng)域技術(shù)最前沿的研究方向。ICASSP 2023 收錄了多篇和音頻信號語音增強算法相關(guān)的文章，其中，火山引擎RTC音頻團隊共有4篇研究論文被大會接收，論文方向包括特定說話人語音增強、回聲消除、多通道語音增強、音質(zhì)修復主題。本文將介紹這 4 篇論文解決的核心場景問題和技術(shù)方案，分享火山引擎 RTC 音頻團隊在語音降噪、回聲消除、干擾人聲消除領(lǐng)域的思考與實踐。

【資料圖】

《基于頻帶分割循環(huán)神經(jīng)網(wǎng)絡(luò)的特定說話人增強》

論文地址：

https://ieeexplore.ieee.org/abstract/document/10097252

實時特定說話人語音增強任務(wù)有許多問題亟待解決。首先，采集聲音的全頻帶寬度提高了模型的處理難度。其次，相比非實時場景，實時場景下的模型更難定位目標說話人，如何提高說話人嵌入向量和語音增強模型的信息交互是實時處理的難點。受到人類聽覺注意力的啟發(fā)，火山引擎提出了一種引入說話人信息的說話人注意力模塊（Speaker Attentive Module，SAM），并將其和單通道語音增強模型-頻帶分割循環(huán)神經(jīng)網(wǎng)絡(luò)（Band-split Recurrent Neural Network，BSRNN) 融合，構(gòu)建特定人語音增強系統(tǒng)來作為回聲消除模型的后處理模塊，并對兩個模型的級聯(lián)進行優(yōu)化。

模型框架結(jié)構(gòu)頻帶分割循環(huán)神經(jīng)網(wǎng)絡(luò)（BSRNN）

頻帶分割循環(huán)神經(jīng)網(wǎng)絡(luò)（Band-split RNN, BSRNN）是全頻帶語音增強和音樂分離的 SOTA 模型，其結(jié)構(gòu)如上圖所示。BSRNN 由三個模塊組成，分別是頻帶分割模塊（Band-Split Module）、頻帶序列建模模塊（Band and Sequence Modeling Module）和頻帶合并模塊（Band-Merge Module）。頻帶分割模塊首先將頻譜分割為 K 個頻帶，每個頻帶的特征通過批歸一化（BN）后，被 K 個全連接層（FC）壓縮到相同的特征維度 C 。隨后，所有頻帶的特征被拼接為一個三維張量并由頻帶序列建模模塊進一步處理，該模塊使用 GRU 交替建模特征張量的時間和頻帶維度。經(jīng)過處理的特征最后經(jīng)過頻帶合并模塊得到最后的頻譜掩蔽函數(shù)作為輸出，將頻譜掩蔽和輸入頻譜相乘即可得到增強語音。我們在每一個頻帶序列建模模塊后添加了說話人注意力模塊以構(gòu)建特定人語音增強模型。

說話人注意力機制模塊 (SAM)

說話人注意力模塊（Speaker Attentive Module）的結(jié)構(gòu)如上圖。其核心思想是使用說話人嵌入向量 e作為語音增強模型中間特征的吸引子，計算其和中間特征所有時間和頻帶上的相關(guān)度 s，稱作注意力值。該注意力值將被用于對中間特征 h進行縮放規(guī)整。其具體公式如下：

首先通過全連接和卷積將 e 和 h 變換為 k 和 q：

k 和 q 相乘得到注意力值：

最后通過該注意力值縮放原始特征：

模型訓練數(shù)據(jù)

關(guān)于模型訓練數(shù)據(jù)，我們采用了第五屆 DNS 特定說話人語音增強賽道的數(shù)據(jù)以及 DiDispeech 的高質(zhì)量語音數(shù)據(jù)，通過數(shù)據(jù)清洗，得到約 3500 個說話人的清晰語音數(shù)據(jù)。在數(shù)據(jù)清洗方面，我們使用了基于 ECAPA-TDNN[1]說話人識別的預訓練模型來去除語音數(shù)據(jù)中殘留的干擾說話人語音，同時使用第四屆 DNS 挑戰(zhàn)賽第一名的預訓練模型來去除語音數(shù)據(jù)中的殘留噪聲。在訓練階段，我們生成了超過 10 萬條 4s 的語音數(shù)據(jù)，對這些音頻添加混響以模擬不同信道，并隨機和噪聲、干擾人聲混合，設(shè)置成一種噪聲、兩種噪聲、噪聲和干擾說話人以及僅有干擾說話人 4 種干擾場景。同時，為了模擬不同大小的輸入，含噪語音和目標語音電平也會被隨機縮放。

《融合特定說話人提取與回聲消除技術(shù)方案》

論文地址：

https://ieeexplore.ieee.org/abstract/document/10096411

回聲消除一直是外放場景中一個極其復雜且至關(guān)重要的問題。為了能夠提取出高質(zhì)量的近端干凈語音信號，火山引擎提出了一種結(jié)合信號處理與深度學習技術(shù)的輕量化回聲消除系統(tǒng)。在特定說話人降噪（Personalized Deep Noise Suppression, pDNS ) 基礎(chǔ)上，我們進一步構(gòu)建了特定說話人回聲消除（Personalized Acoustic Echo Cancellation, pAEC）系統(tǒng)，其包括一個基于數(shù)字信號處理的前處理模塊、一個基于深度神經(jīng)網(wǎng)絡(luò)的兩階段模型和一個基于 BSRNN 和 SAM 的特定說話人語音提取模塊。

特定說話人回聲消除總體框架

基于數(shù)字信號處理線性回聲消除的前處理模塊

前處理模塊主要包含兩部分：時延補償（TDC）和線性回聲消除（LAEC），該模塊均在子帶特征上進行。

基于信號處理子帶線性回聲消除算法框架

時延補償

TDC 基于子帶互相關(guān)，其首先分別在每個子帶中估計出一個時延，然后使用投票方法來確定最終時間延遲。

線性回聲消除

LAEC 是一種基于 NLMS 的子帶自適應(yīng)濾波方法，由兩個濾波器組成：前置濾波器（Pre-filter）和后置濾波器（Post-filter），后置濾波器使用動態(tài)步長進行自適應(yīng)更新參數(shù)，前置濾波器是狀態(tài)穩(wěn)定的后置濾波器的備份。通過比較前置濾波器和后置濾波器的輸出的殘余能量，最終選擇誤差信號。

LAEC 處理流程圖

基于多級卷積-循環(huán)卷積神經(jīng)網(wǎng)絡(luò)（CRN）的兩階段模型

為了減輕模型建模負擔，我們主張將 pAEC 任務(wù)解耦為“回聲抑制”和“特定說話人提取”兩個任務(wù)。因此，后處理網(wǎng)絡(luò)主要由兩個神經(jīng)網(wǎng)路模塊組成：用于初步回聲消除和噪聲抑制的基于 CRN 的輕量級模塊，以及用于更好的近端語音信號重建的基于 pDNS 的后處理模塊。

第一階段：基于CRN的輕量級模塊

基于 CRN 的輕量級模塊由一個頻帶壓縮模塊、一個編碼器、兩個雙路徑 GRU、一個解碼器和一個頻帶分解模塊組成。同時，我們還引入了一個語音活動檢測（Voice Activity Detection, VAD）模塊用于多任務(wù)學習，有助于提高對近端語音的感知。CRN 以壓縮幅度作為輸入，并輸出初步的目標信號復數(shù)理想比掩碼（cIRM）和近端 VAD 概率。

第二階段：基于pDNS的后處理模塊

這個階段的 pDNS 模塊包括了上述介紹的頻帶分割循環(huán)神經(jīng)網(wǎng)絡(luò) BSRNN 和說話人注意力機制模塊 SAM，級聯(lián)模塊以串聯(lián)的方式接在輕量級 CRN 模塊之后。由于我們的 pDNS 系統(tǒng)在特性說話人語音增強任務(wù)上達到了較為優(yōu)異的性能，我們將一個預訓練好的 pDNS 模型參數(shù)作為模型的第二階段初始化參數(shù)，對前一階段的輸出進一步處理。

級聯(lián)系統(tǒng)訓練優(yōu)化損失函數(shù)

我們對兩階段模型進行級聯(lián)優(yōu)化，讓模型在第一階段預測近端語音，在第二階段預測近端特定說話人語音。同時，我們還引入了一個近端 VAD 罰項，增強模型對近端語音的感知。具體損失函數(shù)定義如下：

其中，

分別對應(yīng)模型第一階段和第二階段預測的 STFT 特征， 分別表示近端語音和近端特定說話人語音的 STFT 特征，

分別表示模型預測和目標 VAD 狀態(tài)。

模型訓練數(shù)據(jù)

為了使回聲消除系統(tǒng)可以處理多設(shè)備，多混響，多噪音采集場景的回聲，我們通過混合回聲和干凈語音，得到 2000+ 小時的訓練數(shù)據(jù)，其中，回聲數(shù)據(jù)使用 AEC Challenge 2023 遠端單講數(shù)據(jù)，干凈語音來自 DNS Challenge 2023 和 LibriSpeech，用于模擬近端混響的 RIR 集合來自 DNS Challenge。由于 AEC Challenge 2023 遠端單講數(shù)據(jù)中的回聲存在少量噪聲數(shù)據(jù)，直接用這些數(shù)據(jù)作為回聲容易導致近端語音失真，為了緩解這個問題，我們采用了一種簡單但有效的數(shù)據(jù)清理策略，使用預訓練的一個 AEC 模型處理遠端單講數(shù)據(jù)，將具有較高殘余能量的數(shù)據(jù)識別為噪聲數(shù)據(jù)，并反復迭代下圖清洗流程。

級聯(lián)優(yōu)化方案系統(tǒng)效果

這樣的一套基于融合回聲消除與特定說話人提取的語音增強系統(tǒng)在 ICASSP 2023 AEC Challenge 盲測試集 [2] 上驗證了它在主客觀指標上的優(yōu)勢——取得了 4.44 的主觀意見分（Subjective-MOS）和 82.2%的語音識別準確率（WAcc）。

《基于傅立葉卷積注意力機制的多通道語音增強》

論文地址：

https://ieeexplore.ieee.org/document/10095716

基于深度學習的波束權(quán)值估計是目前解決多通道語音增強任務(wù)的主流方法之一，即通過網(wǎng)絡(luò)求解波束權(quán)值來對多通道信號進行濾波從而獲得純凈語音。與傳統(tǒng)波束形成算法求解空間協(xié)方差矩陣的原理類似，頻譜信息和空間信息在波束權(quán)值的估計中也起著重要作用。然而，現(xiàn)有許多神經(jīng)波束形成器都無法對波束權(quán)值進行最優(yōu)估計。為處理這一挑戰(zhàn)，火山引擎提出了一種傅里葉卷積注意力編碼器（Fourier Convolutional Attention Encoder, FCAE），該編碼器能在頻率特征軸上提供全局感受野，加強對頻率軸上下文特征的提取。同時，我們也提出了一種基于 FCAE 的卷積循環(huán)編解碼器（Convolutional Recurrent Encoder-Decoder, CRED）的結(jié)構(gòu)用來從輸入特征中捕捉頻譜上下文特征和空間信息。

模型框架結(jié)構(gòu)波束權(quán)值估計網(wǎng)絡(luò)

該網(wǎng)絡(luò)借助嵌入波束網(wǎng)絡(luò)（Embedding and Beamforming Network，EaBNet）的結(jié)構(gòu)范式，將網(wǎng)絡(luò)分為嵌入模塊和波束模塊兩個部分，嵌入模塊用來提取聚合頻譜和空間信息的嵌入向量，并將該嵌入向量送入波束部分導出波束權(quán)值。這里采用一個 CRED 結(jié)構(gòu)來學習嵌入張量，多通道輸入信號經(jīng)過 STFT 變換后，送入一個 CRED 結(jié)構(gòu)提取嵌入張量，該嵌入張量類似傳統(tǒng)波束形成中的空間協(xié)方差矩陣，包含可區(qū)分語音和噪聲的特征。嵌入張量經(jīng)過 LayerNorm2d 結(jié)構(gòu)，再經(jīng)過兩層堆疊的 LSTM 網(wǎng)絡(luò)，最后通過一個線性層導出波束權(quán)值。我們對該波束權(quán)值作用于多通道輸入頻譜特征上，進行濾波求和操作，最后得到純凈語音譜，經(jīng)過 ISTFT 變換即可得到目標時域波形。

CRED結(jié)構(gòu)

我們采用的 CRED 結(jié)構(gòu)如上圖所示。其中，F(xiàn)CAE 為傅里葉卷積注意力編碼器，F(xiàn)CAD 為與 FCAE 對稱的解碼器；循環(huán)模塊采用深度前饋順序記憶網(wǎng)絡(luò)（Deep Feedward Sequential Memory Network，DFSMN）對序列的時序依賴進行建模，在不影響模型性能的基礎(chǔ)上減小模型尺寸；跳連接部分采用串聯(lián)的通道注意力（Channel Attention）和空間注意力（Spatial Attention）模塊，用來進一步提取跨通道間的空間信息，并連接深層特征與淺層特征，方便信息在網(wǎng)路中的傳輸。

FCAE結(jié)構(gòu)

傅里葉卷積注意力編碼器（FCAE）的結(jié)構(gòu)如上圖所示。該模塊受傅里葉卷積算子[3]的啟發(fā)，利用離散傅里葉變換在變換域上的任意一點的更新將會對原始域的信號產(chǎn)生全局影響的特點，對頻率軸特征進行一維 FFT 變換，即可在頻率軸上獲得全局感受野，進而加強對頻率軸上下文特征的提取。此外，我們引入了空間注意力模塊和通道注意力模塊，進一步增強卷積表達能力，提取有利的頻譜-空間聯(lián)合信息，增強網(wǎng)絡(luò)對純凈語音和噪聲可區(qū)分特征的學習。在最終表現(xiàn)上，該網(wǎng)絡(luò)以僅 0.74M 的參數(shù)量取得了優(yōu)異的多通道語音增強效果。

模型訓練數(shù)據(jù)

數(shù)據(jù)集方面，我們采用了 ConferencingSpeech 2021 比賽提供的開源數(shù)據(jù)集，純凈語音數(shù)據(jù)包含 AISHELL-1、AISHELL-3、VCTK 以及 LibriSpeech(train-clean-360)，挑選其中信噪比大于 15dB 的數(shù)據(jù)用于生成多通道混合語音，噪聲數(shù)據(jù)集采用 MUSAN、AudioSet。同時，為了模擬實際多房間混響場景，通過模擬改變房間尺寸、混響時間、發(fā)聲源，噪聲源位置等方式將開源的數(shù)據(jù)與超過 5000 個房間脈沖響應(yīng)進行卷積，最終生成 6 萬條以上多通道訓練樣本。

《基于兩階段神經(jīng)網(wǎng)絡(luò)模型的音質(zhì)修復系統(tǒng)》

論文地址：

https://ieeexplore.ieee.org/document/10094827

除了特定說話人增強，回聲消除及多通道語音增強幾個方向，火山引擎也在音質(zhì)修復方向上做了一些嘗試。實時通信過程中存在的各種失真會影響語音信號的質(zhì)量，使語音信號的清晰度和可懂度下降?；鹕揭嫣岢隽艘粋€兩階段模型，該模型使用階段性的分治策略來修復影響語音質(zhì)量的多種失真。

模型框架結(jié)構(gòu)

下圖為兩階段模型整體框架構(gòu)圖，其中，第一階段模型主要修復頻譜缺失的部分，第二階段模型則主要抑制噪聲、混響以及第一階段模型可能產(chǎn)生的偽影。

第一階段模型：Repairing Net

整體采用深度復數(shù)卷積循環(huán)神經(jīng)網(wǎng)絡(luò) (Deep Complex Convolution Recurrent Network, DCCRN）[4]架構(gòu)，包括 Encoder、時序建模模塊和 Decoder 三個部分。受圖像修復的啟發(fā)，我們引入了 Gate 復值卷積和 Gate 復值轉(zhuǎn)置卷積代替 Encoder 和 Decoder 中的復值卷積和復值轉(zhuǎn)置卷積。為了進一步提升音頻修補部分的自然度，我們引入了 Multi-Period Discriminator和 Multi-Scale Discriminator 用于輔助訓練。

第二階段模型：Denoising Net

整體采用 S-DCCRN 架構(gòu)，包括 Encoder、兩個輕量級 DCCRN 子模塊和 Decoder 三個部分，其中兩個輕量級 DCCRN 子模塊分別進行子帶和全帶建模。為了提升模型在時域建模方面的能力，我們將 DCCRN子 模塊中的 LSTM 替換為 Squeezed Temporal Convolutional Module(STCM)。

模型訓練數(shù)據(jù)

這里用來訓練來音質(zhì)修復的干凈音頻、噪聲、混響均來自 2023 DNS 競賽數(shù)據(jù)集，其中干凈音頻總時長為 750 小時，噪聲總時長為 170 小時。在第一階段模型的數(shù)據(jù)增廣時，我們一方面利用全帶音頻與隨機生成的濾波器進行卷積， 20ms 為窗長將音頻采樣點隨機置零和對音頻隨機進行降采樣來模擬頻譜缺失缺陷，另一方面在音頻幅度頻與音頻采集點上分別乘以隨機尺度；在第二階段的數(shù)據(jù)增廣時，我們利用第一階段已經(jīng)生成的數(shù)據(jù)，再卷積各種類型的房間沖激響應(yīng)得到不同混響程度的音頻數(shù)據(jù)。

音頻處理效果

在 ICASSP 2023 AEC Challenge中，火山引擎 RTC 音頻團隊，在通用回聲消除 (Non-personalized AEC) 與特定說話人回聲消除 (Personalized AEC) 兩個賽道上榮獲冠軍，并在雙講回聲抑制，雙講近端語音保護、近端單講背景噪聲抑制、綜合主觀音頻質(zhì)量打分及最終語音識別準確率等多項指標上顯著優(yōu)于其他參賽隊伍，達到國際領(lǐng)先水平。

我們來看一下經(jīng)過上述技術(shù)方案后，火山引擎 RTC 在不同場景下的語音增強處理效果。

不同信噪回聲比場景下的回聲消除

下面兩個例子分別展示了回聲消除算法在不同信號回聲能量比例場景下處理前后的對比效果。

中等信回聲比場景

超低信回比場景對回聲消除的挑戰(zhàn)性最大，此時我們不僅需要有效去除大能量的回聲，還需要同時最大程度保留微弱的目標語音。如下樣本中，女聲為目標說話人語音，男生為非目標說話人語音（回聲），目標語音幾乎被非目標語音完全覆蓋了。

超低信回聲比場景

不同背景干擾說話人場景下的說話人提取

下面兩個例子分別展示了特定說話人提取算法在噪音與背景人干擾場景下處理前后的對比效果。

如下樣本中，特定說話人既有類似門鈴的噪聲干擾，又有背景人說話噪聲干擾，僅使用 AI 降噪只能去除門鈴噪聲，因此還需要針對特定說話人進行人聲消除。

目標說話人與背景干擾人聲及噪音

當目標說話人聲和背景干擾人聲的聲紋特征很接近時，此時對于特定說話人提取算法的挑戰(zhàn)更大，更能考驗特定說話人提取算法魯棒性。如下樣本中，目標說話人和背景干擾人聲是兩個相似的女聲。

目標女聲與干擾女聲混合

總結(jié)與展望

上述介紹了火山引擎 RTC 音頻團隊基于深度學習在特定說話人降噪，回聲消除，多通道語音增強等方向做出的一些方案及效果，未來場景依然面臨著多個方向的挑戰(zhàn)，如語音降噪如何自適應(yīng)噪音場景，音質(zhì)修復如何在更廣范圍對音頻信號進行多類型修復以及怎么樣各類終端上運行輕量低復雜度模型，這些挑戰(zhàn)點也將會是我們后續(xù)重點的研究方向。

關(guān)鍵詞：