一、背景

當前 TLS 已經(jīng)成為了互聯(lián)網(wǎng)安全的主要傳輸協(xié)議，TLS帶來更高的安全性的同時，也帶來了更多的性能開銷。特別是在建連握手階段，TLS的CPU開銷，相對于TCP要大很多。

業(yè)界在優(yōu)化TLS性能上已經(jīng)做了很多軟件和協(xié)議層面的優(yōu)化，包括：Session 復用、OCSP Stapling、TLS1.3等。然而在摩爾定律"失效"的今日，軟件層面的優(yōu)化很難滿足日益增長的流量，使用專用的硬件技術卸載CPU計算成為目前通用的解決方案。本文將介紹Intel在TLS加速領域提供的QAT技術方案。

(資料圖片僅供參考)

二、Intel QuickAssist Technology（QAT）技術方案

Intel 提供了TLS異步加速的完整解決方案: Intel QuickAssist Technology（QAT），簡稱Intel QAT技術。

如下圖所示，QAT 支持加速的密碼算法覆蓋了TLS的整個流程，包括：握手階段的簽名、秘鑰交換算法，數(shù)據(jù)傳輸?shù)腁ES加解密算法等。

圖1. QAT 對TLS流程的密碼算法的支持（圖片來源）

QAT提供了對稱與非對稱兩類密碼算法的支持，主要包括：

非對稱加密算法：RSA, ECDSA, ECDHE對稱加密算法：AES-GCM(128,192,256)

注：QAT加速的優(yōu)勢主要體現(xiàn)在非對稱加密上，從官方的整體性能數(shù)據(jù)看，非對稱算法性能提升1.6~2倍，對稱算法性能提升10%~15%

2.1 QAT Engine 軟件棧

QAT Engine 是QAT技術方案的核心模塊，主要的作用是作為應用程序和硬件之間的中間層，負責“加解密操作的輸入輸出數(shù)據(jù)” 在用戶應用程序與硬件卡之間進行傳遞，主要操作就是IO的讀寫。

QAT Engine 是以 OpenSSL 第三方插件的方式提供給用戶，這個意味用戶可以使用 OpenSSL 標準的API，就可以實現(xiàn)對TLS的加速，只需要對原有代碼做OpenSSL異步改造，就可以享受QAT技術帶來的TLS性能加速，業(yè)務侵入性較小。

圖2. Intel QAT Engine 軟件棧（圖片來源）

如上圖所示，QAT Engine 支持兩種加速方式

軟件加速（qat_sw）：使用 Multi-Buffer （SIMD）技術，對密碼算法進行并行處理優(yōu)化硬件加速（qat_hw）：使用QAT硬件加速卡，將密碼算法計算從CPU OffLoad到硬件加速卡

下面將介紹軟件和硬件兩種加速路徑的實現(xiàn)方式。

三、軟件加速：采用 Intel Multi-Buffer 技術

Intel 從 whitely 平臺開始加入了新的指令集，結合intel Multi-Buffer技術，實現(xiàn)對密碼算法的SIMD優(yōu)化方案。

3.1 Intel Multi-Buffer 技術

Intel Multi-buffer 基本原理就是使用CPU的SIMD機制，通過 AVX-512 指令集并行處理數(shù)據(jù)，來提升RSA/ECDSA算法性能。

SIMD (Single Instruction Multiple Data) 即單指令流多數(shù)據(jù)流，是一種采用一個控制器來控制多個處理器，同時對一組數(shù)據(jù)（又稱“數(shù)據(jù)向量”）中的每一個分別執(zhí)行相同的操作從而實現(xiàn)空間上的并行性的技術。簡單來說就是一個指令能夠同時處理多個數(shù)據(jù)Multi-Buffer 技術基于SIMD AVX-512指令集，通過隊列和批量提交策略，結合OpenSSL的異步能力，每次可以最多并行處理8個密碼算法操作

Intel 的 Multi-Buffer 方案，實際上是對應Intel兩個開源工程（Multi Buffer技術實現(xiàn)的通用密碼算法底層lib庫），集成在 QAT Engine 里，從而實現(xiàn)軟件加速。

圖3. Intel Engine集成了基于Multi-Buffer技術的密碼算法lib

1、IP SEC lib

提供了multi-buffer 技術優(yōu)化的對稱加解密算法，如：AES-GCM開源項目：https://github.com/intel/intel-ipsec-mb

2、IPP CRYPTO lib

提供了multi-buffer 技術優(yōu)化的RSA/EDCSA/EDCHE算法接口，基于Intel? Advanced Vector Extensions 512 (Intel? AVX-512) integer fused multiply-add (IFMA) 指令實現(xiàn)SIMD優(yōu)化開源項目：https://github.com/intel/ippcrypto/tree/develop/sources/ippcp/crypto_mb

簡而言之，QAT的軟件加速的本質(zhì)就是通過 AVX-512 指令集進行并行處理優(yōu)化，針對并發(fā)場景性能有顯著提升（下文有針對Mult-Buffer優(yōu)化場景的性能測試）。

四、硬件加速：采用QAT硬件加速卡卸載

除了通過Multi-Buffer技術進行軟件加速外，QAT Engine 還支持QAT硬件加速卡，通過將密碼算法的計算卸載（OffLoad）到硬件加速卡，實現(xiàn)性能加速。

硬件加速核心是將TLS中的非對稱加解密操作剝離出來，放到硬件加速卡里計算，即解放了CPU，同時專用的硬件加速卡也提供了更高的加解密性能，這是典型的硬件OffLoad技術方案。

下圖為典型的 Nginx+ Intel QAT Software Stack + QAT硬件加速卡的典型應用場景：

圖4.nginx+ Intel QAT Software Stack + QAT硬件加速卡的典型應用場景（圖片來源）

這個典型應用場景包括四個部分：

Nginx （Async Mode）: Intel 基于官方nginx（version 1.18）提供了patch，支持nginx工作在openssl的異步模式。Patch開源在：https://github.com/intel/asynch_mode_nginxOpenSSL（支持Async Mode）: OpenSSL-1.1.1 新增了async mode 特性，應用層軟件可以通過標準的openssl接口，實現(xiàn)異步調(diào)用，提升性能。QAT Engine: OpenSSL Engine 插件。向下和QAT API交互，將處理請求提交給硬件。詳見項目開源地址:https://github.com/intel/QAT_EngineQAT Driver：QAT加速卡的驅動程序。分為用戶態(tài)和內(nèi)核態(tài)兩個部分。用戶態(tài)的lib庫提供QAT API，內(nèi)核態(tài)的driver則直接和QAT硬件加速卡打交道。

Intel QAT 依賴了OpenSSL的兩個特性OpenSSL Async Mode和OpenSSL Engine

OpenSSL Async Mode能夠在 async_job 執(zhí)行過程中，在等待加速卡結果的時候，將 cpu 讓出去；如果沒有開啟 async 模式，調(diào)用 openssl 函數(shù)會阻塞，cpu會阻塞等待。OpenSSL Engine則是提供了自定義注冊加解密的方法，可以不使用 OpenSSL 自帶的加解密庫，指定調(diào)用第三方的加解密庫。

基于兩個特性，應用程序的加解密操作只需要保持使用原來相同openssl api，只需要做異步模式的兼容。另外，可以在調(diào)用OpenSSL的API時，指定到engine QAT上就行，不需要做任何額外的修改，就可以使用QAT卡進行加解密加速。

4.1 OpenSSL 的Async Mode特性

通過上面的介紹，我們可以看到QAT卡的本質(zhì)是讓一部分原本由CPU進行的計算轉移到QAT卡上進行，因此提高QAT的利用率，降低CPU的切換開銷和等待時間是性能最大化的核心工作。

OpenSSL 未啟用異步ASYNC模式時，OpenSSL 調(diào)用是同步阻塞的，直到QAT_Engine返回結果。如下圖的同步模式，在并發(fā)處理執(zhí)行流的場景，大量CPU處于空閑等待的狀態(tài)（圖中虛線表示CPU處于空閑狀態(tài)），無法有效地利用CPU。

圖5. QAT_Engine + OpenSSL 同步模式（圖片來源）

OpenSSL 開啟異步ASYNC模式后，OpenSSL 調(diào)用是非阻塞的。如下圖的異步模式，openssl的調(diào)用不需要等待QAT_engine的處理完成，可以有效地利用CPU，提高QAT的利用率，提升并發(fā)處理性能。

圖6. QAT_Engine + OpenSSL 異步模式（圖片來源）

通過OpenSSL的同步和異步模式的對比，可以看到OpenSSL-1.1.1 新增的異步Async特性，支持了異步非阻塞調(diào)用，提高了QAT的利用率，可以顯著提升加解密性能。

4.2QAT Engine ASYNC運行流程

接下來還有一個問題，CPU 如何知道 QAT 卡完成了計算呢？

Async模塊為了達到并行的目的，在單線程中實現(xiàn)了協(xié)程（async job）。加解密操作抽象為job，多個job同時運行，使用協(xié)程進行調(diào)度。

在async job執(zhí)行的過程中，當計算操作提交給QAT卡后，CPU可以把當前任務暫停，切換上下文（保存/恢復棧，寄存器等）返回給用戶態(tài)。

用戶態(tài)需要主動去poll這個async job的狀態(tài)，是否是ASYNC_FINISHED狀態(tài)。如果是，說明之前的任務已經(jīng)完成，則可以繼續(xù)后面的操作（取回加密/解密結果）。

注：QAT Engine 通過輪詢來獲取QAT卡的計算狀態(tài)，基本原理是啟動一個線程，不停的調(diào)用qatdriver的polling api，輪訓獲取qat的計算狀態(tài)，得到相應結果后，寫入eventfd，喚醒async job。

圖7. QAT engine ASYNC運行流程（圖片來源）

如上圖所示，QAT Engine Async的基本流程為：

主job調(diào)用 SSL_accept，等待 TLS客戶端發(fā)起 TLS handshake。SSL內(nèi)部組織了一個狀態(tài)機，將握手，讀寫等操作抽象為兩個job，ssl_io_intern(讀寫), ssl_do_handshake_intern(握手), 統(tǒng)一通過api ASYNC_start_job()進行job調(diào)度。這里啟動了一個握手的job協(xié)程。握手job執(zhí)行 RSA_sign簽名操作時，將sign算法卸載到硬件上計算。調(diào)用 ASYNC_pause_job() 切回主job, 并將job狀態(tài)設置為ASYNC_PAUSE, 這個時候CPU會交還給主job進行其它計算工作，同時QAT并行的進行自己的計算。主job通過SSL_waiting_for_async()接口獲得的一個eventfd，并epoll這個eventfd。當QAT卡計算完成，會執(zhí)行回調(diào)寫入eventfd，通知主job計算已完成。主job切換回握手job，握手job的完成剩余流程后，再調(diào)用ASYNC_pause_job()切換主job，并將job狀態(tài)設置為ASYNC_FINISH，結束協(xié)程完成握手動作。五、QAT 性能評測

通過上面的介紹，我們了解了QAT技術方案的基本原理，下面我們看下QAT的實際加速效果。

QAT Multi-Buffer 加速方案，依賴的 OpenSSL、QAT Engine、ipp-crypto、 Intel-ipsec-mb 軟件棧都是開源項目，我們可以方便的使用 openssl speed 原生加解密算法對Multi-Buffer方案進行性能評估。

硬件環(huán)境

Intel(R) Xeon(R) Platinum 8369B CPU @ 2.70GHzCPU(s): 8

軟件環(huán)境

Linux Kernel: 4.19.91-24.1.al7.x86_64OpenSSL 1.1.1ggcc (GCC) 8.3.0cmake version 3.15.5NASM version 2.15.05GNU Binutils 2.32安裝QAT Engine安裝ipp-crypto、 Intel-ipsec-mb 開源lib庫

測試數(shù)據(jù)

numactl -C 0 ./openssl speed rsa2048numactl -C 0 ./openssl speed -engine qatengine -async_jobs 8 rsa2048

numactl -C 0 ./openssl speed ecdhp384numactl -C 0 ./openssl speed -engine qatengine -async_jobs 8 ecdhp384

numactl -C 0 ./openssl speed aes-256-cbcnumactl -C 0 ./openssl speed -engine qatengine -async_jobs 8 aes-256-cbc

TLS 握手階段的簽名和秘鑰交換算法

RSA 2048 sign/verify 提升 4.9/2.9倍ECDH key exchange 提升 12倍

對稱加解密算法

AES-256-CBC 性能持平

根據(jù)性能測試結果，QAT的加速優(yōu)勢在于TLS握手階段的簽名和秘鑰交換算法，適合頻繁進行TLS建連的應用場景，比如：nginx網(wǎng)關、長連接網(wǎng)關等。

六、總結

本文介紹了 Intel QAT 技術方案，并討論了方案提供的Multi-Buffer軟件加速以及QAT硬件加速兩種方式。同時，通過性能評估測試，我們可以看到QAT技術對TLS握手階段的加解密算法有顯著的性能提升。

最后，我們討論一下 Intel QAT 技術的優(yōu)缺點和應用場景：

6.1 優(yōu)點和缺點

主要的優(yōu)點

高性能：可以顯著提高計算密集型任務的性能，減少 CPU 的負載，提高系統(tǒng)吞吐量和響應速度。低功耗：可以將計算密集型任務卸載到專用硬件上，降低系統(tǒng)功耗，提高能效比。

主要的缺點

成本較高：需要額外的硬件支持，增加了系統(tǒng)的成本。應用范圍受限：主要適用于計算密集型任務，對于其他類型的任務可能沒有顯著的性能提升。不支持所有處理器：只支持Intel特定系列的處理器，需要特定的硬件和軟件支持。改造成本高：需要對應用程序進行QAT異步化改造，需要一定的學習成本和技術支持。6.2 應用場景

除了加解密算法之外，Intel QAT還支持壓縮和解壓縮、隨機數(shù)生成、數(shù)字簽名、視頻編解碼等算法。Intel QAT主要可以用于以下場景：

接入網(wǎng)關：比如nginx網(wǎng)關、長連接網(wǎng)關。QAT可以加速TLS協(xié)議處理，提升網(wǎng)關的性能虛擬私人網(wǎng)絡（VPN）：QAT 可以加速 VPN 流量的加密和解密過程，提高吞吐量，減少延遲存儲加速：QAT 可以加速數(shù)據(jù)壓縮和解壓縮，減少需要傳輸和存儲的數(shù)據(jù)量視頻編解碼：QAT 可以加速視頻編解碼算法，提高視頻處理的效率和質(zhì)量

總的來說，Intel QAT 可以將計算密集型任務從 CPU 中分離出來，顯著提高系統(tǒng)的性能和能效比，可以廣泛應用于計算密集型任務的加速，包括網(wǎng)絡安全、數(shù)據(jù)處理、云計算、存儲加速、視頻處理等多個領域。

關鍵詞：