繼 BERT 之后，研究者們注意到了大規(guī)模預(yù)訓(xùn)練模型的潛力，不同的預(yù)訓(xùn)練任務(wù)、模型架構(gòu)、訓(xùn)練策略等被提出。但 BERT 類模型通常存在兩大缺點：一是過分依賴有標(biāo)簽數(shù)據(jù)；二是存在過擬合現(xiàn)象。

(資料圖片僅供參考)

具體而言，現(xiàn)在的語言模型都傾向于兩段式框架，即預(yù)訓(xùn)練 + 下游任務(wù)微調(diào)，但是在針對下游任務(wù)的微調(diào)過程中又需要大量的樣本，否則效果很差，然而標(biāo)注數(shù)據(jù)的成本高昂。還有就是標(biāo)注數(shù)據(jù)有限，模型只能擬合訓(xùn)練數(shù)據(jù)分布，但數(shù)據(jù)較少的話容易造成過擬合，致使模型的泛化能力下降。

作為大模型的開路先鋒，大型預(yù)訓(xùn)練語言模型，特別是 GPT-3 已經(jīng)顯示出令人驚訝的 ICL（In-Context Learning）能力。與微調(diào)需要額外的參數(shù)更新不同，ICL 只需要一些演示「輸入 - 標(biāo)簽」對，模型就可以預(yù)測標(biāo)簽甚至是沒見過的輸入標(biāo)簽。在許多下游任務(wù)中，一個大型 GPT 模型可以獲得相當(dāng)好的性能，甚至超過了一些經(jīng)過監(jiān)督微調(diào)的小型模型。

為何 ICL 的表現(xiàn)如此優(yōu)秀，在來自 OpenAI 的一篇長達 70 多頁的論文《Language Models are Few-Shot Learners》中，他們對 ICL 進行了探索，其目的是讓 GPT-3 使用更少的領(lǐng)域數(shù)據(jù)、且不經(jīng)過微調(diào)去解決問題。

如下圖所示，ICL 包含三種分類：Few-shot learning，允許輸入數(shù)條示例和一則任務(wù)說明；One-shot learning，只允許輸入一條示例和一則任務(wù)說明；Zero-shot learning，不允許輸入任何示例，只允許輸入一則任務(wù)說明。結(jié)果顯示 ICL 不需要進行反向傳播，僅需要把少量標(biāo)注樣本放在輸入文本的上下文中即可誘導(dǎo) GPT-3 輸出答案。

GPT-3 in-context learning

實驗證明在 Few-shot 下 GPT-3 有很好的表現(xiàn)：

為什么 GPT 可以在 In-Context 中學(xué)習(xí)？

盡管 ICL 在性能上取得了巨大的成功，但其工作機制仍然是一個有待研究的開放性問題。為了更好地理解 ICL 是如何工作的，我們接下來介紹一篇來自北大、清華等機構(gòu)的研究是如何解釋的。

論文地址：https://arxiv.org/pdf/2212.10559v2.pdf項目地址：https://github.com/microsoft/LMOps

用網(wǎng)友的話來總結(jié)，即：「這項工作表明，GPT 自然地學(xué)會了使用內(nèi)部優(yōu)化來執(zhí)行某些運行。該研究同時提供了經(jīng)驗性證據(jù)來證明 In-Context Learning 和顯式微調(diào)在多個層面上表現(xiàn)相似?！?/p>

為了更好地理解 ICL 是如何工作的，該研究將語言模型解釋為元優(yōu)化器，ICL 解釋為一個元優(yōu)化過程，并將 ICL 理解為一種隱式微調(diào)，試圖在基于 GPT 的 ICL 和微調(diào)之間建立聯(lián)系。從理論上講，該研究發(fā)現(xiàn) Transformer 的注意力具有基于梯度下降的對偶優(yōu)化形式。

在此基礎(chǔ)上，該研究提出了一個新的視角來解釋 ICL：GPT 首先根據(jù)演示示例生成元梯度，然后將這些元梯度應(yīng)用于原始 GPT 以構(gòu)建 ICL 模型。

如圖 1 所示，ICL 和顯式微調(diào)共享基于梯度下降的對偶優(yōu)化形式。唯一的區(qū)別是 ICL 通過前向計算產(chǎn)生元梯度，而微調(diào)通過反向傳播計算梯度。因此，將 ICL 理解為某種隱式微調(diào)是合理的。

ICR 執(zhí)行隱式微調(diào)

該研究首先定性分析了松弛線性注意力（relaxed linear attention）形式下的 Transformer 注意力，以找出它與基于梯度下降優(yōu)化之間的對偶形式。然后，該研究將 ICL 與顯式微調(diào)進行比較，并在這兩種優(yōu)化形式之間建立聯(lián)系?；谶@些理論發(fā)現(xiàn)，他們建議將 ICL 理解為一種隱式微調(diào)。

首先該研究將 Transforme 注意力看作元優(yōu)化，將 ICL 解釋為一個元優(yōu)化過程：（1）一個基于 Transformer 的預(yù)訓(xùn)練語言模型作為元優(yōu)化器；（2）通過前向計算根據(jù)實例生成元梯度；（3）通過注意力，將元梯度應(yīng)用于原始語言模型，構(gòu)建 ICL。

接下來是 ICL 與微調(diào)的比較。通過一系列設(shè)置后，該研究發(fā)現(xiàn) ICL 與微調(diào)有許多共同特性。他們從以下四個方面來組織這些共性：兩者都執(zhí)行梯度下降；相同的訓(xùn)練信息；訓(xùn)練例子的因果順序相同；都是圍繞注意力展開。

考慮到 ICL 和微調(diào)之間的所有這些共同屬性，該研究認(rèn)為將 ICL 理解為一種隱式微調(diào)是合理的。在本文的其余部分，該研究從多個方面根據(jù)經(jīng)驗比較 ICL 和微調(diào)，以提供支持這種理解的定量結(jié)果。

實驗結(jié)果

該研究進行了一系列實驗來全面比較 ICL 的行為和基于實際任務(wù)的顯式微調(diào)，在六個分類任務(wù)上，他們比較了預(yù)訓(xùn)練 GPT 在 ICL 和微調(diào)設(shè)置中關(guān)于預(yù)測、注意力輸出和注意力得分的情況。正如預(yù)期的那樣，ICL 在預(yù)測、表示和注意力級別等方面都與顯式微調(diào)高度相似。這些結(jié)果有力地證明了這一合理性：ICL 執(zhí)行隱式微調(diào)。

此外，受元優(yōu)化理解的啟發(fā)，該研究通過類比基于動量的梯度下降算法設(shè)計了一種基于動量的注意力。它始終優(yōu)于 vanilla attention 的性能。

表 2 顯示了在六個分類數(shù)據(jù)集上 ZSL（ Zero-Shot Learning ）、ICL 和微調(diào)（FT）設(shè)置中的驗證精度。與 ZSL 相比，ICL 和微調(diào)都取得了相當(dāng)大的改進，這意味著所做的優(yōu)化都有助于這些下游任務(wù)。此外，該研究發(fā)現(xiàn) ICL 在 Few-shot 場景中比微調(diào)更好。

表 3 中顯示了 6 個數(shù)據(jù)集上 2 個 GPT 模型的 Rec2FTP 分?jǐn)?shù)。平均而言，ICL 可以從 ZSL 中正確地預(yù)測 87.64% 的微調(diào)能夠糾正的示例。這些結(jié)果表明在預(yù)測層面，ICL 可以覆蓋大多數(shù)正確的微調(diào)行為。

表 3 還顯示了 6 個數(shù)據(jù)集上 2 個 GPT 模型的示例與層的平均 SimAOU 分?jǐn)?shù)。為了比較，該研究還提供了一個基線指標(biāo)（Random SimAOU），用來計算 ICL 更新和隨機生成更新之間的相似性。從表中可以看出，ICL 更新更類似于微調(diào)更新而非隨機更新，這意味著在表示層面上，ICL 傾向于按照微調(diào)改變的方向來改變注意力結(jié)果。

最后，表 3 還顯示了 6 個數(shù)據(jù)集上 2 個 GPT 模型的示例與層的平均 SimAM 分?jǐn)?shù)。作為 SimAM 的基線指標(biāo)，ZSL SimAM 計算 ICL 注意力權(quán)重和 ZSL 注意力權(quán)重之間的相似性。通過比較這兩個指標(biāo)，該研究發(fā)現(xiàn)，與 ZSL 相比，ICL 更傾向于生成類似于微調(diào)的注意力權(quán)重。同樣在注意力行為層面，該研究證明 ICL 的行為類似于微調(diào)。

為了更徹底地探究 ICL 和微調(diào)之間的相似性，該研究比較了不同層的 SimAOU 和 SimAM 分?jǐn)?shù)。通過從每個數(shù)據(jù)集中隨機抽取 50 個驗證示例，分別繪制了如下圖 2 和圖 3 所示的 SimAOU 和 SimAM 箱形圖。

從圖中可以發(fā)現(xiàn)，SimAOU 和 SimAM 在較低層出現(xiàn)波動，并且往往在較高層更加穩(wěn)定。這種現(xiàn)象說明了 ICL 進行的元優(yōu)化具有前向累積效應(yīng)，隨著累積的增加，ICL 的行為更類似于較高層的微調(diào)。

總結(jié)

總結(jié)而言，本文旨在解釋基于 GPT 的 ICL 工作機制。從理論上講，該研究找出了 ICL 的對偶形式，并建議將 ICL 理解為元優(yōu)化過程。此外，該研究在 ICL 和特定微調(diào)設(shè)置之間建立了聯(lián)系，發(fā)現(xiàn)將 ICL 視為一種隱式微調(diào)是合理的。為了支持對 ICL 執(zhí)行隱式微調(diào)的理解，該研究綜合比較了 ICL 和基于實際任務(wù)的微調(diào)的行為。結(jié)果證明，ICL 類似于顯式微調(diào)。

此外，受元優(yōu)化的啟發(fā)，該研究設(shè)計了一種基于動量的注意力，以實現(xiàn)一致的性能改進。作者希望該研究能夠幫助更多的人深入了解 ICL 應(yīng)用和模型設(shè)計。

關(guān)鍵詞： 語言模型 任務(wù)說明 對偶形式 輸入文本