這篇論文通過對真實世界決策任務(wù)中的Auto-GPT代理進行了全面的基準(zhǔn)研究，探索了大型語言模型（LLM）在決策任務(wù)中的應(yīng)用。

論文鏈接：https://arxiv.org/pdf/2306.02224.pdf

作者比較了多種流行的LLM（包括GPT-4，GPT-3.5，Claude和Vicuna）在Auto-GPT決策任務(wù)中的表現(xiàn)，并引入了一種名為「額外意見」的新算法，該算法可以將小的專家模型融入到Auto-GPT方案中，從而提高了任務(wù)性能。

【資料圖】

在這一研究中最有趣的發(fā)現(xiàn)是大語言模型，尤其是GPT4有了類似于人類的能力，可以從不同的意見中提取有用信息，進行思考和批判然后提高自己的結(jié)果。

那么問題來了，GPT是怎么受益于不同意見的呢？

人類的心理學(xué)研究過一些人類受益于不同意見的方式以及一些模式，比如人類會給有權(quán)威的意見更多的權(quán)重，會傾向于忽略極少數(shù)的個別意見，會給自己的意見過多的權(quán)重，通常三到六個意見就足夠了等等。

這個方向還值得很多后續(xù)的研究，比如現(xiàn)在我們是用一個小的專家模型來提供不同意見，如果讓大模型們互相爭論呢？

1.首次展示Auto-GPT可以輕松適應(yīng)與真實世界場景密切相似的在線決策任務(wù)。

2.提供了流行LLM（包括GPT-4， GPT-3.5，Claude和Vicuna）之間的全面基準(zhǔn)比較。我們提出了關(guān)于這些模型適用于自主代理的發(fā)現(xiàn)。

3. 證明了從小的專家模型那里獲得的第二意見可以顯著提高任務(wù)性能。這可以成為為在不進行模型微調(diào)的情況下將監(jiān)督信號引入Auto-GPT的一種新的方法。

提示設(shè)計

在沒有進行大規(guī)模調(diào)優(yōu)的情況下，我們將任務(wù)需求或問題直接作為Auto-GPT的目標(biāo)，適配了Auto-GPT進行各項任務(wù)。

比如輸入像「I want to purchase a folding storage box that is easy to install, made of faux leather, and has dimensions of 60x40x40cm」的句子。

為了幫助Auto-GPT理解可用的行動，我們將每個行動表現(xiàn)為一個工具。

值得注意的是，在沒有示例的情況下，僅使用工具指令的效果較差。然而，只要有少量的示例，性能就會顯著提高。因此，我們在工具演示中包括一到三個few-shot示例，以利用LLM的上下文學(xué)習(xí)能力。

考慮額外意見

我們進一步改進了Auto-GPT的工作流，以便考慮來自外部專家模型的額外意見。

具體來說，在Auto-GPT的決策階段，我們從專家模型中抽樣出前k個意見，并將這些意見放入提示的上下文部分，以供大語言模型參考。

在這項工作中，我們簡單地使用了對于每個任務(wù)都已經(jīng)準(zhǔn)備好的IL模型作為外部專家。

提供給LLM額外意見的提示遵循這樣的模板：‘Here’s one(a few) suggestion(s) for the command: Please use this suggestion as a reference and make your own judgement. ’

Webshop實驗設(shè)置：

Webshop是一個模擬網(wǎng)購環(huán)境，從http://Amazon.com上抓取超過118萬個產(chǎn)品。

該環(huán)境提供了如搜索、點擊、導(dǎo)航、購買等真實的行動空間。

評估過程主要看是否成功購買了描述的產(chǎn)品，需要產(chǎn)品、屬性、選項和價格全都匹配。

基線模型是采用模仿學(xué)習(xí)（IL）方法的模型，它的動作策略組件已經(jīng)過微調(diào)。這個基線模型將與采用Auto-GPT方式運行的大語言模型進行比較。

ALFWorld實驗設(shè)置

ALFWorld是一個研究環(huán)境，結(jié)合了復(fù)雜的任務(wù)導(dǎo)向和語言理解。該環(huán)境包含超過25000個獨特的、程序生成的任務(wù)，涵蓋廚房、客廳、臥室等真實環(huán)境。

這些任務(wù)需要復(fù)雜的解決問題的能力和對語言及環(huán)境的深入理解。初始評估使用模仿學(xué)習(xí)（IL）的DAgger代理進行，然后與采用Auto-GPT風(fēng)格的生成語言模型進行比較。

直接比較結(jié)果

本研究主要通過運行Webshop和ALFWorld兩種實驗，比較了不同的大型語言模型（Large Language Models，LLMs）和模仿學(xué)習(xí)（Imitation Learning，IL）模型在AutoGPT配置中的表現(xiàn)。

首先，Webshop試驗中，GPT4表現(xiàn)出色，其性能超過了其他IL模型。盡管無圖像輸入的原始IL模型僅取得了適度的成功率，但是加入了圖像輸入的IL模型表現(xiàn)更好。

然而，只使用GPT3.5或Claude的Auto-GPT代理表現(xiàn)不如原始IL模型，但是，GPT4本身的性能優(yōu)于所有IL模型。

其次，在ALFWorld實驗中，IL模型與Beam Search的組合顯著優(yōu)于無Beam Search的版本。而在AutoGPT設(shè)置中運行的Claude和GPT3.5的性能均未超越IL模型，但GPT4明顯超越了IL模型的性能，無論是否使用Beam Search。

此外，我們提出了一種新的研究模式，將大型語言模型（LLMs）與專家模型結(jié)合起來。

首先從專家模型中采樣出前k個附加觀點，然后將這些觀點呈現(xiàn)給LLMs，讓它們考慮這些觀點并做出最后的決定。這種方法在GPT4上表現(xiàn)得特別好，這表明GPT4在考慮來自多個弱學(xué)習(xí)模型的觀點時，可以提高其性能。

總的來說，GPT4在所有模型中表現(xiàn)出了最佳的性能，并且能夠有效地利用專家模型的建議來提高其決策能力。

我們推薦使用GPT4，因為它在考慮了其他模型的觀點后，其決策性能顯著提高。最后Abaltion Study證明了這些額外意見必須是有一點價值的，隨機的意見并沒有任何幫助，見AutoGPT(GPT3.5) + Random

采用額外意見比例

在我們的實驗中，我們發(fā)現(xiàn)GPT-4模型在處理額外意見時表現(xiàn)出極高的辨別能力。即使在信息噪聲中，GPT-4也能區(qū)分出有益和無關(guān)的建議。

而GPT-3.5模型在面對可能導(dǎo)致混淆的輸入時，表現(xiàn)出了明顯的劣勢?？偟膩碚f，LLM與額外意見的一致性或不一致性，很大程度上取決于LLM的理解能力和額外意見的質(zhì)量。

關(guān)鍵詞：