生成式 AI 大模型是 OpenAI 發(fā)力的重點，目前已經(jīng)推出過文本生成圖像模型 DALL-E 和 DALL-E 2，以及今年初基于文本生成 3D 模型的 POINT-E。

近日，OpenAI 研究團隊升級了 3D 生成模型，全新推出了 Shap?E，它是一個用于合成 3D 資產(chǎn)的條件生成式模型。目前相關(guān)模型權(quán)重、推理代碼和樣本已開源。

(資料圖片僅供參考)

論文地址：https://arxiv.org/abs/2305.02463項目地址：https://github.com/openai/shap-e

我們先來看一下生成效果。與根據(jù)文字生成圖像類似，Shap?E 生成的 3D 物體模型主打一個「天馬行空」。例如，一個看起來像香蕉的飛機：

看起來像一棵樹的椅子：

還有經(jīng)典例子，像牛油果的椅子：

當(dāng)然也可以生成一些常見物體的三維模型，例如一碗蔬菜：

甜甜圈：

本文提出的 Shap?E 是一種在 3D 隱式函數(shù)空間上的潛擴散模型，可以渲染成 NeRF 和紋理網(wǎng)格。在給定相同的數(shù)據(jù)集、模型架構(gòu)和訓(xùn)練計算的情況下，Shap?E 更優(yōu)于同類顯式生成模型。研究者發(fā)現(xiàn)純文本條件模型可以生成多樣化、有趣的物體，更彰顯了生成隱式表征的潛力。

不同于 3D 生成模型上產(chǎn)生單一輸出表示的工作，Shap-E 能夠直接生成隱式函數(shù)的參數(shù)。訓(xùn)練 Shap-E 分為兩個階段：首先訓(xùn)練編碼器，該編碼器將 3D 資產(chǎn)確定性地映射到隱式函數(shù)的參數(shù)中；其次在編碼器的輸出上訓(xùn)練條件擴散模型。當(dāng)在配對 3D 和文本數(shù)據(jù)的大型數(shù)據(jù)集上進行訓(xùn)練時， 該模型能夠在幾秒鐘內(nèi)生成復(fù)雜而多樣的 3D 資產(chǎn)。與點云顯式生成模型 Point?E 相比，Shap-E 建模了高維、多表示的輸出空間，收斂更快，并且達到了相當(dāng)或更好的樣本質(zhì)量。

研究背景

本文聚焦兩種用于 3D 表示的隱式神經(jīng)表示（INR）:

NeRF 一個 INR，它將 3D 場景表示為將坐標(biāo)和視向映射到密度和 RGB 顏色的函數(shù)；DMTet 及其擴展 GET3D 表示一個紋理 3D 網(wǎng)格，它作為函數(shù)將坐標(biāo)映射到顏色、符號距離和頂點偏移的。這種 INR 能夠以可微的方式構(gòu)建 3D 三角網(wǎng)格，然后渲染為可微的柵格化庫。

雖然 INR 靈活而富有表現(xiàn)力，但為數(shù)據(jù)集中每個樣本獲取 INR 的成本高昂。此外每個 INR 可能有許多數(shù)值參數(shù)，在訓(xùn)練下游生成模型時可能會帶來難題。通過使用帶有隱式解碼器的自動編碼器來解決這些問題，可以獲得較小的潛在表示，它們直接用現(xiàn)有生成技術(shù)進行建模。另外還有一種替代方法，就是使用元學(xué)習(xí)創(chuàng)建一個共享大部分參數(shù)的 INR 數(shù)據(jù)集，然后在這些 INR 的自由參數(shù)上訓(xùn)練擴散模型或歸一化流。也有人提出，基于梯度的元學(xué)習(xí)可能并不必要，相反應(yīng)該直接訓(xùn)練 Transformer 編碼器，產(chǎn)生以 3D 對象多個視圖為條件的 NeRF 參數(shù)。

研究者將上述幾種方法結(jié)合并拓展，最終得到了 Shap?E，并成為用于各種復(fù)雜 3D 隱式表示的條件生成模型。首先通過訓(xùn)練基于 Transformer 的編碼器來為 3D 資產(chǎn)生成 INR 參數(shù)，然后在編碼器的輸出上訓(xùn)練擴散模型。與先前的方式不同，生成同時表示 NeRF 和網(wǎng)格的 INR，允許它們以多種方式渲染或?qū)胂掠?3D 應(yīng)用。

當(dāng)在數(shù)百萬個 3D 資產(chǎn)的數(shù)據(jù)集上訓(xùn)練時，本文模型能夠在文本 prompt 的條件下產(chǎn)生多種可識別的樣本。與最近提出的顯式 3D 生成模型 Point?E 相比，Shap-E 收斂得更快。在相同的模型架構(gòu)、數(shù)據(jù)集和條件作用機制的情況下，它能獲得相當(dāng)或更好的結(jié)果。

方法概覽

研究者首先訓(xùn)練編碼器產(chǎn)生隱式表示，然后在編碼器產(chǎn)生的潛在表示上訓(xùn)練擴散模型，主要分為以下兩步完成:

1. 訓(xùn)練一個編碼器，在給定已知 3D 資產(chǎn)的密集顯式表示的情況下，產(chǎn)生隱式函數(shù)的參數(shù)。編碼器產(chǎn)生 3D 資產(chǎn)的潛在表示后線性投影，以獲得多層感知器（MLP）的權(quán)重；

2. 將編碼器應(yīng)用于數(shù)據(jù)集，然后在潛在數(shù)據(jù)集上訓(xùn)練擴散先驗。該模型以圖像或文本描述為條件。

研究者在一個大型的 3D 資產(chǎn)數(shù)據(jù)集上使用相應(yīng)的渲染、點云和文本標(biāo)題訓(xùn)練所有模型。

3D 編碼器

編碼器架構(gòu)如下圖 2 所示。

潛在擴散

生成模型采用基于 transformer 的 Point?E 擴散架構(gòu)，但是使用潛在向量序列取代點云。潛在函數(shù)形狀序列為 1024×1024，并作為 1024 個 token 序列輸入 transformer，其中每個 token 對應(yīng)于 MLP 權(quán)重矩陣的不同行。因此，該模型在計算上大致相當(dāng)于基礎(chǔ) Point?E 模型（即具有相同的上下文長度和寬度）。在此基礎(chǔ)上增加了輸入和輸出通道，能在更高維度的空間中生成樣本。

實驗結(jié)果

編碼器評估

研究者在整個編碼器訓(xùn)練過程中跟蹤兩個基于渲染的指標(biāo)。首先評估重建圖像和真實渲染圖像之間的峰值信噪比（PSNR）。此外，為了衡量編碼器捕獲 3D 資產(chǎn)語義相關(guān)細節(jié)的能力，對最大 Point?E 模型產(chǎn)生的網(wǎng)格進行編碼，重新評估重建 NeRF 和 STF 渲染的 CLIP R-Precision。

下表 1 跟蹤了這兩個指標(biāo)在不同訓(xùn)練階段的結(jié)果。可以發(fā)現(xiàn)，蒸餾損害了 NeRF 重建質(zhì)量，而微調(diào)不僅恢復(fù)還略微提高了 NeRF 質(zhì)量，同時大幅提高了 STF 渲染質(zhì)量。

對比 Point?E

研究者提出的潛在擴散模型與 Point?E. 具有相同架構(gòu)、訓(xùn)練數(shù)據(jù)集和條件模式。與 Point?E 進行比較更有利于區(qū)分生成隱式神經(jīng)表示而不是顯式表示的影響。下圖 4 在基于樣本的評估指標(biāo)上對這些方法進行了比較。

下圖 5 中顯示了定性樣本，可以看到這些模型通常為相同的文本 prompt 生成質(zhì)量不同的樣本。在訓(xùn)練結(jié)束之前，文本條件 Shap?E 在評估中開始變差。

研究者發(fā)現(xiàn) Shap?E 和 Point?E 傾向于共享相似的失敗案例，如下圖 6 (a) 所示。這表明訓(xùn)練數(shù)據(jù)、模型架構(gòu)和條件圖像對生成樣本的影響大于選擇的表示空間。

我們可以觀察到兩個圖像條件模型之間仍然存在一些定性差異，例如在下圖 6 (b) 的第一行中，Point?E 忽略了長凳上的小縫隙，而 Shap?E 試圖對它們進行建模。本文假設(shè)會出現(xiàn)這種特殊的差異，因為點云不能很好地表示薄特征或間隙。此外在表 1 中觀察發(fā)現(xiàn)，當(dāng)應(yīng)用于 Point?E 樣本時，3D 編碼器略微降低了 CLIP R-Precision。

與其他方法比較

下表 2 中，研究者在 CLIP R-Precision 度量標(biāo)準(zhǔn)上將 shape?E 與更廣泛的 3D 生成技術(shù)進行了比較。

局限與展望

雖然 Shap-E 可以理解許多具有簡單屬性的單個對象 prompt，但它在組合概念方面的能力有限。下圖 7 中可發(fā)現(xiàn)，這個模型很難將多個屬性綁定到不同的對象，并且當(dāng)請求兩個以上的對象時，無法有效生成正確的對象數(shù)量。這可能是配對訓(xùn)練數(shù)據(jù)不足導(dǎo)致的結(jié)果，通過收集或生成更大的標(biāo)注 3D 數(shù)據(jù)集或許可以解決。

此外，Shap?E 產(chǎn)生可識別的 3D 資產(chǎn)，但這些通常看起來粗糙或缺乏細節(jié)。下圖 3 顯示編碼器有時會丟失詳細的紋理（例如仙人掌上的條紋），這表明改進的編碼器可能會恢復(fù)一些損失的生成質(zhì)量。

更多技術(shù)和實驗細節(jié)請參閱原論文。

關(guān)鍵詞：