 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 978 | 回復(fù): 0 | |||
BFT驛站新蟲 (小有名氣)
|
[交流]
Franka Robotics x RoboSplat：僅需一次演示，即實現(xiàn)六類任務(wù)泛化！
|
|
在機(jī)器人操控領(lǐng)域，視覺運動策略的模仿學(xué)習(xí)面臨兩大核心挑戰(zhàn)： 1、傳統(tǒng)策略因訓(xùn)練數(shù)據(jù)場景覆蓋有限，導(dǎo)致部署時性能急劇下降； 2、模擬到現(xiàn)實的遷移過程中，幾何重建誤差與物理模擬失配造成策略穩(wěn)定性不足。 本文以Franka Research 3機(jī)械臂為載體，提出RoboSplat方法。該方法基于3D高斯濺射技術(shù)，通過單次專家演示即可生成空間精準(zhǔn)、場景多樣的高質(zhì)量數(shù)據(jù)，有效突破數(shù)據(jù)采集瓶頸并填補(bǔ)模擬現(xiàn)實差距，顯著增強(qiáng)視覺運動策略的泛化能力與魯棒性。 技術(shù)框架與核心參數(shù) Franka Research 3機(jī)械臂： 7自由度設(shè)計 Franka末端執(zhí)行夾爪 傳感器配置 Realsense D435i 相機(jī)：獲取 RGB 圖像觀測值 RoboSplat技術(shù)框架 三維高斯濺射重建 3D 高斯濺射（3DGS）：利用多視角圖像實現(xiàn)高保真場景重建 RoboSplat 的關(guān)鍵技術(shù)：通過場景重建與預(yù)處理、新穎演示生成兩大模塊實現(xiàn)技術(shù)突破 圖1：我們的方法從單個專家演示和多視角圖像入手，生成多樣化且視覺逼真的策略學(xué)習(xí)數(shù)據(jù)，從而在現(xiàn)實世界中六種泛化類型中實現(xiàn)穩(wěn)健的性能。與之前的二維數(shù)據(jù)增強(qiáng)方法相比，我們的方法在各種泛化類型中都取得了顯著更好的效果。值得注意的是，我們在一個統(tǒng)一的框架內(nèi)實現(xiàn)了這一目標(biāo)。 策略開發(fā)全流程： 數(shù)據(jù)采集： 使用 Franka Research 3 機(jī)械臂完成一次專家演示（如拾取紅酒杯并放置到指定位置），同步采集多視角 RGB 圖像、關(guān)節(jié)軌跡數(shù)據(jù)。 場景重建與預(yù)處理： 通過 COLMAP 稀疏重建 + 3DGS 密集高斯生成，構(gòu)建包含機(jī)械臂、物體、環(huán)境的三維場景。 利用 Grounded-SAM 分割物體高斯與機(jī)械臂鏈接高斯，實現(xiàn)場景組件解耦。 六維度數(shù)據(jù)增強(qiáng)： 基于原始演示，生成包含新物體（如玻璃杯、金屬罐）、新光照（強(qiáng)光 / 弱光）、新視角（頂視 / 側(cè)視）等場景的虛擬演示數(shù)據(jù)。 策略訓(xùn)練： 使用增強(qiáng)后的 5000 + 演示數(shù)據(jù)訓(xùn)練視覺運動策略（如 DDPG 算法），輸入為渲染圖像，輸出為機(jī)械臂關(guān)節(jié)控制指令。 高斯初始化：通過Depth Anything優(yōu)化深度估計，初始化N≈106個高斯基元 可微分優(yōu)化：采用分層渲染策略，先優(yōu)化前景物體（迭代次數(shù)Tobj=500），再全局微調(diào)（Tglobal=2000） 圖4：可微分渲染的幀對齊示意圖。計算使用高斯Splatting渲染的蒙版與使用URDF渲染的蒙版之間的損失。隨后，使用反向傳播和梯度下降來優(yōu)化平移、旋轉(zhuǎn)和縮放，并將其應(yīng)用于3D高斯函數(shù)。 對齊的目標(biāo)函數(shù)： 真實實驗論證： 在現(xiàn)實世界中進(jìn)行了全面的實驗，以驗證演示生成流程的有效性。 真實世界實驗配置： 一臺ranka Research 3 兩臺 RealSense D435i 攝像頭 任務(wù)說明：設(shè)計了五個操作任務(wù)用于現(xiàn)實世界的評估：拾取物體、關(guān)閉抽屜、拾取-放置-關(guān)閉、雙重拾取-放置和清掃 實驗設(shè)置 在物體姿態(tài)泛化測試中，RoboSplat成功處理專家軌跡中未出現(xiàn)的堆疊（高度差達(dá)0.4m）、懸空（支撐點占比<30%）等復(fù)雜場景。特別是在工具使用任務(wù)中，機(jī)械臂能自適應(yīng)調(diào)整螺絲刀握持角度（變化范圍±45∘），完成非結(jié)構(gòu)化環(huán)境下的裝配操作。 圖8：不同泛化類型的真實世界實驗說明。數(shù)據(jù)是在原始設(shè)置中收集的。在部署訓(xùn)練好的策略時，我們會修改物體姿態(tài)、光照條件、場景外觀、攝像機(jī)視角、物體類型和具體化，以評估其在不同場景下的魯棒性。 驗證照明增強(qiáng)有效性實驗策略： 200 個真實世界演示 1800 個僅使用物體姿勢增強(qiáng)生成的演示，與VC中（圖8使用的數(shù)據(jù)相同 增強(qiáng)了色彩抖動的真實世界演示 管道生成了 3200 個演示，同時具有光照條件和物體姿勢增強(qiáng) 增強(qiáng)數(shù)據(jù)訓(xùn)練策略的表現(xiàn) 圖7： 主要結(jié)果。 左上：我們展示了五項任務(wù)的平均成功率。隨著演示次數(shù)的增加，我們的方法展現(xiàn)出良好的可擴(kuò)展性。 其余五個子圖：對于每項任務(wù)，我們評估了使用手動收集的數(shù)據(jù)訓(xùn)練的策略以及我們的方法在 30 次試驗中生成的策略的成功率，并使用了不同的演示次數(shù)。 RoboSplat生成的演示數(shù)據(jù)在規(guī)模擴(kuò)展時展現(xiàn)出顯著優(yōu)勢：800個生成演示即可達(dá)到200個真實演示的性能水平，而1800個生成演示可將成功率提升至94.7%，顯著超越同等規(guī)模真實數(shù)據(jù)。尤其在Dual Pick-Place任務(wù)中，該方法實現(xiàn)96.7%的成功率，較基線提升近20%，驗證了其在生成多樣化物體姿態(tài)及提升策略泛化能力方面的卓越可擴(kuò)展性。 面對各種部署設(shè)置時的穩(wěn)健性 在光照、場景外觀、攝像機(jī)視角、物體類型及具體化類型五個維度上增強(qiáng)了專家演示，并對比了使用真實、二維增強(qiáng)數(shù)據(jù)及我們生成數(shù)據(jù)數(shù)據(jù)訓(xùn)練的策略效果。 光照條件和外觀變化下的性能。我們報告了不同策略在不同光照條件和外觀下的成功率。使用生成的演示進(jìn)行訓(xùn)練，并進(jìn)行相應(yīng)增強(qiáng)的策略與基線策略相比，表現(xiàn)出顯著的進(jìn)步。 結(jié)論： RoboSplat開創(chuàng)性地將三維高斯濺射技術(shù)轉(zhuǎn)化為機(jī)器人學(xué)習(xí)引擎，通過單次演示即可生成覆蓋六維變化的高保真數(shù)據(jù)。該方法在Franka Research 3平臺上的成功驗證，為工業(yè)機(jī)器人訓(xùn)練提供了全新范式：將傳統(tǒng)需要數(shù)百次演示的數(shù)據(jù)采集成本，壓縮至單次高效采集加智能增強(qiáng)的模式。未來工作將探索動態(tài)場景重建與強(qiáng)化學(xué)習(xí)結(jié)合，進(jìn)一步拓展機(jī)器人操作的能力邊界。 項目詳情鏈接：https://arxiv.org/html/2504.13175v1#S5.SS3 |
回復(fù)此樓» 猜你喜歡
硅溶膠和硅酸鈉水玻璃干燥后的結(jié)構(gòu)為什么出現(xiàn)明顯差異？
已經(jīng)有6人回復(fù)
-
解決滲碳體傾斜角度問題
已經(jīng)有1人回復(fù)
-
金屬材料論文潤色/翻譯怎么收費?
已經(jīng)有176人回復(fù)
-
定鉗制動器和浮鉗制動器的區(qū)別與優(yōu)缺點？
已經(jīng)有2人回復(fù)
-
寧波大學(xué)招收力學(xué)專業(yè)（表面工程方向）2026年博士生2名（申請-考核制）
已經(jīng)有7人回復(fù)
-
寧波大學(xué)招收力學(xué)專業(yè)（表面工程方向）2026年博士生2名（申請-考核制）
已經(jīng)有19人回復(fù)
-
求助SambVca最新網(wǎng)址或等效工具
已經(jīng)有0人回復(fù)
-
尋求26秋季入學(xué)的機(jī)械博士名額
已經(jīng)有7人回復(fù)
-
26申博 求博導(dǎo)
已經(jīng)有5人回復(fù)
-
一志愿浙大機(jī)械348，有SCI論文兩篇一作求調(diào)劑
已經(jīng)有0人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 291求調(diào)劑 +4 | Afy123456 2026-03-03 | 7/350 |
|
|---|---|---|---|---|
|
|
[考研] 298求調(diào)劑一志愿中海洋 +3 | lour. 2026-03-03 | 3/150 |
|
|
|
[考研] 264求調(diào)劑 +6 | 26調(diào)劑 2026-03-03 | 6/300 |
|
|
[碩博家園] 2025屆雙非化工碩士畢業(yè)，申博 +4 | 更多的是 2026-02-27 | 5/250 |
|
|
|
[考研] 085602化學(xué)工程350，調(diào)劑，有沒有211的 +5 | 利好利好. 2026-03-02 | 9/450 |
|
|
|
[考研] 268求調(diào)劑 +10 | 簡單點0 2026-03-02 | 14/700 |
|
|
|
[考研] 26考研報考西工大材料308分求調(diào)劑 +4 | weizhong123 2026-03-01 | 5/250 |
|
|
|
[考研] 0856調(diào)劑 +10 | 劉夢微 2026-02-28 | 10/500 |
|
|
|
[考研] 295求調(diào)劑。一志愿報考鄭州大學(xué)化學(xué)工藝學(xué)碩，總分295分 +8 | yl1 2026-03-02 | 9/450 |
|
|
|
[考研] 0856材料調(diào)劑 +5 | 沿岸有貝殼OUC 2026-03-02 | 5/250 |
|
|
|
[考研] 085600材料工程一志愿中科大總分312求調(diào)劑 +9 | 吃宵夜1 2026-02-28 | 11/550 |
|
|
|
[考研] 306分材料調(diào)劑 +5 | chuanzhu川燭 2026-03-01 | 6/300 |
|
|
|
[考研] 材料085601調(diào)劑 +5 | 多多子. 2026-03-02 | 5/250 |
|
|
|
[考研] 303求調(diào)劑 +5 | 今夏不夏 2026-03-01 | 5/250 |
|
|
|
[考博] 誠招農(nóng)業(yè)博士 +3 | 心欣向榮 2026-02-28 | 3/150 |
|
|
|
[考研] 一志愿鄭大材料學(xué)碩298分，求調(diào)劑 +6 | wsl111 2026-03-01 | 6/300 |
|
|
|
[考研] 調(diào)劑 +3 | 13853210211 2026-03-02 | 4/200 |
|
|
|
[考研] 材料學(xué)調(diào)劑 +10 | 提神豆沙包 2026-02-28 | 12/600 |
|
|
|
[考研] 299求調(diào)劑 +3 | Y墨明棋妙Y 2026-02-28 | 5/250 |
|
|
|
[考研]
 一志愿中南大學(xué)理學(xué)化學(xué)
+4
|
15779376950 2026-03-01 | 5/250 |
|