 |
 |
 |
| 24小時(shí)熱門(mén)版塊排行榜 |
- >論壇更新日志 (6265)
- >導(dǎo)師招生 (1364)
- >考研 (1257)
- >蟲(chóng)友互識(shí) (822)
- >文獻(xiàn)求助 (394)
- >考博 (249)
- >休閑灌水 (195)
- >碩博家園 (146)
- >基金申請(qǐng) (88)
- >論文投稿 (71)
- >公派出國(guó) (67)
- >論文道賀祈福 (63)
- >招聘信息布告欄 (60)
- >教師之家 (57)
- >博后之家 (54)
- >SciFinder/Reaxys (39)
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 984 | 回復(fù): 0 | |||
BFT驛站新蟲(chóng) (小有名氣)
|
[交流]
Franka Robotics x RoboSplat：僅需一次演示，即實(shí)現(xiàn)六類任務(wù)泛化！
|
|
在機(jī)器人操控領(lǐng)域，視覺(jué)運(yùn)動(dòng)策略的模仿學(xué)習(xí)面臨兩大核心挑戰(zhàn)： 1、傳統(tǒng)策略因訓(xùn)練數(shù)據(jù)場(chǎng)景覆蓋有限，導(dǎo)致部署時(shí)性能急劇下降； 2、模擬到現(xiàn)實(shí)的遷移過(guò)程中，幾何重建誤差與物理模擬失配造成策略穩(wěn)定性不足。 本文以Franka Research 3機(jī)械臂為載體，提出RoboSplat方法。該方法基于3D高斯濺射技術(shù)，通過(guò)單次專家演示即可生成空間精準(zhǔn)、場(chǎng)景多樣的高質(zhì)量數(shù)據(jù)，有效突破數(shù)據(jù)采集瓶頸并填補(bǔ)模擬現(xiàn)實(shí)差距，顯著增強(qiáng)視覺(jué)運(yùn)動(dòng)策略的泛化能力與魯棒性。 技術(shù)框架與核心參數(shù) Franka Research 3機(jī)械臂： 7自由度設(shè)計(jì) Franka末端執(zhí)行夾爪 傳感器配置 Realsense D435i 相機(jī)：獲取 RGB 圖像觀測(cè)值 RoboSplat技術(shù)框架 三維高斯濺射重建 3D 高斯濺射（3DGS）：利用多視角圖像實(shí)現(xiàn)高保真場(chǎng)景重建 RoboSplat 的關(guān)鍵技術(shù)：通過(guò)場(chǎng)景重建與預(yù)處理、新穎演示生成兩大模塊實(shí)現(xiàn)技術(shù)突破 圖1：我們的方法從單個(gè)專家演示和多視角圖像入手，生成多樣化且視覺(jué)逼真的策略學(xué)習(xí)數(shù)據(jù)，從而在現(xiàn)實(shí)世界中六種泛化類型中實(shí)現(xiàn)穩(wěn)健的性能。與之前的二維數(shù)據(jù)增強(qiáng)方法相比，我們的方法在各種泛化類型中都取得了顯著更好的效果。值得注意的是，我們?cè)谝粋�(gè)統(tǒng)一的框架內(nèi)實(shí)現(xiàn)了這一目標(biāo)。 策略開(kāi)發(fā)全流程： 數(shù)據(jù)采集： 使用 Franka Research 3 機(jī)械臂完成一次專家演示（如拾取紅酒杯并放置到指定位置），同步采集多視角 RGB 圖像、關(guān)節(jié)軌跡數(shù)據(jù)。 場(chǎng)景重建與預(yù)處理： 通過(guò) COLMAP 稀疏重建 + 3DGS 密集高斯生成，構(gòu)建包含機(jī)械臂、物體、環(huán)境的三維場(chǎng)景。 利用 Grounded-SAM 分割物體高斯與機(jī)械臂鏈接高斯，實(shí)現(xiàn)場(chǎng)景組件解耦。 六維度數(shù)據(jù)增強(qiáng)： 基于原始演示，生成包含新物體（如玻璃杯、金屬罐）、新光照（強(qiáng)光 / 弱光）、新視角（頂視 / 側(cè)視）等場(chǎng)景的虛擬演示數(shù)據(jù)。 策略訓(xùn)練： 使用增強(qiáng)后的 5000 + 演示數(shù)據(jù)訓(xùn)練視覺(jué)運(yùn)動(dòng)策略（如 DDPG 算法），輸入為渲染圖像，輸出為機(jī)械臂關(guān)節(jié)控制指令。 高斯初始化：通過(guò)Depth Anything優(yōu)化深度估計(jì)，初始化N≈106個(gè)高斯基元 可微分優(yōu)化：采用分層渲染策略，先優(yōu)化前景物體（迭代次數(shù)Tobj=500），再全局微調(diào)（Tglobal=2000） 圖4：可微分渲染的幀對(duì)齊示意圖。計(jì)算使用高斯Splatting渲染的蒙版與使用URDF渲染的蒙版之間的損失。隨后，使用反向傳播和梯度下降來(lái)優(yōu)化平移、旋轉(zhuǎn)和縮放，并將其應(yīng)用于3D高斯函數(shù)。 對(duì)齊的目標(biāo)函數(shù)： 真實(shí)實(shí)驗(yàn)論證： 在現(xiàn)實(shí)世界中進(jìn)行了全面的實(shí)驗(yàn)，以驗(yàn)證演示生成流程的有效性。 真實(shí)世界實(shí)驗(yàn)配置： 一臺(tái)ranka Research 3 兩臺(tái) RealSense D435i 攝像頭 任務(wù)說(shuō)明：設(shè)計(jì)了五個(gè)操作任務(wù)用于現(xiàn)實(shí)世界的評(píng)估：拾取物體、關(guān)閉抽屜、拾取-放置-關(guān)閉、雙重拾取-放置和清掃 實(shí)驗(yàn)設(shè)置 在物體姿態(tài)泛化測(cè)試中，RoboSplat成功處理專家軌跡中未出現(xiàn)的堆疊（高度差達(dá)0.4m）、懸空（支撐點(diǎn)占比<30%）等復(fù)雜場(chǎng)景。特別是在工具使用任務(wù)中，機(jī)械臂能自適應(yīng)調(diào)整螺絲刀握持角度（變化范圍±45∘），完成非結(jié)構(gòu)化環(huán)境下的裝配操作。 圖8：不同泛化類型的真實(shí)世界實(shí)驗(yàn)說(shuō)明。數(shù)據(jù)是在原始設(shè)置中收集的。在部署訓(xùn)練好的策略時(shí)，我們會(huì)修改物體姿態(tài)、光照條件、場(chǎng)景外觀、攝像機(jī)視角、物體類型和具體化，以評(píng)估其在不同場(chǎng)景下的魯棒性。 驗(yàn)證照明增強(qiáng)有效性實(shí)驗(yàn)策略： 200 個(gè)真實(shí)世界演示 1800 個(gè)僅使用物體姿勢(shì)增強(qiáng)生成的演示，與VC中（圖8使用的數(shù)據(jù)相同 增強(qiáng)了色彩抖動(dòng)的真實(shí)世界演示 管道生成了 3200 個(gè)演示，同時(shí)具有光照條件和物體姿勢(shì)增強(qiáng) 增強(qiáng)數(shù)據(jù)訓(xùn)練策略的表現(xiàn) 圖7： 主要結(jié)果。 左上：我們展示了五項(xiàng)任務(wù)的平均成功率。隨著演示次數(shù)的增加，我們的方法展現(xiàn)出良好的可擴(kuò)展性。 其余五個(gè)子圖：對(duì)于每項(xiàng)任務(wù)，我們?cè)u(píng)估了使用手動(dòng)收集的數(shù)據(jù)訓(xùn)練的策略以及我們的方法在 30 次試驗(yàn)中生成的策略的成功率，并使用了不同的演示次數(shù)。 RoboSplat生成的演示數(shù)據(jù)在規(guī)模擴(kuò)展時(shí)展現(xiàn)出顯著優(yōu)勢(shì)：800個(gè)生成演示即可達(dá)到200個(gè)真實(shí)演示的性能水平，而1800個(gè)生成演示可將成功率提升至94.7%，顯著超越同等規(guī)模真實(shí)數(shù)據(jù)。尤其在Dual Pick-Place任務(wù)中，該方法實(shí)現(xiàn)96.7%的成功率，較基線提升近20%，驗(yàn)證了其在生成多樣化物體姿態(tài)及提升策略泛化能力方面的卓越可擴(kuò)展性。 面對(duì)各種部署設(shè)置時(shí)的穩(wěn)健性 在光照、場(chǎng)景外觀、攝像機(jī)視角、物體類型及具體化類型五個(gè)維度上增強(qiáng)了專家演示，并對(duì)比了使用真實(shí)、二維增強(qiáng)數(shù)據(jù)及我們生成數(shù)據(jù)數(shù)據(jù)訓(xùn)練的策略效果。 光照條件和外觀變化下的性能。我們報(bào)告了不同策略在不同光照條件和外觀下的成功率。使用生成的演示進(jìn)行訓(xùn)練，并進(jìn)行相應(yīng)增強(qiáng)的策略與基線策略相比，表現(xiàn)出顯著的進(jìn)步。 結(jié)論： RoboSplat開(kāi)創(chuàng)性地將三維高斯濺射技術(shù)轉(zhuǎn)化為機(jī)器人學(xué)習(xí)引擎，通過(guò)單次演示即可生成覆蓋六維變化的高保真數(shù)據(jù)。該方法在Franka Research 3平臺(tái)上的成功驗(yàn)證，為工業(yè)機(jī)器人訓(xùn)練提供了全新范式：將傳統(tǒng)需要數(shù)百次演示的數(shù)據(jù)采集成本，壓縮至單次高效采集加智能增強(qiáng)的模式。未來(lái)工作將探索動(dòng)態(tài)場(chǎng)景重建與強(qiáng)化學(xué)習(xí)結(jié)合，進(jìn)一步拓展機(jī)器人操作的能力邊界。 項(xiàng)目詳情鏈接：https://arxiv.org/html/2504.13175v1#S5.SS3 |
回復(fù)此樓» 猜你喜歡
北理工激光所韓偉娜教授課題組招收學(xué)術(shù)型博士生一名
已經(jīng)有10人回復(fù)
-
換熱系數(shù)求解
已經(jīng)有0人回復(fù)
-
機(jī)械工程論文潤(rùn)色/翻譯怎么收費(fèi)?
已經(jīng)有196人回復(fù)
-
哈工大（深圳）國(guó)家級(jí)青年人才 鐘穎教授課題組 新增26級(jí)博士名額！歡迎報(bào)名！
已經(jīng)有16人回復(fù)
-
中國(guó)科學(xué)技術(shù)大學(xué) 工程科學(xué)學(xué)院 國(guó)家級(jí)人才團(tuán)隊(duì) 誠(chéng)聘博士后
已經(jīng)有5人回復(fù)
-
陜西科技大學(xué)智能制造與機(jī)器人工程學(xué)院 李晨教授招收申請(qǐng)-考核制博士研究生
已經(jīng)有11人回復(fù)
-
085600求調(diào)劑
已經(jīng)有6人回復(fù)
-
機(jī)械352分求調(diào)劑，本科太原理工大學(xué)
已經(jīng)有1人回復(fù)
-
材料與化工085600調(diào)劑求老師收留
已經(jīng)有5人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考博] 售SCI一區(qū)T0P文章，我:8.O.5.5.1.O.5.4,科目齊全,可+急 +3 | 7x4iz20zqa 2026-03-11 | 8/400 |
|
|---|---|---|---|---|
|
[考研] 081200計(jì)算機(jī)科學(xué)與技術(shù)數(shù)一英一306求調(diào)劑 +3 | intankt 2026-03-08 | 3/150 |
|
|
|
[考研] 大連大學(xué)化學(xué)專業(yè)研究生調(diào)劑 +3 | 琪久. 2026-03-10 | 8/400 |
|
|
|
[考研] 化工0817調(diào)劑 +8 | 燦若星晨 2026-03-10 | 8/400 |
|
|
|
[考研] 306求調(diào)劑 +3 | 唐薏薏 2026-03-09 | 3/150 |
|
|
|
[考研] 調(diào)劑 +5 | 調(diào)劑的考研學(xué)生 2026-03-09 | 5/250 |
|
|
|
[考研] 311求調(diào)劑 +3 | 牛乳糖的卡卡 2026-03-10 | 3/150 |
|
|
|
[考研] 一志愿湖師大化學(xué)289求調(diào)劑 +5 | XMCMM3.14159 2026-03-10 | 5/250 |
|
|
|
[基金申請(qǐng)]
PDF在線壓縮軟件
 10+3
|
haxia 2026-03-08 | 4/200 |
|
|
|
[考研] 家人們 調(diào)劑不迷路 看這里 +8 | likeihood 2026-03-09 | 13/650 |
|
|
|
[碩博家園] 2026級(jí)碩士研究生招生/調(diào)劑 +3 | 知足常樂(lè)的樂(lè) 2026-03-06 | 5/250 |
|
|
|
[考研] 313求調(diào)劑 +4 | Yyt楊1 2026-03-07 | 5/250 |
|
|
|
[考研] 求0856調(diào)劑 +5 | 小力氣珂珂 2026-03-08 | 5/250 |
|
|
|
[考研] 0856材料與化工290求調(diào)劑 +7 | Nebulala 2026-03-08 | 8/400 |
|
|
|
[考研] 一志愿哈爾濱工業(yè)大學(xué)0856材料與化工，前三科206，總分283，求調(diào)劑 +7 | 26考研求調(diào)劑 2026-03-06 | 7/350 |
|
|
|
[考研] 求調(diào)劑推薦 +4 | 微辣不吃 2026-03-06 | 4/200 |
|
|
|
[考研] 哈爾濱理工大學(xué)2026年研究生調(diào)劑，材料科學(xué)與化學(xué)工程學(xué)院研究生調(diào)劑 +3 | xinliu866 2026-03-06 | 3/150 |
|
|
|
[考研] 復(fù)試調(diào)劑 +7 | 呼呼？~+123456 2026-03-05 | 10/500 |
|
|
|
[考研] 271求調(diào)劑 +7 | 月色c 2026-03-05 | 8/400 |
|
|
|
[考研] 085602 293分求調(diào)劑 +3 | SivanNano. 2026-03-05 | 3/150 |
|