 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 779 | 回復(fù): 0 | |||
PNPRobotics新蟲 (小有名氣)
|
[交流]
Franka RoboSplat：僅需一次演示，即實現(xiàn)六類任務(wù)泛化！
|
|
采集真實訓(xùn)練數(shù)據(jù)難度大、成本高、速度慢？由多家頂級研究機構(gòu)聯(lián)合研發(fā)的“RoboSplat”應(yīng)運而生。該項目采用“3D高斯投影（3D Gaussian Splatting）”技術(shù)，通過僅一次的現(xiàn)實演示，即可生成多樣化且真實的訓(xùn)練數(shù)據(jù)，從而使機器人能夠“一次性泛化”到不同任務(wù)、物體、視角和平臺！ 相較于傳統(tǒng)二維數(shù)據(jù)增強方法平均57.2%的成功率，RoboSplat在六類真實泛化場景任務(wù)中的成功率高達(dá)87.8%！ Franka Robotics正加速推進(jìn)sim2real（模擬到現(xiàn)實）數(shù)據(jù)閉環(huán)建設(shè)，致力于賦能新一代智能機器人！ Franka RoboSplat 是一種基于 Franka Research 3 機械臂的機器人操控技術(shù)，它通過 3D 高斯濺射技術(shù)，僅需一次專家演示即可實現(xiàn)六類任務(wù)泛化。以下是該技術(shù)的詳細(xì)介紹： 核心技術(shù)： 3D 高斯濺射重建：利用多視角圖像實現(xiàn)高保真場景重建，構(gòu)建包含機械臂、物體、環(huán)境的三維場景。 六維度數(shù)據(jù)增強：基于原始演示，生成包含新物體、新光照、新視角等場景的虛擬演示數(shù)據(jù)。 實現(xiàn)過程： 數(shù)據(jù)采集：使用 Franka Research 3 機械臂完成一次專家演示，同步采集多視角 RGB 圖像、關(guān)節(jié)軌跡數(shù)據(jù)。 場景重建與預(yù)處理：通過 COLMAP 稀疏重建 + 3DGS 密集高斯生成，構(gòu)建三維場景，并利用 Grounded-SAM 分割物體高斯與機械臂鏈接高斯，實現(xiàn)場景組件解耦。 策略訓(xùn)練：使用增強后的 5000 + 演示數(shù)據(jù)訓(xùn)練視覺運動策略，輸入為渲染圖像，輸出為機械臂關(guān)節(jié)控制指令。 泛化能力： 物體姿態(tài)泛化：成功處理專家軌跡中未出現(xiàn)的堆疊、懸空等復(fù)雜場景。 光照條件泛化：通過光照增強技術(shù)，生成不同光照條件下的虛擬演示數(shù)據(jù)。 相機視角泛化：隨機軌道半徑、俯仰、偏航，模擬各種相機視角。 物體類型泛化：通過 3D 高斯替換技術(shù)，改變物體類型。 場景外觀泛化：通過 3D 高斯替換技術(shù)，改變場景外觀。 機器人實體泛化：通過 3D 高斯替換技術(shù)，改變機器人實體。 實驗驗證： 實驗配置：一臺 Franka Research 3 機械臂和兩臺 RealSense D435i 攝像頭。 任務(wù)設(shè)計：設(shè)計了五個操作任務(wù)用于現(xiàn)實世界的評估，包括拾取物體、關(guān)閉抽屜、拾取-放置-關(guān)閉、雙重拾取-放置和清掃。 -性能表現(xiàn)：RoboSplat 生成的演示數(shù)據(jù)在規(guī)模擴展時展現(xiàn)出顯著優(yōu)勢，1800 個生成演示可將成功率提升至 94.7%，顯著超越同等規(guī)模真實數(shù)據(jù)。 優(yōu)勢與應(yīng)用： 數(shù)據(jù)采集成本低：將傳統(tǒng)需要數(shù)百次演示的數(shù)據(jù)采集成本，壓縮至單次高效采集加智能增強的模式。 泛化能力強：在六類任務(wù)泛化場景中表現(xiàn)出色，為工業(yè)機器人訓(xùn)練提供了全新范式。 Franka RoboSplat 技術(shù)通過創(chuàng)新的數(shù)據(jù)增強方法和高效的場景重建技術(shù)，顯著提升了機器人在復(fù)雜環(huán)境下的操作能力和泛化能力，為機器人操控領(lǐng)域帶來了新的突破。 |
回復(fù)此樓» 猜你喜歡
卷繞機為什么能精準(zhǔn)卷繞電芯？鋰優(yōu)技術(shù)全解析
已經(jīng)有0人回復(fù)
-
品牌怎么選？自動化液體工作站多維度對比
已經(jīng)有0人回復(fù)
-
金屬材料論文潤色/翻譯怎么收費?
已經(jīng)有240人回復(fù)
-
西班牙巴塞羅那自治大學(xué)博士招聘|歐洲共同基金項目|物理/材料/化學(xué)/微電子等專業(yè)
已經(jīng)有0人回復(fù)
-
實力之選！供水供電安全智控系統(tǒng)源頭廠家品牌推薦
已經(jīng)有0人回復(fù)
-
哈爾濱工程大學(xué)動力學(xué)院趙建輝團(tuán)隊招收2026博士研究生
已經(jīng)有10人回復(fù)
-
如何判斷CRISPR文庫篩選公司的專業(yè)性
已經(jīng)有0人回復(fù)
-
085600求調(diào)劑
已經(jīng)有5人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 PNPRobotics 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 化工專碩調(diào)劑 +4 | 利好利好. 2026-03-03 | 7/350 |
|
|---|---|---|---|---|
|
[考研] 298求調(diào)劑 +3 | 人間唯你是清歡 2026-03-03 | 4/200 |
|
|
|
[考研] 289求調(diào)劑 +7 | BrightLL 2026-03-02 | 9/450 |
|
|
|
[考研] 一志愿華中科技大學(xué)，化學(xué)專業(yè)344分，求調(diào)劑 +6 | 邢xing1 2026-03-02 | 6/300 |
|
|
|
[考研] 環(huán)境工程專碩307求調(diào)劑 +3 | ccc! 2026-03-03 | 3/150 |
|
|
|
[考研] 材料工程求調(diào)劑 +3 | 1431251 2026-03-03 | 3/150 |
|
|
|
[考研] 課題組接收材料類調(diào)劑研究生 +6 | gaoxiaoniuma 2026-02-28 | 9/450 |
|
|
|
[考研] 求調(diào)劑院校 +6 | 云朵452 2026-03-02 | 8/400 |
|
|
|
[考研] 288求調(diào)劑 +3 | 少71.8 2026-03-02 | 5/250 |
|
|
|
[考研] 282求調(diào)劑 +4 | 2103240126 2026-03-02 | 7/350 |
|
|
|
[考研] 0856材料與化工，270求調(diào)劑 +11 | YXCT 2026-03-01 | 13/650 |
|
|
|
[考研] 321求調(diào)劑一志愿東北林業(yè)大學(xué)材料與化工英二數(shù)二 +5 | 蟲蟲蟲蟲蟲7 2026-03-01 | 9/450 |
|
|
|
[考研] 材料085601調(diào)劑 +5 | 多多子. 2026-03-02 | 5/250 |
|
|
|
[考研] 一志愿中石油（華東）本科齊魯工業(yè)大學(xué) +3 | 石能偉 2026-03-02 | 3/150 |
|
|
|
[考博] 誠招農(nóng)業(yè)博士 +3 | 心欣向榮 2026-02-28 | 3/150 |
|
|
|
[考研] 291 求調(diào)劑 +3 | 化工2026屆畢業(yè)?/a> 2026-03-02 | 3/150 |
|
|
|
[基金申請]
 本子寫完了，給DS兄弟看了，得了92分
+3
|
Doma 2026-03-01 | 7/350 |
|
|
|
[考研] 311求調(diào)劑 +6 | 亭亭亭01 2026-03-01 | 6/300 |
|
|
|
[考研] 295復(fù)試調(diào)劑 +3 | 簡木ChuFront 2026-03-01 | 3/150 |
|
|
|
[考研] 317一志愿華南理工電氣工程求調(diào)劑 +6 | Soliloquy_Q 2026-02-28 | 11/550 |
|