 |
 |
 |
| 24小時(shí)熱門(mén)版塊排行榜 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 783 | 回復(fù): 0 | |||
PNPRobotics新蟲(chóng) (小有名氣)
|
[交流]
Franka RoboSplat：僅需一次演示，即實(shí)現(xiàn)六類(lèi)任務(wù)泛化！
|
|
采集真實(shí)訓(xùn)練數(shù)據(jù)難度大、成本高、速度慢？由多家頂級(jí)研究機(jī)構(gòu)聯(lián)合研發(fā)的“RoboSplat”應(yīng)運(yùn)而生。該項(xiàng)目采用“3D高斯投影（3D Gaussian Splatting）”技術(shù)，通過(guò)僅一次的現(xiàn)實(shí)演示，即可生成多樣化且真實(shí)的訓(xùn)練數(shù)據(jù)，從而使機(jī)器人能夠“一次性泛化”到不同任務(wù)、物體、視角和平臺(tái)！ 相較于傳統(tǒng)二維數(shù)據(jù)增強(qiáng)方法平均57.2%的成功率，RoboSplat在六類(lèi)真實(shí)泛化場(chǎng)景任務(wù)中的成功率高達(dá)87.8%！ Franka Robotics正加速推進(jìn)sim2real（模擬到現(xiàn)實(shí)）數(shù)據(jù)閉環(huán)建設(shè)，致力于賦能新一代智能機(jī)器人！ Franka RoboSplat 是一種基于 Franka Research 3 機(jī)械臂的機(jī)器人操控技術(shù)，它通過(guò) 3D 高斯濺射技術(shù)，僅需一次專(zhuān)家演示即可實(shí)現(xiàn)六類(lèi)任務(wù)泛化。以下是該技術(shù)的詳細(xì)介紹： 核心技術(shù)： 3D 高斯濺射重建：利用多視角圖像實(shí)現(xiàn)高保真場(chǎng)景重建，構(gòu)建包含機(jī)械臂、物體、環(huán)境的三維場(chǎng)景。 六維度數(shù)據(jù)增強(qiáng)：基于原始演示，生成包含新物體、新光照、新視角等場(chǎng)景的虛擬演示數(shù)據(jù)。 實(shí)現(xiàn)過(guò)程： 數(shù)據(jù)采集：使用 Franka Research 3 機(jī)械臂完成一次專(zhuān)家演示，同步采集多視角 RGB 圖像、關(guān)節(jié)軌跡數(shù)據(jù)。 場(chǎng)景重建與預(yù)處理：通過(guò) COLMAP 稀疏重建 + 3DGS 密集高斯生成，構(gòu)建三維場(chǎng)景，并利用 Grounded-SAM 分割物體高斯與機(jī)械臂鏈接高斯，實(shí)現(xiàn)場(chǎng)景組件解耦。 策略訓(xùn)練：使用增強(qiáng)后的 5000 + 演示數(shù)據(jù)訓(xùn)練視覺(jué)運(yùn)動(dòng)策略，輸入為渲染圖像，輸出為機(jī)械臂關(guān)節(jié)控制指令。 泛化能力： 物體姿態(tài)泛化：成功處理專(zhuān)家軌跡中未出現(xiàn)的堆疊、懸空等復(fù)雜場(chǎng)景。 光照條件泛化：通過(guò)光照增強(qiáng)技術(shù)，生成不同光照條件下的虛擬演示數(shù)據(jù)。 相機(jī)視角泛化：隨機(jī)軌道半徑、俯仰、偏航，模擬各種相機(jī)視角。 物體類(lèi)型泛化：通過(guò) 3D 高斯替換技術(shù)，改變物體類(lèi)型。 場(chǎng)景外觀泛化：通過(guò) 3D 高斯替換技術(shù)，改變場(chǎng)景外觀。 機(jī)器人實(shí)體泛化：通過(guò) 3D 高斯替換技術(shù)，改變機(jī)器人實(shí)體。 實(shí)驗(yàn)驗(yàn)證： 實(shí)驗(yàn)配置：一臺(tái) Franka Research 3 機(jī)械臂和兩臺(tái) RealSense D435i 攝像頭。 任務(wù)設(shè)計(jì)：設(shè)計(jì)了五個(gè)操作任務(wù)用于現(xiàn)實(shí)世界的評(píng)估，包括拾取物體、關(guān)閉抽屜、拾取-放置-關(guān)閉、雙重拾取-放置和清掃。 -性能表現(xiàn)：RoboSplat 生成的演示數(shù)據(jù)在規(guī)模擴(kuò)展時(shí)展現(xiàn)出顯著優(yōu)勢(shì)，1800 個(gè)生成演示可將成功率提升至 94.7%，顯著超越同等規(guī)模真實(shí)數(shù)據(jù)。 優(yōu)勢(shì)與應(yīng)用： 數(shù)據(jù)采集成本低：將傳統(tǒng)需要數(shù)百次演示的數(shù)據(jù)采集成本，壓縮至單次高效采集加智能增強(qiáng)的模式。 泛化能力強(qiáng)：在六類(lèi)任務(wù)泛化場(chǎng)景中表現(xiàn)出色，為工業(yè)機(jī)器人訓(xùn)練提供了全新范式。 Franka RoboSplat 技術(shù)通過(guò)創(chuàng)新的數(shù)據(jù)增強(qiáng)方法和高效的場(chǎng)景重建技術(shù)，顯著提升了機(jī)器人在復(fù)雜環(huán)境下的操作能力和泛化能力，為機(jī)器人操控領(lǐng)域帶來(lái)了新的突破。 |
回復(fù)此樓» 猜你喜歡
085600求調(diào)劑
已經(jīng)有6人回復(fù)
-
北京高校副校長(zhǎng)團(tuán)隊(duì)招收機(jī)械類(lèi)，環(huán)境類(lèi)學(xué)碩和專(zhuān)碩
已經(jīng)有9人回復(fù)
-
機(jī)械工程論文潤(rùn)色/翻譯怎么收費(fèi)?
已經(jīng)有144人回復(fù)
-
378分一志愿大連理工大學(xué)車(chē)輛工程調(diào)劑
已經(jīng)有0人回復(fù)
-
北京高校副校長(zhǎng)團(tuán)隊(duì)招收機(jī)械類(lèi)，環(huán)境類(lèi)學(xué)碩和專(zhuān)碩
已經(jīng)有14人回復(fù)
-
08工科求調(diào)劑
已經(jīng)有4人回復(fù)
-
【博士招生】北方工業(yè)大學(xué)招收 機(jī)械工程方向 申請(qǐng)考核制博士
已經(jīng)有4人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 PNPRobotics 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 接受26屆調(diào)劑生 +12 | 豬豬豬毛 2026-03-06 | 12/600 |
|
|---|---|---|---|---|
|
[考研] 一志愿中石油，化學(xué)工程，301求調(diào)劑 +4 | 豚饅枳枳 2026-03-04 | 4/200 |
|
|
|
[考研] 334求調(diào)劑 +4 | Trying] 2026-03-06 | 4/200 |
|
|
|
[考研] 070300調(diào)劑一志愿南京大學(xué)化學(xué)專(zhuān)業(yè)，初試273分，有論文有專(zhuān)利有競(jìng)賽，求調(diào)劑B區(qū)211 +3 | 82206202 2026-02-28 | 13/650 |
|
|
|
[考研] 一志愿哈爾濱工業(yè)大學(xué)0856材料與化工，前三科206，總分283，求調(diào)劑 +6 | 26考研求調(diào)劑 2026-03-06 | 6/300 |
|
|
|
[考研]
 調(diào)劑的同學(xué)，走過(guò)路過(guò)，不要錯(cuò)過(guò)
+3
|
likeihood 2026-03-06 | 5/250 |
|
|
|
[考博] 26申博-目前4篇SCI一作 +4 | chen_2024 2026-03-02 | 4/200 |
|
|
|
[考研] 271求調(diào)劑 +7 | 月色c 2026-03-05 | 8/400 |
|
|
|
[考博] 申博 +3 | 添菜了哈 2026-03-04 | 5/250 |
|
|
|
[考研] 環(huán)境調(diào)劑 +7 | 柒槿levana 2026-03-01 | 7/350 |
|
|
|
[考研] 264求調(diào)劑 +8 | 26調(diào)劑 2026-03-03 | 8/400 |
|
|
|
[考研] 0855機(jī)械工程324求調(diào)劑 +3 | 鄭SK 2026-03-02 | 7/350 |
|
|
|
[考研] 281求調(diào)劑 +3 | Y?l?h 2026-03-04 | 3/150 |
|
|
|
[考研] 一志愿西工大材料學(xué)，英一數(shù)二總分321分，求調(diào)劑。 +3 | zz05zz 2026-03-02 | 5/250 |
|
|
|
[考研] 0703化學(xué)306調(diào)劑 +4 | 26要上岸 2026-03-03 | 4/200 |
|
|
|
[考研] 292求調(diào)劑 +3 | sgbl 2026-03-03 | 3/150 |
|
|
|
[考研] 085602化學(xué)工程350，調(diào)劑，有沒(méi)有211的 +5 | 利好利好. 2026-03-02 | 9/450 |
|
|
|
[考研] 化工270求調(diào)劑 +10 | 什么名字qwq 2026-03-02 | 10/500 |
|
|
|
[考研] 化學(xué)，材料，環(huán)境類(lèi)求調(diào)劑 +7 | 考研版棒棒 2026-03-02 | 7/350 |
|
|
|
[考研] 調(diào)劑 +3 | 簡(jiǎn)木ChuFront 2026-02-28 | 3/150 |
|