 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 832 | 回復: 0 | |||
[交流]
生成式數(shù)字孿生賦能雙機械臂協(xié)作：基于COBOT Magic Robot的3D感知與代碼合成框架
|
|
前言： 該論文提出了一個面向雙機械臂機器人任務的全新基準框架，通過生成式數(shù)字孿生技術解決機器人訓練數(shù)據(jù)稀缺與仿真-現(xiàn)實差距問題。以下是核心內(nèi)容和技術產(chǎn)品的總結： 論文核心內(nèi)容 框架設計 1.提出基于3D生成基礎模型和大型語言模型（LLMs）的數(shù)字化孿生系統(tǒng)，僅需單張2D圖像即可生成多樣化的3D物體模型和交互場景。 2.開發(fā)空間關系感知的代碼生成框架，通過LLM分解復雜任務、推斷空間約束（如工具功能軸對齊），并生成可執(zhí)行的機器人動作代碼。 3.構建包含15種雙機械臂協(xié)作任務的標準化基準（如錘擊、物體堆疊、鞋盒整理等），整合仿真與真實世界數(shù)據(jù)，支持策略評估。 關鍵技術突破 1.真實到仿真的數(shù)據(jù)生成：從2D圖像生成高保真3D模型（含幾何、法線、紋理），并通過特征點匹配實現(xiàn)同類物體的自動標注遷移。 2.雙機械臂協(xié)同優(yōu)化：支持同步運動、獨立操作和動態(tài)避撞，通過螺旋運動插值算法生成無碰撞軌跡。 3.仿真到現(xiàn)實的策略遷移：實驗表明，使用300條仿真數(shù)據(jù)預訓練+20條真實數(shù)據(jù)微調(diào)的策略，單臂任務成功率提升70%，雙臂任務提升40%以上。 實驗結果 1.在開源平臺COBOT Magic Robot上驗證，3D輸入策略（DP3）在復雜任務（如物體堆疊）中表現(xiàn)優(yōu)于傳統(tǒng)2D方法。 2.高難度任務（如懸掛馬克杯）仍存在挑戰(zhàn)，突顯雙機械臂協(xié)調(diào)算法的改進空間。 涉及的主要技術與產(chǎn)品 硬件平臺 COBOT Magic Robot：開源四臂機器人平臺，搭載Intel RealSense D435 RGBD攝像頭，支持真實與仿真環(huán)境數(shù)據(jù)采集。 仿真工具 ManiSkill：基于GPU加速的機器人仿真平臺，用于大規(guī)模數(shù)據(jù)生成。 SAPIEN：物理仿真引擎，支持高精度物體交互模擬。 生成模型 Rodin 3D生成平臺（Deemos）：從2D圖像生成3D模型，支持幾何、紋理和物理屬性。 Stable Diffusion XL Turbo：用于生成多樣化的2D物體變體圖像。 GPT-4V：分析圖像生成物體描述，輔助3D建模。 算法與基準 Diffusion Policy：基于擴散模型的機器人模仿學習算法，支持2D/3D輸入。 3D Diffusion Policy（DP3）：結合點云輸入的3D策略版本，優(yōu)化空間感知。 RoboTwin Benchmark：開源的雙機械臂任務評估體系，覆蓋單臂/雙臂協(xié)作場景。 數(shù)據(jù)與標注工具 空間標注框架：自動標注物體功能點（如錘頭接觸點）、功能軸（如敲擊方向軸），支持LLM任務分解。 實際意義 1.降低數(shù)據(jù)成本：通過生成式模型減少對昂貴人工示教數(shù)據(jù)的依賴。 2.提升泛化能力：多樣化仿真數(shù)據(jù)幫助策略適應現(xiàn)實場景的物體形態(tài)和位置變化。 3.推動標準化：首個專注于雙機械臂協(xié)作的開放基準，促進算法橫向?qū)Ρ扰c迭代。 論文下載鏈接：https://arxiv.org/pdf/2409.02920 |
回復此樓» 猜你喜歡
實力之選！供水供電安全智控系統(tǒng)源頭廠家品牌推薦
已經(jīng)有0人回復
-
IEEE會議Ei收錄高校主辦-IEEE第三屆能源與電氣工程國際學術會議-EEE 2026
已經(jīng)有0人回復
-
工程熱物理與能源利用論文潤色/翻譯怎么收費?
已經(jīng)有125人回復
-
Ei會議-第六屆流體與化學工程國際學術會議-ICFCE2026
已經(jīng)有1人回復
-
大連海事大學輪機學院博士名額1個
已經(jīng)有41人回復
-
如何判斷CRISPR文庫篩選公司的專業(yè)性
已經(jīng)有0人回復
-
機械學碩302求調(diào)劑
已經(jīng)有0人回復
-
一志愿 大連理工大學機械專碩
已經(jīng)有0人回復
-
26申博-增材制造方向
已經(jīng)有0人回復
相關版塊跳轉(zhuǎn)
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 0856材料工程，初試313調(diào)劑 +7 | 賣個關子吧 2026-03-03 | 7/350 |
|
|---|---|---|---|---|
|
|
[碩博家園] 2025屆雙非化工碩士畢業(yè)，申博 +4 | 更多的是 2026-02-27 | 5/250 |
|
|
[考研] 278求調(diào)劑 +3 | 滿天星11_22 2026-03-02 | 3/150 |
|
|
|
[考研] 材料類考研調(diào)劑 +6 | gemmgemm 2026-03-01 | 7/350 |
|
|
|
[考研] 化工335求調(diào)劑 +5 | 摸摸貓貓頭 2026-03-02 | 5/250 |
|
|
|
[考研] 調(diào)劑材料學碩 +4 | 詞凝Y 2026-03-02 | 4/200 |
|
|
|
[考研] 338求調(diào)劑 +5 | 18162027187 2026-03-02 | 6/300 |
|
|
|
[考研] 0856求調(diào)劑285 +11 | 呂仔龍 2026-02-28 | 11/550 |
|
|
|
[考研] 材料284求調(diào)劑，一志愿鄭州大學英一數(shù)二專碩 +15 | 想上岸的土撥鼠 2026-02-28 | 15/750 |
|
|
|
[考研] 0856化工專碩求調(diào)劑 +15 | 董boxing 2026-03-01 | 15/750 |
|
|
|
[考研] 292求調(diào)劑 +7 | yhk_819 2026-02-28 | 7/350 |
|
|
|
[基金申請] 此成果不能導入原因：元數(shù)據(jù)必填信息不完整，可 進行補充。 +4 | Kittylucky 2026-03-02 | 5/250 |
|
|
|
[考研] 材料學調(diào)劑 +10 | 提神豆沙包 2026-02-28 | 12/600 |
|
|
|
[基金申請] 成果系統(tǒng)訪問量大，請一小時后再嘗試。---NSFC啥時候好哦，已經(jīng)兩天這樣了 +4 | NSFC2026我來了 2026-02-28 | 4/200 |
|
|
|
[考研] 0856材料求調(diào)劑 +4 | 麻辣魷魚 2026-02-28 | 4/200 |
|
|
|
[考研] 304求調(diào)劑 +6 | 曼殊2266 2026-02-28 | 7/350 |
|
|
|
[考研]
 尋找調(diào)劑
+4
|
LYidhsjabdj 2026-02-28 | 4/200 |
|
|
|
[考研] 311求調(diào)劑 +9 | 南迦720 2026-02-28 | 10/500 |
|
|
|
[論文投稿]
求助coordination chemistry reviews 的寫作模板
 10+3
|
ljplijiapeng 2026-02-27 | 4/200 |
|
|
|
[考研] 307求調(diào)劑 +4 | 73372112 2026-02-28 | 6/300 |
|