 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 2176 | 回復: 0 | |||
[交流]
利用動態(tài)數(shù)字孿生：Franka Research 3 機械臂在機器人策略評估中的創(chuàng)新實踐
|
|
——基于Real-is-Sim框架的仿真與現(xiàn)實閉環(huán)驗證 一、前言： 在機器人技術飛速發(fā)展的今天，如何高效、準確地評估機器人在現(xiàn)實世界中的操作策略，成為制約機器人技術進一步突破的關鍵瓶頸。傳統(tǒng)方法往往依賴于耗時且成本高昂的真實世界測試，而模擬環(huán)境雖能提供便利，卻因模擬與現(xiàn)實之間的差距而難以直接應用于實際部署。 本文以Franka Research 3機械臂為載體，通過Real-is-Sim框架，利用動態(tài)數(shù)字孿生技術，解決這一難題。 二、技術框架與核心參數(shù) Franka Research 3機械臂： 7自由度設計 3×Intel RealSense D455相機 仿真器關節(jié)位置跟蹤 Real-is-Sim框架： 動態(tài)數(shù)字孿生：基于Embodied Gaussians 物理建模：剛性體粒子系統(tǒng) 視覺建模：3D高斯?jié)姙R Real-is-Sim框架信息流示意圖 在可校正的物理模擬器（基于Embodied Gaussians技術）中訓練的策略控制模擬機器人。真實世界的觀測數(shù)據(jù)持續(xù)更新模擬器狀態(tài)，使其與真實環(huán)境高度一致。真實機器人通過鏡像模擬機器人的關節(jié)位置實現(xiàn)同步。該方法將仿真與現(xiàn)實差距的挑戰(zhàn)從策略層轉移到可動態(tài)調整的物理模擬器上。 二、策略開發(fā)全流程 數(shù)據(jù)收集： 策略訓練： 輸入表征： 狀態(tài)策略： 視覺策略：虛擬攝像頭渲染 → ResNet-18編碼 輸出動作： 32步關節(jié)指令序列（30Hz執(zhí)行，V.D） 進度預測 三、實驗驗證：PushT任務 PushT任務驗證 在PushT操作任務中，F(xiàn)ranka Research 3機械臂結合Real-is-Sim框架展現(xiàn)了其強大的策略評估能力。通過收集真實世界交互過程中的同步模擬狀態(tài)作為演示軌跡，策略基于這些模擬狀態(tài)進行訓練，并在模擬器中進行離線評估。 不同從真實到模擬框架中提取的表示形式的比較，并與真實圖像基線進行對比。(a) 一種純粹基于狀態(tài)的表示形式，利用物體的位置和方向（四元數(shù)形式）。(b) 一個虛擬移動相機，位于機器人的末端執(zhí)行器上。(c) 一個虛擬相機，放置在觀察場景的原始相機相同位置。(d) 真實相機圖像之一。所有表示形式都用機器人的狀態(tài)進行了增強。在真實到模擬框架中，關節(jié)狀態(tài)對應于模擬機器人的關節(jié)狀態(tài)，而在真實圖像表示中，關節(jié)狀態(tài)反映的是真實機器人的關節(jié)狀態(tài)。 實驗結果表明，模擬器中的成功率與真實世界評估之間存在很強的相關性，證明了Real-is-Sim框架的有效性。 在PushT操作任務中，Real-is-Sim框架展現(xiàn)了其有效性： 離線評估與真實性能高度一致：通過快速離線評估，有效預測真實世界的策略性能，成功率與真實世界評估高度相關。 數(shù)據(jù)增強提升性能：利用模擬器生成額外演示數(shù)據(jù)，結合真實世界演示，策略成功率顯著提升。 表征靈活性：支持從任意視角渲染圖像或提取低級狀態(tài)信息，策略學習到更魯棒的特征表示，提高任務完成能力。 模仿學習策略的成功率與訓練步數(shù)的關系。該圖比較了 “真實即模擬” 離線模式與 “真實即模擬” 在線模式下的策略評估。兩條曲線之間的高度相關性表明，（速度明顯更快的）離線評估模式是真實世界測試的可靠替代方案，為策略評估提供了一種實用的選擇。誤差線為95% 置信區(qū)間。 不同演示收集策略的成功率。 一個由30個真實演示組成的數(shù)據(jù)集實現(xiàn)了約58%的成功率。由于 “從真實到模擬” 也可以離線運行，因此可以使用額外的模擬數(shù)據(jù)來擴充演示數(shù)據(jù)。一個由60個演示（30個真實的和30個模擬的）組成的組合數(shù)據(jù)集實現(xiàn)了80% 的成功率。相比之下，僅由60個真實演示組成的數(shù)據(jù)集實現(xiàn)的成功率略低，為72%。誤差線為95% 的置信區(qū)間。 關鍵發(fā)現(xiàn)： 表征性能排序： 末端攝像頭（82%） > 物體位姿（76%） > 真實圖像（63%） 失敗模式分析： 進度突變（Δp>0.2/秒）觸發(fā)場景重建 剛體假設導致柔性物體操作受限 結論 本文提出的Real-is-Sim框架，結合Franka Research 3機械臂，通過動態(tài)數(shù)字孿生技術，有效彌合了模擬與現(xiàn)實之間的差距，為機器人策略評估提供了一種高效、可擴展的解決方案。該框架不僅加速了機器人策略的開發(fā)與驗證過程，更為機器人技術在工業(yè)、醫(yī)療、服務等多個領域的廣泛應用奠定了堅實基礎。 |
回復此樓» 猜你喜歡
求教鄰氯酰氯在氯化鋅催化劑作用下與對氯苯胺反應能得到什么產物
已經有1人回復
-
盧森堡大學擬招收2026博士生一名，CSC渠道， 協(xié)助完成研修計劃
已經有0人回復
-
金屬材料論文潤色/翻譯怎么收費?
已經有52人回復
-
東北大學2026級申請考核制博士招生（安全工程、礦業(yè)工程、通風、能源動力等方向）
已經有19人回復
-
解決滲碳體傾斜角度問題
已經有1人回復
-
求助SambVca最新網址或等效工具
已經有0人回復
-
哈爾濱工程大學動力學院趙建輝團隊招收2026博士研究生
已經有10人回復
-
各位大佬，面上項目預算多少合適？預算有用嗎？
已經有21人回復
-
26申博 求博導
已經有5人回復
-
工學085800能動專碩，初試307分求調劑，滿足B區(qū)國家線
已經有1人回復
相關版塊跳轉
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 2026考研求調劑-材料類-本科211一志愿985-初試301分 +9 | 蟲友233 2026-03-07 | 9/450 |
|
|---|---|---|---|---|
|
[考研] 一志愿中科大材料與化工。353分能調劑到哪？ +4 | MayUxw1 2026-03-08 | 4/200 |
|
|
|
[碩博家園] 2026級碩士研究生招生/調劑 +3 | 知足常樂的樂 2026-03-06 | 5/250 |
|
|
|
[考研] 0856求調劑 +3 | squirtle11 2026-03-07 | 3/150 |
|
|
|
[考研] 293一志愿華東理工 0817化學工程與技術 調劑 +5 | fjj0912 2026-03-07 | 5/250 |
|
|
|
[考研] 0701-322 求調劑 +3 | jiliuxian 2026-03-06 | 8/400 |
|
|
|
[考研] 334求調劑 +8 | Trying] 2026-03-06 | 8/400 |
|
|
|
[考研] 0817化學工程與技術312分求調劑 +7 | T123 tt 2026-03-04 | 7/350 |
|
|
|
[考研] 化學工程求調劑 +12 | 化工人999 2026-03-04 | 12/600 |
|
|
|
[考研] 材料化工求調劑 +7 | 博斯特525 2026-03-06 | 8/400 |
|
|
|
[考研] 0703化學求調劑學校 +3 | 一志愿京區(qū)211 2026-03-04 | 3/150 |
|
|
|
[考研] 0703化學調劑 +5 | G212 2026-03-03 | 6/300 |
|
|
|
[考研] 一志愿211 085600 280數(shù)二英二求調劑 +3 | 月山斜 2026-03-06 | 3/150 |
|
|
|
[考研]
 材料工程調劑
+6
|
zbcm_zbcm 2026-03-05 | 6/300 |
|
|
|
[考研] 268求調劑 +4 | 劉合華 2026-03-05 | 4/200 |
|
|
|
[考研] 271求調劑 +7 | 月色c 2026-03-05 | 8/400 |
|
|
|
[考研] 334求調劑 +3 | Trying] 2026-03-03 | 4/200 |
|
|
|
[考研] 085701環(huán)境工程 求調劑 +7 | xiiiia 2026-03-04 | 7/350 |
|
|
|
[考研] 0856材料專碩274能調劑去哪里？ +3 | 22735 2026-03-04 | 4/200 |
|
|
|
[考研]
 0703化學學碩 288分
+4
|
旅行中的紫葡萄 2026-03-03 | 4/200 |
|