 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 2171 | 回復(fù): 0 | |||
BFT驛站新蟲(chóng) (小有名氣)
|
[交流]
利用動(dòng)態(tài)數(shù)字孿生：Franka Research 3 機(jī)械臂在機(jī)器人策略評(píng)估中的創(chuàng)新實(shí)踐
|
|
——基于Real-is-Sim框架的仿真與現(xiàn)實(shí)閉環(huán)驗(yàn)證 一、前言： 在機(jī)器人技術(shù)飛速發(fā)展的今天，如何高效、準(zhǔn)確地評(píng)估機(jī)器人在現(xiàn)實(shí)世界中的操作策略，成為制約機(jī)器人技術(shù)進(jìn)一步突破的關(guān)鍵瓶頸。傳統(tǒng)方法往往依賴于耗時(shí)且成本高昂的真實(shí)世界測(cè)試，而模擬環(huán)境雖能提供便利，卻因模擬與現(xiàn)實(shí)之間的差距而難以直接應(yīng)用于實(shí)際部署。 本文以Franka Research 3機(jī)械臂為載體，通過(guò)Real-is-Sim框架，利用動(dòng)態(tài)數(shù)字孿生技術(shù)，解決這一難題。 二、技術(shù)框架與核心參數(shù) Franka Research 3機(jī)械臂： 7自由度設(shè)計(jì) 3×Intel RealSense D455相機(jī) 仿真器關(guān)節(jié)位置跟蹤 Real-is-Sim框架： 動(dòng)態(tài)數(shù)字孿生：基于Embodied Gaussians 物理建模：剛性體粒子系統(tǒng) 視覺(jué)建模：3D高斯?jié)姙R Real-is-Sim框架信息流示意圖 在可校正的物理模擬器（基于Embodied Gaussians技術(shù)）中訓(xùn)練的策略控制模擬機(jī)器人。真實(shí)世界的觀測(cè)數(shù)據(jù)持續(xù)更新模擬器狀態(tài)，使其與真實(shí)環(huán)境高度一致。真實(shí)機(jī)器人通過(guò)鏡像模擬機(jī)器人的關(guān)節(jié)位置實(shí)現(xiàn)同步。該方法將仿真與現(xiàn)實(shí)差距的挑戰(zhàn)從策略層轉(zhuǎn)移到可動(dòng)態(tài)調(diào)整的物理模擬器上。 二、策略開(kāi)發(fā)全流程 數(shù)據(jù)收集： 策略訓(xùn)練： 輸入表征： 狀態(tài)策略： 視覺(jué)策略：虛擬攝像頭渲染 → ResNet-18編碼 輸出動(dòng)作： 32步關(guān)節(jié)指令序列（30Hz執(zhí)行，V.D） 進(jìn)度預(yù)測(cè) 三、實(shí)驗(yàn)驗(yàn)證：PushT任務(wù) PushT任務(wù)驗(yàn)證 在PushT操作任務(wù)中，F(xiàn)ranka Research 3機(jī)械臂結(jié)合Real-is-Sim框架展現(xiàn)了其強(qiáng)大的策略評(píng)估能力。通過(guò)收集真實(shí)世界交互過(guò)程中的同步模擬狀態(tài)作為演示軌跡，策略基于這些模擬狀態(tài)進(jìn)行訓(xùn)練，并在模擬器中進(jìn)行離線評(píng)估。 不同從真實(shí)到模擬框架中提取的表示形式的比較，并與真實(shí)圖像基線進(jìn)行對(duì)比。(a) 一種純粹基于狀態(tài)的表示形式，利用物體的位置和方向（四元數(shù)形式）。(b) 一個(gè)虛擬移動(dòng)相機(jī)，位于機(jī)器人的末端執(zhí)行器上。(c) 一個(gè)虛擬相機(jī)，放置在觀察場(chǎng)景的原始相機(jī)相同位置。(d) 真實(shí)相機(jī)圖像之一。所有表示形式都用機(jī)器人的狀態(tài)進(jìn)行了增強(qiáng)。在真實(shí)到模擬框架中，關(guān)節(jié)狀態(tài)對(duì)應(yīng)于模擬機(jī)器人的關(guān)節(jié)狀態(tài)，而在真實(shí)圖像表示中，關(guān)節(jié)狀態(tài)反映的是真實(shí)機(jī)器人的關(guān)節(jié)狀態(tài)。 實(shí)驗(yàn)結(jié)果表明，模擬器中的成功率與真實(shí)世界評(píng)估之間存在很強(qiáng)的相關(guān)性，證明了Real-is-Sim框架的有效性。 在PushT操作任務(wù)中，Real-is-Sim框架展現(xiàn)了其有效性： 離線評(píng)估與真實(shí)性能高度一致：通過(guò)快速離線評(píng)估，有效預(yù)測(cè)真實(shí)世界的策略性能，成功率與真實(shí)世界評(píng)估高度相關(guān)。 數(shù)據(jù)增強(qiáng)提升性能：利用模擬器生成額外演示數(shù)據(jù)，結(jié)合真實(shí)世界演示，策略成功率顯著提升。 表征靈活性：支持從任意視角渲染圖像或提取低級(jí)狀態(tài)信息，策略學(xué)習(xí)到更魯棒的特征表示，提高任務(wù)完成能力。 模仿學(xué)習(xí)策略的成功率與訓(xùn)練步數(shù)的關(guān)系。該圖比較了 “真實(shí)即模擬” 離線模式與 “真實(shí)即模擬” 在線模式下的策略評(píng)估。兩條曲線之間的高度相關(guān)性表明，（速度明顯更快的）離線評(píng)估模式是真實(shí)世界測(cè)試的可靠替代方案，為策略評(píng)估提供了一種實(shí)用的選擇。誤差線為95% 置信區(qū)間。 不同演示收集策略的成功率。 一個(gè)由30個(gè)真實(shí)演示組成的數(shù)據(jù)集實(shí)現(xiàn)了約58%的成功率。由于 “從真實(shí)到模擬” 也可以離線運(yùn)行，因此可以使用額外的模擬數(shù)據(jù)來(lái)擴(kuò)充演示數(shù)據(jù)。一個(gè)由60個(gè)演示（30個(gè)真實(shí)的和30個(gè)模擬的）組成的組合數(shù)據(jù)集實(shí)現(xiàn)了80% 的成功率。相比之下，僅由60個(gè)真實(shí)演示組成的數(shù)據(jù)集實(shí)現(xiàn)的成功率略低，為72%。誤差線為95% 的置信區(qū)間。 關(guān)鍵發(fā)現(xiàn)： 表征性能排序： 末端攝像頭（82%） > 物體位姿（76%） > 真實(shí)圖像（63%） 失敗模式分析： 進(jìn)度突變（Δp>0.2/秒）觸發(fā)場(chǎng)景重建 剛體假設(shè)導(dǎo)致柔性物體操作受限 結(jié)論 本文提出的Real-is-Sim框架，結(jié)合Franka Research 3機(jī)械臂，通過(guò)動(dòng)態(tài)數(shù)字孿生技術(shù)，有效彌合了模擬與現(xiàn)實(shí)之間的差距，為機(jī)器人策略評(píng)估提供了一種高效、可擴(kuò)展的解決方案。該框架不僅加速了機(jī)器人策略的開(kāi)發(fā)與驗(yàn)證過(guò)程，更為機(jī)器人技術(shù)在工業(yè)、醫(yī)療、服務(wù)等多個(gè)領(lǐng)域的廣泛應(yīng)用奠定了堅(jiān)實(shí)基礎(chǔ)。 |
回復(fù)此樓» 猜你喜歡
260求調(diào)劑
已經(jīng)有1人回復(fù)
-
一志愿 大連理工大學(xué)機(jī)械專碩
已經(jīng)有1人回復(fù)
-
工程熱物理與能源利用論文潤(rùn)色/翻譯怎么收費(fèi)?
已經(jīng)有94人回復(fù)
-
26申博-增材制造方向
已經(jīng)有0人回復(fù)
-
08工學(xué)-一作ACS AMI（IF 8.2）｜物理團(tuán)簇背景｜求長(zhǎng)三角/山東地區(qū)團(tuán)簇、催化方向調(diào)劑
已經(jīng)有1人回復(fù)
-
北京高校副校長(zhǎng)團(tuán)隊(duì)招收機(jī)械類，環(huán)境類學(xué)碩和專碩
已經(jīng)有9人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 材料調(diào)劑 +4 | L9370 2026-03-05 | 4/200 |
|
|---|---|---|---|---|
|
|
[考研] 招調(diào)劑 +5 | 帆船哥 2026-03-04 | 7/350 |
|
|
[考研]
材料學(xué)學(xué)碩308分/本科東北大學(xué)/一志愿西北工業(yè)大學(xué)/
 5+3
|
蘇堯幺幺 2026-03-03 | 8/400 |
|
|
|
[考研] 290求調(diào)劑 +5 | Bananaiy 2026-03-04 | 5/250 |
|
|
|
[考博] 申博 +3 | 添菜了哈 2026-03-04 | 5/250 |
|
|
|
[考研] 化學(xué)專業(yè)調(diào)劑 +3 | 好好好1233 2026-03-04 | 3/150 |
|
|
|
[考研] 一志愿西交化工專碩288專業(yè)課93求調(diào)劑 +6 | 好運(yùn)好運(yùn)接接 2026-03-04 | 6/300 |
|
|
|
[論文投稿]
 主編終審卡者不動(dòng)
100+4
|
Stray2021 2026-03-03 | 4/200 |
|
|
|
[考研] 求調(diào)劑 +4 | 熬夜的貓頭鷹 2026-03-02 | 4/200 |
|
|
|
[考研] 292求調(diào)劑 +9 | yhk_819 2026-02-28 | 9/450 |
|
|
|
[考研] 085601 材料工程 320 +6 | 和樂(lè)瑤 2026-03-03 | 6/300 |
|
|
|
[考研] 武理材料工程302調(diào)劑 +3 | Doleres 2026-03-03 | 6/300 |
|
|
|
[考研] 281求調(diào)劑 +3 | Y?l?h 2026-03-04 | 3/150 |
|
|
|
[考研]
計(jì)算機(jī)學(xué)碩 分?jǐn)?shù)285求調(diào)劑
+4
|
glwshine 2026-03-02 | 5/250 |
|
|
|
[考研] 284求調(diào)劑 +6 | 天下熯 2026-03-02 | 6/300 |
|
|
|
[考研] 271求調(diào)劑 +4 | Ricardo1113 2026-03-02 | 4/200 |
|
|
|
[考研] 0856化工專碩求調(diào)劑 +15 | 董boxing 2026-03-01 | 15/750 |
|
|
|
[考研] 264求調(diào)劑 +4 | 巴拉巴拉根556 2026-02-28 | 4/200 |
|
|
|
[考研] 299求調(diào)劑 +3 | Y墨明棋妙Y 2026-02-28 | 5/250 |
|
|
|
[考研] 311求調(diào)劑 +6 | 亭亭亭01 2026-03-01 | 6/300 |
|