 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 877 | 回復: 0 | |||
[交流]
RoboFactory：Franka Research 3機械臂在實現(xiàn)具有組合約束的實體代理協(xié)作探索
|
|
前言： 機器人技術迅猛發(fā)展，多智能體協(xié)作系統(tǒng)在工業(yè)制造、服務、救援等領域潛力巨大。但多智能體系統(tǒng)因智能體間協(xié)作及與環(huán)境的交互，策略開發(fā)及驗證復雜度高，面臨兩大難題： 1、數(shù)據(jù)收集處理低效，傳統(tǒng)人工標注或手動設計場景方式耗時費力且難以覆蓋所有協(xié)作場景； 2、策略評估復雜，需綜合考量多智能體行為與交互。 針對上述難題，本文以Franka Research 3機械臂為載體，借助集成多種先進算法與工具、支持全流程自動化的RoboFactory框架，成功解決了多智能體系統(tǒng)策略開發(fā)中的數(shù)據(jù)收集與評估難題。 二、技術框架與核心參數(shù) Franka Research 3機械臂： 7自由度設計 Franka末端執(zhí)行夾爪 傳感器配置 RoboFactory框架： 開源的機器人仿真平臺：RoboFactory框架建立在ManiSkill模擬器之上 RoboBrain：智能體行為規(guī)劃和控制的核心 RoboChecker：制定智能體的行為符合預設的安全和協(xié)作標準 如圖1所示，在執(zhí)行“抓取牛排并協(xié)同4個實體代理（a₁、a₂、a₃、a₄）操控相機完成拍攝”任務時，各代理需突破單任務局限，通過動態(tài)協(xié)同實現(xiàn)整體目標：a₁精準抓取牛排，a₂與a₃協(xié)作抬升相機，a₄負責觸發(fā)快門。為保障協(xié)作安全高效，本文引入組合約束機制，通過邏輯約束規(guī)避如a₃誤觸鏡頭等不當交互，利用空間約束避免a₂與a₃執(zhí)行軌跡沖突引發(fā)碰撞，并借助時間約束消除a₁因等待其他代理完成非沖突操作而產生的無效停滯，從而構建起多智能體安全高效協(xié)作體系。 三、策略開發(fā)全流程 框架構建：RoboFactory框架，該框架包含兩個核心模塊 RoboBrain：負責生成子目標和軌跡序列 RoboChecker：負責構建約束接口并檢查約束違反情況。 輸入處理：接收RGB觀測值、、全局文本指令、先前子目標集及約束違規(guī)反饋，輸入至RoboBrain中的VLM模型（如GPT-4o）。 策略生成—— 任務分解（子目標序列）——軌跡規(guī)劃：Gnext, C=FVLM (0, Gglobal, Gpre, f pre) 圖2:RoboFactory概述。給定全局任務描述、先驗信息和觀察結果,RoboBrain為每個代理生成下一個子目標,并輸出文本組合約束。然后,它為每個代理生成無約束的軌跡序列,以實現(xiàn)相應的子目標,調用預定義的運動圖元。RoboChecker基于文本組合約束和當前多智能體狀態(tài)構建相應的約束接口。它檢查代理在執(zhí)行生成的軌跡時是否違反了任何約束。該框架通過將抽象文本約束轉換為可以通過構建約束接口與代理行為交互的表示,確保為多體現(xiàn)代理生成安全高效的協(xié)作數(shù)據(jù)。 約束驗證 約束接口：RoboChecker將文本約束轉換為具體物理表示（交互位置、方向、3D占用、動態(tài)占用），形成約束接口。 實時監(jiān)控：在軌跡執(zhí)行過程中，RoboChecker持續(xù)監(jiān)控邏輯、空間、時間約束的有效性，確保代理間安全高效協(xié)作。 圖3。不同的約束界面。對于C1,我們注釋了對象的交互點和每個點的交互方向。對于Cs,我們對觀測結果進行建模以獲得深度圖,并將其與機器人手臂狀態(tài)一起用于構建3D占用表示。對于Ct,我們基于代理在每個變化位置的軌跡對時間狀態(tài)表示進行建模,并通過分析將這些表示用于調度。 反饋與迭代 違規(guī)處理：若檢測到約束違規(guī)，立即停止軌跡執(zhí)行，并返回違規(guī)原因及重新規(guī)劃反饋。 數(shù)據(jù)積累：驗證通過的軌跡和觀測序列被納入基準數(shù)據(jù)集，用于后續(xù)策略優(yōu)化。 表1。RoboFactory和其他嵌入式基準之間的比較。它具有多智能體任務和高級規(guī)劃與低級控制的集成。 四、實驗驗證：RoboFactory基準測試評估 在RoboFactory基準測試評估中，Diffusion Policy的評估：在RoboFactory基準測試上，對Diffusion Policy的性能進行評估，以驗證其在不同難度智能體任務中的表現(xiàn)。 表2。DP基線性能結果。我們報告了不同演示數(shù)據(jù)量的基準任務的成功率。 多智能體架構比較：基于模仿學習，對比共享策略與獨立策略等架構，探究適合多智能體協(xié)作任務的架構。 圖5。我們設計了四種多實體代理模仿學習架構。圖像輸入中的全局視圖表示包含所有代理的觀察,局部視圖表示每個代理的自我視圖觀察。在策略訓練中,共享策略表示所有代理共享一個策略,單獨策略表示每個代理訓練一個獨立的策S略。 消融研究：分析RoboFactory數(shù)據(jù)生成中不同約束對智能體行為和數(shù)據(jù)質量的影響。 表3，四種多種現(xiàn)代理模仿學習架構的結果，報告了兩項任務的成功率。 實驗結果 Diffusion Policy：性能取決于任務難度和智能體數(shù)量。 架構比較：獨立策略在Food Place任務中優(yōu)于共享策略，適合復雜協(xié)作任務。 消融研究：合理約束設置提高協(xié)作效率和任務成功率。 RoboFactory框架展現(xiàn)的有效性 高效數(shù)據(jù)生成：自動生成高質量訓練數(shù)據(jù)，提升學習效率。 靈活架構設計：支持多種架構，為研究者提供選擇空間。 強大約束處理：確保智能體行為符合安全和協(xié)作標準。 關鍵發(fā)現(xiàn) 數(shù)據(jù)充足性：數(shù)據(jù)量對多智能體系統(tǒng)性能至關重要，150個訓練演示達最佳性能。 獨立策略優(yōu)勢：處理復雜協(xié)作任務時，獨立策略更合適，避免共享策略的挑戰(zhàn)。 約束設置重要性：合理約束設置對協(xié)作效率和任務成功率有重要意義。 結論： 在“抓取牛排并協(xié)同多個實體代理（如a₁、a₂、a₃、a₄）操控相機完成拍攝”的復雜操作任務中，F(xiàn)ranka Research 3機械臂結合RoboFactory框架展現(xiàn)了其高效的數(shù)據(jù)生成能力、靈活的架構設計以及強大約束處理能力。 而RoboFactory基準測試評估驗證了其在高效數(shù)據(jù)生成、靈活架構設計和強大約束處理方面的有效性和優(yōu)勢，為構建安全、高效的多智能體系統(tǒng)提供支持，并為未來研究提供參考。 |
回復此樓» 猜你喜歡
英國伯明翰大學招收計算流體力學博士研究生
已經有0人回復
-
英國伯明翰大學招收計算流體力學和氣動聲學博士研究生
已經有0人回復
-
工程熱物理與能源利用論文潤色/翻譯怎么收費?
已經有70人回復
-
車銑復合機床哪家品質好、質量好、性能好？
已經有0人回復
-
片劑硬度計口碑廠家推薦：交貨快、質量穩(wěn)、服務優(yōu)
已經有0人回復
-
片劑硬度計采購必備：品牌、性能、定制全解析
已經有1人回復
-
品牌怎么選？自動化液體工作站多維度對比
已經有0人回復
-
實力之選！供水供電安全智控系統(tǒng)源頭廠家品牌推薦
已經有0人回復
-
哈爾濱工程大學動力學院趙建輝團隊招收2026博士研究生
已經有10人回復
-
如何判斷CRISPR文庫篩選公司的專業(yè)性
已經有0人回復
相關版塊跳轉
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 293求調劑 +4 | 是樂渝哇 2026-03-03 | 4/200 |
|
|---|---|---|---|---|
|
[考研] 學碩材料275調劑 +4 | 路三三 2026-03-03 | 4/200 |
|
|
|
[考研] 306求調劑 +7 | 張張張張oo 2026-03-03 | 7/350 |
|
|
|
[考研] 0703化學306調劑 +4 | 26要上岸 2026-03-03 | 4/200 |
|
|
|
[考研] 266材料化工求調劑 +3 | 哇塞王帥 2026-03-03 | 3/150 |
|
|
|
[考研] 材料328求調劑 +4 | 一個蘿卜02 2026-03-03 | 4/200 |
|
|
|
[考研]
 計算機學碩 分數(shù)285求調劑
+4
|
glwshine 2026-03-02 | 5/250 |
|
|
|
[考研] 環(huán)境工程專碩307求調劑 +3 | ccc! 2026-03-03 | 3/150 |
|
|
|
[考研] 沒上岸的看過來 +3 | tangxiaotian 2026-03-01 | 3/150 |
|
|
|
[考研] 化工京區(qū)271求調劑 +7 | 11ing 2026-03-02 | 7/350 |
|
|
|
[考研]
 高分子化學與物理調劑
+6
|
好好好1233 2026-02-28 | 16/800 |
|
|
|
[考研] 0856調劑 +10 | 劉夢微 2026-02-28 | 10/500 |
|
|
|
[考研] 材料化工調劑 +13 | 今夏不夏 2026-03-01 | 16/800 |
|
|
|
[考研] 求調劑 +7 | repeatt?t 2026-02-28 | 7/350 |
|
|
|
[考研] 306分材料調劑 +5 | chuanzhu川燭 2026-03-01 | 6/300 |
|
|
|
[考研] 275求調劑 +7 | 明遠求學 2026-03-01 | 7/350 |
|
|
|
[考研] 材料與化工328求調劑 +3 | 。，。，。，。i 2026-03-02 | 3/150 |
|
|
|
[考研] 哈工大計算機劉劼團隊招生 +4 | hit_aiot 2026-03-01 | 6/300 |
|
|
|
[考研] 299求調劑 +3 | Y墨明棋妙Y 2026-02-28 | 5/250 |
|
|
|
[考研] 290求調劑 +9 | 材料專碩調劑； 2026-02-28 | 11/550 |
|