| 1 | 1/1 | 返回列表 |
| 查看: 736 | 回復: 0 | |||
[交流]
Franka Robotics × VLMgineer:以大模型之力,首拓機器人硬件新領域
|
|
研究背景: 本文以Franka Research 3機械臂為核心載體,聚焦機器人在復雜操作任務中對工具的創(chuàng)造性設計與高效使用問題。 在傳統(tǒng)的機器人研究中,多側重于優(yōu)化控制策略,而工具設計往往依賴人工,這在一定程度上限制了機器人在超出自身能力范圍任務中的表現(xiàn)。 為此,研究人員提出了VLMGINEER框架。該框架結合視覺語言模型(VLM)的創(chuàng)造力與進化搜索算法,實現(xiàn)了工具與動作計劃的協(xié)同設計,成功解決了傳統(tǒng)方法中工具設計依賴人工、泛化能力弱、控制與工具設計脫節(jié)等問題。 實驗設置 核心硬件 采用Franka Research 3機械臂作為標準載體,將其默認兩指夾爪作為基線對比,工具通過末端執(zhí)行器接口連接。 感知與模擬環(huán)境 環(huán)境通過PyBullet物理引擎模擬,并集成overhead相機以提供場景視覺輸入。 無需額外外部傳感器,依賴模擬環(huán)境的狀態(tài)反饋(如物體位置、姿態(tài))評估任務完成度。 軟件框架 基于Python實現(xiàn),VLM采用gemini-2.5-pro-preview模型,進化搜索與模擬評估并行計算以加速迭代。 圖1:VLMGINEER 以未修改的環(huán)境源代碼、環(huán)境圖像、環(huán)境描述和任務描述作為上下文,通過視覺語言模型(VLM)零樣本生成工具和動作設計。隨后,它通過候選樣本采樣、基于仿真的評估以及進化改進的循環(huán),對工具和動作設計進行迭代優(yōu)化。 核心方法 VLM驅動的工具 - 動作協(xié)同設計 通過VLM生成初始工具設計(URDF 格式)和對應動作序列(末端執(zhí)行器位姿與夾爪狀態(tài)),利用進化搜索迭代優(yōu)化,逐步提升工具性能與動作效率 圖2:面對機器人能力之外的操作任務,VLMGINEER先提示視覺語言模型生成工具和動作,再在仿真中用進化搜索優(yōu)化工具幾何結構并合成機器人運動規(guī)劃,最終使配備自動設計工具的機器人成功完成任務。 進化搜索機制: 采樣:VLM基于環(huán)境代碼、任務描述生成多樣化工具 - 動作候選對; 評估:通過任務適應度函數(shù)篩選表現(xiàn)優(yōu)異的候選; 迭代:引導VLM對優(yōu)秀候選進行突變(如調整尺寸)和交叉(融合設計元素),生成新一代設計。 統(tǒng)一表示格式 工具以URDF格式描述,確保與機器人模型兼容;動作以離散位姿數(shù)組表示(含末端執(zhí)行器6自由度+夾爪狀態(tài)),簡化控制邏輯。 實驗設計與驗證 基準測試集 構建了 ROBOTOOLBENCH 基準,包含 12 項任務(如取遠處物體、聚集球體、移動小球等),這些任務均被設計為默認機械臂難以完成的場景。 圖 3:本圖對比了 Franka 夾具實驗、3 組人工提示實驗以及本文提出的方法在 12 項任務中的獎勵情況。對于每種方法,圖例中顏色較深的柱形表示 5 次運行的平均獎勵,而位于其上方、顏色較淺的柱形則表示這些運行中的最佳獎勵。 圖4:本圖對人工設計的工具、RLBench(強化學習基準)工具以及 VLMGINEER工具在三項任務上進行了定性對比,這三項任務分別是:取cube(頂行)、踢進球門(中行)和收集球體(底行)。 對比實驗 基線 1:Franka 默認夾爪(無額外工具)。 基線 2:人類指定工具設計(含機器人專家、LLM 專家、普通人三組)。 基線 3:RLBench 現(xiàn)有工具(日常常用工具)。 成果表明,該框架在 12 項日常操作任務中,不僅超越了人類指定設計的工具和現(xiàn)有日常工具,還將復雜機器人任務轉化為簡單執(zhí)行流程,為機器人硬件設計與應用開辟了新路徑。 評估指標:任務完成度(歸一化獎勵0-1)、動作效率(末端執(zhí)行器移動距離)。 關鍵成果與突破 性能超越基線 相比人類指定設計的 VLM 生成工具,平均獎勵提升 64.7%; 優(yōu)于現(xiàn)有人類設計工具,平均獎勵提升 24.3%,且動作更高效(如在 BringCube 任務中移動距離更短)。 進化機制的有效性 經進化迭代后,工具設計顯著優(yōu)化(如 GatherSpheres 任務中添加護欄防止球體掉落); 相比僅初始采樣的設計,進化后任務成功率平均提升 30% 以上。 泛化能力 無需任務特定模板或示例,可直接應用于12項不同任務,展示跨場景適應性。 圖 5:展示了進化算法在工具設計中(a)定量和(b)定性兩方面的有效性。a)所有評估任務的平均最高獎勵,對比 “無進化” 和 “有進化” 條件;b)收集球體(頂行)和移動球體(底行)任務在進化前后的定性對比。 結語 VLMGINEER通過融合大模型的創(chuàng)造力與進化算法的優(yōu)化能力,首次實現(xiàn)了機器人工具與動作的全自動協(xié)同設計,為Franka機械臂等硬件拓展了在復雜環(huán)境中的應用邊界。 該研究不僅驗證了大模型在物理設計中的潛力,更開創(chuàng)了 “軟件定義硬件” 的新范式 —— 未來機器人或可通過自主設計工具,靈活應對家庭、工業(yè)等多樣化場景的挑戰(zhàn)。 |
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 288求調劑 +13 | 王曉陽- 2026-03-09 | 18/900 |
|
|---|---|---|---|---|
|
[文學芳草園] 伙伴們,祝我生日快樂吧 +3 | myrtle 2026-03-10 | 3/150 |
|
|
[考研] 一志愿浙江大學0856材料與化工求調劑 +3 | yansheng@211 2026-03-09 | 4/200 |
|
|
[考研] 265求調劑 +8 | 小木蟲085600 2026-03-09 | 11/550 |
|
|
[考研] 一志愿湖師大化學289求調劑 +5 | XMCMM3.14159 2026-03-10 | 5/250 |
|
|
[考研] 0860求調劑(272分) +3 | lllllcsjsj 2026-03-05 | 4/200 |
|
|
[考研] A區(qū)一本交叉課題組,低分調劑,招收機械電子信息通信等交叉方向 +56 | lisimayy 2026-03-04 | 73/3650 |
|
|
[考研] 復試調劑 +6 | 呼呼?~+123456 2026-03-08 | 8/400 |
|
|
[考研] 環(huán)境調劑 +5 | 曉看天暮看云 2026-03-09 | 5/250 |
|
|
[考研] 0703求調劑 +10 | c297914 2026-03-06 | 11/550 |
|
|
[考研] 0832食品科學與工程293調劑 +3 | 東東不東 2026-03-07 | 3/150 |
|
|
[考研] 0703化學求調劑,總分309分,一志愿華南師范 +3 | 花與葉@ 2026-03-08 | 3/150 |
|
|
[考研] 301求調劑 +11 | 朝天椒的雙馬尾 2026-03-05 | 11/550 |
|
|
[考研]
|
Sixuan wang 2026-03-06 | 7/350 |
|
|
[考研] 085701環(huán)境工程317分求調劑 +9 | 6汆尼9 2026-03-07 | 9/450 |
|
|
[考研] 材料科學(0805)338 求調劑 +7 | xiaokang3286 2026-03-07 | 7/350 |
|
|
[考研] 誠求調劑,323分 有專利/科研/實習經歷 +6 | 橙子cyx 2026-03-06 | 8/400 |
|
|
[考研] 求調劑 +4 | 呼呼?~+123456 2026-03-05 | 5/250 |
|
|
[考研] 材料277分求調劑 +13 | 飯飯星球 2026-03-04 | 14/700 |
|
|
[考研] 085602 293分求調劑 +3 | SivanNano. 2026-03-05 | 3/150 |
|