 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 736 | 回復: 0 | |||
[交流]
Franka Robotics × VLMgineer：以大模型之力，首拓機器人硬件新領域
|
|
研究背景： 本文以Franka Research 3機械臂為核心載體，聚焦機器人在復雜操作任務中對工具的創(chuàng)造性設計與高效使用問題。 在傳統(tǒng)的機器人研究中，多側重于優(yōu)化控制策略，而工具設計往往依賴人工，這在一定程度上限制了機器人在超出自身能力范圍任務中的表現(xiàn)。 為此，研究人員提出了VLMGINEER框架。該框架結合視覺語言模型（VLM）的創(chuàng)造力與進化搜索算法，實現(xiàn)了工具與動作計劃的協(xié)同設計，成功解決了傳統(tǒng)方法中工具設計依賴人工、泛化能力弱、控制與工具設計脫節(jié)等問題。 實驗設置 核心硬件 采用Franka Research 3機械臂作為標準載體，將其默認兩指夾爪作為基線對比，工具通過末端執(zhí)行器接口連接。 感知與模擬環(huán)境 環(huán)境通過PyBullet物理引擎模擬，并集成overhead相機以提供場景視覺輸入。 無需額外外部傳感器，依賴模擬環(huán)境的狀態(tài)反饋（如物體位置、姿態(tài)）評估任務完成度。 軟件框架 基于Python實現(xiàn)，VLM采用gemini-2.5-pro-preview模型，進化搜索與模擬評估并行計算以加速迭代。 圖1：VLMGINEER 以未修改的環(huán)境源代碼、環(huán)境圖像、環(huán)境描述和任務描述作為上下文，通過視覺語言模型（VLM）零樣本生成工具和動作設計。隨后，它通過候選樣本采樣、基于仿真的評估以及進化改進的循環(huán)，對工具和動作設計進行迭代優(yōu)化。 核心方法 VLM驅動的工具 - 動作協(xié)同設計 通過VLM生成初始工具設計（URDF 格式）和對應動作序列（末端執(zhí)行器位姿與夾爪狀態(tài)），利用進化搜索迭代優(yōu)化，逐步提升工具性能與動作效率 圖2：面對機器人能力之外的操作任務，VLMGINEER先提示視覺語言模型生成工具和動作，再在仿真中用進化搜索優(yōu)化工具幾何結構并合成機器人運動規(guī)劃，最終使配備自動設計工具的機器人成功完成任務。 進化搜索機制： 采樣：VLM基于環(huán)境代碼、任務描述生成多樣化工具 - 動作候選對； 評估：通過任務適應度函數(shù)篩選表現(xiàn)優(yōu)異的候選； 迭代：引導VLM對優(yōu)秀候選進行突變（如調整尺寸）和交叉（融合設計元素），生成新一代設計。 統(tǒng)一表示格式 工具以URDF格式描述，確保與機器人模型兼容；動作以離散位姿數(shù)組表示（含末端執(zhí)行器6自由度+夾爪狀態(tài)），簡化控制邏輯。 實驗設計與驗證 基準測試集 構建了 ROBOTOOLBENCH 基準，包含 12 項任務（如取遠處物體、聚集球體、移動小球等），這些任務均被設計為默認機械臂難以完成的場景。 圖 3：本圖對比了 Franka 夾具實驗、3 組人工提示實驗以及本文提出的方法在 12 項任務中的獎勵情況。對于每種方法，圖例中顏色較深的柱形表示 5 次運行的平均獎勵，而位于其上方、顏色較淺的柱形則表示這些運行中的最佳獎勵。 圖4：本圖對人工設計的工具、RLBench（強化學習基準）工具以及 VLMGINEER工具在三項任務上進行了定性對比，這三項任務分別是：取cube（頂行）、踢進球門（中行）和收集球體（底行）。 對比實驗 基線 1：Franka 默認夾爪（無額外工具）。 基線 2：人類指定工具設計（含機器人專家、LLM 專家、普通人三組）。 基線 3：RLBench 現(xiàn)有工具（日常常用工具）。 成果表明，該框架在 12 項日常操作任務中，不僅超越了人類指定設計的工具和現(xiàn)有日常工具，還將復雜機器人任務轉化為簡單執(zhí)行流程，為機器人硬件設計與應用開辟了新路徑。 評估指標：任務完成度（歸一化獎勵0-1）、動作效率（末端執(zhí)行器移動距離）。 關鍵成果與突破 性能超越基線 相比人類指定設計的 VLM 生成工具，平均獎勵提升 64.7%； 優(yōu)于現(xiàn)有人類設計工具，平均獎勵提升 24.3%，且動作更高效（如在 BringCube 任務中移動距離更短）。 進化機制的有效性 經進化迭代后，工具設計顯著優(yōu)化（如 GatherSpheres 任務中添加護欄防止球體掉落）； 相比僅初始采樣的設計，進化后任務成功率平均提升 30% 以上。 泛化能力 無需任務特定模板或示例，可直接應用于12項不同任務，展示跨場景適應性。 圖 5：展示了進化算法在工具設計中（a）定量和（b）定性兩方面的有效性。a）所有評估任務的平均最高獎勵，對比 “無進化” 和 “有進化” 條件；b）收集球體（頂行）和移動球體（底行）任務在進化前后的定性對比。 結語 VLMGINEER通過融合大模型的創(chuàng)造力與進化算法的優(yōu)化能力，首次實現(xiàn)了機器人工具與動作的全自動協(xié)同設計，為Franka機械臂等硬件拓展了在復雜環(huán)境中的應用邊界。 該研究不僅驗證了大模型在物理設計中的潛力，更開創(chuàng)了 “軟件定義硬件” 的新范式 —— 未來機器人或可通過自主設計工具，靈活應對家庭、工業(yè)等多樣化場景的挑戰(zhàn)。 |
回復此樓» 猜你喜歡
招收南科大與鵬城實驗室聯(lián)培博士一名
已經有0人回復
-
復試調劑，求調劑
已經有0人回復
-
機械工程論文潤色/翻譯怎么收費?
已經有222人回復
-
080200機械工程257求調劑B區(qū)
已經有1人回復
-
0855 332調劑
已經有0人回復
-
機械工程一志愿中石油華東337分，國獎兩個，有專利，中共黨員，求調劑
已經有0人回復
-
一志愿福大080500材料科學與工程初試282分
已經有15人回復
-
長春工業(yè)大學材料學院招收材料、物理、機械方向的調劑考生
已經有0人回復
-
機械學碩調劑互助
已經有6人回復
-
380，求調劑
已經有0人回復
相關版塊跳轉
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 288求調劑 +13 | 王曉陽- 2026-03-09 | 18/900 |
|
|---|---|---|---|---|
|
[文學芳草園] 伙伴們，祝我生日快樂吧 +3 | myrtle 2026-03-10 | 3/150 |
|
|
|
[考研] 一志愿浙江大學0856材料與化工求調劑 +3 | yansheng@211 2026-03-09 | 4/200 |
|
|
|
[考研] 265求調劑 +8 | 小木蟲085600 2026-03-09 | 11/550 |
|
|
|
[考研] 一志愿湖師大化學289求調劑 +5 | XMCMM3.14159 2026-03-10 | 5/250 |
|
|
|
[考研] 0860求調劑（272分） +3 | lllllcsjsj 2026-03-05 | 4/200 |
|
|
|
[考研] A區(qū)一本交叉課題組，低分調劑，招收機械電子信息通信等交叉方向 +56 | lisimayy 2026-03-04 | 73/3650 |
|
|
|
[考研] 復試調劑 +6 | 呼呼？~+123456 2026-03-08 | 8/400 |
|
|
|
[考研] 環(huán)境調劑 +5 | 曉看天暮看云 2026-03-09 | 5/250 |
|
|
|
[考研] 0703求調劑 +10 | c297914 2026-03-06 | 11/550 |
|
|
|
[考研] 0832食品科學與工程293調劑 +3 | 東東不東 2026-03-07 | 3/150 |
|
|
|
[考研] 0703化學求調劑，總分309分，一志愿華南師范 +3 | 花與葉@ 2026-03-08 | 3/150 |
|
|
|
[考研] 301求調劑 +11 | 朝天椒的雙馬尾 2026-03-05 | 11/550 |
|
|
|
[考研]
 化學工程與技術316求調劑
+7
|
Sixuan wang 2026-03-06 | 7/350 |
|
|
|
[考研] 085701環(huán)境工程317分求調劑 +9 | 6汆尼9 2026-03-07 | 9/450 |
|
|
|
[考研] 材料科學（0805）338 求調劑 +7 | xiaokang3286 2026-03-07 | 7/350 |
|
|
|
[考研] 誠求調劑，323分 有專利/科研/實習經歷 +6 | 橙子cyx 2026-03-06 | 8/400 |
|
|
|
[考研] 求調劑 +4 | 呼呼？~+123456 2026-03-05 | 5/250 |
|
|
|
[考研] 材料277分求調劑 +13 | 飯飯星球 2026-03-04 | 14/700 |
|
|
|
[考研] 085602 293分求調劑 +3 | SivanNano. 2026-03-05 | 3/150 |
|