 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 720 | 回復(fù): 0 | |||
BFT驛站新蟲 (小有名氣)
|
[交流]
Franka Robotics × VLMgineer：以大模型之力，首拓機(jī)器人硬件新領(lǐng)域
|
|
研究背景： 本文以Franka Research 3機(jī)械臂為核心載體，聚焦機(jī)器人在復(fù)雜操作任務(wù)中對(duì)工具的創(chuàng)造性設(shè)計(jì)與高效使用問題。 在傳統(tǒng)的機(jī)器人研究中，多側(cè)重于優(yōu)化控制策略，而工具設(shè)計(jì)往往依賴人工，這在一定程度上限制了機(jī)器人在超出自身能力范圍任務(wù)中的表現(xiàn)。 為此，研究人員提出了VLMGINEER框架。該框架結(jié)合視覺語言模型（VLM）的創(chuàng)造力與進(jìn)化搜索算法，實(shí)現(xiàn)了工具與動(dòng)作計(jì)劃的協(xié)同設(shè)計(jì)，成功解決了傳統(tǒng)方法中工具設(shè)計(jì)依賴人工、泛化能力弱、控制與工具設(shè)計(jì)脫節(jié)等問題。 實(shí)驗(yàn)設(shè)置 核心硬件 采用Franka Research 3機(jī)械臂作為標(biāo)準(zhǔn)載體，將其默認(rèn)兩指夾爪作為基線對(duì)比，工具通過末端執(zhí)行器接口連接。 感知與模擬環(huán)境 環(huán)境通過PyBullet物理引擎模擬，并集成overhead相機(jī)以提供場(chǎng)景視覺輸入。 無需額外外部傳感器，依賴模擬環(huán)境的狀態(tài)反饋（如物體位置、姿態(tài)）評(píng)估任務(wù)完成度。 軟件框架 基于Python實(shí)現(xiàn)，VLM采用gemini-2.5-pro-preview模型，進(jìn)化搜索與模擬評(píng)估并行計(jì)算以加速迭代。 圖1：VLMGINEER 以未修改的環(huán)境源代碼、環(huán)境圖像、環(huán)境描述和任務(wù)描述作為上下文，通過視覺語言模型（VLM）零樣本生成工具和動(dòng)作設(shè)計(jì)。隨后，它通過候選樣本采樣、基于仿真的評(píng)估以及進(jìn)化改進(jìn)的循環(huán)，對(duì)工具和動(dòng)作設(shè)計(jì)進(jìn)行迭代優(yōu)化。 核心方法 VLM驅(qū)動(dòng)的工具 - 動(dòng)作協(xié)同設(shè)計(jì) 通過VLM生成初始工具設(shè)計(jì)（URDF 格式）和對(duì)應(yīng)動(dòng)作序列（末端執(zhí)行器位姿與夾爪狀態(tài)），利用進(jìn)化搜索迭代優(yōu)化，逐步提升工具性能與動(dòng)作效率 圖2：面對(duì)機(jī)器人能力之外的操作任務(wù)，VLMGINEER先提示視覺語言模型生成工具和動(dòng)作，再在仿真中用進(jìn)化搜索優(yōu)化工具幾何結(jié)構(gòu)并合成機(jī)器人運(yùn)動(dòng)規(guī)劃，最終使配備自動(dòng)設(shè)計(jì)工具的機(jī)器人成功完成任務(wù)。 進(jìn)化搜索機(jī)制： 采樣：VLM基于環(huán)境代碼、任務(wù)描述生成多樣化工具 - 動(dòng)作候選對(duì)； 評(píng)估：通過任務(wù)適應(yīng)度函數(shù)篩選表現(xiàn)優(yōu)異的候選； 迭代：引導(dǎo)VLM對(duì)優(yōu)秀候選進(jìn)行突變（如調(diào)整尺寸）和交叉（融合設(shè)計(jì)元素），生成新一代設(shè)計(jì)。 統(tǒng)一表示格式 工具以URDF格式描述，確保與機(jī)器人模型兼容；動(dòng)作以離散位姿數(shù)組表示（含末端執(zhí)行器6自由度+夾爪狀態(tài)），簡(jiǎn)化控制邏輯。 實(shí)驗(yàn)設(shè)計(jì)與驗(yàn)證 基準(zhǔn)測(cè)試集 構(gòu)建了 ROBOTOOLBENCH 基準(zhǔn)，包含 12 項(xiàng)任務(wù)（如取遠(yuǎn)處物體、聚集球體、移動(dòng)小球等），這些任務(wù)均被設(shè)計(jì)為默認(rèn)機(jī)械臂難以完成的場(chǎng)景。 圖 3：本圖對(duì)比了 Franka 夾具實(shí)驗(yàn)、3 組人工提示實(shí)驗(yàn)以及本文提出的方法在 12 項(xiàng)任務(wù)中的獎(jiǎng)勵(lì)情況。對(duì)于每種方法，圖例中顏色較深的柱形表示 5 次運(yùn)行的平均獎(jiǎng)勵(lì)，而位于其上方、顏色較淺的柱形則表示這些運(yùn)行中的最佳獎(jiǎng)勵(lì)。 圖4：本圖對(duì)人工設(shè)計(jì)的工具、RLBench（強(qiáng)化學(xué)習(xí)基準(zhǔn)）工具以及 VLMGINEER工具在三項(xiàng)任務(wù)上進(jìn)行了定性對(duì)比，這三項(xiàng)任務(wù)分別是：取cube（頂行）、踢進(jìn)球門（中行）和收集球體（底行）。 對(duì)比實(shí)驗(yàn) 基線 1：Franka 默認(rèn)夾爪（無額外工具）。 基線 2：人類指定工具設(shè)計(jì)（含機(jī)器人專家、LLM 專家、普通人三組）。 基線 3：RLBench 現(xiàn)有工具（日常常用工具）。 成果表明，該框架在 12 項(xiàng)日常操作任務(wù)中，不僅超越了人類指定設(shè)計(jì)的工具和現(xiàn)有日常工具，還將復(fù)雜機(jī)器人任務(wù)轉(zhuǎn)化為簡(jiǎn)單執(zhí)行流程，為機(jī)器人硬件設(shè)計(jì)與應(yīng)用開辟了新路徑。 評(píng)估指標(biāo)：任務(wù)完成度（歸一化獎(jiǎng)勵(lì)0-1）、動(dòng)作效率（末端執(zhí)行器移動(dòng)距離）。 關(guān)鍵成果與突破 性能超越基線 相比人類指定設(shè)計(jì)的 VLM 生成工具，平均獎(jiǎng)勵(lì)提升 64.7%； 優(yōu)于現(xiàn)有人類設(shè)計(jì)工具，平均獎(jiǎng)勵(lì)提升 24.3%，且動(dòng)作更高效（如在 BringCube 任務(wù)中移動(dòng)距離更短）。 進(jìn)化機(jī)制的有效性 經(jīng)進(jìn)化迭代后，工具設(shè)計(jì)顯著優(yōu)化（如 GatherSpheres 任務(wù)中添加護(hù)欄防止球體掉落）； 相比僅初始采樣的設(shè)計(jì)，進(jìn)化后任務(wù)成功率平均提升 30% 以上。 泛化能力 無需任務(wù)特定模板或示例，可直接應(yīng)用于12項(xiàng)不同任務(wù)，展示跨場(chǎng)景適應(yīng)性。 圖 5：展示了進(jìn)化算法在工具設(shè)計(jì)中（a）定量和（b）定性兩方面的有效性。a）所有評(píng)估任務(wù)的平均最高獎(jiǎng)勵(lì)，對(duì)比 “無進(jìn)化” 和 “有進(jìn)化” 條件；b）收集球體（頂行）和移動(dòng)球體（底行）任務(wù)在進(jìn)化前后的定性對(duì)比。 結(jié)語 VLMGINEER通過融合大模型的創(chuàng)造力與進(jìn)化算法的優(yōu)化能力，首次實(shí)現(xiàn)了機(jī)器人工具與動(dòng)作的全自動(dòng)協(xié)同設(shè)計(jì)，為Franka機(jī)械臂等硬件拓展了在復(fù)雜環(huán)境中的應(yīng)用邊界。 該研究不僅驗(yàn)證了大模型在物理設(shè)計(jì)中的潛力，更開創(chuàng)了 “軟件定義硬件” 的新范式 —— 未來機(jī)器人或可通過自主設(shè)計(jì)工具，靈活應(yīng)對(duì)家庭、工業(yè)等多樣化場(chǎng)景的挑戰(zhàn)。 |
回復(fù)此樓» 猜你喜歡
使用高溫共聚焦顯微鏡原位觀察熔鹽-陶瓷的高溫腐蝕反應(yīng)過程
已經(jīng)有0人回復(fù)
-
使用高溫激光共聚焦顯微鏡對(duì)GCr15軸承鋼中碳化物高溫行為的原位觀察與分析
已經(jīng)有1人回復(fù)
-
機(jī)械工程論文潤(rùn)色/翻譯怎么收費(fèi)?
已經(jīng)有91人回復(fù)
-
求助TiAl合金的B2相pdf卡片
已經(jīng)有1人回復(fù)
-
引領(lǐng)原子制造時(shí)代，成就未來材料之基--徐州國(guó)基原子制造有限公司
已經(jīng)有3人回復(fù)
-
使用高溫共聚焦原位觀察磁場(chǎng)對(duì)凝固枝晶的影響
已經(jīng)有0人回復(fù)
-
不同N、Si含量對(duì)含釩HRB400e鋼組織和性能的影響
已經(jīng)有0人回復(fù)
-
超高溫激光共聚焦顯微鏡拓展脈沖磁場(chǎng)裝置
已經(jīng)有0人回復(fù)
-
線能量對(duì)超高強(qiáng)度海工鋼熱影響區(qū)組織演變與韌性的影響
已經(jīng)有0人回復(fù)
-
【博士招生】材料科學(xué)與工程專業(yè)（金屬類）博士研究生，非誠(chéng)勿擾。
已經(jīng)有80人回復(fù)
-
26申博 求博導(dǎo)
已經(jīng)有5人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[論文投稿]
EST拒稿重投
 5+3
|
15102603076 2026-03-02 | 3/150 |
|
|---|---|---|---|---|
|
[考研] 0856材料工程，初試313調(diào)劑 +7 | 賣個(gè)關(guān)子吧 2026-03-03 | 7/350 |
|
|
|
[考研] 理學(xué)，工學(xué)，農(nóng)學(xué)調(diào)劑，少走彎路，這里歡迎您！ +8 | likeihood 2026-03-02 | 11/550 |
|
|
|
[考研] 江蘇省農(nóng)科院招調(diào)劑1名 +5 | Qwertyuop 2026-03-01 | 5/250 |
|
|
|
[基金申請(qǐng)] 沒有青基直接申請(qǐng)面上，感覺自己瘋了 +5 | kevin63t 2026-03-02 | 6/300 |
|
|
|
[考研] 化工專碩348，一志愿985求調(diào)劑 +8 | 弗格個(gè) 2026-02-28 | 11/550 |
|
|
|
[考研] 一志愿中科大能動(dòng)297求調(diào)劑，本科川大 +3 | 邵11 2026-03-03 | 3/150 |
|
|
|
[考研] 一志愿天津大學(xué)085600 319分 材料與化工 金屬方向 求調(diào)劑 +4 | 青科11 2026-03-02 | 4/200 |
|
|
|
[考研] 338求調(diào)劑 +5 | 18162027187 2026-03-02 | 6/300 |
|
|
|
[考研] 298求調(diào)劑 +7 | axyz3 2026-02-28 | 8/400 |
|
|
|
[考研] 298求調(diào)劑 +10 | 人間唯你是清歡 2026-02-28 | 14/700 |
|
|
|
[考研] 11408，學(xué)碩276求調(diào)劑 +3 | 崔wj 2026-03-02 | 5/250 |
|
|
|
[考研] 321求調(diào)劑一志愿東北林業(yè)大學(xué)材料與化工英二數(shù)二 +5 | 蟲蟲蟲蟲蟲7 2026-03-01 | 9/450 |
|
|
|
[考研] 0856材料求調(diào)劑 +12 | hyf hyf hyf 2026-02-28 | 13/650 |
|
|
|
[考博] 誠(chéng)招農(nóng)業(yè)博士 +3 | 心欣向榮 2026-02-28 | 3/150 |
|
|
|
[考研] 265分求調(diào)劑不調(diào)專業(yè)和學(xué)校有行學(xué)上就 +6 | 禮堂丁真258 2026-02-28 | 9/450 |
|
|
|
[考研] 284求調(diào)劑 +10 | 天下熯 2026-02-28 | 11/550 |
|
|
|
[考研] 一志愿鄭大材料學(xué)碩298分，求調(diào)劑 +6 | wsl111 2026-03-01 | 6/300 |
|
|
|
[考研] 材料學(xué)調(diào)劑 +10 | 提神豆沙包 2026-02-28 | 12/600 |
|
|
|
[考研] 272求調(diào)劑 +6 | 田智友 2026-02-28 | 6/300 |
|