 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 631 | 回復(fù): 0 | |||
BFT驛站新蟲 (小有名氣)
|
[交流]
ObjectVLA如何讓Franka機器人自主理解新物體
|
|
人類演示數(shù)據(jù)的缺失問題與泛化挑戰(zhàn) 在機器人模仿學(xué)習(xí)領(lǐng)域，依賴海量人類演示數(shù)據(jù)的傳統(tǒng)方法正面臨開放世界場景的嚴峻挑戰(zhàn)。當(dāng)訓(xùn)練目標(biāo)從"遞出蘋果"轉(zhuǎn)變?yōu)檎Z義相似但視覺差異顯著的"遞出桃子"時，現(xiàn)有端到端模型在分布外（OOD）物體上的泛化成功率驟降至不足30%。這種局限性直接制約了機器人在動態(tài)商業(yè)場景（如倉儲分揀、柔性制造）中的實際應(yīng)用價值。 ObjectVLA：視覺-語言-動作協(xié)同進化 ObjectVLA框架通過三重創(chuàng)新突破這一瓶頸： 定位感知推理機制：構(gòu)建包含2000個視覺-文本對的數(shù)據(jù)集，利用邊界框標(biāo)注建立物體語義與空間定位的精確映射。 混合訓(xùn)練策略：采用10:1的機器人交互數(shù)據(jù)與視覺語言數(shù)據(jù)配比，在Franka機器人上驗證了該比例在保持任務(wù)精度與泛化能力間的平衡性。 智能手機增強方案：通過手機拍攝21張多角度圖像配合1個epoch微調(diào)，即可將新物體操作成功率提升至80%以上。 真實場景驗證 基礎(chǔ)任務(wù)驗證：在"移動到物體"任務(wù)中，對100個OOD物體取得64%的泛化成功率。 復(fù)合技能測試：推動/旋轉(zhuǎn)任務(wù)的分布外成功率分別達到62%和58%。 工業(yè)級料箱揀選：在含多干擾物的復(fù)雜場景中，目標(biāo)物體檢索成功率較基線提升46.7%。 這些實驗強調(diào)了我們的方法在減少對大規(guī)模人類演示的依賴的同時，實現(xiàn)強大的物體泛化的能力。 本研究所有實驗均使用Franka機械臂完成，使用兩個外部ZED攝像頭和一個手腕處的Realsense 435i攝像頭來獲取現(xiàn)實世界的視覺信息。該7自由度協(xié)作機器人可通過BFT機器人平臺獲取 技術(shù)突破與商業(yè)價值 相比傳統(tǒng)方案，ObjectVLA在三個維度實現(xiàn)跨越： 部署成本降低：新物體適配時間從72小時壓縮至10分鐘。 操作精度提升：在標(biāo)準(zhǔn)測試環(huán)境中，位姿估計誤差＜0.5mm。 商業(yè)場景擴展：已成功應(yīng)用于3C電子裝配、醫(yī)藥物流分揀等10+行業(yè)場景。 為什么選擇BFT？ 我們?yōu)镕ranka用戶打造全周期服務(wù)生態(tài)： 采購無憂 - 提供設(shè)備融資租賃方案（首付低至30%） 開發(fā)支持 - 200+即插即用算法庫實時調(diào)用 售后保障 - 7×24小時專家響應(yīng)團隊 生態(tài)對接 - 接入500+合作企業(yè)的場景方案庫 |
回復(fù)此樓» 猜你喜歡
江西理工大學(xué)稀土磁性功能材料與物理示范研究生導(dǎo)師創(chuàng)新團隊
已經(jīng)有10人回復(fù)
-
發(fā)光材料關(guān)于色純度計算
已經(jīng)有2人回復(fù)
-
工程熱物理與能源利用論文潤色/翻譯怎么收費?
已經(jīng)有68人回復(fù)
-
換熱系數(shù)求解
已經(jīng)有0人回復(fù)
-
哈爾濱工程大學(xué)動力學(xué)院趙建輝團隊招收2026博士研究生
已經(jīng)有10人回復(fù)
-
260求調(diào)劑
已經(jīng)有1人回復(fù)
-
08工學(xué)-一作ACS AMI（IF 8.2）｜物理團簇背景｜求長三角/山東地區(qū)團簇、催化方向調(diào)劑
已經(jīng)有1人回復(fù)
» 本主題相關(guān)商家推薦: (我也要在這里推廣)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[基金申請] 進入個人成果庫好難，一下午都沒進去 +5 | mi_dilee 2026-03-05 | 5/250 |
|
|---|---|---|---|---|
|
|
[考研] 材料調(diào)劑 +5 | ounce. 2026-03-05 | 13/650 |
|
|
[考研] 273求調(diào)劑 +5 | 星星111222 2026-03-02 | 7/350 |
|
|
|
[考研] 290分材料工程085601求調(diào)劑 數(shù)二英一 +9 | llx0610 2026-03-02 | 10/500 |
|
|
|
[考研] 材料與化工354調(diào)劑 +4 | Lucy-xiao 2026-03-06 | 7/350 |
|
|
|
[考研] 求調(diào)劑 +3 | 泡了個椒 2026-03-04 | 4/200 |
|
|
|
[考研] 301求調(diào)劑 +4 | 李LJR 2026-03-04 | 4/200 |
|
|
|
[考研] 一志愿東北大學(xué)080500，英一數(shù)二343分求調(diào)劑 +5 | Seele_v5 2026-03-04 | 5/250 |
|
|
|
[考研] 一志愿西交化工專碩288專業(yè)課93求調(diào)劑 +6 | 好運好運接接 2026-03-04 | 6/300 |
|
|
|
[考研] 0856材料專碩274能調(diào)劑去哪里？ +3 | 22735 2026-03-04 | 4/200 |
|
|
|
[考研] 求調(diào)劑院校 +6 | 云朵452 2026-03-02 | 12/600 |
|
|
|
[考研] 286 +6 | ksncj 2026-03-04 | 6/300 |
|
|
|
[考研] 322分 085600求調(diào)劑，有互聯(lián)網(wǎng)+國金及主持省級大創(chuàng)經(jīng)歷 +6 | 熊境喆 2026-03-04 | 6/300 |
|
|
|
[考研] 289求調(diào)劑 +8 | yang婷 2026-03-02 | 10/500 |
|
|
|
[考研] 291求調(diào)劑 +3 | 咕嚕咕嚕123123 2026-03-02 | 4/200 |
|
|
|
[考研] 291求調(diào)劑 +4 | Afy123456 2026-03-03 | 7/350 |
|
|
|
[考研] 調(diào)劑 +5 | 13853210211 2026-03-02 | 7/350 |
|
|
|
[考研] 哈工大計算機劉劼團隊招生 +4 | hit_aiot 2026-03-01 | 6/300 |
|
|
|
[基金申請] 此成果不能導(dǎo)入原因：元數(shù)據(jù)必填信息不完整，可 進行補充。 +4 | Kittylucky 2026-03-02 | 5/250 |
|
|
|
[考研] 一志愿鄭大材料學(xué)碩298分，求調(diào)劑 +6 | wsl111 2026-03-01 | 6/300 |
|