 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 705 | 回復(fù): 0 | |||
BFT驛站新蟲 (小有名氣)
|
[交流]
AlignBot：基于松靈Ranger mini3.0的VLM的任務(wù)規(guī)劃系統(tǒng)，打造家庭智能助手新標(biāo)桿
|
|
研究背景與意義 隨著家庭智能化需求升級(jí)，傳統(tǒng)機(jī)器人系統(tǒng)面臨多模態(tài)指令理解和動(dòng)態(tài)環(huán)境適應(yīng)的雙重挑戰(zhàn)。上海人工智能實(shí)驗(yàn)室（上海AI實(shí)驗(yàn)室）聯(lián)合多所高校，基于松靈Ranger mini3.0移動(dòng)機(jī)器人底盤，研發(fā)了VLM驅(qū)動(dòng)的任務(wù)規(guī)劃框架AlignBot，實(shí)現(xiàn)了用戶個(gè)性化需求與機(jī)器人任務(wù)執(zhí)行的高效對(duì)齊。 核心技術(shù)創(chuàng)新 1.多模態(tài)適配器：LLaVA-7B微調(diào) 語義理解增強(qiáng)：通過1,500+多模態(tài)數(shù)據(jù)集（涵蓋80種物品、20類任務(wù)）分階段訓(xùn)練，提升對(duì)物體狀態(tài)（如抽屜開閉）、用戶偏好（如無糖飲食）的識(shí)別精度。 結(jié)構(gòu)化指令生成：將用戶提醒分類為個(gè)性化偏好、糾正性指導(dǎo)和情境輔助等，并轉(zhuǎn)化為GPT-4o可解析的指令格式。 2.動(dòng)態(tài)案例檢索機(jī)制 歷史案例匹配：基于TF-IDF和余弦相似度篩選任務(wù)相關(guān)案例，通過ε-Greedy策略平衡探索與利用。 優(yōu)先級(jí)動(dòng)態(tài)更新：結(jié)合梯度機(jī)制優(yōu)化歷史案例權(quán)重，提升長(zhǎng)時(shí)任務(wù)規(guī)劃的魯棒性。 3.硬件支持：松靈Ranger mini3.0底盤 靈活移動(dòng)平臺(tái)：松靈Ranger mini3.0提供高精度導(dǎo)航與復(fù)雜地形適應(yīng)能力，支持家庭多場(chǎng)景無縫切換。 高效執(zhí)行系統(tǒng)：搭載UFACTORY XArm機(jī)械臂，集成ACT算法（復(fù)雜動(dòng)作控制）與AnyGrasp方法（智能抓�。�，實(shí)現(xiàn)“規(guī)劃-執(zhí)行”閉環(huán)。 實(shí)驗(yàn)驗(yàn)證與成果 在模擬家庭環(huán)境的實(shí)驗(yàn)室中展開，構(gòu)建了廚房、客廳和桌面場(chǎng)景，涵蓋20種日常任務(wù)，涉及6類物體，80多個(gè)獨(dú)特物品。任務(wù)涵蓋了簡(jiǎn)單和復(fù)雜的不同種類。志愿者參與了與GPT-4o的互動(dòng)，并對(duì)生成的任務(wù)計(jì)劃和線索進(jìn)行評(píng)估。 實(shí)驗(yàn)結(jié)果： AlignBot的任務(wù)成功率達(dá)到86.8% ，相比之下，普通GPT-4o基線的成功率僅為21.6%。在指令生成質(zhì)量方面，微調(diào)后的LLaVA平均用戶評(píng)分為2.75分（滿分3分），遠(yuǎn)高于其他基線。這充分證明了AlignBot在對(duì)接用戶提醒、生成準(zhǔn)確任務(wù)計(jì)劃和高質(zhì)量線索方面的卓越能力。 硬件性能亮點(diǎn)： 在“臺(tái)面物品收納”任務(wù)中，松靈Ranger mini3.0實(shí)現(xiàn)厘米級(jí)定位精度，配合機(jī)械臂完成抽屜開閉、物品分類等復(fù)雜動(dòng)作，成功率提升4倍。 動(dòng)態(tài)負(fù)載測(cè)試顯示，底盤在滿載（5kg）狀態(tài)下仍保持穩(wěn)定移動(dòng)，適應(yīng)地毯、瓷磚等多種地面材質(zhì)。 應(yīng)用價(jià)值與展望 AlignBot在優(yōu)化家用機(jī)器人任務(wù)規(guī)劃與用戶提醒對(duì)接方面邁出了重要一步。它通過創(chuàng)新的微調(diào)策略和基于案例的學(xué)習(xí)方法，提升了機(jī)器人任務(wù)規(guī)劃的準(zhǔn)確性。未來，隨著技術(shù)的不斷進(jìn)步，AlignBot有望進(jìn)一步提升性能，在更多場(chǎng)景中發(fā)揮作用，讓家用機(jī)器人真正成為我們生活中的貼心伙伴，為我們帶來更加便捷、智能的生活體驗(yàn)。 論文下載地址：https://arxiv.org/pdf/2409.11905 |
回復(fù)此樓» 猜你喜歡
課題組接收材料類調(diào)劑研究生
已經(jīng)有9人回復(fù)
-
材料工程274求調(diào)劑
已經(jīng)有5人回復(fù)
-
工程熱物理與能源利用論文潤色/翻譯怎么收費(fèi)?
已經(jīng)有278人回復(fù)
-
中國科學(xué)院-材料計(jì)算小組尋求2026級(jí)研究生（包括調(diào)劑生/聯(lián)合培養(yǎng)等）
已經(jīng)有129人回復(fù)
-
08工學(xué)-一作ACS AMI（IF 8.2）｜物理團(tuán)簇背景｜求長(zhǎng)三角/山東地區(qū)團(tuán)簇、催化方向調(diào)劑
已經(jīng)有1人回復(fù)
-
天津高校航空材料先進(jìn)制造技術(shù)與裝備課題組擬接收調(diào)劑碩士研究生5-6名。
已經(jīng)有0人回復(fù)
-
一志愿福大080500材料科學(xué)與工程初試282分
已經(jīng)有15人回復(fù)
-
294 英二數(shù)二物化 求調(diào)劑
已經(jīng)有6人回復(fù)
-
長(zhǎng)春工業(yè)大學(xué)材料學(xué)院招收材料、物理、機(jī)械方向的調(diào)劑考生
已經(jīng)有0人回復(fù)
-
ICP標(biāo)液Fe含量超標(biāo)
已經(jīng)有0人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 0857 資源與環(huán)境 285分 +6 | 未名考生 2026-03-09 | 6/300 |
|
|---|---|---|---|---|
|
[考研] 材料工程,326分，求調(diào)劑 +5 | KRSLSR 2026-03-10 | 5/250 |
|
|
|
[考研] 材料與化工085600調(diào)劑求老師收留 +5 | jiaanl 2026-03-11 | 5/250 |
|
|
|
[考研] 0856化工原理 +5 | z2839474511 2026-03-10 | 5/250 |
|
|
|
[考研] 一志愿中科大材料與化工。353分能調(diào)劑到哪？ +5 | MayUxw1 2026-03-08 | 7/350 |
|
|
|
[考研] 一志愿河海大學(xué)085900土木水利專碩279求調(diào)劑不挑專業(yè) +3 | SunWwWwWw 2026-03-10 | 3/150 |
|
|
|
[考研] 420求調(diào)劑 +3 | 莫向外求11 2026-03-10 | 3/150 |
|
|
|
[考研] 327求調(diào)劑 +3 | Ffff03 2026-03-10 | 3/150 |
|
|
|
[考研] 315食品工程求調(diào)劑 +4 | Oreov0 2026-03-06 | 7/350 |
|
|
|
[考研] 308求調(diào)劑 +4 | 是Lupa啊 2026-03-08 | 7/350 |
|
|
|
[考博] 求材料讀博院校 +9 | yanglei131 2026-03-08 | 9/450 |
|
|
|
[考研]
 調(diào)劑的同學(xué)，走過路過，不要錯(cuò)過
+11
|
likeihood 2026-03-06 | 16/800 |
|
|
|
[考博] 找博導(dǎo) +4 | 小呆呆熊 2026-03-07 | 4/200 |
|
|
|
[考研] 材料與化工 一志愿山大 321分 求調(diào)劑 +6 | 每天散步 2026-03-09 | 7/350 |
|
|
|
[考研] 環(huán)境調(diào)劑 +5 | 曉看天暮看云 2026-03-09 | 5/250 |
|
|
|
[考研] 考研調(diào)劑，一志愿山東大學(xué)材料與化工，328分，政治51 +5 | 關(guān)你西紅柿929 2026-03-08 | 6/300 |
|
|
|
[考研] 中科大材料299求調(diào)劑 +10 | DAIjiayo 2026-03-05 | 16/800 |
|
|
|
[考研] 303求調(diào)劑 +8 | forgman95 2026-03-05 | 10/500 |
|
|
|
[考研] 誠求調(diào)劑，323分 有專利/科研/實(shí)習(xí)經(jīng)歷 +6 | 橙子cyx 2026-03-06 | 8/400 |
|
|
|
[考研] 材料與化工304求調(diào)劑 +7 | 邱gl 2026-03-05 | 10/500 |
|