 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 693 | 回復(fù): 0 | |||
BFT驛站新蟲(chóng) (小有名氣)
|
[交流]
AlignBot：基于松靈Ranger mini3.0的VLM的任務(wù)規(guī)劃系統(tǒng)，打造家庭智能助手新標(biāo)桿
|
|
研究背景與意義 隨著家庭智能化需求升級(jí)，傳統(tǒng)機(jī)器人系統(tǒng)面臨多模態(tài)指令理解和動(dòng)態(tài)環(huán)境適應(yīng)的雙重挑戰(zhàn)。上海人工智能實(shí)驗(yàn)室（上海AI實(shí)驗(yàn)室）聯(lián)合多所高校，基于松靈Ranger mini3.0移動(dòng)機(jī)器人底盤(pán)，研發(fā)了VLM驅(qū)動(dòng)的任務(wù)規(guī)劃框架AlignBot，實(shí)現(xiàn)了用戶個(gè)性化需求與機(jī)器人任務(wù)執(zhí)行的高效對(duì)齊。 核心技術(shù)創(chuàng)新 1.多模態(tài)適配器：LLaVA-7B微調(diào) 語(yǔ)義理解增強(qiáng)：通過(guò)1,500+多模態(tài)數(shù)據(jù)集（涵蓋80種物品、20類任務(wù)）分階段訓(xùn)練，提升對(duì)物體狀態(tài)（如抽屜開(kāi)閉）、用戶偏好（如無(wú)糖飲食）的識(shí)別精度。 結(jié)構(gòu)化指令生成：將用戶提醒分類為個(gè)性化偏好、糾正性指導(dǎo)和情境輔助等，并轉(zhuǎn)化為GPT-4o可解析的指令格式。 2.動(dòng)態(tài)案例檢索機(jī)制 歷史案例匹配：基于TF-IDF和余弦相似度篩選任務(wù)相關(guān)案例，通過(guò)ε-Greedy策略平衡探索與利用。 優(yōu)先級(jí)動(dòng)態(tài)更新：結(jié)合梯度機(jī)制優(yōu)化歷史案例權(quán)重，提升長(zhǎng)時(shí)任務(wù)規(guī)劃的魯棒性。 3.硬件支持：松靈Ranger mini3.0底盤(pán) 靈活移動(dòng)平臺(tái)：松靈Ranger mini3.0提供高精度導(dǎo)航與復(fù)雜地形適應(yīng)能力，支持家庭多場(chǎng)景無(wú)縫切換。 高效執(zhí)行系統(tǒng)：搭載UFACTORY XArm機(jī)械臂，集成ACT算法（復(fù)雜動(dòng)作控制）與AnyGrasp方法（智能抓�。�，實(shí)現(xiàn)“規(guī)劃-執(zhí)行”閉環(huán)。 實(shí)驗(yàn)驗(yàn)證與成果 在模擬家庭環(huán)境的實(shí)驗(yàn)室中展開(kāi)，構(gòu)建了廚房、客廳和桌面場(chǎng)景，涵蓋20種日常任務(wù)，涉及6類物體，80多個(gè)獨(dú)特物品。任務(wù)涵蓋了簡(jiǎn)單和復(fù)雜的不同種類。志愿者參與了與GPT-4o的互動(dòng)，并對(duì)生成的任務(wù)計(jì)劃和線索進(jìn)行評(píng)估。 實(shí)驗(yàn)結(jié)果： AlignBot的任務(wù)成功率達(dá)到86.8% ，相比之下，普通GPT-4o基線的成功率僅為21.6%。在指令生成質(zhì)量方面，微調(diào)后的LLaVA平均用戶評(píng)分為2.75分（滿分3分），遠(yuǎn)高于其他基線。這充分證明了AlignBot在對(duì)接用戶提醒、生成準(zhǔn)確任務(wù)計(jì)劃和高質(zhì)量線索方面的卓越能力。 硬件性能亮點(diǎn)： 在“臺(tái)面物品收納”任務(wù)中，松靈Ranger mini3.0實(shí)現(xiàn)厘米級(jí)定位精度，配合機(jī)械臂完成抽屜開(kāi)閉、物品分類等復(fù)雜動(dòng)作，成功率提升4倍。 動(dòng)態(tài)負(fù)載測(cè)試顯示，底盤(pán)在滿載（5kg）狀態(tài)下仍保持穩(wěn)定移動(dòng)，適應(yīng)地毯、瓷磚等多種地面材質(zhì)。 應(yīng)用價(jià)值與展望 AlignBot在優(yōu)化家用機(jī)器人任務(wù)規(guī)劃與用戶提醒對(duì)接方面邁出了重要一步。它通過(guò)創(chuàng)新的微調(diào)策略和基于案例的學(xué)習(xí)方法，提升了機(jī)器人任務(wù)規(guī)劃的準(zhǔn)確性。未來(lái)，隨著技術(shù)的不斷進(jìn)步，AlignBot有望進(jìn)一步提升性能，在更多場(chǎng)景中發(fā)揮作用，讓家用機(jī)器人真正成為我們生活中的貼心伙伴，為我們帶來(lái)更加便捷、智能的生活體驗(yàn)。 論文下載地址：https://arxiv.org/pdf/2409.11905 |
回復(fù)此樓» 猜你喜歡
scholarone系統(tǒng)的某些疑問(wèn)
已經(jīng)有0人回復(fù)
-
陜西科技大學(xué)智能制造與機(jī)器人工程學(xué)院 李晨教授招收申請(qǐng)-考核制博士研究生
已經(jīng)有11人回復(fù)
-
工程熱物理與能源利用論文潤(rùn)色/翻譯怎么收費(fèi)?
已經(jīng)有222人回復(fù)
-
求調(diào)劑
已經(jīng)有0人回復(fù)
-
327求調(diào)劑
已經(jīng)有0人回復(fù)
-
本科中南大學(xué)，初試326分，機(jī)械 力學(xué)相關(guān)專業(yè)求調(diào)劑211及以上
已經(jīng)有1人回復(fù)
-
0855專碩277分求調(diào)劑工科
已經(jīng)有3人回復(fù)
-
【求調(diào)劑】985本科+高工+軌道齒輪箱領(lǐng)域，尋機(jī)械非全日制（意向?qū)?lái)讀博）
已經(jīng)有0人回復(fù)
-
26 fall & 27 spring考博求助，控制/機(jī)器人/人工智能方向
已經(jīng)有9人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 環(huán)境調(diào)劑 +8 | chenhanheng 2026-03-02 | 8/400 |
|
|---|---|---|---|---|
|
|
[考研] 0856材料工程，初試313調(diào)劑 +7 | 賣個(gè)關(guān)子吧 2026-03-03 | 7/350 |
|
|
[考研] 298求調(diào)劑一志愿中海洋 +3 | lour. 2026-03-03 | 3/150 |
|
|
|
[考研] 085700資環(huán)求調(diào)劑，初始279，六級(jí)已過(guò)，英語(yǔ)能力強(qiáng) +3 | 085700資環(huán)調(diào)劑 2026-03-03 | 4/200 |
|
|
|
[考研] 085600材料與化工調(diào)劑 280分 +10 | yyqqhh 2026-03-03 | 10/500 |
|
|
|
[考研] 26考研報(bào)考西工大材料308分求調(diào)劑 +4 | weizhong123 2026-03-01 | 5/250 |
|
|
|
[考研] 0857調(diào)劑 +6 | 一ll半 2026-02-28 | 8/400 |
|
|
|
[考研] 化工京區(qū)271求調(diào)劑 +7 | 11ing 2026-03-02 | 7/350 |
|
|
|
[考研] 0854復(fù)試調(diào)劑 276 +5 | wmm9 2026-03-01 | 7/350 |
|
|
|
[考研] 085600求調(diào)劑 +4 | LRZZZZZZ 2026-03-02 | 5/250 |
|
|
|
[考研] 0856材料求調(diào)劑 +12 | hyf hyf hyf 2026-02-28 | 13/650 |
|
|
|
[考研] 302材料工程求調(diào)劑 +5 | Doleres 2026-03-01 | 6/300 |
|
|
|
[考研] 材料085601調(diào)劑 +5 | 多多子. 2026-03-02 | 5/250 |
|
|
|
[考研] 一志愿山東大學(xué)材料與化工325求調(diào)劑 +5 | 半截的詩(shī)0927 2026-03-02 | 5/250 |
|
|
|
[考研] 292求調(diào)劑 +7 | yhk_819 2026-02-28 | 7/350 |
|
|
|
[基金申請(qǐng)] 此成果不能導(dǎo)入原因：元數(shù)據(jù)必填信息不完整，可 進(jìn)行補(bǔ)充。 +4 | Kittylucky 2026-03-02 | 5/250 |
|
|
|
[考研] 291分工科求調(diào)劑 +9 | science餓餓 2026-03-01 | 10/500 |
|
|
|
[基金申請(qǐng)]
剛錄用，沒(méi)有期刊號(hào)，但是在線可看的論文可以放為代表作嗎
 10+3
|
arang1 2026-03-01 | 3/150 |
|
|
|
[考研] 313求調(diào)劑 +3 | 水流年lc 2026-02-28 | 3/150 |
|
|
|
[考研]
 尋找調(diào)劑
+4
|
LYidhsjabdj 2026-02-28 | 4/200 |
|