 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 772 | 回復(fù): 0 | |||
BFT驛站新蟲(chóng) (小有名氣)
|
[交流]
FACTR賦能Franka機(jī)器人：觸覺(jué)-視覺(jué)融合決策的顛覆性突破
|
|
機(jī)器人觸覺(jué)感知的瓶頸與突破 在接觸密集型任務(wù)（如易碎品抓取、面團(tuán)揉捏、精密裝配）中，觸覺(jué)與力反饋是保障操作安全性與適應(yīng)性的核心。傳統(tǒng)系統(tǒng)存在兩大瓶頸： 1.數(shù)據(jù)獲取割裂：傳統(tǒng)遙操作缺乏雙向力覺(jué)耦合，示范數(shù)據(jù)缺失環(huán)境交互的力學(xué)動(dòng)態(tài)特征。 2.視覺(jué)依賴陷阱：強(qiáng)化學(xué)習(xí)策略易過(guò)度擬合視覺(jué)輸入，忽略力覺(jué)模態(tài)的關(guān)鍵作用，導(dǎo)致面對(duì)新物體時(shí)泛化性能驟降 。 卡內(nèi)基梅隆大學(xué)團(tuán)隊(duì)提出FACTR(Force-Attending Curriculum Training)。通過(guò)低成本力反饋遙操作系統(tǒng)與課程化訓(xùn)練策略，實(shí)現(xiàn)機(jī)器人動(dòng)態(tài)交互能力的躍升。 FACTR核心技術(shù)解析 1. 低成本雙向力反饋遙操作 三⼤特性： 環(huán)境力覺(jué)映射：從機(jī)械臂關(guān)節(jié)扭矩反演接觸力，通過(guò)領(lǐng)導(dǎo)者臂實(shí)時(shí)反饋環(huán)境幾何約束。 冗余關(guān)節(jié)控制：基于零空間投影算法，自定義關(guān)節(jié)“休息位姿”，避免狹窄空間碰撞（點(diǎn)擊觀看控制器演示視頻）。 主動(dòng)重力補(bǔ)償：支持機(jī)械臂空中懸停，實(shí)現(xiàn)雙⼿遙操作中瞬時(shí)暫停與姿態(tài)調(diào)整。 2. 力-視覺(jué)課程化訓(xùn)練 訓(xùn)練邏輯： 前期：視覺(jué)主導(dǎo)建立基礎(chǔ)操作框架（如物體定位）。 中期：引入動(dòng)態(tài)模糊（像素/隱空間），強(qiáng)制策略融合力覺(jué)信息決策。 后期：模糊強(qiáng)度遞減，策略過(guò)渡至力覺(jué)主導(dǎo)模式（Transformer跨模態(tài)注意力機(jī)制）。 泛化增益：面對(duì)新物體（形狀、剛度超出訓(xùn)練集），成功率提升43%，遠(yuǎn)超基線方法。 Franka Research 3：FACTR驗(yàn)證的核心載體 四大優(yōu)勢(shì)奠定科研標(biāo)桿地位： 高精度力控：7自由度+±0.1mm定位精度，支持復(fù)雜接觸動(dòng)力學(xué)建模。 開(kāi)放生態(tài)：ROS/ROS2全棧支持，兼容多模態(tài)傳感器（ZED雙目相機(jī)、觸覺(jué)手套）。 人機(jī)協(xié)作安全：安全認(rèn)證+自適應(yīng)控制，保障協(xié)作安全。 全球科研生態(tài)：覆蓋50+國(guó)家實(shí)驗(yàn)室，提供定制化SDK與硬件擴(kuò)展接口。 多場(chǎng)景任務(wù)驗(yàn)證 實(shí)驗(yàn)一：雙臂協(xié)同抬箱 基線失�。� 視覺(jué)ACT：無(wú)法感知物體掉落，因策略過(guò)度擬合訓(xùn)練箱體外觀。 視覺(jué)+力ACT：抬舉過(guò)程因力覺(jué)關(guān)注不足導(dǎo)致失穩(wěn)。 FACTR表現(xiàn)： 通過(guò)關(guān)節(jié)扭矩監(jiān)測(cè)（恢復(fù)至抬舉前基線值），實(shí)時(shí)觸發(fā)復(fù)位動(dòng)作。 跨模態(tài)注意力分析顯示：抬舉階段力覺(jué)關(guān)注度超視覺(jué)60% 交叉注意力分析 實(shí)驗(yàn)分析證明：使用視覺(jué)+力量ACT來(lái)強(qiáng)化機(jī)器學(xué)習(xí)策略對(duì)于力量關(guān)注度不夠，在抬舉箱子時(shí)無(wú)法控制力度，搬運(yùn)箱子時(shí)也無(wú)法保持穩(wěn)。 而FACTR策略通過(guò)力感知主導(dǎo)模式革新機(jī)器人操作：優(yōu)先評(píng)估物體重量并動(dòng)態(tài)調(diào)控力度，實(shí)現(xiàn)從視覺(jué)依賴到力覺(jué)精準(zhǔn)控制的轉(zhuǎn)變，顯著增強(qiáng)復(fù)雜受力場(chǎng)景下的任務(wù)執(zhí)行效能。 實(shí)驗(yàn)二：水果的抓取與擺放 實(shí)驗(yàn)證明： 在水果抓放任務(wù)中，僅視覺(jué)策略及不帶 FACTR 的視覺(jué)力策略均會(huì)因水果視覺(jué)特征超出訓(xùn)練數(shù)據(jù)分布范圍而陷入困境，單純依靠視覺(jué)信息無(wú)法生成有效操作路徑，后者因過(guò)度依賴視覺(jué)輸入也無(wú)法實(shí)現(xiàn)正確操作。而 FACTR 策略能有效利用力反饋信息，即便視覺(jué)輸入超范圍，也能正確處理力輸入，確保力數(shù)據(jù)處于有效區(qū)間，精準(zhǔn)預(yù)測(cè)抓取與放置的后續(xù)操作軌跡，實(shí)現(xiàn)穩(wěn)健操作。 以上這些實(shí)驗(yàn)證明運(yùn)用FACTR低成本力反饋遙操作比普通僅依靠視覺(jué) ACT（基線）來(lái)訓(xùn)練機(jī)器人更加穩(wěn)定，并且還能將對(duì)同類操作的的泛化率顯著提高了 43%。 本研究所有實(shí)驗(yàn)均使用Franka機(jī)械臂完成，使用兩個(gè)外部ZED攝像頭來(lái)獲取現(xiàn)實(shí)世界的視覺(jué)信息。 商業(yè)價(jià)值 技術(shù)優(yōu)勢(shì) 提升操作精度與靈活性： 精確模擬人類手臂動(dòng)作，遠(yuǎn)程遙控操作更靈活。 增強(qiáng)安全協(xié)作： 實(shí)時(shí)力反饋與碰撞檢測(cè)，保障人機(jī)協(xié)作安全。 降低成本與維護(hù)： 低成本系統(tǒng)部署，簡(jiǎn)化遠(yuǎn)程監(jiān)控與維護(hù)流程。 應(yīng)用場(chǎng)景 科研領(lǐng)域:仿生觸覺(jué)模擬、人機(jī)協(xié)作神經(jīng)機(jī)制研究 工業(yè)制造:精密電子裝配、柔性材料質(zhì)檢 醫(yī)療健康:內(nèi)鏡手術(shù)輔助、康復(fù)外骨骼動(dòng)態(tài)阻抗調(diào)節(jié) |
回復(fù)此樓» 猜你喜歡
260求調(diào)劑
已經(jīng)有1人回復(fù)
-
0858能源動(dòng)力專碩求調(diào)劑，
已經(jīng)有1人回復(fù)
-
機(jī)械工程論文潤(rùn)色/翻譯怎么收費(fèi)?
已經(jīng)有194人回復(fù)
-
08工學(xué)-一作ACS AMI（IF 8.2）｜物理團(tuán)簇背景｜求長(zhǎng)三角/山東地區(qū)團(tuán)簇、催化方向調(diào)劑
已經(jīng)有1人回復(fù)
-
數(shù)一英一 297 能源動(dòng)力求調(diào)劑
已經(jīng)有3人回復(fù)
-
0858 300 調(diào)劑b區(qū)
已經(jīng)有1人回復(fù)
-
286分求調(diào)劑 | 本科雙非一本 | 核能工程/能源動(dòng)力/熱能工程 | 接受跨專業(yè)
已經(jīng)有0人回復(fù)
» 本主題相關(guān)商家推薦: (我也要在這里推廣)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 材料371求調(diào)劑 +7 | 鱷魚(yú)? 2026-03-11 | 9/450 |
|
|---|---|---|---|---|
|
[考研] 293求調(diào)劑，一志愿陜師大生物學(xué) +3 | ??????.?.??? 2026-03-09 | 3/150 |
|
|
|
[考研] 材料調(diào)劑，307分 +12 | 張泳銘1 2026-03-09 | 13/650 |
|
|
|
[考研] 材料專碩288分求調(diào)劑 一志愿211 +3 | 在家想你 2026-03-11 | 3/150 |
|
|
|
[考研] 0856材料與化工309分求調(diào)劑 +4 | ZyZy…… 2026-03-10 | 4/200 |
|
|
|
[考研] 材料與化工求調(diào)劑 +11 | 與冬清寧 2026-03-07 | 14/700 |
|
|
|
[考研] 一志愿南大化學(xué)339分求調(diào)劑，四六級(jí)已過(guò)，有比賽，有文章 +7 | Gallantzhou 2026-03-07 | 7/350 |
|
|
|
[考研] 一志愿211 材料與化工 280求調(diào)劑 +3 | Sanity蔣 2026-03-08 | 3/150 |
|
|
|
[考研] 理學(xué)287分求調(diào)劑 +4 | 看看我. 2026-03-05 | 4/200 |
|
|
|
[考研] 材料科學(xué)（0805）338 求調(diào)劑 +7 | xiaokang3286 2026-03-07 | 7/350 |
|
|
|
[考研] 322分 085600求調(diào)劑，有互聯(lián)網(wǎng)+國(guó)金及主持省級(jí)大創(chuàng)經(jīng)歷 +4 | 熊境喆 2026-03-05 | 4/200 |
|
|
|
[考研] 化學(xué)290求調(diào)劑 +3 | 兩顆 西柚 2026-03-07 | 4/200 |
|
|
|
[考研] 第一志愿上海大學(xué)，專業(yè)化學(xué)工程與技術(shù)，總分288，求調(diào)劑 +3 | 1829197082 2026-03-07 | 3/150 |
|
|
|
[考研] 誠(chéng)求調(diào)劑，323分 有專利/科研/實(shí)習(xí)經(jīng)歷 +6 | 橙子cyx 2026-03-06 | 8/400 |
|
|
|
[考研]
 085600材料與化工 292分 求調(diào)劑
+6
|
程晴之 2026-03-06 | 6/300 |
|
|
|
[考研] 哈爾濱理工大學(xué)2026年研究生調(diào)劑，材料科學(xué)與化學(xué)工程學(xué)院研究生調(diào)劑 +3 | xinliu866 2026-03-06 | 3/150 |
|
|
|
[考研] 復(fù)試調(diào)劑 +7 | 呼呼？~+123456 2026-03-05 | 10/500 |
|
|
|
[考研] 275求調(diào)劑 +4 | 大爆炸難民 2026-03-06 | 5/250 |
|
|
|
[考研] 085600，一志愿鄭州大學(xué)，280分求調(diào)劑 +7 | Wuqi725 2026-03-05 | 7/350 |
|
|
|
[考研] 334求調(diào)劑 +6 | Trying] 2026-03-05 | 8/400 |
|