 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 138 | 回復(fù): 0 | |||
Blue機(jī)器人新蟲 (初入文壇)
|
[交流]
從手勢(shì)到動(dòng)作精準(zhǔn)映射，KINOVA機(jī)械臂解鎖高斯混合模型交互新玩法
|
|
BlueRobots上海藍(lán)色蘿卜自動(dòng)化科技有限公司是一家專注于機(jī)器人領(lǐng)域的技術(shù)型企業(yè)，致力于為客戶提供高性能硬件和人工智能算法的全套機(jī)器人相關(guān)軟硬件解決方案。公司核心團(tuán)隊(duì)成員來自哈爾濱工業(yè)大學(xué)、上海交通大學(xué)等知名院校，以及ABB、Universal Robots等國際機(jī)器人公司，擁有十余年的研發(fā)制造經(jīng)驗(yàn)。 BlueRobots在kinova機(jī)器人應(yīng)用領(lǐng)域深耕，提供包括機(jī)器人系統(tǒng)集成、機(jī)器視覺、靈巧手、六維力傳感器等在內(nèi)的成套解決方案。公司通過先進(jìn)的控制技術(shù)和核心技術(shù)驅(qū)動(dòng)，專注于協(xié)作機(jī)器人的應(yīng)用開發(fā)與市場(chǎng)推廣，幫助客戶實(shí)現(xiàn)工業(yè)自動(dòng)化和智能化轉(zhuǎn)型。 參考文獻(xiàn)鏈接：https://arxiv.org/pdf/2601.12918v1 在現(xiàn)代工業(yè)、醫(yī)療、農(nóng)業(yè)等眾多領(lǐng)域，機(jī)器人的應(yīng)用愈發(fā)廣泛。這些場(chǎng)景往往需要高精度、重復(fù)性的勞動(dòng)，而機(jī)器人憑借精準(zhǔn)、不知疲倦的優(yōu)勢(shì)，成為人類的得力助手。在人機(jī)協(xié)作過程中，高效的交互方式至關(guān)重要，手勢(shì)作為一種自然、直觀的溝通手段，被廣泛應(yīng)用于機(jī)器人控制領(lǐng)域。本文提出了一種基于高斯混合模型（GMM）的動(dòng)態(tài)手勢(shì)識(shí)別方法，旨在實(shí)現(xiàn)人類與 KINOVA 機(jī)械臂的無縫交互，讓機(jī)械臂能夠精準(zhǔn)響應(yīng)手勢(shì)指令，完成各類指定任務(wù)。 研究背景與挑戰(zhàn) 手勢(shì)識(shí)別技術(shù)通過傳感器捕捉人體手部的動(dòng)態(tài)動(dòng)作，識(shí)別特定模式并推斷意圖，無需物理接觸或傳統(tǒng)輸入設(shè)備，為人機(jī)交互提供了更自然的方式。然而，在機(jī)器人操作任務(wù)中，手勢(shì)識(shí)別面臨著諸多挑戰(zhàn)：一是要精準(zhǔn)捕捉復(fù)雜的手部動(dòng)作，保證識(shí)別的精度和準(zhǔn)確性；二是不同個(gè)體的手勢(shì)存在差異，且手勢(shì)受場(chǎng)景上下文影響較大，需解決這種變異性和上下文敏感性問題；三是動(dòng)態(tài)環(huán)境下，必須具備高效的實(shí)時(shí)處理能力，確保手勢(shì)能夠被快速準(zhǔn)確解讀，從而讓機(jī)器人及時(shí)響應(yīng)。 現(xiàn)有部分手勢(shì)識(shí)別方法采用深度學(xué)習(xí)模型，但這類方法往往需要大量的訓(xùn)練數(shù)據(jù)和較長(zhǎng)的訓(xùn)練時(shí)間，極大地影響了識(shí)別效率。相比之下，傳統(tǒng)機(jī)器學(xué)習(xí)算法具有計(jì)算成本適中的優(yōu)勢(shì)，若能合理運(yùn)用，有望在保證識(shí)別精度的同時(shí)，提升實(shí)時(shí)處理性能。高斯混合模型作為一種經(jīng)典的機(jī)器學(xué)習(xí)模型，假設(shè)數(shù)據(jù)由多個(gè)高斯分布組合生成，能夠有效處理具有重疊類別的動(dòng)態(tài)數(shù)據(jù)，非常適合用于手勢(shì)識(shí)別任務(wù)。 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) 硬件與軟件配置 本研究選用 KINOVA Gen3 7 自由度機(jī)械臂作為核心執(zhí)行設(shè)備，其頂部搭載了 Intel RealSense Depth Module D410 視覺傳感器，可實(shí)時(shí)采集手勢(shì)視頻數(shù)據(jù)。計(jì)算方面，采用了配備 GeForce GT-710 GPU（時(shí)鐘頻率 954 MHz）和 32GB 內(nèi)存的設(shè)備，以保障算法運(yùn)行效率。軟件上，基于機(jī)器人操作系統(tǒng)（ROS）實(shí)現(xiàn)機(jī)械臂的控制與交互，通過在主機(jī)上安裝 Kortex 驅(qū)動(dòng)，借助 Python 3.10 在 Visual Studio 中完成算法的編寫與實(shí)現(xiàn)。 手勢(shì)識(shí)別方法論 整個(gè)手勢(shì)識(shí)別與任務(wù)執(zhí)行流程主要分為三個(gè)部分：系統(tǒng)設(shè)置、手勢(shì)錄制與預(yù)處理、手勢(shì)識(shí)別。 在系統(tǒng)設(shè)置階段，除了完成硬件的組裝與軟件的部署，還定義了四種與機(jī)器人任務(wù)對(duì)應(yīng)的動(dòng)態(tài)手勢(shì)，分別是揮手（wave）、拾�。╬ick）、堆疊（stack）和推動(dòng)（push），每種手勢(shì)對(duì)應(yīng)一項(xiàng)特定的機(jī)械臂操作任務(wù)。 手勢(shì)錄制與預(yù)處理環(huán)節(jié)是后續(xù)識(shí)別的基礎(chǔ)。首先，采集時(shí)長(zhǎng)為 5 秒的手勢(shì)視頻，每段視頻會(huì)被轉(zhuǎn)換為150幀圖像。由于圖像幀中包含背景等無關(guān)信息，需通過基于區(qū)域的分割算法剔除手部以外的實(shí)體。隨后，利用 3D 梯度直方圖（HOG3D）算法對(duì)分割后的幀進(jìn)行處理，提取手勢(shì)特征并降低數(shù)據(jù)維度，去除噪聲和光照影響，提升計(jì)算效率。該過程能夠捕捉到手掌和手指上 21 個(gè)標(biāo)志點(diǎn)在 x、y、z 三個(gè)方向的位置信息及運(yùn)動(dòng)軌跡。 手勢(shì)識(shí)別是核心環(huán)節(jié)，基于高斯混合模型展開。首先，計(jì)算每個(gè)標(biāo)志點(diǎn)在所有幀中的方差，從每段視頻中得到一個(gè) 21×3 維度的特征矩陣（21 個(gè)標(biāo)志點(diǎn)，每個(gè)點(diǎn)包含 x、y、z 三個(gè)方向的方差特征）。接著，將這些特征矩陣用于 GMM 模型的訓(xùn)練，模型的高斯分布數(shù)量根據(jù)任務(wù)對(duì)應(yīng)的手勢(shì)種類進(jìn)行初始化。訓(xùn)練過程中，通過期望最大化（EM）算法不斷更新模型參數(shù)（均值、協(xié)方差、混合權(quán)重系數(shù)），直至模型收斂。對(duì)于新的手勢(shì)實(shí)例，根據(jù)其在責(zé)任矩陣中的最大概率進(jìn)行分類，從而確定對(duì)應(yīng)的手勢(shì)類型。圖片 為了評(píng)估模型性能，采用輪廓系數(shù)（Silhouette score）作為評(píng)價(jià)指標(biāo)，該指標(biāo)取值范圍在 - 1 到 1 之間，數(shù)值越高表明手勢(shì)聚類效果越好，即模型對(duì)不同手勢(shì)的區(qū)分能力越強(qiáng)。 1.實(shí)驗(yàn)數(shù)據(jù)與過程 實(shí)驗(yàn)中，針對(duì)四種手勢(shì)分別錄制了 20 段視頻，共 80 段（每段 5 秒），所有視頻轉(zhuǎn)換為圖像幀后，提取的特征數(shù)據(jù)被整理為 CSV 文件用于模型訓(xùn)練。訓(xùn)練完成后，通過實(shí)時(shí)采集 50 名不同人員的手勢(shì)視頻進(jìn)行測(cè)試，驗(yàn)證模型的識(shí)別效果和泛化能力。 2.實(shí)驗(yàn)結(jié)果 訓(xùn)練結(jié)果顯示，該模型能夠有效對(duì)不同手勢(shì)的特征數(shù)據(jù)進(jìn)行聚類，訓(xùn)練前特征數(shù)據(jù)雜亂無章、無法區(qū)分手勢(shì)類型，訓(xùn)練后各手勢(shì)數(shù)據(jù)被準(zhǔn)確劃分到對(duì)應(yīng)的聚類中。測(cè)試階段，機(jī)械臂能夠根據(jù)識(shí)別出的手勢(shì)準(zhǔn)確執(zhí)行相應(yīng)任務(wù)：揮手手勢(shì)對(duì)應(yīng)機(jī)械臂的初始化動(dòng)作，拾取手勢(shì)控制機(jī)械臂抓取物體，堆疊手勢(shì)指導(dǎo)機(jī)械臂將物體堆疊在箱子上，推動(dòng)手勢(shì)則讓機(jī)械臂完成物體的推送操作。 數(shù)據(jù)統(tǒng)計(jì)表明，該模型的幀檢測(cè)時(shí)間為 0.33 秒，實(shí)時(shí)處理性能良好。在對(duì) 50 名測(cè)試者的手勢(shì)識(shí)別中，準(zhǔn)確率達(dá)到了 94%-96%（50 次測(cè)試中準(zhǔn)確識(shí)別 48 次）。輪廓系數(shù)測(cè)試結(jié)果顯示，本模型的得分優(yōu)于基于 K 均值聚類和支持向量機(jī)的手勢(shì)識(shí)別方法，證明了該模型在手勢(shì)聚類和識(shí)別方面的優(yōu)越性。 結(jié)論與未來展望 本研究提出了一種基于高斯混合模型的動(dòng)態(tài)手勢(shì)識(shí)別方法，并成功應(yīng)用于 KINOVA Gen3 機(jī)械臂的任務(wù)控制中。該方法采用傳統(tǒng)機(jī)器學(xué)習(xí)算法，有效降低了計(jì)算成本和數(shù)據(jù)需求，同時(shí)保證了較高的識(shí)別精度和實(shí)時(shí)處理能力，實(shí)現(xiàn)了人類與機(jī)器人的自然、高效交互。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法論的可行性和優(yōu)越性，為機(jī)器人手勢(shì)控制領(lǐng)域提供了一種新的有效解決方案。 |
回復(fù)此樓» 猜你喜歡
南方科技大學(xué)機(jī)械與能源工程系-鄧輝研究員招收2026級(jí)博士生
已經(jīng)有0人回復(fù)
-
2026年自動(dòng)化實(shí)驗(yàn)室選購指南：優(yōu)秀廠家、應(yīng)用案例及定制方案匯總
已經(jīng)有0人回復(fù)
-
機(jī)械工程論文潤色/翻譯怎么收費(fèi)?
已經(jīng)有167人回復(fù)
-
scholarone系統(tǒng)的某些疑問
已經(jīng)有0人回復(fù)
-
哈爾濱工程大學(xué)動(dòng)力學(xué)院趙建輝團(tuán)隊(duì)招收2026博士研究生
已經(jīng)有10人回復(fù)
-
0855專碩277分求調(diào)劑工科
已經(jīng)有3人回復(fù)
-
26 fall & 27 spring考博求助，控制/機(jī)器人/人工智能方向
已經(jīng)有9人回復(fù)
-
南方科技大學(xué)機(jī)械與能源工程系-鄧輝研究員招收2026級(jí)博士生
已經(jīng)有0人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 Blue機(jī)器人 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 304分材料專碩求調(diào)劑 +3 | qiuzhigril 2026-03-03 | 5/250 |
|
|---|---|---|---|---|
|
[考研] 環(huán)境工程學(xué)碩288求助調(diào)劑 +7 | 多吃億口芝士 2026-03-02 | 7/350 |
|
|
|
[考研] 化工專碩調(diào)劑 +4 | 利好利好. 2026-03-03 | 7/350 |
|
|
|
[考研] 298求調(diào)劑一志愿中海洋 +3 | lour. 2026-03-03 | 3/150 |
|
|
|
[考研] 085600材料與化工調(diào)劑 280分 +10 | yyqqhh 2026-03-03 | 10/500 |
|
|
|
[考研] 化工專碩348，一志愿985求調(diào)劑 +8 | 弗格個(gè) 2026-02-28 | 11/550 |
|
|
|
[考研] 化學(xué)0703求調(diào)劑 學(xué)碩 理/工科均可 總分279 +3 | 1一11 2026-03-03 | 5/250 |
|
|
|
[考研] 調(diào)劑 +5 | 13853210211 2026-03-02 | 7/350 |
|
|
|
[考博] 26申博 +4 | north， 2026-02-28 | 4/200 |
|
|
|
[考研] 298求調(diào)劑 +7 | axyz3 2026-02-28 | 8/400 |
|
|
|
[考研] 0854復(fù)試調(diào)劑 276 +5 | wmm9 2026-03-01 | 7/350 |
|
|
|
[考研] 材料284求調(diào)劑，一志愿鄭州大學(xué)英一數(shù)二專碩 +15 | 想上岸的土撥鼠 2026-02-28 | 15/750 |
|
|
|
[考研] 302材料工程求調(diào)劑 +5 | Doleres 2026-03-01 | 6/300 |
|
|
|
[考研] 303求調(diào)劑 +5 | 今夏不夏 2026-03-01 | 5/250 |
|
|
|
[考研] 284求調(diào)劑 +10 | 天下熯 2026-02-28 | 11/550 |
|
|
|
[考研] 279求調(diào)劑 +3 | dua1 2026-03-01 | 4/200 |
|
|
|
[考研] 272求調(diào)劑 +6 | 田智友 2026-02-28 | 6/300 |
|
|
|
[考研] 291分工科求調(diào)劑 +9 | science餓餓 2026-03-01 | 10/500 |
|
|
|
[考研] 313求調(diào)劑 +3 | 水流年lc 2026-02-28 | 3/150 |
|
|
|
[考研] 調(diào)劑 +3 | 簡(jiǎn)木ChuFront 2026-02-28 | 3/150 |
|