 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 170 | 回復(fù): 0 | |||
Blue機(jī)器人新蟲(chóng) (初入文壇)
|
[交流]
從手勢(shì)到動(dòng)作精準(zhǔn)映射，KINOVA機(jī)械臂解鎖高斯混合模型交互新玩法
|
|
BlueRobots上海藍(lán)色蘿卜自動(dòng)化科技有限公司是一家專(zhuān)注于機(jī)器人領(lǐng)域的技術(shù)型企業(yè)，致力于為客戶(hù)提供高性能硬件和人工智能算法的全套機(jī)器人相關(guān)軟硬件解決方案。公司核心團(tuán)隊(duì)成員來(lái)自哈爾濱工業(yè)大學(xué)、上海交通大學(xué)等知名院校，以及ABB、Universal Robots等國(guó)際機(jī)器人公司，擁有十余年的研發(fā)制造經(jīng)驗(yàn)。 BlueRobots在kinova機(jī)器人應(yīng)用領(lǐng)域深耕，提供包括機(jī)器人系統(tǒng)集成、機(jī)器視覺(jué)、靈巧手、六維力傳感器等在內(nèi)的成套解決方案。公司通過(guò)先進(jìn)的控制技術(shù)和核心技術(shù)驅(qū)動(dòng)，專(zhuān)注于協(xié)作機(jī)器人的應(yīng)用開(kāi)發(fā)與市場(chǎng)推廣，幫助客戶(hù)實(shí)現(xiàn)工業(yè)自動(dòng)化和智能化轉(zhuǎn)型。 參考文獻(xiàn)鏈接：https://arxiv.org/pdf/2601.12918v1 在現(xiàn)代工業(yè)、醫(yī)療、農(nóng)業(yè)等眾多領(lǐng)域，機(jī)器人的應(yīng)用愈發(fā)廣泛。這些場(chǎng)景往往需要高精度、重復(fù)性的勞動(dòng)，而機(jī)器人憑借精準(zhǔn)、不知疲倦的優(yōu)勢(shì)，成為人類(lèi)的得力助手。在人機(jī)協(xié)作過(guò)程中，高效的交互方式至關(guān)重要，手勢(shì)作為一種自然、直觀的溝通手段，被廣泛應(yīng)用于機(jī)器人控制領(lǐng)域。本文提出了一種基于高斯混合模型（GMM）的動(dòng)態(tài)手勢(shì)識(shí)別方法，旨在實(shí)現(xiàn)人類(lèi)與 KINOVA 機(jī)械臂的無(wú)縫交互，讓機(jī)械臂能夠精準(zhǔn)響應(yīng)手勢(shì)指令，完成各類(lèi)指定任務(wù)。 研究背景與挑戰(zhàn) 手勢(shì)識(shí)別技術(shù)通過(guò)傳感器捕捉人體手部的動(dòng)態(tài)動(dòng)作，識(shí)別特定模式并推斷意圖，無(wú)需物理接觸或傳統(tǒng)輸入設(shè)備，為人機(jī)交互提供了更自然的方式。然而，在機(jī)器人操作任務(wù)中，手勢(shì)識(shí)別面臨著諸多挑戰(zhàn)：一是要精準(zhǔn)捕捉復(fù)雜的手部動(dòng)作，保證識(shí)別的精度和準(zhǔn)確性；二是不同個(gè)體的手勢(shì)存在差異，且手勢(shì)受場(chǎng)景上下文影響較大，需解決這種變異性和上下文敏感性問(wèn)題；三是動(dòng)態(tài)環(huán)境下，必須具備高效的實(shí)時(shí)處理能力，確保手勢(shì)能夠被快速準(zhǔn)確解讀，從而讓機(jī)器人及時(shí)響應(yīng)。 現(xiàn)有部分手勢(shì)識(shí)別方法采用深度學(xué)習(xí)模型，但這類(lèi)方法往往需要大量的訓(xùn)練數(shù)據(jù)和較長(zhǎng)的訓(xùn)練時(shí)間，極大地影響了識(shí)別效率。相比之下，傳統(tǒng)機(jī)器學(xué)習(xí)算法具有計(jì)算成本適中的優(yōu)勢(shì)，若能合理運(yùn)用，有望在保證識(shí)別精度的同時(shí)，提升實(shí)時(shí)處理性能。高斯混合模型作為一種經(jīng)典的機(jī)器學(xué)習(xí)模型，假設(shè)數(shù)據(jù)由多個(gè)高斯分布組合生成，能夠有效處理具有重疊類(lèi)別的動(dòng)態(tài)數(shù)據(jù)，非常適合用于手勢(shì)識(shí)別任務(wù)。 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) 硬件與軟件配置 本研究選用 KINOVA Gen3 7 自由度機(jī)械臂作為核心執(zhí)行設(shè)備，其頂部搭載了 Intel RealSense Depth Module D410 視覺(jué)傳感器，可實(shí)時(shí)采集手勢(shì)視頻數(shù)據(jù)。計(jì)算方面，采用了配備 GeForce GT-710 GPU（時(shí)鐘頻率 954 MHz）和 32GB 內(nèi)存的設(shè)備，以保障算法運(yùn)行效率。軟件上，基于機(jī)器人操作系統(tǒng)（ROS）實(shí)現(xiàn)機(jī)械臂的控制與交互，通過(guò)在主機(jī)上安裝 Kortex 驅(qū)動(dòng)，借助 Python 3.10 在 Visual Studio 中完成算法的編寫(xiě)與實(shí)現(xiàn)。 手勢(shì)識(shí)別方法論 整個(gè)手勢(shì)識(shí)別與任務(wù)執(zhí)行流程主要分為三個(gè)部分：系統(tǒng)設(shè)置、手勢(shì)錄制與預(yù)處理、手勢(shì)識(shí)別。 在系統(tǒng)設(shè)置階段，除了完成硬件的組裝與軟件的部署，還定義了四種與機(jī)器人任務(wù)對(duì)應(yīng)的動(dòng)態(tài)手勢(shì)，分別是揮手（wave）、拾�。╬ick）、堆疊（stack）和推動(dòng)（push），每種手勢(shì)對(duì)應(yīng)一項(xiàng)特定的機(jī)械臂操作任務(wù)。 手勢(shì)錄制與預(yù)處理環(huán)節(jié)是后續(xù)識(shí)別的基礎(chǔ)。首先，采集時(shí)長(zhǎng)為 5 秒的手勢(shì)視頻，每段視頻會(huì)被轉(zhuǎn)換為150幀圖像。由于圖像幀中包含背景等無(wú)關(guān)信息，需通過(guò)基于區(qū)域的分割算法剔除手部以外的實(shí)體。隨后，利用 3D 梯度直方圖（HOG3D）算法對(duì)分割后的幀進(jìn)行處理，提取手勢(shì)特征并降低數(shù)據(jù)維度，去除噪聲和光照影響，提升計(jì)算效率。該過(guò)程能夠捕捉到手掌和手指上 21 個(gè)標(biāo)志點(diǎn)在 x、y、z 三個(gè)方向的位置信息及運(yùn)動(dòng)軌跡。 手勢(shì)識(shí)別是核心環(huán)節(jié)，基于高斯混合模型展開(kāi)。首先，計(jì)算每個(gè)標(biāo)志點(diǎn)在所有幀中的方差，從每段視頻中得到一個(gè) 21×3 維度的特征矩陣（21 個(gè)標(biāo)志點(diǎn)，每個(gè)點(diǎn)包含 x、y、z 三個(gè)方向的方差特征）。接著，將這些特征矩陣用于 GMM 模型的訓(xùn)練，模型的高斯分布數(shù)量根據(jù)任務(wù)對(duì)應(yīng)的手勢(shì)種類(lèi)進(jìn)行初始化。訓(xùn)練過(guò)程中，通過(guò)期望最大化（EM）算法不斷更新模型參數(shù)（均值、協(xié)方差、混合權(quán)重系數(shù)），直至模型收斂。對(duì)于新的手勢(shì)實(shí)例，根據(jù)其在責(zé)任矩陣中的最大概率進(jìn)行分類(lèi)，從而確定對(duì)應(yīng)的手勢(shì)類(lèi)型。圖片 為了評(píng)估模型性能，采用輪廓系數(shù)（Silhouette score）作為評(píng)價(jià)指標(biāo)，該指標(biāo)取值范圍在 - 1 到 1 之間，數(shù)值越高表明手勢(shì)聚類(lèi)效果越好，即模型對(duì)不同手勢(shì)的區(qū)分能力越強(qiáng)。 1.實(shí)驗(yàn)數(shù)據(jù)與過(guò)程 實(shí)驗(yàn)中，針對(duì)四種手勢(shì)分別錄制了 20 段視頻，共 80 段（每段 5 秒），所有視頻轉(zhuǎn)換為圖像幀后，提取的特征數(shù)據(jù)被整理為 CSV 文件用于模型訓(xùn)練。訓(xùn)練完成后，通過(guò)實(shí)時(shí)采集 50 名不同人員的手勢(shì)視頻進(jìn)行測(cè)試，驗(yàn)證模型的識(shí)別效果和泛化能力。 2.實(shí)驗(yàn)結(jié)果 訓(xùn)練結(jié)果顯示，該模型能夠有效對(duì)不同手勢(shì)的特征數(shù)據(jù)進(jìn)行聚類(lèi)，訓(xùn)練前特征數(shù)據(jù)雜亂無(wú)章、無(wú)法區(qū)分手勢(shì)類(lèi)型，訓(xùn)練后各手勢(shì)數(shù)據(jù)被準(zhǔn)確劃分到對(duì)應(yīng)的聚類(lèi)中。測(cè)試階段，機(jī)械臂能夠根據(jù)識(shí)別出的手勢(shì)準(zhǔn)確執(zhí)行相應(yīng)任務(wù)：揮手手勢(shì)對(duì)應(yīng)機(jī)械臂的初始化動(dòng)作，拾取手勢(shì)控制機(jī)械臂抓取物體，堆疊手勢(shì)指導(dǎo)機(jī)械臂將物體堆疊在箱子上，推動(dòng)手勢(shì)則讓機(jī)械臂完成物體的推送操作。 數(shù)據(jù)統(tǒng)計(jì)表明，該模型的幀檢測(cè)時(shí)間為 0.33 秒，實(shí)時(shí)處理性能良好。在對(duì) 50 名測(cè)試者的手勢(shì)識(shí)別中，準(zhǔn)確率達(dá)到了 94%-96%（50 次測(cè)試中準(zhǔn)確識(shí)別 48 次）。輪廓系數(shù)測(cè)試結(jié)果顯示，本模型的得分優(yōu)于基于 K 均值聚類(lèi)和支持向量機(jī)的手勢(shì)識(shí)別方法，證明了該模型在手勢(shì)聚類(lèi)和識(shí)別方面的優(yōu)越性。 結(jié)論與未來(lái)展望 本研究提出了一種基于高斯混合模型的動(dòng)態(tài)手勢(shì)識(shí)別方法，并成功應(yīng)用于 KINOVA Gen3 機(jī)械臂的任務(wù)控制中。該方法采用傳統(tǒng)機(jī)器學(xué)習(xí)算法，有效降低了計(jì)算成本和數(shù)據(jù)需求，同時(shí)保證了較高的識(shí)別精度和實(shí)時(shí)處理能力，實(shí)現(xiàn)了人類(lèi)與機(jī)器人的自然、高效交互。實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法論的可行性和優(yōu)越性，為機(jī)器人手勢(shì)控制領(lǐng)域提供了一種新的有效解決方案。 |
回復(fù)此樓» 猜你喜歡
都柏林大學(xué)工學(xué)院自動(dòng)化方向博士后招聘啟事
已經(jīng)有0人回復(fù)
-
北理工激光所韓偉娜教授課題組招收學(xué)術(shù)型博士生一名
已經(jīng)有10人回復(fù)
-
金屬材料論文潤(rùn)色/翻譯怎么收費(fèi)?
已經(jīng)有199人回復(fù)
-
換熱系數(shù)求解
已經(jīng)有0人回復(fù)
-
哈工大（深圳）國(guó)家級(jí)青年人才 鐘穎教授課題組 新增26級(jí)博士名額！歡迎報(bào)名！
已經(jīng)有16人回復(fù)
-
中國(guó)科學(xué)技術(shù)大學(xué) 工程科學(xué)學(xué)院 國(guó)家級(jí)人才團(tuán)隊(duì) 誠(chéng)聘博士后
已經(jīng)有5人回復(fù)
-
英國(guó)國(guó)王大學(xué)院士團(tuán)隊(duì)誠(chéng)招兩名材料方面的博士后
已經(jīng)有2人回復(fù)
-
求材料
已經(jīng)有2人回復(fù)
-
陜西科技大學(xué)智能制造與機(jī)器人工程學(xué)院 李晨教授招收申請(qǐng)-考核制博士研究生
已經(jīng)有11人回復(fù)
-
機(jī)械352分求調(diào)劑，本科太原理工大學(xué)
已經(jīng)有1人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 Blue機(jī)器人 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研] 308求調(diào)劑 +4 | 是Lupa啊 2026-03-11 | 4/200 |
|
|---|---|---|---|---|
|
[考研] 求調(diào)劑 +5 | yfihxh 2026-03-09 | 5/250 |
|
|
|
[考研] 工科0856專(zhuān)碩化學(xué)工程269能調(diào)劑嗎 +9 | 我想讀研11 2026-03-10 | 9/450 |
|
|
|
[考研] 材料工程085601調(diào)劑求老師收留 +8 | 強(qiáng)木木木 2026-03-07 | 10/500 |
|
|
|
[考研] 0857環(huán)境調(diào)劑 +5 | 熠熠_11 2026-03-10 | 5/250 |
|
|
|
[考研] 求調(diào)劑 +4 | 鶴遨予卿 2026-03-09 | 4/200 |
|
|
|
[考研] 298求調(diào)劑 +3 | Vv呀！ 2026-03-10 | 3/150 |
|
|
|
[考研] 2026考研求調(diào)劑-材料類(lèi)-本科211一志愿985-初試301分 +10 | 蟲(chóng)友233 2026-03-07 | 10/500 |
|
|
|
[考研] 材料與化工求調(diào)劑 +11 | 與冬清寧 2026-03-07 | 14/700 |
|
|
|
[基金申請(qǐng)]
PDF在線(xiàn)壓縮軟件
 10+3
|
haxia 2026-03-08 | 4/200 |
|
|
|
[碩博家園] 木蟲(chóng)好像不熱鬧了，是不是？ +4 | 偏振片 2026-03-10 | 4/200 |
|
|
|
[考研] 085600材料與化工，一志愿廣州985，求調(diào)劑 +15 | qqyyaill 2026-03-05 | 15/750 |
|
|
|
[考研]
 295復(fù)試調(diào)劑
+4
|
簡(jiǎn)木ChuFront 2026-03-09 | 4/200 |
|
|
|
[考研] 一志愿山東大學(xué)，總分327，英語(yǔ)二79，有論文，有競(jìng)賽，已過(guò)四六級(jí) +3 | 木木目目1 2026-03-09 | 3/150 |
|
|
|
[考研] 求調(diào)劑，數(shù)一英一274分 +4 | 小菲會(huì)努力 2026-03-08 | 4/200 |
|
|
|
[考研] 求調(diào)劑 +3 | 拾柒12。 2026-03-08 | 3/150 |
|
|
|
[考研] 085701環(huán)境工程專(zhuān)業(yè)，初試305，均過(guò)國(guó)家A區(qū)線(xiàn) +7 | 卡卡來(lái)了@ 2026-03-07 | 8/400 |
|
|
|
[考研] 誠(chéng)求調(diào)劑，323分 有專(zhuān)利/科研/實(shí)習(xí)經(jīng)歷 +6 | 橙子cyx 2026-03-06 | 8/400 |
|
|
|
[考研] 材料與化工304求B區(qū)調(diào)劑 +4 | 邱gl 2026-03-06 | 4/200 |
|
|
|
[考研] 材料與化工354調(diào)劑 +4 | Lucy-xiao 2026-03-06 | 7/350 |
|