 |
 |
 |
 |
 |
 |
||
 |
 |
 |
 |
 |
| 1 | 1/1 | 返回列表 |
| 查看: 863 | 回復(fù): 0 | |||
BFT驛站新蟲 (小有名氣)
|
[交流]
Franka機器人賦能RoboCulture研究，打造生物實驗室智能解決方案
|
|
研究背景：生物實驗室自動化的挑戰(zhàn)與突破 生物實驗因需毫米級精度、長周期多步驟操作及動態(tài)生物系統(tǒng)特性，自動化進程面臨顯著挑戰(zhàn)。傳統(tǒng)液體處理設(shè)備僅能部分自動化工作流程，需人工干預(yù)孔板加載、吸頭更換等環(huán)節(jié)；工業(yè)解決方案雖自動化程度高，但成本高昂且缺乏靈活性。自主機器人技術(shù)在長周期、高失敗敏感性實驗中仍存應(yīng)用空白。 為解決以上難題；研究團隊研以Franka Research 3機械臂為載體，通過集成計算機視覺、力反饋控制及行為樹決策框架，開發(fā)了RoboCulture平臺，實現(xiàn)了生物實驗室關(guān)鍵任務(wù)的全面自動化。 該平臺不僅降低了自動化門檻，還顯著提升了實驗的靈活性與可重復(fù)性，有效解決了長時間、高精度生物實驗中的人工干預(yù)問題 實驗配置：硬件與系統(tǒng)架構(gòu) 核心硬件配置 機械臂：7 軸 Franka Research3 機器人，配備 Robotiq 2F-85 夾具，支持毫米級運動控制。 視覺系統(tǒng)：向下安裝的 Intel RealSense D435i RGB-D 相機，用于實時環(huán)境感知與目標定位。 移液模塊：Digital Pipette v2，采用空氣位移設(shè)計，兼容 10 mL 可拆卸吸頭，通過 Arduino 控制線性 actuator 實現(xiàn)精準液量控制。 輔助設(shè)備：OHAUS 軌道搖床、3D 打印吸頭架與拆卸器、AprilTag 基準標記（用于靜態(tài)設(shè)備定位）。 圖1：酵母生長實驗裝置。1）我們的數(shù)字移液器v2，2）一個朝下的英特爾實感D435i相機 3) 配備 Robotiq 2F-85 夾爪的 Franka Emika 機器人，4) OHAUS SHHD1619DG 重型軌道搖床平臺， 5）3D打印的移液管吸頭移除器，6）生物垃圾桶，7）裝有YPD培養(yǎng)基的Falcon試管架，8）3D打印的 移液槍頭架，9）裝有酵母的96孔板。 軟件框架 基于 ROS Noetic 系統(tǒng)，集成 py_trees_ros 行為樹庫，實現(xiàn)任務(wù)調(diào)度與狀態(tài)管理。 感知模塊采用 OpenCV 與 FastSAM 算法，視覺伺服控制通過 FrankaPy 接口實現(xiàn)動態(tài)軌跡規(guī)劃。 圖2：RoboCulture集成了一個基于視覺的液體處理系統(tǒng)，能夠可靠地將液體移液到96孔板中，一個力引導(dǎo)的移液器吸頭交換系統(tǒng)，以及細胞生長監(jiān)測，以實現(xiàn)通用的生物實驗室自動化。 生物學(xué)實驗方案以行為樹的形式呈現(xiàn)，這是一種用于處理實驗狀態(tài)的反應(yīng)式模塊化框架。 核心方法：多技術(shù)融合的自動化框架 1. 基于行為樹的協(xié)議建模 采用分層行為樹框架，將生物實驗協(xié)議拆解為模塊化任務(wù)（如“生長監(jiān)測”“傳代決策”），通過響應(yīng)式邏輯協(xié)調(diào)機器人子系統(tǒng)。 樹狀結(jié)構(gòu)支持任務(wù)優(yōu)先級管理與實時狀態(tài)調(diào)整，例如當感知失敗時自動觸發(fā)重試機制，確保實驗流程穩(wěn)健執(zhí)行. 圖3：RoboCulture使用行為樹連接人類水平的生物協(xié)議和低級機器人任務(wù)。高級 將生長監(jiān)測和酵母傳代培養(yǎng)等實驗操作轉(zhuǎn)化為模塊化、分層化的行為 由單個行為組成的樹。這些樹協(xié)調(diào)關(guān)鍵的機器人子系統(tǒng)，包括光密度感知， 基于視覺的機器人控制和移液，可在復(fù)雜的細胞培養(yǎng)過程中實現(xiàn)自主執(zhí)行和決策工作流。 2. 視覺與力反饋協(xié)同控制 視覺伺服系統(tǒng)：通過 Intel RealSense D435i 相機實時定位 96 孔板與移液管尖端，利用 FastSAM 算法分割目標，結(jié)合 Canny 邊緣檢測實現(xiàn)亞像素級定位，閉環(huán)控制移液管插入精度。 力引導(dǎo)吸頭更換：利用 Franka 機械臂關(guān)節(jié)扭矩傳感器，通過螺旋搜索策略感知接觸力，實現(xiàn)移液管與吸頭的精準對接，成功率達 100%。 圖4：感知流程概述。利用安裝在機器人末端執(zhí)行器上的向下拍攝的攝像頭獲取原始圖像。對原始圖像進行預(yù)處理，包括高斯模糊、歸一化和對比度調(diào)整。使用FastSAM（一種圖像分割模型）對移液管和孔板進行分割，分別以點提示和文本提示作為輸入。采用Canny算法將圖像轉(zhuǎn)換為二值邊緣表示，并利用從孔板分割中得到的掩碼進行掩碼處理。通過包圍矩形得到矩形的四個角點，利用這些角點計算出一個投影變換，將其變換到一個模板孔板。將該變換應(yīng)用于模板孔板上的孔位，以獲取每個孔在圖像中的坐標。利用移液管尖端的分割掩碼確定移液管尖端的坐標�？稍趫D像坐標系中計算出移液管尖端與目標孔之間的誤差向量，并通過反饋控制器利用該向量控制機器人運動。 3. 光密度感知與生長監(jiān)測 基于 RGB 圖像的光密度分析，將圖像轉(zhuǎn)換為 HSV 色彩空間，提取值通道亮度變化，構(gòu)建細胞生長曲線。 結(jié)合動態(tài)閾值判斷細胞飽和狀態(tài)，自動觸發(fā)傳代決策，替代傳統(tǒng)人工顯微鏡觀察。 圖5：孔生長監(jiān)測演示。RoboCulture隨時間捕捉孔的圖像，提取 值通道的大小作為圖像亮度的度量。跟蹤光密度的變化以生成 增長曲線。 實驗設(shè)計與驗證：從單任務(wù)到全流程自動化 1. 單任務(wù)精度驗證 移液準確性：通過 ISO 8655-6重量測試，Digital Pipette v2在1-10 mL量程內(nèi)，標準誤差與隨機誤差均低于國際標準限值。例如10mL測試中，平均輸送體積9.9909mL，隨機誤差僅0.10%。 吸頭插入成功率：在96孔板隨機位置測試中，移液管尖端插入成功率達99%，完美插入率（無重試）為92.4%。 圖6：移液管尖端裝配的螺旋搜索過程演示。初始時，移液管管身與新尖端處于未對齊狀態(tài)。以移液管管身的起始位置為中心，在XY平面上生成一系列螺旋形路徑點軌跡，機器人驅(qū)動移液管沿該軌跡移動，同時將移液管壓向新尖端的表面。在此過程中，對機器人末端執(zhí)行器所受的作用力進行實時監(jiān)測，當監(jiān)測到作用力顯著下降時，最終將移液管下壓裝入尖端。 表I：數(shù)字移液器v2重量測試。將重量測試得到的標準誤差ηs和隨機誤差Cv與ISO 8655-6規(guī)定的最大允許誤差進行比較。 表II：移液管尖端插入實驗結(jié)果。針對孔板的每一個隨機位置，機器人均按照96個孔位的隨機順序執(zhí)行移液管插入操作。若機器人在嘗試插入移液管時，移液管壓在孔邊緣而未能插入，但因作用力增大觸發(fā)了另一次插入嘗試且最終成功，則計為一次重試。每個孔位最多允許重試三次，超過三次則判定為插入失敗。重試次數(shù)和失敗次數(shù)均以96次插入操作為基數(shù)進行統(tǒng)計，并據(jù)此計算成功率和首次成功率，其中成功率包含重試后成功的插入情況，而首次成功率僅統(tǒng)計首次嘗試即成功的試驗。 2. 全流程自主實驗 酵母培養(yǎng)實驗設(shè)計：在96孔板中設(shè)置3組初始濃度（50/30/10 百萬細胞 /mL），機器人每5分鐘監(jiān)測光密度，當檢測到飽和時自動執(zhí)行傳代：將飽和孔內(nèi)容物分為3份，注入新孔并補充培養(yǎng)基。 圖7：酵母生長實驗流程。a) 展示實驗前后孔板配置，含不同初始濃度和分液方式，每組樣本分至孔板下方三行，原孔位棄用。b) 生長監(jiān)測：定期拍孔內(nèi)圖像提取生長曲線，指導(dǎo)實驗。c) 移液管裝尖端：用力反饋技術(shù)可靠裝配新尖端。d) 液體處理：i) 移液管吸培養(yǎng)基；ii) 用視覺伺服控制策略將培養(yǎng)基分至空孔；iii) 從飽和孔吸酵母并分至三個有培養(yǎng)基的孔。e) 移液管拆尖端：移除受污染尖端。 實驗結(jié)果：系統(tǒng)連續(xù)運行15小時，成功完成4次傳代操作。新傳代孔生長曲線與母孔趨勢一致，驗證自動化流程的可靠性。 圖8：y軸表示圖像亮度，它與光學(xué) 各樣本的密度。彩色實線表示三個初始酵母濃度實驗組的生長情況 分別為5000萬、3000萬和1000萬個細胞/mL�；疑珜嵕�表示空白組。虛線 表示3倍稀釋后新孔的生長情況。淡線對應(yīng)于單個重復(fù)的原始圖像值 每組(n=6)，而不透明線顯示每組的滾動平均值(窗口大小為5)。垂直灰色帶標記 分裂發(fā)生的時間點。 3. 對比驗證 與人類操作員對比：在5mL移液任務(wù)中，Digital Pipette v2的體積偏差方差顯著低于人類（p=0.0046），證明機器人操作的穩(wěn)定性優(yōu)勢。 圖9：數(shù)字移液器v2與人工移液器在0.2 mL、1 mL和5 mL體積下的重量比較。進行了Levene檢驗，以比較兩組（數(shù)字移液器v2與人工）之間的差異。 關(guān)鍵成果與突破 技術(shù)創(chuàng)新 首次實現(xiàn)基于通用機械臂的生物實驗全流程自動化，突破傳統(tǒng)龍門系統(tǒng)的靈活性限制。 開發(fā)力反饋驅(qū)動的吸頭更換機制，解決無菌操作中自動化耗材更換的難題。 性能突破 移液精度達 ISO 標準，15 小時實驗中無人工干預(yù)，成功率 99%，遠超商業(yè)液體處理設(shè)備的自主運行時長。 光密度監(jiān)測結(jié)果與板讀數(shù)器高度吻合，證明 RGB 相機可替代專用設(shè)備實現(xiàn)生長動態(tài)追蹤。 科研價值 開源代碼與 CAD 模型（https://ac-rad.github.io/roboculture）支持科研團隊定制開發(fā)，降低實驗室自動化門檻。 模塊化設(shè)計適配 3D 細胞培養(yǎng)等復(fù)雜場景，為類器官研究等前沿領(lǐng)域提供技術(shù)支撐。 結(jié)語 Franka機器人賦能的RoboCulture平臺為生物實驗室自動化提供了智能解決方案。未來，隨著技術(shù)的不斷發(fā)展與完善，RoboCulture有望在更多生物實驗場景中發(fā)揮重要作用，推動科研效率與準確性的進一步提升。 |
回復(fù)此樓» 猜你喜歡
西北工業(yè)大學(xué)民航學(xué)院招博士與碩士復(fù)合材料方向
已經(jīng)有30人回復(fù)
-
PEG-HMDI預(yù)聚體接枝環(huán)氧樹脂以及LNBR的討論
已經(jīng)有11人回復(fù)
-
機械工程論文潤色/翻譯怎么收費?
已經(jīng)有118人回復(fù)
-
廣東工業(yè)大學(xué)精密電子制造技術(shù)與裝備國家重點實驗室劉江文教授課題組招收博士生、博后
已經(jīng)有0人回復(fù)
-
一站式解決工業(yè)環(huán)境氣象監(jiān)測難題：優(yōu)選綜合服務(wù)商型防爆氣象站廠家推薦
已經(jīng)有0人回復(fù)
-
南方科技大學(xué)機械與能源工程系-鄧輝研究員招收2026級博士生
已經(jīng)有0人回復(fù)
-
大連海事大學(xué)輪機學(xué)院博士名額1個
已經(jīng)有41人回復(fù)
-
一志愿 大連理工大學(xué)機械專碩
已經(jīng)有0人回復(fù)
-
26申博-增材制造方向
已經(jīng)有0人回復(fù)
-
南方科技大學(xué)機械與能源工程系-鄧輝研究員招收2026級博士生
已經(jīng)有0人回復(fù)
相關(guān)版塊跳轉(zhuǎn)
我要訂閱樓主 BFT驛站 的主題更新
| 1 | 1/1 | 返回列表 |
| 最具人氣熱帖推薦 [查看全部] | 作者 | 回/看 | 最后發(fā)表 | |
|---|---|---|---|---|
|
[考研]
 0703化學(xué)學(xué)碩 288分
+4
|
旅行中的紫葡萄 2026-03-03 | 4/200 |
|
|---|---|---|---|---|
|
|
[考博] 26申博 求博導(dǎo) +3 | 愛讀書的小帥 2026-02-28 | 5/250 |
|
|
[考研] 085600材料與化工 298 調(diào)劑 +3 | 小西笑嘻嘻 2026-03-03 | 3/150 |
|
|
|
[考研] 283求調(diào)劑 +9 | 鹿沫笙 2026-03-02 | 9/450 |
|
|
|
[考研] 278求調(diào)劑 +3 | 滿天星11_22 2026-03-02 | 3/150 |
|
|
|
[考研] 299求調(diào)劑 +5 | kkcoco25 2026-03-02 | 9/450 |
|
|
|
[考研] 沒上岸的看過來 +3 | tangxiaotian 2026-03-01 | 3/150 |
|
|
|
[考研] 324求調(diào)劑 +4 | wxz2 2026-03-03 | 5/250 |
|
|
|
[論文投稿]
通訊作者寫誰，問題是你意想不到的問題
 15+3
|
阿爾法啊 2026-03-01 | 3/150 |
|
|
|
[考研] 考研復(fù)試調(diào)劑，過國家線的同學(xué)都可報名 +7 | 黑！在干嘛 2026-02-28 | 8/400 |
|
|
|
[考研] 288求調(diào)劑 +3 | 少71.8 2026-03-02 | 5/250 |
|
|
|
[考研]
 高分子化學(xué)與物理調(diào)劑
+6
|
好好好1233 2026-02-28 | 16/800 |
|
|
|
[考研] 一志愿華南理工大學(xué)材料與化工326分，求調(diào)劑 +3 | wujinrui1 2026-02-28 | 3/150 |
|
|
|
[考研] 0856化工專碩求調(diào)劑 +15 | 董boxing 2026-03-01 | 15/750 |
|
|
|
[基金申請] 此成果不能導(dǎo)入原因：元數(shù)據(jù)必填信息不完整，可 進行補充。 +4 | Kittylucky 2026-03-02 | 5/250 |
|
|
|
[考研] 264求調(diào)劑 +4 | 巴拉巴拉根556 2026-02-28 | 4/200 |
|
|
|
[考研] 材料類求調(diào)劑 +11 | wana_kiko 2026-02-28 | 14/700 |
|
|
|
[考研] 化工299分求調(diào)劑 一志愿985落榜 +5 | 嘻嘻(*^ω^*) 2026-03-01 | 5/250 |
|
|
|
[考研] 328求調(diào)劑 +3 | aaadim 2026-03-01 | 5/250 |
|
|
|
[考研] 311求調(diào)劑 +6 | 亭亭亭01 2026-03-01 | 6/300 |
|