現(xiàn)狀分析:
如何構(gòu)建一體化智能人機交互系統(tǒng),方便開展模式識別和機器學(xué)習(xí)等課程,增強實驗課程的趣味性和實用性,是人機交互平臺的難點。
設(shè)計思想:
關(guān)鍵技術(shù):
中國科學(xué)院沈陽自動化研究所(以下簡稱沈自所)成立于1958年,長期從事機器人、智能制造和光電信息技術(shù)相關(guān)的研究。作為中國機器人事業(yè)的搖籃,在中國機器人事業(yè)發(fā)展歷史上創(chuàng)造了二十多個第一,引領(lǐng)中國機器人技術(shù)的研究發(fā)展,解決了國家制造業(yè)發(fā)展一系列重大關(guān)鍵技術(shù)問題。
肌電交互系統(tǒng)的關(guān)鍵問題是意圖解碼的準(zhǔn)確性和穩(wěn)定性。沈自所研發(fā)的智能肌電交互系統(tǒng),基于python語言實現(xiàn)UI交互界面、信號采集和處理、機器人控制的一體化平臺構(gòu)建,方便使用機器學(xué)習(xí)方法進(jìn)行二次開發(fā),為模式識別、信號處理等課程的相關(guān)實驗奠定了良好的基礎(chǔ)。為了加速計算機和人工智能等相關(guān)專業(yè)的基礎(chǔ)理論和實際應(yīng)用的方面人才的培養(yǎng)提供助力。
產(chǎn)品特點
PRODUCT FEATURES
肌電交互系統(tǒng)以肌電假手、二至七自由度機械臂、外骨骼以及智能假肢等機器人為被控對象,并配備簡潔的人機交互界面。采用模塊化設(shè)計理念,具有理實一體、操作簡單、趣味性強、易于擴展等特點,極大的提高師生的參與程度,為實驗室建設(shè)提供多用途、層次豐富、省空間、安全易用、易于擴展的肌電交互系統(tǒng)。
平臺以手勢識別與交互為目的,主要流程包括信號產(chǎn)生、信號采集、信號預(yù)處理、特征提取和模式識別,離線訓(xùn)練的模型用于在線的控制決策上,實現(xiàn)對機器人的控制,從實踐中一步一步加深對肌電識別原理的理解。以交互平臺為擴展,支持機械臂、肌電假手、外骨骼、智能假肢等多樣化機器人控制。以項目開發(fā)為驅(qū)動,強化肌電交互系統(tǒng)的實踐性、實用性和通用性。結(jié)合學(xué)生興趣愛好,選擇合適的交互被控對象,開發(fā)肌電交互小游戲,使學(xué)生達(dá)到理論聯(lián)系實際、活學(xué)活用的培養(yǎng)目標(biāo)。
平臺配備有簡潔的人機交互界面,肌電信號采集、預(yù)處理、離線訓(xùn)練、在線識別通過點擊界面對應(yīng)按鈕即能實現(xiàn)。肌電采集時會顯示動作教學(xué)圖片,指導(dǎo)使用者做出相應(yīng)的動作,并且界面還具備顯示肌電信號的功能,供使用者直觀感受肌電采集過程。
為了增加同學(xué)們的學(xué)習(xí)興趣,肌電交互平臺配備了肌電控制抓取以及剪刀石頭布等互動游戲。其中肌電控制抓取指通過自身肌電信號控制一個六自由度機械臂和肌電假手對物品進(jìn)行抓取與擺放,與工業(yè)生產(chǎn)中設(shè)定軌跡不同的是,此處的抓取與擺放過程完全由自身控制,使同學(xué)們時時刻刻都能感受到操控的樂趣。石頭剪刀布游戲是通過肌電交互系統(tǒng)模仿現(xiàn)實生活中的游戲場景,同學(xué)可以通過石頭剪刀布和肌電假手進(jìn)行實時的互動,增強同學(xué)通過肌電交互的體驗。
在肌電交互系統(tǒng)中,被控對象可以是各式各樣的機器人。目前我們支持二到七自由度的全球主流機械臂(包括ABB、KUKA、UR、Fanuc、愛普生、Yaskawa、大象等等)或自主研發(fā)的機械臂、肌電假手、智能假肢、外骨骼等等,可按需進(jìn)行選擇。以及支持在各系統(tǒng)操作,比如Windows、Linux、Mac等。并支持肌電融合視覺、觸覺進(jìn)行交互式開發(fā)。
實驗內(nèi)容
PRODUCT FEATURES
模式識別
基礎(chǔ)實驗:
高級實驗:
sEMG信號處理:
通過識別肌電信號,操控假手以及機械臂配合來達(dá)到抓取以及擺放物品的目的.如下圖14:
通過肌電交互系統(tǒng)模仿現(xiàn)實生活中的游戲場景,開發(fā)一些互動小游戲,比如石頭剪刀布等
比如通過患者的肌電信號控制智能假肢運動,來達(dá)到患者操控假肢的目的,具體原理如下圖所示