腦控是一種新的控制方法。傳統腦控機器人主要是控制單個機器人完成特定任務，而腦控多機器人協作（MRC）任務是一個有待研究的新課題。本文介紹了參加世界機器人大賽“腦—機接口（BCI）腦控機器人比賽”獲得“創新創意獎”的一個試驗研究，試驗設置了 2 個腦開關，采用基于穩態視覺誘發電位（SSVEP）的 BCI（SSVEP-BCI）控制人形機器人和機械臂完成協作任務。通過 10 名受試者的控制試驗結果表明，通過適當設置腦開關，采用性能優良的 SSVEP-BCI 能夠實現 MRC 任務的有效完成。本研究可望為未來實用化的腦控 MRC 任務系統的研究提供啟發。
引用本文： 張超, 熊馨, 任泓錦, 伏云發. 直接腦控多機器人協作任務研究. 生物醫學工程學雜志, 2018, 35(6): 943-952. doi: 10.7507/1001-5515.201802022 復制
引言
腦控是一種新的控制方法，而直接腦控機器人是腦控與機器人控制交叉融合的一個重要應用[1-3]。科學家和工程學家已認識到，腦—機器人交互是一種新型的人—機交互技術，可能通過腦—機接口（brain-computer interface，BCI）架起人腦生物智能與機器智能之間的橋梁[4]。這方面的探索研究不僅具有重要的腦科學意義，也具有潛在的應用前景。
通常，傳統的腦控機器人主要集中于腦控單個機器人來完成特定任務，例如：腦控智能小車、機械臂、輪椅、仿人型機器人等外部設備[5]。這些試驗研究可用于幫助運動殘障人士控制外部設備或機器人，從而借助于外部設備改善其生活質量，同時相關研究也為正常人開辟了一條人腦與機器人直接關聯的道路。然而，在實際應用中，對于較復雜、需要不同操作系統協作的任務，難以借助單一機器人來完成，而且需要采用直接腦控的方法來進行協調控制，這就需要探究直接腦控多機器人協作（multi-robot cooperation，MRC）來完成任務，這是一個尚待探索的新課題[3]。
在直接腦控 MRC 任務中，為實現多機器人之間的靈活轉換與配合，腦開關的設計是一個需考慮的關鍵因素之一。所謂的腦開關是指通過檢測腦電信號中的特定特征并將其視為控制狀態，以確定系統的開啟或停止的一種控制模式[6]。不僅系統的起停需要用腦開關來控制，多機器人之間的靈活切換也需要腦開關來實現。同時，腦開關的引入還可以大大減少刺激界面中的目標個數，即相對提高指令識別率，可以更好地實現多機器人之間的靈活控制與相互配合。然而，腦開關存在一個重要問題，即其運算分析過程復雜，尚不夠簡便快捷。
此外，從實用性角度出發，在直接腦控 MRC 任務中，需要一種穩定、準確和快速的 BCI 系統。在已有的 BCI 范式中：基于運動想象的 BCI 可分類的類別數有限，單次識別率不高且不穩定，需要一定量的訓練，并存在 BCI 盲的缺陷，其傳輸的比特率也有限[7-8]；基于事件相關電位 P300 的 BCI 雖然可分類目標數多，但往往需要多次疊加來識別，傳輸的比特率也有待提高[9]；相比之下，基于穩態視覺誘發電位（steady-state visual evoked potentials，SSVEP）的 BCI（SSVEP-BCI）不僅可分類目標數多、單次識別率高、傳輸的比特率較高，而且所需訓練次數較少甚至無需訓練，整體效率明顯高于其他 BCI 范式，因此從實用性考慮，SSVEP-BCI 具備了優于其他 BCI 范式的優良特性，這也表明了其更符合腦控 MRC 任務的需要[10]。
為探求有效的腦控 MRC 方法，本文擬采用穩定性、準確性和快速性較好的 SSVEP-BCI 技術，利用性能優良的典型相關分析（canonical correlation analysis，CCA）算法，并創建多個一鍵式 SSVEP 腦開關，實現實時腦控 MRC 作業。本文致力于解決 BCI 面向實際應用中的復雜難題，并可望為未來實用化的腦控 MRC 任務系統提供啟發和思路。
1 材料和方法
1.1 受試者信息
本文試驗共選取 10 名受試者，隨機編號為 S1～S10，其中 6 名男性、4 名女性，年齡介于 22～27 歲之間，健康狀況良好，視力正常（或矯正后正常）。試驗開始前，對每名受試者進行訓練，使其能熟記各指令內容并可達到靈活運用的程度。此外，還教授受試者 SSVEP 相關的理論知識以及注視屏幕的注意事項。所有受試者對試驗研究均知情同意，研究得到昆明理工大學學校道德委員會批準。
1.2 試驗方法設置
1.2.1 試驗研究平臺
如圖 1 所示為腦控 MRC 任務試驗研究平臺，包括人形機器人、機械臂、SSVEP 刺激呈現界面、計算機、視頻反饋裝置（Ipad）、腦電信號采集裝置。本試驗所用腦電信號采集裝置為 Neusen.W（32 通道，博睿康科技（常州）股份有限公司，中國），由腦電帽、腦電信號放大器（無線）及無線路由器三部分構成。腦電帽導聯位置符合國際 10-20 標準，記錄電極為 Pz、P3、P4、PO3、PO4、PO7、PO8、O1、Oz 和 O2，參考電極為 CPz，接地電極為 FPz；調整電極阻抗在 5 kΩ 以下，采樣頻率設置為 250 Hz。本試驗所用機器人包括機械臂（LSC-6，深圳市幻爾科技有限公司，中國）以及人形機器人（Super-M，北京智能佳科技有限公司，中國）。
圖1
腦控 MRC 任務試驗研究平臺
Figure1.
The experimental research system on brain-controlled MRC task
1.2.2 試驗策略
試驗選用 SSVEP 觸發腦電信號的刺激范式，利用矩陣實驗室軟件 Matlab R2015a（MathWorks Inc.，美國）中 Psychtoolbox 工具箱實現。所用液晶顯示屏（呈現刺激界面）刷新頻率為 60 幀/s，如圖 2 所示，界面呈現的刺激目標為 12 個閃爍方塊，每個方塊有其特定閃爍頻率，對應的分別為：8、10、8.5、13、9、11、9.5、14、13.5、10.5、15、12 Hz。
圖2
SSVEP 刺激范式
Figure2.
The stimulation of SSVEP
為有效完成腦控 MRC 任務，試驗對圖 2 中的 12 個刺激目標（閃爍方塊）分別設定對應的控制指令，如表 1 所示。人形機器人利用指令（包括 2 個腦開關指令）可以控制運動方向【左轉 45°、前進一步（5 cm）、右轉 45°、左跨一步（5 cm）、后退一步（5 cm）、右跨一步（5 cm）】以及執行特定動作（下蹲、起立）。其中，2 個腦開關指令為：① 總控制腦開關，用于控制整個試驗進程的開啟與停止；② 轉換腦開關，用于實現多機器人（控制對象）之間相互切換。機械臂利用指令（包括 1 個腦開關指令）可以實現整體左轉 45°、整體恢復中立、整體右轉 45°、后臂前傾 45°、后臂復位、中臂前傾 45°、中臂復位、前臂前傾 45°、前臂復位、手爪張開和手爪咬合等 11 個動作，其中腦開關指令為轉換腦開關，用于轉換控制對象。人形機器人和機械臂均采用藍牙與試驗研究平臺相連接。
表1
腦控多機器人指令
Table1.
The instructions for brain-controlled multi-robot
在 SSVEP-BCI 的研究中，通常有同步和異步兩種控制方式。在同步方式下，受試者不能自己掌控試驗時間，必須以計算機/系統的控制節奏為導向，配合其執行操作。然而，人們在實際應用中往往需要選擇自定節奏的控制方式，即異步方式，也就是說，在異步 SSVEP-BCI 系統中，受試者可以按照自己的意愿及控制需求，實現在線實時地對系統進行操作，其時間由自己掌握。本研究實現的是 MRC 任務，利用人形機器人與機械臂協同合作將貨物運送至指定地點，即需實現多機器人之間的相互合作，完成單個機器人不能完成的復雜任務。為使腦控 MRC 任務更為人性化并貼近實際應用，因此本研究采用異步 SSVEP-BCI 方式，受試者可自定節奏地對系統進行控制。在該方式中，采用在線異步刺激，即界面不間歇閃爍，無需觸發脈沖，時間窗長設定為 2 s，每 0.5 s 對數據進行一次分析得出最大相關系數，當最大相關系數大于（或等于）設定的閾值時，對應的指令被存儲為一個待定指令，當最大相關系數不滿足閾值條件時，將被存儲為一個空指令。這里采用三指令判定原則，即只有當存儲的 3 個連續的待定指令相同時，系統才會判定其為一個目標指令并輸出。由此可知，系統識別并輸出一個目標指令的時間為 1.5 s。
一般而言，閾值是在線異步 SSVEP-BCI 系統成熟的標志，是區分受試者處于任務狀態與非任務狀態的關鍵。在本研究中，當腦電信號經 CCA 算法處理后得出最大相關系數，首先會將其與閾值進行對比，若值大于（或等于）閾值，則系統認定受試者為任務狀態，那么最大相關系數對應的指令將被存儲為一個待定指令，若值沒有達到閾值標準，則系統認定受試者為非任務狀態，此時將存儲一個空指令。另外，本研究在既定試驗策略下對 SSVEP-BCI 系統調試發現，在閾值的選取范圍（0～1）內：當選取閾值為 0.5（或小于 0.5）時，系統會出現指令頻發的狀況且錯誤率偏高；當閾值為 0.7（或大于 0.7）時，雖然指令的錯誤率很低，但識別指令的時間會延長很多；只有當閾值為 0.6 時，能更好地滿足系統的要求，因此本文根據試驗調試將閾值設定為 0.6。
當識別指令后，系統會播報語音（“滴”聲后報出具體指令/動作），受試者在“滴”聲后應立即停止注視，觀察反饋視頻中機器人動作，進而規劃下一個指令的實施，此處“滴”聲持續時間約 0.2 s。另外，為防止指令連發，以及考慮到機器人執行指令所需時間，系統設定為輸出一個目標指令后，停止 1 s 接收指令數據。
此外，本研究中引入了實時視頻反饋環節，在刺激屏幕下方增加一個顯示屏，實時反饋 MRC 任務的執行情況，受試者可根據現場情況自行調整路線及控制策略，該實時視頻反饋有助于受試者完成腦控 MRC 任務。
1.3 腦開關的設計
用腦電信號控制的開關在 BCI 中具有重要的作用及意義[11-12]。本試驗旨在探索腦控 MRC 任務，為貼合實際應用，符合未來用戶對 MRC 任務的需求，實現多機器人之間控制的相互轉換，特設計出兩個實用、便捷且易實現的腦開關，即一鍵式 SSVEP 腦開關切換，包括：總控制腦開關與轉換腦開關。兩個開關均為基于 SSVEP 設置的，當受試者注視屏幕上對應的腦開關閃爍方塊時，其腦電信號中會出現與刺激相應的頻率成分或倍頻成分，通過計算機對受試者腦電信號分析，可以識別出相對應的腦開關指令，進而有效控制完成 MRC 任務。
總控制腦開關控制整個試驗的開始和結束，識別成功后，系統語音播報“試驗開始/試驗結束”，且只有在試驗開始后，受試者才可以對任務系統進行試驗操作。而在試驗開始前及結束后，系統只能識別總開關指令，不接收其余指令。此腦開關的設計不僅可大大減少對系統的誤操作，而且使得受試者掌握了試驗的主控權，可以自主地控制試驗流程。
轉換腦開關用于轉換控制對象，識別成功后自動切換控制對象，系統語音播報“機器人/機械臂”提醒受試者停止注視刺激目標。轉換腦開關的設計使得受試者可隨意在多機器人之間跳轉，實現對每個控制對象的靈活控制，其過程更加人性化，也更貼近于實際應用。
綜上所述，本研究設計的兩個腦開關不僅可以“隨心所欲”地控制試驗進程，還可以實現多機器人之間穩定、準確和快速的切換，使得腦控 MRC 任務更為方便、可靠和高效。
1.4 優良的 SSVEP-BCI 算法
CCA 算法是利用兩個綜合變量之間相關關系來表現兩組指標之間整體相關程度的多元統計分析方法[13]。將 CCA 算法應用到 SSVEP 的分析之中，是根據 SSVEP 的頻率與刺激的固定頻率相同或成倍數這一特性來實現多分類的[14]。兩組多變量分別為X和Y，首先定義X∈RC×N 為腦電數據的多通道信號，其中 C 為通道數，N 為每個通道的采樣點數；定義Y∈R2Nh×N 為每個刺激頻率對應的參考信號，其計算如式（1）所示：
 |
其中，f 為刺激頻率，S 為腦電信號采樣頻率，Nh 是 f 的諧波個數，構建了基于基頻以及 Nh 倍頻正余弦向量。刺激范式中的刺激頻率共有 12 個：f1，f2，…，f12，分別對應于不同的接口命令 Qi。通過測量 C 個通道中的腦電信號來監測用戶的腦電活動。在頻率 fi 處檢測到最強的腦電活動被解釋為用戶選擇相應命令 Qi 的意圖。
CCA 算法通過尋找一對系數矩陣（W和V），使得經過x = WTX與y = VTY變換后，兩組向量x和y相關性最好。兩組向量的相關性計算如式（2）所示：
 |
SSVEP 的識別問題實質上是對采集到的腦電信號主要頻率的判斷。分類過程如圖 3 所示，通過 CCA 算法分別計算采集到的腦電信號與 12 個頻率成分不同的參考信號之間的典型相關系數 ρ1，ρ2，...，ρ12，比較這 12 個典型相關系數，得到最大系數 ρk，當 ρk 大于（或等于）設定閾值時，其對應的頻率即是受試者所注視的目標的頻率。如式（3）所示，相關系數最大者對應的頻率 f 即為目標字符的刺激頻率（以符號 ftarget 表示）。
圖3
CCA 用于 SSVEP 分類示意圖
Figure3.
CCA for SSVEP classification diagram
 |
近年來，關于 BCI 的研究中，應用于 SSVEP-BCI 的算法主要有：CCA 算法、功率譜密度、套索算法、頻率幅值、最小能量組等[15-18]。其中 CCA 算法有較多的優勢，因其快速、高效、高信噪比等特點，應用最為廣泛。CCA 算法是一種針對頻率多分類的高效識別方法，可以快速準確地判斷出刺激頻率大小。自 2009 年 Bin 等[14]首次提出了將 CCA 算法應用到 SSVEP 腦電信號的檢測以來，這種方法就很快得到推廣，與傳統分析方法相比，CCA 算法有較多的優勢，不僅有較高的適用性、更好的信噪比，還具有較低的計算復雜度，這往往決定了在線 BCI 技術的可行性，同時 CCA 算法還考慮了 SSVEP 腦電信號的諧波特性，這是很多方法難于做到的，此種種優勢都體現出其應用的先進性。故而，這種方法通常被認為是一種性能優良的、適用于 SSVEP-BCI 的分類算法。
1.5 試驗過程
1.5.1 試驗準備階段
在準備階段，相關人員會教授受試者試驗任務、SSVEP 相關的理論基礎知識以及試驗注意事項等內容，另外，受試者需熟記各刺激目標對應的指令內容，并達到可靈活運用的程度，熟悉了試驗內容及指令后，每名受試者可進行 3～5 次預試驗（初步訓練腦控 MRC 任務試驗）來熟悉搭建的試驗研究平臺。
1.5.2 指令測試試驗
為探索此試驗系統對于腦電信號采集、目標指令輸出的準確性、穩定性與快速性，同時驗證 SSVEP 刺激界面及其刺激頻率的規劃排布的有效性，在正式試驗（腦控 MRC 任務）之前，首先進行指令測試試驗，試驗內容與形式較 MRC 任務要簡單且易于開展。具體試驗流程為：首先計算機驅動 SSVEP-BCI 程序，顯示器呈現 SSVEP 刺激界面，受試者端坐于試驗桌前，正面朝向刺激界面，此時 12 個刺激目標不間歇閃爍，受試者在調整好自身狀態后，由工作人員指揮開始指令測試試驗，首先注視第一個刺激目標，受試者的腦電信號將經無線路由發送至計算機，隨后計算機對接收到的腦電數據進行分析，當識別出目標指令后，以“滴”聲的形式對受試者提醒，此為一次注視結束，受試者應立即停止注視，轉為注視下一個刺激目標，直到對 12 個刺激目標全部注視完畢，為一次完整試驗，該試驗重復 3 次。
指令測試試驗采用 1.2 節中所描述的 SSVEP-BCI 系統，其不同于 MRC 任務試驗之處為省去了控制多機器人的環節及視頻反饋裝置，另外，對于系統在識別指令后的語音播報，考慮到錯誤指令的播報會對受試者存在心理影響，故而簡化為“滴”聲，提醒受試者當前注視結束。試驗中注視刺激目標的順序為：從左到右、從上到下依次注視刺激界面中的 12 個刺激目標，此為一次試驗順序，將會識別出 12 個目標指令，試驗總計 3 次，則受試者共識別出 36 個目標指令。試驗全程有工作人員計時，并在試驗結束后統計指令信息。
1.5.3 腦控 MRC 任務試驗
指令測試試驗結束 15 min 后開始腦控 MRC 任務試驗。
如圖 4 所示為腦控 MRC 任務路徑。試驗開始時，系統默認控制對象為人形機器人，受試者首先觸發（開啟）總控制腦開關，機器人從起點出發，到達指定地點（取貨地點）后，執行下蹲動作（為裝貨做準備）；之后，通過轉換腦開關將控制對象切換為機械臂，由機械臂將物品（木塊）夾起并放置在機器人背后的背簍內；隨后，再進行控制對象的轉換，機器人起立，將物品運至指定地點（終點），再一次觸發（關閉）總控制腦開關，以此完成物品的運送。
圖4
腦控 MRC 任務路徑
Figure4.
The brain-controlled MRC task runway
腦控 MRC 任務的過程如下：首先計算機驅動 SSVEP-BCI 程序，顯示器呈現 SSVEP 刺激界面，多機器人（控制對象）均通過藍牙與計算機相連接；按下空格鍵后，SSVEP 刺激范式開始不間歇閃爍，受試者開啟總控制腦開關后，試驗開始計時。試驗過程中受試者根據反饋視頻，對機器人進行實時控制（默認初始控制對象為人形機器人），受試者選擇并注視期望指令對應的刺激目標，腦電信號將經無線路由器發送至計算機。隨后計算機對接收到的腦電數據進行分析，并將識別結果對應的控制指令首先以聲音的形式進行播報提醒，同時通過藍牙串口將指令發送至控制對象（多機器人），從而實現對多機器人的實時控制與策略調整。試驗過程中，受試者會根據反饋視頻拍攝的多機器人的執行情況及所處位置做出適當的路徑和控制規劃的調整，從而一步步地控制多機器人完成指定協同任務。
試驗過程中，工作人員會對整個試驗過程進行錄像，每次試驗結束后，組織受試者觀看錄像并分辨出錯誤的指令。此外，另一名工作人員對受試者相關的試驗數據進行記錄，包括：試驗耗時、碰撞障礙物次數等。
2 試驗結果
對于本文所提出的直接腦控 MRC 任務研究平臺，分別進行了指令測試試驗與腦控 MRC 任務試驗。如表 2 所示，呈現了 10 名受試者的指令測試試驗（每人 3 次試驗）的用時、單指令平均觸發時間、指令準確率、最大值、最小值、均值 ± 標準差。
表2
腦控系統指令測試試驗情況
Table2.
The instruction recognition test of brain-controlled system
每名受試者經過熟悉指令與初步的訓練后，在既定的控制策略下對多機器人均進行了 3 次控制試驗。如表 3 所示，呈現了 10 名受試者腦控 MRC 任務的試驗用時、總指令數、錯誤指令數、指令準確率、碰觸障礙次數（即碰壁次數）、腦開關觸發次數、腦開關錯誤觸發次數、腦開關準確率、最大值、最小值、均值 ± 標準差（或均值）。
表3
受試者腦控 MRC 任務試驗
Table3.
The experiment of brain-controlled MRC task
3 討論
BCI 與機器人學的一個重要交叉融合是直接腦控機器人，這一技術有望實現人腦—機器人之間的直接交互，更進一步的是促進腦—機器人的智能交互融合。傳統的研究大多是腦控單個機器人完成特定任務，然而真實場景的應用往往涉及多個機器人共同協作完成任務。為此，直接腦控 MRC 是一個有待研究的新課題，尚需深入探索，相關研究必然具有一定的科學意義和潛在的應用前景[19]。
直接腦控 MRC 任務要求 BCI 范式穩定、準確和實時，才能安全、可靠和高效地完成任務。在若干 BCI 范式中，本文選用性能優良的 SSVEP-BCI 范式，其在實時控制與應用方面，具備了其他范式無可比擬的優勢。在該范式中，人眼注視特定頻率的視覺刺激時，受試者大腦視覺皮層會即時出現一個與刺激頻率相關的響應[20-21]。與 BCI 中的運動想象和 P300 范式相比，SSVEP 具有高信噪比，能夠可靠和快速地進行分類，受試者也無需大量的訓練[22-24]。由于 SSVEP-BCI 范式可以提供大腦和計算機之間穩定、準確和實時的通信，故有利于提供靈活多樣的腦控機器人命令。
基于 SSVEP-BCI 范式，本試驗為腦控人形機器人的運動規劃了 8 個指令：運動方向【左轉 45°、前進一步（5 cm）、右轉 45°、左跨一步（5 cm）、后退一步（5 cm）、右跨一步（5 cm）】和特定動作（下蹲、起立），分別與刺激目標 TL \、UP ^與 TR ^、HQ /、HF <、ZQ v 與 ZF v、QQ >、QF D、ZK I 相對應；為腦控機械臂規劃了 11 個指令：整體左轉 45°、整體恢復中立、整體右轉 45°、后臂前傾 45°、后臂復位、中臂前傾 45°、中臂復位、前臂前傾 45°、前臂復位、手爪張開和手爪咬合，分別與刺激目標 TL \、UP ^、TR ^、HQ /、HF <、ZQ v、ZF v、QQ >、QF D、ZK I、ZY ?相對應。
在解碼 SSVEP 刺激目標的若干算法中，CCA 算法由于其高效、魯棒且實現簡單等特點被廣泛應用于 SSVEP-BCI 系統中。CCA 算法能夠使 SSVEP 腦電信號和刺激頻率間的相關系數最大化，故而在 SSVEP 腦電信號的頻率識別方面具有很高的準確率，另外，相比于其他常規算法（功率譜密度、頻率幅值、套索算法、最小能量組等），CCA 算法所具備的先進性不僅體現在具有高適用性、高信噪比、分類精度高等優點，還體現在計算時考慮了 SSVEP 腦電信號的諧波特性，這是很多方法無法顧及的[14-18]。除此之外，CCA 算法還具有較低的計算復雜度，這就意味著 CCA 算法所需的計算成本低，其運算更適用于在線實時 SSVEP-BCI 控制系統。綜上，本研究選用 CCA 算法計算腦電信號與特定刺激頻率相關性最大值，從而有效識別出受試者的注視意圖[25]。
從表 3 所示的 10 名受試者腦控 MRC 任務完成情況可知，系統整體平均用時為（442.4 ± 102.6） s，所用指令總數為（52.4 ± 5.15）個，錯誤指令為 1.53 個，指令識別準確率為 94.93% ± 5.06%。在試驗過程中，機器人碰撞障礙物的次數（即碰壁次數）為 0.6 次；設計的總控制腦開關觸發指令數為 2.2 次，錯誤觸發次數為 0.1 次，準確率達到 97.5% ± 7.5%；轉換腦開關（轉換控制對象）觸發指令數為 2.47 次，錯誤觸發次數為 0.23 次，準確率達到 95.97% ± 10.46%。綜合試驗結果表明，基于 SSVEP-BCI 系統的 CCA 算法，可以穩定、準確和高效地完成腦控 MRC 任務，并驗證了總控制腦開關控制整個試驗進程的高效性以及轉換腦開關在多機器人之間切換的穩定性及其精度。
此外，本研究采用在線實時異步 SSVEP-BCI 方式對多機器人進行控制，由受試者決定發出指令的時間。與同步 SSVEP-BCI 方式相比，異步方式的主要優勢是受試者自定節奏進行控制，這種方式更貼近于實際應用，如控制輪椅運動、控制機器人完成任務等[26]。由表 2 腦控系統的指令測試試驗結果可知，3 次指令測試的平均指令識別準確率分別為 99.17% ± 2.5%、98.33% ± 3.33%、95.83% ± 5.59%，識別目標指令高效而準確，驗證了此試驗系統對于腦電信號采集、目標指令輸出的準確性、穩定性與快速性，也反映出 SSVEP 刺激界面及其刺激頻率的規劃排布的有效性。異步方式的實現是 BCI 技術實用化的關鍵之一，Ramli 等[27]采用有限狀態機，以腦電信號與眼電信號相混合來異步導航輪椅，準確率達到 97.88%。Merino 等[26]在異步 SSVEP-BCI 中采用 CCA 算法相關系數的似然比檢驗，結果表明比支持向量機分類器在檢測錯誤率方面有很大的改進。本研究分析 SSVEP 數據時，利用滑動時間窗（設定為 2 s），每 0.5 s 對數據分析一次，得到最大相關系數，當最大相關系數大于（或等于）設定的閾值（0.6）時，對應的指令被存儲為一個待定指令，當最大相關系數不滿足閾值條件時，將被存儲為一個空指令。這里采用三指令判定原則，即只有當存儲的 3 個連續的待定指令相同時，系統才會判定其為一個目標指令并輸出。由此判定原則可知，系統識別并輸出一個目標指令需 1.5 s。另外，為有效防止指令連發問題，以及考慮到機器人執行指令所用時間，本試驗設定每次接收到一條輸出指令后，停止 1 s 接收數據，該方法提高了系統指令的正確率以及腦控多機器人協作系統的高效性。
為實現腦控 MRC 完成任務，除了異步 SSVEP-BCI 方式，本研究另設置了兩個一鍵式 SSVEP 腦開關，包括總控制腦開關與轉換腦開關。總控制腦開關可隨時開始/停止（或暫停）系統的試驗進程，可確保系統的安全性、可靠性和穩定性；轉換腦開關可平穩地實現多機器人（控制對象）之間的切換。兩個腦開關均為基于 SSVEP 而設計，這意味著兩者都有 SSVEP 所具有的優勢，其穩定、準確和快速等特點是幾種無創 BCI 中較為突出的，而且這種腦開關的實現更為方便快捷。另外，盡管腦控開關的設計與其余任務在刺激參數的設置上沒有本質的區別，但是在功能映射上卻是不同的，具體體現在：腦開關主要是實現任務系統的啟動與停止（或暫停任務的執行），特別是實現控制對象的轉換，這對于完成協作任務起著至關重要的作用，而其他 SSVEP 按鈕在功能映射上是實現對任務系統中各個機器人的具體功能（其余任務）控制。因此綜上所述，在構建直接腦控 MRC 任務系統中，本研究所設計的腦開關展現出了其獨特優勢。
由表 3 試驗結果可知，兩個腦開關指令的準確率分別為 97.5% ± 7.5% 和 95.97% ± 10.46%，這表明所設定的一鍵式 SSVEP 腦開關識別率高、穩定性好，能方便快捷地實現所需功用。目前已有若干對腦開關的研究，Liu 等[28]設定了一種腦切換模式，在這種模式下需要用戶緊盯刺激目標，其控制方式為同步方式，缺乏靈活性，檢測腦開關指令需約 15 s，且實現過程較為復雜。本研究采用一鍵式 SSVEP 腦開關，受試者可以自定節奏，隨時切換控制對象，腦開關指令觸發時間最少 1.5 s 觸發，且控制精度更高，腦開關的實現也更為方便快捷。Spyrou 等[29]采用多預測組合模型和獨立于受試者（subject independent，SI）的分類模型相結合的方法實現腦開關，對于訓練和保持數據集，同步準確率分別為 86% 和 85%，而異步準確率僅為 69% 和 66%。Blokland 等[30]采用腦電信號和功能性近紅外信號的兩種信號組合系統來改善腦開關性能，準確率提高至 79%，該腦開關的實現相對復雜。Lim 等[31]基于 SSVEP 利用彩色視覺刺激設計了一種緊急呼叫系統，其目的是驗證 SSVEP 腦開關的實用性。Pan 等[32]提出了基于偽密鑰的方法來區分基于異步 SSVEP 腦開關的控制狀態和空閑狀態，達到開啟/關閉系統的效果，作用相當于本研究中的總控制腦開關。與上述研究相比較，本試驗所提出的一鍵式 SSVEP 腦開關在快速性、穩定性、準確性方面表現出良好的性能。
綜上所述，對于直接腦控 MRC 任務，本文所提試驗方案及其腦開關的設計有效可行。也需要指出，本試驗的腦控 MRC 任務不同于控制虛擬機器人，在腦控過程中需要受試者結合現場情況及時做出策略調整，如遇地面不平、地面摩擦情況改變等可能影響機器人的導航走向，又或者由于貨物的特性會引起機械臂的夾取問題等。
4 結束語
本文針對直接腦控 MRC 任務這一新課題進行試驗研究。為實現這一任務，選用穩定性好、準確性高和反應靈敏的多指令 SSVEP-BCI 范式，并采用性能優良的 CCA 算法識別目標刺激；為面向實際應用，采用異步方式的 SSVEP-BCI，以方便受試者自定節奏進行腦控機器人操作；為確保系統的安全、可靠性以及機器人之間的協作性，設置了兩個一鍵式 SSVEP 腦開關：① 是總控制腦開關，以控制系統的啟動/停止；② 是轉換腦開關（切換控制對象），以在機器人之間靈活切換。本試驗研究表明了直接腦控 MRC 任務的可行性，所提方法可望為未來實用化的腦控 MRC 任務系統提供啟示。
在本研究的基礎上，本課題組計劃未來可開展：① 采用混合 BCI 范式設計新的控制策略，如有效結合 SSVEP 與運動想像范式，進一步提高腦控 MRC 任務系統的性能；② 尋找并優化更為高效的指令識別算法，提高準確率；③ 進一步優化 SSVEP 刺激范式，減輕受試者的視覺疲勞，提高其舒適度。
注：世界機器人大賽 BCI 腦控機器人大賽獲獎情況說明（“創新創意獎”）
http://www.worldrobotconference.com/cn/yqs/BCInaokongjiqirendasai/
引言
腦控是一種新的控制方法，而直接腦控機器人是腦控與機器人控制交叉融合的一個重要應用[1-3]。科學家和工程學家已認識到，腦—機器人交互是一種新型的人—機交互技術，可能通過腦—機接口（brain-computer interface，BCI）架起人腦生物智能與機器智能之間的橋梁[4]。這方面的探索研究不僅具有重要的腦科學意義，也具有潛在的應用前景。
通常，傳統的腦控機器人主要集中于腦控單個機器人來完成特定任務，例如：腦控智能小車、機械臂、輪椅、仿人型機器人等外部設備[5]。這些試驗研究可用于幫助運動殘障人士控制外部設備或機器人，從而借助于外部設備改善其生活質量，同時相關研究也為正常人開辟了一條人腦與機器人直接關聯的道路。然而，在實際應用中，對于較復雜、需要不同操作系統協作的任務，難以借助單一機器人來完成，而且需要采用直接腦控的方法來進行協調控制，這就需要探究直接腦控多機器人協作（multi-robot cooperation，MRC）來完成任務，這是一個尚待探索的新課題[3]。
在直接腦控 MRC 任務中，為實現多機器人之間的靈活轉換與配合，腦開關的設計是一個需考慮的關鍵因素之一。所謂的腦開關是指通過檢測腦電信號中的特定特征并將其視為控制狀態，以確定系統的開啟或停止的一種控制模式[6]。不僅系統的起停需要用腦開關來控制，多機器人之間的靈活切換也需要腦開關來實現。同時，腦開關的引入還可以大大減少刺激界面中的目標個數，即相對提高指令識別率，可以更好地實現多機器人之間的靈活控制與相互配合。然而，腦開關存在一個重要問題，即其運算分析過程復雜，尚不夠簡便快捷。
此外，從實用性角度出發，在直接腦控 MRC 任務中，需要一種穩定、準確和快速的 BCI 系統。在已有的 BCI 范式中：基于運動想象的 BCI 可分類的類別數有限，單次識別率不高且不穩定，需要一定量的訓練，并存在 BCI 盲的缺陷，其傳輸的比特率也有限[7-8]；基于事件相關電位 P300 的 BCI 雖然可分類目標數多，但往往需要多次疊加來識別，傳輸的比特率也有待提高[9]；相比之下，基于穩態視覺誘發電位（steady-state visual evoked potentials，SSVEP）的 BCI（SSVEP-BCI）不僅可分類目標數多、單次識別率高、傳輸的比特率較高，而且所需訓練次數較少甚至無需訓練，整體效率明顯高于其他 BCI 范式，因此從實用性考慮，SSVEP-BCI 具備了優于其他 BCI 范式的優良特性，這也表明了其更符合腦控 MRC 任務的需要[10]。
為探求有效的腦控 MRC 方法，本文擬采用穩定性、準確性和快速性較好的 SSVEP-BCI 技術，利用性能優良的典型相關分析（canonical correlation analysis，CCA）算法，并創建多個一鍵式 SSVEP 腦開關，實現實時腦控 MRC 作業。本文致力于解決 BCI 面向實際應用中的復雜難題，并可望為未來實用化的腦控 MRC 任務系統提供啟發和思路。
1 材料和方法
1.1 受試者信息
本文試驗共選取 10 名受試者，隨機編號為 S1～S10，其中 6 名男性、4 名女性，年齡介于 22～27 歲之間，健康狀況良好，視力正常（或矯正后正常）。試驗開始前，對每名受試者進行訓練，使其能熟記各指令內容并可達到靈活運用的程度。此外，還教授受試者 SSVEP 相關的理論知識以及注視屏幕的注意事項。所有受試者對試驗研究均知情同意，研究得到昆明理工大學學校道德委員會批準。
1.2 試驗方法設置
1.2.1 試驗研究平臺
如圖 1 所示為腦控 MRC 任務試驗研究平臺，包括人形機器人、機械臂、SSVEP 刺激呈現界面、計算機、視頻反饋裝置（Ipad）、腦電信號采集裝置。本試驗所用腦電信號采集裝置為 Neusen.W（32 通道，博睿康科技（常州）股份有限公司，中國），由腦電帽、腦電信號放大器（無線）及無線路由器三部分構成。腦電帽導聯位置符合國際 10-20 標準，記錄電極為 Pz、P3、P4、PO3、PO4、PO7、PO8、O1、Oz 和 O2，參考電極為 CPz，接地電極為 FPz；調整電極阻抗在 5 kΩ 以下，采樣頻率設置為 250 Hz。本試驗所用機器人包括機械臂（LSC-6，深圳市幻爾科技有限公司，中國）以及人形機器人（Super-M，北京智能佳科技有限公司，中國）。
圖1
腦控 MRC 任務試驗研究平臺
Figure1.
The experimental research system on brain-controlled MRC task
1.2.2 試驗策略
試驗選用 SSVEP 觸發腦電信號的刺激范式，利用矩陣實驗室軟件 Matlab R2015a（MathWorks Inc.，美國）中 Psychtoolbox 工具箱實現。所用液晶顯示屏（呈現刺激界面）刷新頻率為 60 幀/s，如圖 2 所示，界面呈現的刺激目標為 12 個閃爍方塊，每個方塊有其特定閃爍頻率，對應的分別為：8、10、8.5、13、9、11、9.5、14、13.5、10.5、15、12 Hz。
圖2
SSVEP 刺激范式
Figure2.
The stimulation of SSVEP
為有效完成腦控 MRC 任務，試驗對圖 2 中的 12 個刺激目標（閃爍方塊）分別設定對應的控制指令，如表 1 所示。人形機器人利用指令（包括 2 個腦開關指令）可以控制運動方向【左轉 45°、前進一步（5 cm）、右轉 45°、左跨一步（5 cm）、后退一步（5 cm）、右跨一步（5 cm）】以及執行特定動作（下蹲、起立）。其中，2 個腦開關指令為：① 總控制腦開關，用于控制整個試驗進程的開啟與停止；② 轉換腦開關，用于實現多機器人（控制對象）之間相互切換。機械臂利用指令（包括 1 個腦開關指令）可以實現整體左轉 45°、整體恢復中立、整體右轉 45°、后臂前傾 45°、后臂復位、中臂前傾 45°、中臂復位、前臂前傾 45°、前臂復位、手爪張開和手爪咬合等 11 個動作，其中腦開關指令為轉換腦開關，用于轉換控制對象。人形機器人和機械臂均采用藍牙與試驗研究平臺相連接。
表1
腦控多機器人指令
Table1.
The instructions for brain-controlled multi-robot
在 SSVEP-BCI 的研究中，通常有同步和異步兩種控制方式。在同步方式下，受試者不能自己掌控試驗時間，必須以計算機/系統的控制節奏為導向，配合其執行操作。然而，人們在實際應用中往往需要選擇自定節奏的控制方式，即異步方式，也就是說，在異步 SSVEP-BCI 系統中，受試者可以按照自己的意愿及控制需求，實現在線實時地對系統進行操作，其時間由自己掌握。本研究實現的是 MRC 任務，利用人形機器人與機械臂協同合作將貨物運送至指定地點，即需實現多機器人之間的相互合作，完成單個機器人不能完成的復雜任務。為使腦控 MRC 任務更為人性化并貼近實際應用，因此本研究采用異步 SSVEP-BCI 方式，受試者可自定節奏地對系統進行控制。在該方式中，采用在線異步刺激，即界面不間歇閃爍，無需觸發脈沖，時間窗長設定為 2 s，每 0.5 s 對數據進行一次分析得出最大相關系數，當最大相關系數大于（或等于）設定的閾值時，對應的指令被存儲為一個待定指令，當最大相關系數不滿足閾值條件時，將被存儲為一個空指令。這里采用三指令判定原則，即只有當存儲的 3 個連續的待定指令相同時，系統才會判定其為一個目標指令并輸出。由此可知，系統識別并輸出一個目標指令的時間為 1.5 s。
一般而言，閾值是在線異步 SSVEP-BCI 系統成熟的標志，是區分受試者處于任務狀態與非任務狀態的關鍵。在本研究中，當腦電信號經 CCA 算法處理后得出最大相關系數，首先會將其與閾值進行對比，若值大于（或等于）閾值，則系統認定受試者為任務狀態，那么最大相關系數對應的指令將被存儲為一個待定指令，若值沒有達到閾值標準，則系統認定受試者為非任務狀態，此時將存儲一個空指令。另外，本研究在既定試驗策略下對 SSVEP-BCI 系統調試發現，在閾值的選取范圍（0～1）內：當選取閾值為 0.5（或小于 0.5）時，系統會出現指令頻發的狀況且錯誤率偏高；當閾值為 0.7（或大于 0.7）時，雖然指令的錯誤率很低，但識別指令的時間會延長很多；只有當閾值為 0.6 時，能更好地滿足系統的要求，因此本文根據試驗調試將閾值設定為 0.6。
當識別指令后，系統會播報語音（“滴”聲后報出具體指令/動作），受試者在“滴”聲后應立即停止注視，觀察反饋視頻中機器人動作，進而規劃下一個指令的實施，此處“滴”聲持續時間約 0.2 s。另外，為防止指令連發，以及考慮到機器人執行指令所需時間，系統設定為輸出一個目標指令后，停止 1 s 接收指令數據。
此外，本研究中引入了實時視頻反饋環節，在刺激屏幕下方增加一個顯示屏，實時反饋 MRC 任務的執行情況，受試者可根據現場情況自行調整路線及控制策略，該實時視頻反饋有助于受試者完成腦控 MRC 任務。
1.3 腦開關的設計
用腦電信號控制的開關在 BCI 中具有重要的作用及意義[11-12]。本試驗旨在探索腦控 MRC 任務，為貼合實際應用，符合未來用戶對 MRC 任務的需求，實現多機器人之間控制的相互轉換，特設計出兩個實用、便捷且易實現的腦開關，即一鍵式 SSVEP 腦開關切換，包括：總控制腦開關與轉換腦開關。兩個開關均為基于 SSVEP 設置的，當受試者注視屏幕上對應的腦開關閃爍方塊時，其腦電信號中會出現與刺激相應的頻率成分或倍頻成分，通過計算機對受試者腦電信號分析，可以識別出相對應的腦開關指令，進而有效控制完成 MRC 任務。
總控制腦開關控制整個試驗的開始和結束，識別成功后，系統語音播報“試驗開始/試驗結束”，且只有在試驗開始后，受試者才可以對任務系統進行試驗操作。而在試驗開始前及結束后，系統只能識別總開關指令，不接收其余指令。此腦開關的設計不僅可大大減少對系統的誤操作，而且使得受試者掌握了試驗的主控權，可以自主地控制試驗流程。
轉換腦開關用于轉換控制對象，識別成功后自動切換控制對象，系統語音播報“機器人/機械臂”提醒受試者停止注視刺激目標。轉換腦開關的設計使得受試者可隨意在多機器人之間跳轉，實現對每個控制對象的靈活控制，其過程更加人性化，也更貼近于實際應用。
綜上所述，本研究設計的兩個腦開關不僅可以“隨心所欲”地控制試驗進程，還可以實現多機器人之間穩定、準確和快速的切換，使得腦控 MRC 任務更為方便、可靠和高效。
1.4 優良的 SSVEP-BCI 算法
CCA 算法是利用兩個綜合變量之間相關關系來表現兩組指標之間整體相關程度的多元統計分析方法[13]。將 CCA 算法應用到 SSVEP 的分析之中，是根據 SSVEP 的頻率與刺激的固定頻率相同或成倍數這一特性來實現多分類的[14]。兩組多變量分別為X和Y，首先定義X∈RC×N 為腦電數據的多通道信號，其中 C 為通道數，N 為每個通道的采樣點數；定義Y∈R2Nh×N 為每個刺激頻率對應的參考信號，其計算如式（1）所示：
|
其中，f 為刺激頻率，S 為腦電信號采樣頻率，Nh 是 f 的諧波個數，構建了基于基頻以及 Nh 倍頻正余弦向量。刺激范式中的刺激頻率共有 12 個：f1，f2，…，f12，分別對應于不同的接口命令 Qi。通過測量 C 個通道中的腦電信號來監測用戶的腦電活動。在頻率 fi 處檢測到最強的腦電活動被解釋為用戶選擇相應命令 Qi 的意圖。
CCA 算法通過尋找一對系數矩陣（W和V），使得經過x = WTX與y = VTY變換后，兩組向量x和y相關性最好。兩組向量的相關性計算如式（2）所示：
|
SSVEP 的識別問題實質上是對采集到的腦電信號主要頻率的判斷。分類過程如圖 3 所示，通過 CCA 算法分別計算采集到的腦電信號與 12 個頻率成分不同的參考信號之間的典型相關系數 ρ1，ρ2，...，ρ12，比較這 12 個典型相關系數，得到最大系數 ρk，當 ρk 大于（或等于）設定閾值時，其對應的頻率即是受試者所注視的目標的頻率。如式（3）所示，相關系數最大者對應的頻率 f 即為目標字符的刺激頻率（以符號 ftarget 表示）。
圖3
CCA 用于 SSVEP 分類示意圖
Figure3.
CCA for SSVEP classification diagram
|
近年來，關于 BCI 的研究中，應用于 SSVEP-BCI 的算法主要有：CCA 算法、功率譜密度、套索算法、頻率幅值、最小能量組等[15-18]。其中 CCA 算法有較多的優勢，因其快速、高效、高信噪比等特點，應用最為廣泛。CCA 算法是一種針對頻率多分類的高效識別方法，可以快速準確地判斷出刺激頻率大小。自 2009 年 Bin 等[14]首次提出了將 CCA 算法應用到 SSVEP 腦電信號的檢測以來，這種方法就很快得到推廣，與傳統分析方法相比，CCA 算法有較多的優勢，不僅有較高的適用性、更好的信噪比，還具有較低的計算復雜度，這往往決定了在線 BCI 技術的可行性，同時 CCA 算法還考慮了 SSVEP 腦電信號的諧波特性，這是很多方法難于做到的，此種種優勢都體現出其應用的先進性。故而，這種方法通常被認為是一種性能優良的、適用于 SSVEP-BCI 的分類算法。
1.5 試驗過程
1.5.1 試驗準備階段
在準備階段，相關人員會教授受試者試驗任務、SSVEP 相關的理論基礎知識以及試驗注意事項等內容，另外，受試者需熟記各刺激目標對應的指令內容，并達到可靈活運用的程度，熟悉了試驗內容及指令后，每名受試者可進行 3～5 次預試驗（初步訓練腦控 MRC 任務試驗）來熟悉搭建的試驗研究平臺。
1.5.2 指令測試試驗
為探索此試驗系統對于腦電信號采集、目標指令輸出的準確性、穩定性與快速性，同時驗證 SSVEP 刺激界面及其刺激頻率的規劃排布的有效性，在正式試驗（腦控 MRC 任務）之前，首先進行指令測試試驗，試驗內容與形式較 MRC 任務要簡單且易于開展。具體試驗流程為：首先計算機驅動 SSVEP-BCI 程序，顯示器呈現 SSVEP 刺激界面，受試者端坐于試驗桌前，正面朝向刺激界面，此時 12 個刺激目標不間歇閃爍，受試者在調整好自身狀態后，由工作人員指揮開始指令測試試驗，首先注視第一個刺激目標，受試者的腦電信號將經無線路由發送至計算機，隨后計算機對接收到的腦電數據進行分析，當識別出目標指令后，以“滴”聲的形式對受試者提醒，此為一次注視結束，受試者應立即停止注視，轉為注視下一個刺激目標，直到對 12 個刺激目標全部注視完畢，為一次完整試驗，該試驗重復 3 次。
指令測試試驗采用 1.2 節中所描述的 SSVEP-BCI 系統，其不同于 MRC 任務試驗之處為省去了控制多機器人的環節及視頻反饋裝置，另外，對于系統在識別指令后的語音播報，考慮到錯誤指令的播報會對受試者存在心理影響，故而簡化為“滴”聲，提醒受試者當前注視結束。試驗中注視刺激目標的順序為：從左到右、從上到下依次注視刺激界面中的 12 個刺激目標，此為一次試驗順序，將會識別出 12 個目標指令，試驗總計 3 次，則受試者共識別出 36 個目標指令。試驗全程有工作人員計時，并在試驗結束后統計指令信息。
1.5.3 腦控 MRC 任務試驗
指令測試試驗結束 15 min 后開始腦控 MRC 任務試驗。
如圖 4 所示為腦控 MRC 任務路徑。試驗開始時，系統默認控制對象為人形機器人，受試者首先觸發（開啟）總控制腦開關，機器人從起點出發，到達指定地點（取貨地點）后，執行下蹲動作（為裝貨做準備）；之后，通過轉換腦開關將控制對象切換為機械臂，由機械臂將物品（木塊）夾起并放置在機器人背后的背簍內；隨后，再進行控制對象的轉換，機器人起立，將物品運至指定地點（終點），再一次觸發（關閉）總控制腦開關，以此完成物品的運送。
圖4
腦控 MRC 任務路徑
Figure4.
The brain-controlled MRC task runway
腦控 MRC 任務的過程如下：首先計算機驅動 SSVEP-BCI 程序，顯示器呈現 SSVEP 刺激界面，多機器人（控制對象）均通過藍牙與計算機相連接；按下空格鍵后，SSVEP 刺激范式開始不間歇閃爍，受試者開啟總控制腦開關后，試驗開始計時。試驗過程中受試者根據反饋視頻，對機器人進行實時控制（默認初始控制對象為人形機器人），受試者選擇并注視期望指令對應的刺激目標，腦電信號將經無線路由器發送至計算機。隨后計算機對接收到的腦電數據進行分析，并將識別結果對應的控制指令首先以聲音的形式進行播報提醒，同時通過藍牙串口將指令發送至控制對象（多機器人），從而實現對多機器人的實時控制與策略調整。試驗過程中，受試者會根據反饋視頻拍攝的多機器人的執行情況及所處位置做出適當的路徑和控制規劃的調整，從而一步步地控制多機器人完成指定協同任務。
試驗過程中，工作人員會對整個試驗過程進行錄像，每次試驗結束后，組織受試者觀看錄像并分辨出錯誤的指令。此外，另一名工作人員對受試者相關的試驗數據進行記錄，包括：試驗耗時、碰撞障礙物次數等。
2 試驗結果
對于本文所提出的直接腦控 MRC 任務研究平臺，分別進行了指令測試試驗與腦控 MRC 任務試驗。如表 2 所示，呈現了 10 名受試者的指令測試試驗（每人 3 次試驗）的用時、單指令平均觸發時間、指令準確率、最大值、最小值、均值 ± 標準差。
表2
腦控系統指令測試試驗情況
Table2.
The instruction recognition test of brain-controlled system
每名受試者經過熟悉指令與初步的訓練后，在既定的控制策略下對多機器人均進行了 3 次控制試驗。如表 3 所示，呈現了 10 名受試者腦控 MRC 任務的試驗用時、總指令數、錯誤指令數、指令準確率、碰觸障礙次數（即碰壁次數）、腦開關觸發次數、腦開關錯誤觸發次數、腦開關準確率、最大值、最小值、均值 ± 標準差（或均值）。
表3
受試者腦控 MRC 任務試驗
Table3.
The experiment of brain-controlled MRC task
3 討論
BCI 與機器人學的一個重要交叉融合是直接腦控機器人，這一技術有望實現人腦—機器人之間的直接交互，更進一步的是促進腦—機器人的智能交互融合。傳統的研究大多是腦控單個機器人完成特定任務，然而真實場景的應用往往涉及多個機器人共同協作完成任務。為此，直接腦控 MRC 是一個有待研究的新課題，尚需深入探索，相關研究必然具有一定的科學意義和潛在的應用前景[19]。
直接腦控 MRC 任務要求 BCI 范式穩定、準確和實時，才能安全、可靠和高效地完成任務。在若干 BCI 范式中，本文選用性能優良的 SSVEP-BCI 范式，其在實時控制與應用方面，具備了其他范式無可比擬的優勢。在該范式中，人眼注視特定頻率的視覺刺激時，受試者大腦視覺皮層會即時出現一個與刺激頻率相關的響應[20-21]。與 BCI 中的運動想象和 P300 范式相比，SSVEP 具有高信噪比，能夠可靠和快速地進行分類，受試者也無需大量的訓練[22-24]。由于 SSVEP-BCI 范式可以提供大腦和計算機之間穩定、準確和實時的通信，故有利于提供靈活多樣的腦控機器人命令。
基于 SSVEP-BCI 范式，本試驗為腦控人形機器人的運動規劃了 8 個指令：運動方向【左轉 45°、前進一步（5 cm）、右轉 45°、左跨一步（5 cm）、后退一步（5 cm）、右跨一步（5 cm）】和特定動作（下蹲、起立），分別與刺激目標 TL \、UP ^與 TR ^、HQ /、HF <、ZQ v 與 ZF v、QQ >、QF D、ZK I 相對應；為腦控機械臂規劃了 11 個指令：整體左轉 45°、整體恢復中立、整體右轉 45°、后臂前傾 45°、后臂復位、中臂前傾 45°、中臂復位、前臂前傾 45°、前臂復位、手爪張開和手爪咬合，分別與刺激目標 TL \、UP ^、TR ^、HQ /、HF <、ZQ v、ZF v、QQ >、QF D、ZK I、ZY ?相對應。
在解碼 SSVEP 刺激目標的若干算法中，CCA 算法由于其高效、魯棒且實現簡單等特點被廣泛應用于 SSVEP-BCI 系統中。CCA 算法能夠使 SSVEP 腦電信號和刺激頻率間的相關系數最大化，故而在 SSVEP 腦電信號的頻率識別方面具有很高的準確率，另外，相比于其他常規算法（功率譜密度、頻率幅值、套索算法、最小能量組等），CCA 算法所具備的先進性不僅體現在具有高適用性、高信噪比、分類精度高等優點，還體現在計算時考慮了 SSVEP 腦電信號的諧波特性，這是很多方法無法顧及的[14-18]。除此之外，CCA 算法還具有較低的計算復雜度，這就意味著 CCA 算法所需的計算成本低，其運算更適用于在線實時 SSVEP-BCI 控制系統。綜上，本研究選用 CCA 算法計算腦電信號與特定刺激頻率相關性最大值，從而有效識別出受試者的注視意圖[25]。
從表 3 所示的 10 名受試者腦控 MRC 任務完成情況可知，系統整體平均用時為（442.4 ± 102.6） s，所用指令總數為（52.4 ± 5.15）個，錯誤指令為 1.53 個，指令識別準確率為 94.93% ± 5.06%。在試驗過程中，機器人碰撞障礙物的次數（即碰壁次數）為 0.6 次；設計的總控制腦開關觸發指令數為 2.2 次，錯誤觸發次數為 0.1 次，準確率達到 97.5% ± 7.5%；轉換腦開關（轉換控制對象）觸發指令數為 2.47 次，錯誤觸發次數為 0.23 次，準確率達到 95.97% ± 10.46%。綜合試驗結果表明，基于 SSVEP-BCI 系統的 CCA 算法，可以穩定、準確和高效地完成腦控 MRC 任務，并驗證了總控制腦開關控制整個試驗進程的高效性以及轉換腦開關在多機器人之間切換的穩定性及其精度。
此外，本研究采用在線實時異步 SSVEP-BCI 方式對多機器人進行控制，由受試者決定發出指令的時間。與同步 SSVEP-BCI 方式相比，異步方式的主要優勢是受試者自定節奏進行控制，這種方式更貼近于實際應用，如控制輪椅運動、控制機器人完成任務等[26]。由表 2 腦控系統的指令測試試驗結果可知，3 次指令測試的平均指令識別準確率分別為 99.17% ± 2.5%、98.33% ± 3.33%、95.83% ± 5.59%，識別目標指令高效而準確，驗證了此試驗系統對于腦電信號采集、目標指令輸出的準確性、穩定性與快速性，也反映出 SSVEP 刺激界面及其刺激頻率的規劃排布的有效性。異步方式的實現是 BCI 技術實用化的關鍵之一，Ramli 等[27]采用有限狀態機，以腦電信號與眼電信號相混合來異步導航輪椅，準確率達到 97.88%。Merino 等[26]在異步 SSVEP-BCI 中采用 CCA 算法相關系數的似然比檢驗，結果表明比支持向量機分類器在檢測錯誤率方面有很大的改進。本研究分析 SSVEP 數據時，利用滑動時間窗（設定為 2 s），每 0.5 s 對數據分析一次，得到最大相關系數，當最大相關系數大于（或等于）設定的閾值（0.6）時，對應的指令被存儲為一個待定指令，當最大相關系數不滿足閾值條件時，將被存儲為一個空指令。這里采用三指令判定原則，即只有當存儲的 3 個連續的待定指令相同時，系統才會判定其為一個目標指令并輸出。由此判定原則可知，系統識別并輸出一個目標指令需 1.5 s。另外，為有效防止指令連發問題，以及考慮到機器人執行指令所用時間，本試驗設定每次接收到一條輸出指令后，停止 1 s 接收數據，該方法提高了系統指令的正確率以及腦控多機器人協作系統的高效性。
為實現腦控 MRC 完成任務，除了異步 SSVEP-BCI 方式，本研究另設置了兩個一鍵式 SSVEP 腦開關，包括總控制腦開關與轉換腦開關。總控制腦開關可隨時開始/停止（或暫停）系統的試驗進程，可確保系統的安全性、可靠性和穩定性；轉換腦開關可平穩地實現多機器人（控制對象）之間的切換。兩個腦開關均為基于 SSVEP 而設計，這意味著兩者都有 SSVEP 所具有的優勢，其穩定、準確和快速等特點是幾種無創 BCI 中較為突出的，而且這種腦開關的實現更為方便快捷。另外，盡管腦控開關的設計與其余任務在刺激參數的設置上沒有本質的區別，但是在功能映射上卻是不同的，具體體現在：腦開關主要是實現任務系統的啟動與停止（或暫停任務的執行），特別是實現控制對象的轉換，這對于完成協作任務起著至關重要的作用，而其他 SSVEP 按鈕在功能映射上是實現對任務系統中各個機器人的具體功能（其余任務）控制。因此綜上所述，在構建直接腦控 MRC 任務系統中，本研究所設計的腦開關展現出了其獨特優勢。
由表 3 試驗結果可知，兩個腦開關指令的準確率分別為 97.5% ± 7.5% 和 95.97% ± 10.46%，這表明所設定的一鍵式 SSVEP 腦開關識別率高、穩定性好，能方便快捷地實現所需功用。目前已有若干對腦開關的研究，Liu 等[28]設定了一種腦切換模式，在這種模式下需要用戶緊盯刺激目標，其控制方式為同步方式，缺乏靈活性，檢測腦開關指令需約 15 s，且實現過程較為復雜。本研究采用一鍵式 SSVEP 腦開關，受試者可以自定節奏，隨時切換控制對象，腦開關指令觸發時間最少 1.5 s 觸發，且控制精度更高，腦開關的實現也更為方便快捷。Spyrou 等[29]采用多預測組合模型和獨立于受試者（subject independent，SI）的分類模型相結合的方法實現腦開關，對于訓練和保持數據集，同步準確率分別為 86% 和 85%，而異步準確率僅為 69% 和 66%。Blokland 等[30]采用腦電信號和功能性近紅外信號的兩種信號組合系統來改善腦開關性能，準確率提高至 79%，該腦開關的實現相對復雜。Lim 等[31]基于 SSVEP 利用彩色視覺刺激設計了一種緊急呼叫系統，其目的是驗證 SSVEP 腦開關的實用性。Pan 等[32]提出了基于偽密鑰的方法來區分基于異步 SSVEP 腦開關的控制狀態和空閑狀態，達到開啟/關閉系統的效果，作用相當于本研究中的總控制腦開關。與上述研究相比較，本試驗所提出的一鍵式 SSVEP 腦開關在快速性、穩定性、準確性方面表現出良好的性能。
綜上所述，對于直接腦控 MRC 任務，本文所提試驗方案及其腦開關的設計有效可行。也需要指出，本試驗的腦控 MRC 任務不同于控制虛擬機器人，在腦控過程中需要受試者結合現場情況及時做出策略調整，如遇地面不平、地面摩擦情況改變等可能影響機器人的導航走向，又或者由于貨物的特性會引起機械臂的夾取問題等。
4 結束語
本文針對直接腦控 MRC 任務這一新課題進行試驗研究。為實現這一任務，選用穩定性好、準確性高和反應靈敏的多指令 SSVEP-BCI 范式，并采用性能優良的 CCA 算法識別目標刺激；為面向實際應用，采用異步方式的 SSVEP-BCI，以方便受試者自定節奏進行腦控機器人操作；為確保系統的安全、可靠性以及機器人之間的協作性，設置了兩個一鍵式 SSVEP 腦開關：① 是總控制腦開關，以控制系統的啟動/停止；② 是轉換腦開關（切換控制對象），以在機器人之間靈活切換。本試驗研究表明了直接腦控 MRC 任務的可行性，所提方法可望為未來實用化的腦控 MRC 任務系統提供啟示。
在本研究的基礎上，本課題組計劃未來可開展：① 采用混合 BCI 范式設計新的控制策略，如有效結合 SSVEP 與運動想像范式，進一步提高腦控 MRC 任務系統的性能；② 尋找并優化更為高效的指令識別算法，提高準確率；③ 進一步優化 SSVEP 刺激范式，減輕受試者的視覺疲勞，提高其舒適度。
注：世界機器人大賽 BCI 腦控機器人大賽獲獎情況說明（“創新創意獎”）
http://www.worldrobotconference.com/cn/yqs/BCInaokongjiqirendasai/
