意念控物——讓科幻變成現(xiàn)實
在電影《阿凡達(dá)》中,科學(xué)家利用人類的DNA和潘多拉星球的“納威人”DNA相融合,人工培訓(xùn)出了阿凡達(dá),再利用人的意識對其進(jìn)行操控,讓已經(jīng)殘疾的男主人公得以“變身”,開啟了在外星球上的新生活......
謝松云教授在介紹腦控技術(shù)的相關(guān)情況。李志強 攝
科幻電影中的場景,代表了人類對科技發(fā)展的無限向往和追求,科學(xué)家們也在努力讓夢想變成現(xiàn)實:在西北工業(yè)大學(xué)神經(jīng)信息實驗室的現(xiàn)場,研究人員看著眼前閃爍的電腦屏幕,心中一個念頭閃過,不遠(yuǎn)處的四架無人機就自動完成了編隊,下一秒這幾架無人機又齊刷刷地做了個原地翻滾的動作......這就是西北工業(yè)大學(xué)謝松云教授團隊對于“意念控物”的最新研究成果。
謝松云教授解釋道,電腦屏幕上閃爍的方塊看似一模一樣,其實它們各自擁有著不同的頻率,同時每個頻率都對應(yīng)著一個無人機編隊的動作指令,頻率閃爍刺激人的視覺后,大腦會產(chǎn)生對應(yīng)的腦電波特征,腦電波特征經(jīng)編碼轉(zhuǎn)化為控制信號,從而就可以實現(xiàn)對無人機動作變換的控制,也就是所謂的“意念控物”。
謝松云教授團隊于2021年研發(fā)了腦機協(xié)同機械臂智能控制系統(tǒng)。受訪者供圖?
據(jù)謝松云介紹,腦控主要是通過采集腦電波,然后用計算機對腦電波進(jìn)行分析解碼,轉(zhuǎn)換為控制信號,進(jìn)而實現(xiàn)對“事物”的控制,這些“事物”可以是設(shè)備裝置,將來甚至可能是生物體。而要想實現(xiàn)高質(zhì)量的控制,最關(guān)鍵、難度最大的就是對腦電波的提取、分類與識別,也就是所謂“腦功能特征”的提取,通俗一點講就是需要知道大腦想要做什么,不同的腦電波代表著不同的“訴求”,將不同的“訴求”分類提取,至關(guān)重要。
謝松云教授帶領(lǐng)學(xué)生開展科研工作。受訪者供圖
經(jīng)過二十余年的不懈努力,謝松云團隊研發(fā)出了多種誘發(fā)模式相結(jié)合的腦控技術(shù),目前已經(jīng)可以做到3種誘發(fā)模式、多種腦特征的提取與識別,團隊也因此先后取得了一系列國家發(fā)明專利和重要成果:在實用化腦控技術(shù)方面,2012年研發(fā)了視覺刺激誘發(fā)的腦控模型車系統(tǒng);2014年研發(fā)了少導(dǎo)聯(lián)便攜式腦控抓取式機器人;2016年又完成了多模式誘發(fā)刺激下的腦控?zé)o人機系統(tǒng),可通過事件想象、 視覺刺激、眨眼等誘發(fā)模式,控制腦控?zé)o人機繞桿、完成8字飛行 ,復(fù)雜任務(wù)完成率達(dá)86.5%。在此基礎(chǔ)上,團隊又將腦控技術(shù)與人工智能相結(jié)合,研發(fā)了腦機協(xié)同技術(shù),于2018年完成了手腦機協(xié)作的勘察無人車項目,2019年實現(xiàn)了腦機協(xié)同無人機編隊智能控制, 2021年又研發(fā)了腦機協(xié)同機械臂智能控制系統(tǒng)。
人機融合控制下的無人車安全避障演示。李志強 攝
同時,在2020年,團隊通過創(chuàng)新研發(fā)的人機融合認(rèn)知與決策技術(shù),成功實現(xiàn)了人機融合控制的無人車安全避障。“這項成果很有應(yīng)用價值,現(xiàn)在很多汽車都有輔助駕駛功能,但是遇到無法識別的障礙物或者一些突發(fā)狀況后,意外事故還是有可能會發(fā)生,將來車機輔助再加上人腦控制后,就可以充分發(fā)揮了發(fā)揮人腦快速認(rèn)知與人工智能快速處理的各自優(yōu)勢,從而實現(xiàn)更安全的自動駕駛了。”謝松云說。
虛擬現(xiàn)實環(huán)境下腦機技術(shù) —— 無人機路徑規(guī)劃。受訪者供圖
近些年,謝松云團隊更加注重于開發(fā)虛擬現(xiàn)實環(huán)境下的腦機技術(shù),例如虛擬環(huán)境下腦機協(xié)同無人機編隊控制、虛擬環(huán)境下駕駛員狀態(tài)監(jiān)測等。他們將無人機飛行仿真技術(shù)和腦控技術(shù)結(jié)合在一起,利用VR/AR技術(shù)建立逼真度高、適合無人機群在復(fù)雜背景中的人機融合智能控制仿真演示,該成果對未來的腦控?zé)o人機技術(shù)的研發(fā)提供了一個功能強大的研究和驗證平臺。
學(xué)生在謝松云的指導(dǎo)下進(jìn)行相關(guān)研究。受訪者供圖
謝松云教授表示,一旦突破了腦特征采集分析這個核心技術(shù),會令控制的物品多樣化,那時,便是腦控真正走向廣泛應(yīng)用的時候,而離我們最近的是無人駕駛、醫(yī)療輔助、助老助殘、游戲娛樂、教育培訓(xùn)、救災(zāi)救援等多個領(lǐng)域。“比如癱瘓在床的殘疾人,將來可以通過腦控機器人來提高他的生活質(zhì)量;通過虛擬駕駛模擬系統(tǒng),可以對汽車、艦船、飛機等駕駛?cè)藛T進(jìn)行科學(xué)培訓(xùn)和監(jiān)測,提高交通安全;或者應(yīng)用到娛樂方面,可以通過VR或者AR的腦機融合去意念控制虛擬現(xiàn)實,為玩家提供更加沉浸式的體驗,類似于電影《阿凡達(dá)》中的場景,也一定會在未來的某一天,真正走進(jìn)我們的生活。”謝松云說。
分享讓更多人看到