今天小編分享的科技經驗:馬斯克、米哈遊投資的腦機技術,卻被女主播拿來打「老頭環」,歡迎閱讀。
2022 年,整個遊戲圈只有兩個遊戲,《艾爾登法環》(Elden Ring)和其他。
整個一年,這款被戲稱為「老頭環」的動作類 RPG 遊戲在全球賣出超過 2000 萬份,同時斬獲無數遊戲大獎,并成為全世界遊戲迷心中的神作。
各種花式通關早已不稀奇,但是,如果說有人不用雙手,只靠「想」的,也把「老頭環」玩的風生水起,你多少會感到好奇。
遊戲女主播 Perri Karyal 就做出了這樣的嘗試。
今年年初,她第一次在 Twitch 上展示自己使用腦電波操縱《艾爾登法環》中的角色,擊敗遊戲中最難的 Boss 之一「女武神」瑪蓮妮亞,當時她的一些走動還需要使用控制器的輔助。到了 5 月,她對設備進行了更新,首次成功展示了她可以完全通過腦電波外設,在 Xbox 上遊玩《艾爾登法環》,無需任何控制器的輔助。
Perri Karyal 直播視頻使用 EEG 設備操控角色|YouTube
她是怎麼做到的?普通人能夠復刻她的操作嗎?科幻中的腦控遊戲離我們還有多遠?這會是遊戲創業公司的一個新機遇嗎?
用「腦」打遊戲
如何才能用腦電波操縱遊戲?
和一般人的想象不同,Perri Karyal 并不是通過腦中實時想象 " 向前跑 "、" 躲避 "、" 攻擊 " 等動作來實現用腦電波操縱打怪。她通過想象一些特定動作,這些動作能夠更好地被她佩戴的腦電設備識别,然後将這些動作與遊戲中特定的按鍵綁定起來,從而實現對遊戲角色的操控。
「當我要攻擊的時候,我想象的是将一個非常非常重的東西推離身體,而治療的時候,我想象的是我通過拉的動作,讓一個東西砸落到我的臉上。」Perri Karyal 形容道。
人腦在執行不同行為時,腦電波會呈現出不同的模式,而這些模式會被她所佩戴的腦電設備實時監測到。Perri Karyal 在 Youtube 視頻中用影像直觀地展示了大腦在不同活動時的差别。
Perri Karyal 在說話瞬間腦部反應|YouTube
Perri Karyal 在想象「攻擊」時腦部反應|YouTube
第一張圖截取了她說話的瞬間,可以觀察到她大腦的多個腦區在說話時被激活。而當她全力思考将一個重物推離自己時,腦電波呈現了第二張圖上清晰可見的獨特模式。一旦她佩戴的設備成功識别了這個模式,腦電設備就會發出指令執行她預先設定的攻擊操作。
Perri Karyal 本身擁有心理學碩士學位,在學術研究過程中就曾廣泛應用腦電圖(EEG)作為研究工具。作為一種簡單、無痛的記錄腦部的電活動的手段,腦電圖可以觀察腦部不同區網域的工作情況。除了研究者會使用它來提供腦部活動的信息,醫生也會利用腦電圖做癫痫等疾病的檢查。醫用的 EEG 設備大家應該都在電影中見過,像演員的光頭頭套,上面遍布着許多電極。
「有一次偶然的機會,我接觸到了藍牙的 EEG 設備,我的設備預算剛好能覆蓋它的成本,我就想,我一定得試試它。「Perri Karyal 提到。就這樣,她開始接觸非醫療級的腦電設備,并由此開始了使用這些設備操控遊戲的旅程,一發不可收拾。
「我使用的是設備本來是用來做情景研究(contextual research)的,」Perri Karyal 表示,情景研究指的是通過在日常生活的場景裡觀察人們的活動來得到洞見的研究。「這樣的腦電設備沒有辦法做診斷或者用在醫療場景中。」
根據 Vice 的報道,Perri Karyal 使用的應該是 EMOTIV 的設備 EPOC X。由于不是醫療級的腦電設備,它的輸出也相對有限,只能夠識别推、拉、拿起、放下四個動作。識别到這些操作後,設備本身提供了一些内置的操作,也提供了 API 讓人們可以接入其他可以設備進行控制。
對于 Perri Karyal 而言,這四個動作已經足夠她在《艾爾登法環》這樣的遊戲裡戰鬥和治療的操作,但其它操作卻需要一些控制器的輔助。因此她最後選擇在腦控設備上在加裝陀螺儀,通過API和一些 python 編程讓傳感器們能夠相互協作,幫助她實現在遊戲中自由行走和完成其他操作。她也在嘗試加入眼部追蹤、表情識别等更豐富的功能,來完成更豐富的遊戲場景互動。
「腦機」不容易
看到這裡你可能會想,聽起來 Perri Karyal 的操作也并不很難,這麼酷炫的方式,為什麼市面上的遊戲沒有增加「意念操縱」的方式遊玩的選項?
事實上,雖然普通人确實可以用類似的方法實現腦控遊戲,也确實有一些公司已經利用 EEG 設備做出了腦控遊戲,但遊戲公司如果想要推出腦控遊戲,利用 EEG 作為主要、甚至唯一的互動方式達到一個良好的復雜遊戲體驗,并能夠廣泛商業化,還面臨着不少障礙。
其中一個問題,就是 EEG 設備的佩戴舒适度問題。
EEG 設備通過貼着頭皮的電極記錄大腦的電信号。源自大腦的電信号需要穿過頭骨和頭皮才能被 EEG 設備接收,這就意味着在測量過程中會有很多噪音和誤差的幹擾。通常我們在醫院中測腦電圖,為了保證準确性,都會在與頭皮接觸的電極上塗上導電膏,使電流傳遞有效、快速、均勻。
但是導電膏本身會弄髒頭發。每次佩戴 EEG 設備之後都要洗頭,這是極其不方便的。況且,無論是導電膏的制備、皮膚清潔,還是測試過程中避免凝膠擴散導致相鄰電極短路,都需要一定的專業技術。
作為非醫療器械,Perri Karyal 使用的 Emotiv EEG 設備采取的電極已經相對更舒适一些,只需要生理鹽水來使電極更有傳導性。但即使如此,她在直播中為了使設備能夠一直保持有效,還是需要不斷用生理鹽水打溼電極。
Perri Karyal 需要不斷用生理鹽水打溼 EEG 的電極|YouTube
作為一個極客玩家,以上的選項或許尚能接受,如果想成為一個大規模商用的消費級產品,EEG 設備的舒适度顯然尚有欠缺。
另一個問題,則是存在于所有腦機接口解決方案上的普遍問題。每個人的大腦的電信号,雖然存在一定共性,但是終究是有所不同的。在任何腦機接口類的應用中,都存在個性化适配的過程。而這個适配的過程,時間常常因人而異。
事實上,雖然 Perri Karyal 使用的 Emotiv 設備只能識别四個動作,為了讓四個動作的識别能夠變得足夠精準,Perri Karyal 花了極長的時間對其進行個性化适配和校準。「我花在訓練 EEG 上的時間要比我花在遊戲中的時間還要多。而我可是在遊戲上花了超過 250 個小時。」Perri Karyal 曾談到。這樣多的訓練時間可謂十分驚人了,一般用戶恐怕難以承受。
此外,腦控設備性價比可能也是一個大規模商業化的問題。Perri Karyal 使用的設備精度雖然低于醫療級,但其價格并不低—— 849 美金。設備價格對應着輸入的精度,芯片的計算能力,以及平台配套的操作的簡便性等。即使這樣,輸出的操作也只有四檔。她需要自己再加裝陀螺儀等,才能在《艾爾登法環》這樣對格鬥時效性要求很高、但是格鬥方式并不特别復雜的遊戲中,完成這樣令人驚嘆的完全腦控操作。
雖然随着硬體的發展,腦控設備價格從人民币幾百元到幾千元,選擇檔位很多——但是較低的價位的腦控設備的輸出也會相對受限。玩家可以遊玩簡單的腦控遊戲,或者将腦控作為復雜遊戲的輔助,但很難達到在復雜遊戲中進行完全的腦控操作。
腦機的商業化方向
通過獲取腦電信号,利用信号進行對機器的操縱的腦機接口技術,大概上可以抽成兩類:侵入式的和非侵入式的。前者指的是通過有創手術将電極植入人腦中,對腦電信号進行探測,進而使用信号做出更多操作。馬斯克聯合創辦的,最近剛剛取得 FDA 批準進行人體實驗的腦機接口公司 Neuralink 就屬于此類。而 EEG 技術是非侵入式的代表。
侵入式的腦機接口技術,無需穿透頭骨和頭皮來獲取腦電信号,自然比非侵入式方法獲取的電信号更清晰。而非侵入式的腦機接口,最大的優勢就是無需冒手術的風險。而遊戲,作為一個具有容錯率的娛樂應用場景,似乎天然與非侵入式的腦機接口技術關系更緊密。
因此,雖然 EEG 腦控遊戲立刻大規模商業化尚有諸多障礙,并不妨礙使用 EEG 腦控遊戲仍然是一個極其誘人的應用場景。許多創業者目前也在努力繞開前述障礙,努力地為它尋找合适的細分場景。
目前一個較為成熟的方向,是注意力監測方向的遊戲。
由于人腦中負責注意力的神經元主要分布在前額區網域,如果只需要監測注意力的情況,電極可以只貼附在較為光滑的前額上。相比于頭發密布的區網域,監測前額的難度相對較低。只需使用一個頭箍式的設備即可進行監測,不會對頭部施加過大的壓力,也不需要頻繁使用生理鹽水來溼潤頭發,整體的體驗感提升了很多。
雖然相比于 Perri Karyal 的操作,注意力遊戲略顯單調:遊戲模式常常是集中注意力,你就可以前進或者打敗敵人。但是作為一種純粹的新奇的體驗,它仍然是成立的。部分公司會選擇在商場部署這樣的遊戲讓大眾付費體驗,或者開發用「意念」控制的無人機這樣的玩具進行銷售。
除了純粹的娛樂性外,這樣的遊戲體驗實際上還有真實的醫療價值。
國内腦機接口初創公司強腦科技就有類似的產品:針對注意力缺陷兒童,首先通過測試來建立他們的基線水平,然後根據他們的注意力缺陷程度設定不同的遊戲難度,讓他們參與類似的專注力遊戲。在遊戲中,專注力的表現會得到遊戲的正反饋,這将促使兒童不斷提升自己的專注能力。這實際上是腦科學和行為科學中行之有效的一種神經反饋訓練。
強腦科技的產品,腦電波的監測集中于前額,使用幹電極|強腦科技
另一個有趣的方向,是把 EEG 與VR進行結合。
與 VR 結合的潛在好處是,非醫療的 EEG 設備因其精度問題,能做出的相互區别的輸出還是較少,這也是為什麼 Perri Karyal 後期需要為她的 EEG 設備增加眼部追蹤和陀螺儀等設備的原因。而 VR 設備本身就自帶這些功能,多模态的輸入可能使遊戲體驗更好。
VR 與穩态視覺誘發電位觸發的 EEG 結合的前景尤其有趣。穩态視覺誘發電位觸發的 EEG 的一個弱點在于,在強光環境下,視覺觸發的成功率會降低。而通過與 VR 的結合,這一限制被大大被弱化。已經被 Snap 公司收購了的法國創業公司 NextMind,在 2020 年就曾提供一款這樣的 VR+EEG 的設備。在其演示遊戲《Mindvasion》中,玩家可以戴上 VR 設備,直接以視覺瞄準和殺死敵人。
Nextmind 產品圖,後腦的小圓片就是它的 EEG 模塊|NextMind
AI,腦機的新方向?
華興資本 2022 年提出的腦機接口行業研究分析報告中顯示,侵入式腦機接口,主要用于臨床級應用,具體的臨床适應症更偏向于一些難治性腦部疾病比如癫痫、肢體運動障礙等。而非侵入式腦機接口,臨床級應用包括意識監測、意識障礙改善、認知障礙改善、精神疾病失能改善、兒童多動症改善、聽覺、視覺、觸覺等感覺缺陷的替代。典型的消費級應用包括睡眠監測、抑郁情緒早期監測恢復、壓力情緒監測等。
「市場剛需屬性決定了腦機接口現階段多應用于腦科學科研和腦疾病患者康復上。」沙利文頭豹研究院醫療行業高級分析師孫榕表示。
顯然,偏醫用和健康領網域的場景,與遊戲這樣的大眾文娛場景不同,對于硬體的舒适度、個體化适應的時間和價格的要求都沒有那麼苛刻,也是目前創業者的最大機遇所在地。
不過,随着硬體的發展,文娛方向一定是腦機接口的重要場景。上海市人工智能行業協會 2021 年發布的報告顯示,未來五年 ( 2021 年 -2025 年 ) 全球範圍内廣義的腦機接口市場規模有望達到 3300 多億美元,最主要的領網域即在醫療、遊戲娛樂和教育科技方向。
強腦科技的相關負責人接受采訪時表示:「雖然我們目前并沒有向純遊戲領網域發展的意圖,但是我相信遊戲文娛類作為醫療康復之外的第二大腦機接口的應用場景,前景非常廣闊。」
人工智能也可能是產業的一個變機。
2022 年,Meta 曾經公布一項名為「大腦信号讀心術(Brain Signal Reading)」的研究成果。研究人員利用語句和腦電波對應的數據集對 AI 進行訓練,極大地提升了通過腦電圖和腦磁圖(另一種非侵入式腦機接口技術)推斷實驗對象語言信号的能力。
所以理論上,即使 EEG 設備在硬體上沒有大幅度的突破,将人工智能和 EEG 技術結合,從「軟體」上,EEG 設備的精度也可能大幅度提高。
雖然目前稍顯遙遠,從長遠考慮,腦控遊戲的突破也可能來自侵入式的腦機接口技術,或者其他非侵入式的腦機接口技術的進步,如腦磁圖、功能性核磁共振、功能性近紅外光腦成像、正電子發射型計算機斷層顯像等。
5 月 30 日下午落幕的 2023 年中關村論壇中,工業和信息化部總工程師趙志國透露,工業和信息化部把腦機接口作為培育未來產業發展的重要方向,要加強腦機接口應用場景的探索,加速推動腦機接口產業的蓬勃發展。
在政策面向好的情況下,有沒有創業者能夠找到更好的方向,聰明地繞開或者解決現有腦控遊戲的商業化障礙還未可知,但值得期待。