Nature 子刊 | 解码脑机接口应用

 

1973年,加州大学洛杉矶分校的计算机科学家Jacques Vidal写了一篇论文,他在论文中表明,认为放置在头皮上的电极可以检测到人大脑发出的实时信号(图1)。尽管Jacques Vidal在论文中说,脑电图(EEG)产生了复杂且往往难以解释的信号,但他预测随着神经科学家开始更好地理解神经活动的解读(即解读与某人的感受、想法或愿望相对应的组成部分),那么EEG可能被用作计算机的控制信号。Vidal创造了脑机接口(BCI)这个术语,并问道:“这些可观察到的脑电信号可以作为人机通信中的信息载体,或者用于控制人工设备或宇宙飞船等外部设备吗?”在他的论文的第二部分,Vidal描述了飞行员实验,他试图让志愿者使用他们的EEG向宇宙飞船发射导弹。

半个世纪后,BCI已经成为一项庞大的业务。Vidal表示,使这项技术可行所需的神经生理学、信号分析技术和计算机科学方面的进步在不同程度上已经实现。近年来,超过10亿美元涌入该行业,为众多初创企业提供资金(图2)。

图1. Jacques Vidal的脑-计算机接口实验室。

尽管埃隆·马斯克在作为世界上资金最充足的神经技术初创公司负责人的同时也拥有一家宇宙飞船公司,但正是其对假肢设备的控制主导了BCI的学术研究。如今,好几家公司的使命是开发辅助技术,恢复那些因瘫痪或疾病而失去这些能力的人的运动和/或交流能力。

此外,游戏也代表了商业公司的目标市场,他们在探究直接检测用户大脑活动的设备的广泛潜力可能如何成为一种大众市场产品。简而言之,BCI的杀手级应用程序是什么?

    如何获得信号

Vidal的预测有一些偏差,他关注于EEG作为BCI的输入。尽管人们一直在努力地更完美解码这个信号,但它仍然是一个非常粗糙的神经活动读数。总部位于德克萨斯州奥斯汀市的BCI公司的创始人兼首席执行Paradromics说道:“最主要的障碍是物理学屏障。如果你在皮肤和头骨外面收集,你能得到的信号比你在组织里获得的信号要低得多”。

因此,随着20世纪90年代BCI研究在学术实验室中的发展,尽管无法将电极植入神经中,但为了获得高分辨率大脑读数,能够以微小变化控制外部设备,电极必须至少直接植入大脑。“就信号保真度而言,侵入性与非侵入性的区别就像白天和黑夜”,加州大学圣地亚哥分校从事BCI研究的计算机科学家Vikash Gilja说道,但最重要的是为获得与正在开发的应用程序相匹配的信号。在Gilja看来,一个EEG信号——被颅骨减弱,反映了跨越多平方厘米皮层的数百万个神经元的平均活动——可能有利于实时监测“一个正在缓慢过渡的全局的、一般的大脑状态”。例如,清醒、注意力或冥想状态,这些状态伴随着神经元放电的种群水平的变化。

图2. BCI启动时间表。

EEG还可用于控制具有数十至数百毫秒的时间延迟的外部设备,但Gilja说:“我们所谈论的这种功率输出可能只有非常低的比特率输出,所以这些外部设备可能只能是二进制开关”。纽约市从事精密神经科学的神经外科医生Ben Rapoport对此表示赞同,他表示,BCI一词“是高带宽的同义词”,大脑和外界之间真正顺畅的通信需要一个高带宽的连接,然而,没有办法在不接触大脑的情况下实现高带宽的连接。

但基于EEG的BCI最为明显的优势是它不需要用户通过手术植入电极。许多开发人员目前正在开发这类系统的应用程序,无论是临床使用还是大众市场采用,他们都必须开发出能够可靠检测低分辨率信号的方法。事实证明,颅内记录价值的学术研究主要集中在临床目标上,即允许严重瘫痪的患者控制机械臂或轮椅等外部设备,并仅通过思维产生合成语音。大部分研究主要集中在运动皮层,即大脑中产生控制身体肌肉组织信号的区域。因此,机械臂可以由人想象移动自己的手臂来控制,而思维文本应用可能涉及有人想象自己手写或向左或向右移动四肢来移动光标。

目前开发用于临床的侵入式脑机接口系统的几家公司可以根据使用从大脑表面记录的电极的公司和使用电极穿透神经组织从单个神经元记录的公司进行划分。表面电极进行皮质电图(ECoG)和EEG一样,ECoG信号反映了许多神经元的平均活动——但在这种情况下,是成千上万或数万的神经元的反应。此外,它的空间分辨率是大脑皮层的平方毫米,而不是平方厘米,而且信号衰减要小得多。ECoG的用户可以指出几篇具有里程碑意义的BCI研究论文,表明该信号可以用于复杂的设备控制。然而,单神经元记录的倡导者说,通过获得神经元处理信息的离散电脉冲的本质是数字读数,代表了读数类型的逐步变化。

更重要的是,Angle说,随着BCI在给定大脑区域中记录的每一个额外的神经元,它提供的关于该大脑区域功能的信息量几乎是线性的增加。“当你考虑做越来越多的应用并开放接口可以做什么的领域时”,他说,“如果你正在使用记录动作电位的穿透电极,那么这些缩放定律是有意义的,因为你可以进入的电极越多,你拥有的数据就越多”。

植入设备开发人员面临的挑战是创建可以安全插入并安全保存在适当位置的记录系统,以便在适当的时间内获得稳定的记录,在很多情况下,这将是数年甚至几十年,这是许多工程研究的来源。

    无创BCI

尽管EEG有所局限,用于记录该信号的廉价系统现在已广泛使用,并且许多公司今天正在竞相开发使用该信号的产品。例如,帕多瓦大学BCI研究员Luca Tonin在学术研究中表明,使用EEG读数可以可靠地做出左/右决定。但是,他强调,商业脑电图产品的开发受到了以下限制:没有公司会为了提高信号质量而去开发一款费时费力的产品——传导凝胶。

事实上,这些科技公司的一个突出特点是他们致力于开发人们可以愉快佩戴的美观设备。在这类公司中,目前有一个重点是Gilja所描述的全球大脑状态:新兴产品是相对简单的EEG系统,它可以监控整个大脑活动,从而让用户更好地控制或响应这种活动。因此,这些设备不符合BCI的经典观点:它们不能实现对外部计算机的意志控制。相反,他们让用户有意识地意识到自己的大脑状态,将他们的大脑活动置于一个“开放循环”中,这样用户就可以相应地调整自己的行为和想法,或者让大脑活动控制自己计算体验的某个方面。

例如,总部位于马萨诸塞州波士顿的初创公司Neurable将16个“隐形”EEG电极整合到一对降噪蓝牙耳机中;加州山景城的NextSense公司正在开发含有脑电图传感器的耳塞;总部位于加拿大多伦多的InteraXon,他们的产品Muse提供了一个夹在耳朵上并环绕前额的头带,以监测额叶上方的脑电图;来自纽约布鲁克林的神经学家,他们发明了一种称之为“皇冠”的光滑弯曲的头带装置;Emotiv则生产各种EEG耳机和耳塞以提供不同的EEG监测功能。Neurable和Neuropy旨在通过监测与注意力状态相关的脑电波来提高用户的生产力和/或注意力。而Muse希望通过测量与深度冥想状态相关的活动模式来帮助用户提高正念。NextSense正在开发监控大脑健康的软件。

其他公司的目标是允许用户控制外部设备。其中一家是总部位于巴黎的NextMind公司,该公司开发了一种轻便的脑电图传感器,该传感器安装在用户的后脑勺周围,使其电极位于视觉皮层上方。它旨在检测与用户关注笔记本电脑显示器的元素相关的电子模式,使用户能够游玩基本游戏并选择屏幕上的项目。2022年3月,社交媒体公司Snap(SnapChat的开发商)收购了NextMind,以进一步开发和运营这项技术。

同样,位于圣巴巴拉的初创公司Cognixion也使用位于视觉皮层上方的脑电图电极。2014年,Andreas Forsland创立了Cognixion公司,其目标是帮助那些瘫痪的人进行交流。多年来,该公司研究了几种类型的传感器,包括加速计和眼动追踪设备,旨在让用户利用其剩余的运动能力来控制外部设备。但EEG和BCI现在是该公司准备发布的辅助技术耳机的核心。该耳机——Cognixion ONE(图3A)以增强现实或“辅助现实”为中心,在用户眼前的遮光板上显示多个选项,用户可以通过盯着目标项目进行选择。且该公司已经部署了一个聪明的策略来确定用户正在查看哪些商品。每个目标选项都以不同的频率闪烁,这种闪烁会影响视觉皮层EEG信号的性质。经过一段时间的校准后,机器学习软件可以在一到三秒内分辨用户正在选择哪个项目。

图3. 不同的BCI。A,Cognixion ONE耳机;B,内核流耳机;C,来自Synchron的stentrode;D,来自Precision Neuroscience的微阵列;E,来自Blackrock Neurotech的犹他阵列。

“我们用频率给大脑写信”,福斯兰说,“我们在寻找那些被注入大脑的信号”。福斯兰表示,Cognixion计划明年向临床医生和研究人员发布其耳机,并正在与美国食品和药物管理局(FDA)讨论,让该设备在临床上被批准用于各种形式的瘫痪患者。他还指出,辅助现实接口与其他类型的BCI兼容。

加利福尼亚州圣克鲁斯的Neurololutions公司已经获得了FDA对其非侵入性脑机接口的批准。他们的Ipsihand系统旨在帮助大脑一侧中风后失去手部控制权的人重新控制那只手。他们的高级工程总监Rob Coker解释说,其方法是基于每只手同一侧的运动皮层中有一小部分能够控制这只手。Ipsihand系统旨在诱导或加速神经可塑性的形成,这将增加同侧运动皮层控制受中风影响的手的能力。

2021 年4月,经FDA批准,BCI记录来自未受伤的同侧运动皮层上方的脑电图信号,并将这些信号连接到一个机器人手臂上,该手臂环绕并移动瘫痪的手。临床事务主任Lauren Souders表示:“只要患者想‘我真的想移动我受损的手’,它就会接收到信号,并很快打开设备”。她说,以前的治疗设备使用电刺激来促进神经可塑性,但Ipsihand系统将运动意图与实际运动结合起来,为学习和可塑性提供了更强大的刺激。在一项临床试验中,三分之二的用户在六个月后获得了临床显著改善。例如,Souders说:“他们能够抓住一些东西并把它带到某个地方”。

非侵入式BCI设备的一个有趣的补充是由洛杉矶神经科技公司Kernel开发的系统。首席技术官Ryan Field表示,核心公司由企业家Bryan Johnson于2016年创立,部分受到约翰逊自己的沮丧以及他对大脑知之甚少的挫折的启发,他寻求开发一种系统,提供有关大脑和心灵运作的高质量信息。最初,该公司对植入记录技术感兴趣,但Field表示,Johnson带领公司转型,并表示“我们将采用非侵入式技术,因为非侵入式是真正将神经技术带给大众的唯一途径”。Kernel选择了EEG,并尝试了其他两种方法,一种是脑磁图(MEG),另一种是功能性近红外光谱(fNIRS)——苹果手表用来测量血氧的技术。

Field认为MEG(测量神经活动产生和发射的磁场)产生的信号比EEG在空间上更精确。但该公司未能创造出能够充分屏蔽记录系统免受外界磁信号的影响的可穿戴设备,因此于去年中止了该项目。但他们现在有了一种使用fNIRS监测大脑活动的原型产品。这项技术使用了功能磁共振成像所依赖的相同的大脑活动指标:神经活动增加导致的局部血流增加。Field说:“你的神经元开始消耗氧气,然后你的身体试图用新鲜的、含氧的血液来补充氧气”。为了对大脑血流进行成像(与手腕表面附近的血流相对),Kernel使用时域fNIRS(TD-fNIRS);它的系统向头骨发射光子,然后只分析那些在时间窗内返回的光子,这些光子与它们进入和从大脑返回的光子一致。这些信号的强度具体地指示局部血流。头盔状的内核流系统(图3B)包含52个TD fNIRS传感器模块,覆盖整个颅骨以监控整个皮层。但Field表示,未来的系统可能包含更少的传感器,以针对感兴趣的皮层区域。

但Field表明目前还存在一个问题,他说:“血液动力学信号通常需要几秒钟的时间才能发展,这是一个滞后的信号”。这样的延迟意味着该设备不太可能对外部设备的及时控制有用,但它确实提供了一种新的可穿戴和空间精确的方式来监测个人的大脑活动。至于它可能在哪里获得市场份额,Field坦率地说:“我们还不知道”,他解释说,该公司的理念是首先建立一种新的有效技术,然后将其交给“探险者”,弄清楚它有什么好处。因此,Kernel计划在2023年将Flow系统交给临床医生和研究人员,让他们尝试使用它的方法——可能用于诊断大脑疾病,监测他们的治疗,或观察药物或冥想对大脑活动的影响。Field说:“这将如何帮助神经科技市场起飞?我认为这是我们在2023年必须回答的一个大问题”。

    植入式ECoG BCIs

在开发带有植入记录系统的脑机接口的公司中,有两家公司专门研发ECoG设备:Synchron和Precision Neuroscience。

ECoG在临床上已经使用了几十年,特别是用于监测癫痫活动。事实上,一家公司已经将一种长期植入的、闭环的深层脑刺激系统引入了治疗顽固性癫痫的临床。该系统由Neuropace开发,使用ECoG检测即将发生的癫痫样活动的迹象。当它启动时,它会自动触发一个植入活动源附近的刺激电极,以提供高频电流脉冲,从而减少完全癫痫发作的可能性。随着ECoG也被用于控制外部设备的几项具有里程碑意义的BCI原理验证学术研究,Synchron和Precision Neuroscience开发了植入新型记录接口的巧妙方法。

Synchron总部位于纽约布鲁克林,2012年由一名神经学专家和一名心脏病专家创立,他们结合各自的专业知识开发了stentrode(图3C),其灵感来源于保持血管开放的机械装置。stentrode是一种管状金属电极网,插入大脑血管后,它将粘附在血管的两侧,并记录相邻脑组织中神经元的群体活动。

Synchron利用了人体运动皮层是主要血管的所在地这一事实,并瞄准了这一区域,这样一个人的想象动作就可以用来控制计算机界面。虽然ECoG不提供单神经元记录的分辨率,但首席执行官Tom Oxley说:“当我现在把手移动时,ECoG可以记录非常可预测的模式。”系统通过植入胸腔内的可充电电池连接,无线传输数据。系统的分析软件然后将信号分类为是或否命令输出,从而指示到iPhone上的控制系统。Oxley说:“我们试图保持尽可能简单,该系统的基本功能是使患者能够控制设备,实现提高其功能独立性的任务,如电子邮件、发短信、在线任务、数字医疗等”。

与神经外科手术相比,插入手术也相对简单,它是作为门诊手术进行的,装置无限期地保持在原位。到目前为止到目前为止,七名患有严重瘫痪的患者已经植入了Synchron的stentrode,并取得了积极的结果。Oxley表示,该公司正在与FDA讨论临床批准的途径。“这还需要几年的时间”他说,“但我们正在迅速走向关键的审判”。

由Rapoport及其同事于2021年创立的Precision Neuroscience采用更传统的方法,通过将电极放置在皮质表面上来获取ECoG记录。它的创新来自其薄膜电极阵列(图3D),它包含1024个电极,可以弯曲以符合大脑的曲率——以用于植入它们的微创手术。“我们在皮肤上和骨头上做一个非常小的切口”Rapoport说,“然后将电极通过骨切口滑动到大脑表面,这是我们在Precision开发的一种微创手术,以尽量减少整个手术对患者的影响”。数据收集在皮下植入颅骨的集线器中,并由那里的小型电池或连接到胸部的电池供电。“最终的产品将是一个完全植入的系统,没有与外界连接的电线”,Rapoport说,“它将允许用户与数字世界进行直接的大脑交流”。

Precision电极阵列的一个关键特征是它不会对大脑造成伤害,这意味着它可以移动到它检测到最强大信号的地方并能够被移除,这将能够支持它在需要时进行升级或更换旧电极。Rapoport解释道:“最少的手术和无损伤的记录是Precision理念的核心”。

到目前为止,该设备已经在小型猪中进行了测试,Precision正在与FDA讨论今年的初始临床试验。这些试验首先涉及短时间使用该系统来监测需要该系统的人的大脑活动,例如那些正在接受医学检查的癫痫患者。

    单个神经元

今天,三家公司在开发从单个神经元记录的BCI方面处于领先地位,分别是Paradromics、NeuralinkBlackrock Neurotech。其中Blackrock Neurotech自2008年成立以来一直是BCI研究的中流砥柱。

Blackrock所使用的犹他阵列(图3E)是一个10×10网格逐渐变细的突出铂能够穿透皮质表面,这是2005年开发的第一个植入人体的脑机接口。从那时起,有超过30人接受了植入,在这些试验中,用户控制了从软件到机器人手臂的各种外部设备。通常,单个阵列会接收数十个神经元的放电,每个电极也可以通过电流非常局部地刺激大脑。这种能力支撑了BCI技术的另一个方面——将信息“写入”大脑的可能性。例如,早期的研究表明,刺激大脑的躯体感觉皮层可以唤起基本的合成触觉。

Blackrock的联合创始人兼董事长Florian Solzbacher表示,该公司希望很快将其系统商业化。最初,该公司正寻求在临床试验中使用其长期使用的系统,尽管这是一个通过插入经颅端口的电线连接外部设备的接口。虽然对于全身瘫痪的人来说,这样的连接可能是一个很小的负担,但该端口存在感染风险,Solzbacher 表示,该公司正在开发一个完全植入的无线系统。Solzbacher说:“我们希望尽快解决问题,让有线设备适用于那些对他们有用并且风险效益还可以的患者,比如ALS(肌萎缩侧索硬化症)或严重四肢瘫痪患者”。

Paradromics由Angle及其同事于2015年创立,也在开发带有突出电极的阵列。但Angle表示,他们做了几件与Blackrock不同的事情,例如使用20×20阵列来增加带宽,并使用Angle认为更耐用的不同材料。该系统还旨在使植入多个阵列变得更加容易。Angle说:“将我们的设备与犹他阵列区分开来的最后一件事是我们在可植入的皮质内模块中使用有源电子设备。这意味着您可以拥有任意数量的电极,但仍然只有几根电线连接到收发器和遥测设备”。这些阵列已经在绵羊身上进行了测试,Angle表示,该公司希望在2023年在这些动物中测试其最终的完整系统,作为获得FDA批准进行首次人体试验的最后一步。

根据2022年12月的新闻发布会,Neuralink也正在与FDA就人体试验进行讨论。马斯克的公司因加速BCI行业而广受赞誉。Solzbacher表示,该公司成立于2016年,“提高了人们的认识。金融市场开始注意到这一点,因此我们开始看到公司的诞生”。而Neuralink联合创始人Rapport在那里工作了15个月,它“创造了一个有机会以惊人的资本不受约束的方式相互合作的群,我们探索了很多不同的选择,并了解了很多真正可能的东西”。Neuralink最终选择的技术被称为“线程”:一种精细、灵活的聚合物电极,设计用于匹配大脑的机械阻抗,允许它们穿过神经组织,并无限期地留在那里,从数百(如果不是数千)个神经元中获取信号。到目前为止,该系统已经在猴子身上进行了试验,复制了之前的BCI研究,这些动物能够顺利控制外部软件。

然而,让植入的脑机接口发挥作用不仅仅是开发好的电极。专家们一致认为,许多关键的学术进步都依赖于机器学习技术的出现,这些技术可以识别与用户在训练过程中的思维相关的神经活动模式。但是,关于这些校准系统在现实环境中的可靠性和可扩展性仍然存在问题,其中个体用户可能根据其大脑功能的特性或其脑损伤的性质以不可预测的方式变化。尽管如此,Angle并不认为软件是开发中的主要瓶颈,他认为最重要的是获得高质量的信号。

事实上,当谈到即将到来的潜在障碍时,Gilja还强调了另外两个问题。首先,有从大脑传输数据所需要的系统组件。“放大和数字化不是无条件的”,他解释说,这些组件占据了空间,这在头盖骨内的含量很高,而且他指出,“它们需要能量,这等于产生热量”。收集的数据量越多,这些问题就会变得更大,如果热量发生在大脑附近,就需要仔细评估。Gilja说:“构建允许在体内进行高效数据传输的系统是一个多因素的挑战”。其次,Gilja说,用于记录神经活动的材料的创新创造了某些未知数,特别是因为对于许多设想的应用,植入的BCI将需要正常运行几十年。“他们使用的材料我们缺乏经验,是更新兴的技术”他说,“因此,对于他们在更长时间内的行为,并没有那么多的集体经验和知识。直到岁月流逝,我们才完全了解”。

    接下来会发生什么?

2023年对BCI来说将具有重要意义。多个非侵入性系统很可能进入研究人员和临床医生的手中,一些植入系统的关键临床试验计划开始。要取得成功,BCI必须确保自己安全和真正对有严重疾病的人有帮助。

在商业领域,旨在大规模消费的设备开发商必须说服人们放弃花钱,并接受了解自己的大脑或与电脑互动的新方式。尽管如此,许多人仍持乐观态度。Field表示,Kernel仍致力于在2033年之前在世界上的每个家庭都拥有Flow耳机。Rapoport认为,至少在植入设备领域,某种同志情谊正在为该行业推波助澜。他说:“我们都有共同的动力去推动这项技术的发展,并且希望监管机构、保险公司、医生、医院以及整个医疗系统和公众接受新一代的脑机接口。”

如今,在雄心勃勃的同时,未来也充满不确定性。但正如Vidal 在1973年对BCI所写的一样:“目前只能推测这类系统的长期影响”。

来源:

https://www.nature.com/articles/s41928-023-00929-9

—— End ——

仅用于学术分享,若侵权请留言,即时删侵!