ai脑机一对一准确率 BCI脑机接口意念打字准确率超99

脑机接口（BCI）又有新动态 ！

上次是马斯克 Neuralink 公司实现了猴子用意念控制光标打游戏。这次，斯坦福大学、霍华德・休斯医学研究所（HHMI）、布朗大学等团队用 BCI 实现了瘫痪患者将脑中的 “笔迹” 转化成屏幕字句。

“这项研究代表了 BCI 和机器学习技术发展的重要里程碑 ，相关研究正在揭示人脑如何控制像通讯这样复杂的过程，为改善神经损伤和瘫痪者的生活提供了重要基础。” 美国国立卫生研究院脑科学计划（NIH BRAIN Initiative）主任约翰・恩盖（John Ngai）博士在接受媒体采访时说道。

图丨脑机接口 “手写输入” 过程（来源：Twitter）

研究人员开发了一种皮质内 BCI，首次对瘫痪患者书写字母相关的神经信号进行递归神经网络解码，然后在电脑屏幕上实时显示这些字母的打字版本。

图丨Nature 封面图（来源：Nature）

5 月 12 日，相关研究以《通过手写实现高性能意识文本转换》“High-performance brain-to-text communication via handwriting” 为题发表在 Nature，并且登上 Nature 封面。该研究为 BCI 开辟了一种新方法，并证明了瘫痪患者在神经麻痹多年后仍可实现精准解码、快速、灵巧运动。

图丨相关论文截图（来源：Nature）

首次实现解码手写 “笔迹”

该研究论文作者之一、HHMI 研究员克里希纳・谢诺伊（Krishna Shenoy）在接受媒体采访时表示，“此次研究的最大的创新是首次破译了与手写笔迹有关的大脑信号，可以让瘫痪患者不用手也能快速打字。”

据了解，该团队的研究参与者是一位 65 岁的截瘫患者，其手因脊髓损伤而瘫痪。通过使用该 BCI 技术，其字母输入在线原始精度为 94.1％，离线通用精度为 99％以上。

图丨实时手写尝试的神经解码 （来源：Nature）

那么，该技术是如何做到 “解读” 大脑信号的呢？

该技术的作用原理是 “两个微小的植入电极阵列将控制手和手臂的大脑区域信息传递给相关算法”，该算法将其转换为出现在屏幕上的字母。

图丨受试者手写笔迹（来源：NPG Press）

首先，要求参与者复制屏幕上显示的字母，其中包括 26 个小写字母以及一些标点符号：“>” 用作空格，“〜” 用作句号。同时，植入的电极记录了大约 200 个体神经元的大脑活动，这些神经元在大脑 “写” 每个个体特征时反应不同。

经过一系列培训后，BCI 的计算机算法学习了如何识别与单个字母相对应的神经模式，从而使参与者可以 “编写” 以前未打印过的新句子，并且计算机可以实时显示字母。

斯坦福大学 HHMI 研究科学家弗兰克・威利特（ Frank Willett）博士在接受媒体采访时说：“这种方法是对现有通讯 BCI 的显着改进，后者依赖于使用大脑在屏幕上移动光标来‘键入’单词。尝试写每个字母会在大脑中产生独特的活动模式，使计算机更容易以更高的准确性和速度来识别所写的内容。”

图丨尝试手写的神经表征（来源：Nature）

其实，该技术的底层算法逻辑与 Siri 有相似之处。例如，问 Siri “今天天气如何”，Siri 经多次系统训练、识别、解读，最后做出反应。

简单来讲，首先提取脑电波信号，然后生成可视化图像处理，再对可视化的图像对应进行信号识别。

密西根州立大学生物医学工程系助理教授李金星告诉 DeepTech，原始的可视化图像并不代表就是最后识别的结果，研究人员通过一系列训练，不断对信号进行修正和改善。识别的精准度从试验初期的 30% 提升到了 99%。

李金星认为，该技术最大的突破是首次实现了用脑电波手写打字。他进一步解释，“实现手写字母的输出是对非常灵巧的动作的解码，用户在想象字母的手写笔迹时，脑电波的信号比移动光标更加丰富，因此也更加精准。”

图丨时间变化的增加可以使运动更容易解码（来源：Nature）

除此之外，该技术还具有输入速度快、使用灵活的优点。

・速度快。

华中科技大学 AI 与自动化学院脑机接口与机器学习实验室主任伍冬睿表示，该技术输入速度是一大进步，可接近正常人在智能手机的打字速度。研究中试验者输入速度是 90 字符 / 分钟，而正常人在智能手机的打字速度是 115 字符 / 分钟。

目前，基于头皮脑电（EEG）的 P300 或运动想象范式的文字输入速度约为 1-5 个字符 / 分钟，稳态视觉诱发电位（SSVEP）范式的速度可达 60 字符 / 分钟。植入式脑机接口系统可控制二维光标移动来输入文字，但是速度不超过 40 字符 / 分钟。

・使用灵活。

稳态视觉诱发电位输入速度虽然也比较快，但是需要显示器，而且用户要非常专注地注视显示器上闪烁的字符，而且眼睛被完全占用，也易疲劳。

一般来说，其输入速度（即每个字符闪烁多长时间）也是系统预先设置好的，而不是由用户自主控制的。

“该技术可以让用户自己控制输入速度，无需其他外在设备配合，也可以把眼睛完全解放出来，因此更为灵活。” 伍冬睿说。

图丨受试者实验中（来源：NPG Press）

该技术虽然优势明显，但是在使用时还有一些困难需要克服。例如，怎样识别 2 和 Z 这种非常相近的字符。

伍冬睿认为，解决该问题的的途径可考虑以下两点：

首先，对于比较相近的字符，可以设计一些替代字符。比如，论文中提出了优化的字符，让字符间差异尽量大一点，以更容易区分。如果 2 被设计成类似 “∩” 的形状，就很容易与 Z 区分。

其次，结合上下文区分相近字符。比如，字母 Z 的前后一般是其他英文字母，而 2 的前后可能是其他数字或空格。借助这些上下文信息，也有助于区分这两个字符。

未来 BCI 有望实现更快、更精准

据媒体报道，研究团队下一步将尝试新系统，将手写输入文本作为新系统的一部分，该系统还包括点击导航，类似于当前智能手机上使用的导航，包括尝试语音解码。

脑陆科技合伙人、AI 算法负责人马鹏程认为，BCI 意念打字可落地的方向与目标群体可明确分为两类：

第一类是针对有运动障碍的群体，通过脑机接口设备的辅助，利用意念打字功能实现与外界无障碍交流与沟通，解决核心的通信与控制问题；

第二类是正常人群的高效交互工具需求，意念打字成为与文本输入、语音输入并行的新的交互方式，或许会成为社会变革、推动下一轮技术革命最重要的导火索。

图丨脑机接口（来源：Pixabay）

而该研究想要进一步落地发展，从技术角度，还需要不断完善。

・该研究目前只在一位用户上实验成功，能否推广到更多用户还需要进一步验证。

实际上，该研究中的 T5 用户是之前实验中 3 个用户中效果最好的用户，所以被用来做这个实验。“如果其他用户也参与本实验的话，可能效果会差一些。” 伍冬睿说。

李金星表示，该技术的未来研究需要考虑个体差异性。每个人的脑电波信号可能不太一样，所以，未来需要深度学习和技术数据不断升级以及更多的临床案例研究。

・字符精准度需进一步提升。

本研究使用了 26 个英文字符和 5 个特殊字符，共 31 个字符。“实际中常用的字符比这些要多，比如 10 个数字就没有被考虑进去。更大的字符集应该会降低准确度。” 伍冬睿说。

・实现输入的复杂功能。

当前实验不管结果对错，用户都继续输入。而正常的文本编辑中，用户需要纠正错误。如何实现光标跳转、删除、插入等更复杂的功能，是需要进一步考虑的问题。

・脑电信号易用性的提升。

脑电信号并非平稳，该系统每次使用前需要重新校准，会花费用户的时间和精力。该技术需要更好的算法以缩短甚至消除校准，提高易用性。

・提高电极质量，降低手术风险。

该技术需要精密手术植入式电极，但是因为人体排异反应，该类电极并非一劳永逸，使用一段时间后信号质量会下降，需要重新植入，增加了手术风险和用户花费。“提高电极质量，降低排异反应，对该技术大规模应用是非常重要的。” 伍冬睿表示。

・设备的小型化与无线。设备小型化和无线化将有利于用户运动、操作的便利性。

伍冬睿认为，未来三到五年，随着电极寿命、灵敏度和密度的进一步提高，以及解码算法的进一步发展，该技术有望更快、更准确。

谈及产业化落地，马鹏程表示，以我们在各行业 AI BCI 的大规模实际应用经验角度来看，AI 结合脑机接口技术（侵入式及非侵入式）实现意念打字，在构建高质量的大规模模型训练数据集后，结合实际的意念打字需求的使用场景进行产品设计。“我认为，应该能很快研发出可实际应用的脑机意念打字产品。未来产业化的速度有可能超出我们所有人的想象。”

图｜植入大脑的微型电极阵列（来源：BrainGate）

如果未来脑机接口技术成熟，将会怎么样呢？

李金星表示，短期来看，脑机接口的下一个突破也许会在非侵入的输入技术发展，通过脑刺激将外界信号传递给大脑，从而实现对神经系统损伤疾病（如帕金森、癫痫等）以及心理疾病（如抑郁症、自闭症等）的缓解作用。

他认为，从长远来看，也许人类只需要大脑而存在，可能会真正实现“人机共融”。

,