人类大脑如何把外部视觉信息转化为内部语义，一直是神经科学与人工智能领域的核心难题。过去几年，随着『大语言模型』（LLM）的崛起，研究者们开始尝试用它们来“翻译”大脑信号。但一个棘手的问题仍未解决：每个受试者的大脑活动模式各不相同，不同任务之间的需求也差别巨大，这让模型往往只能在单一任务、单一人群下表现良好，而一旦换人或换任务，性能就迅速下降。
近日，电子科技大学脑科学研究院团队提出了一种全新的解决方案：Prompt-Guided Generative Visual Language Decoding Model（PG-GVLDM）。研究成果发表于 International Journal of Neural Systems，首次展示了如何通过提示词（prompt）引导大模型，从而在视觉神经解码任务中实现跨人群、跨任务的统一建模。换句话说，这项工作让我们更进一步看到了“通用型脑机接口”的曙光。
PG-GVLDM流程图
01 INTRODUCTION
为什么大脑解码难以“一模通吃”？
视觉神经解码，指的是通过记录大脑在观看图像时的神经活动，去还原或预测人看到的内容。这一研究方向不仅对揭示大脑如何加工视觉信息至关重要，也直接关系到脑机接口在人机交互、神经康复、意识检测等领域的应用。然而，大脑是一个高度个性化的器官，每个人的皮层结构和功能组织都存在差异，这意味着一个模型很难在不同人群间直接泛化。与此同时，视觉解码任务本身也多种多样，有的关注类别识别（比如“这是猫还是狗”），有的强调语义描述（比如“一个小孩在草地上踢球”），模型往往需要针对性训练才能应付不同任务。
传统方法通常依赖为每个受试者、每个任务单独训练模型，既耗时耗力，又缺乏普适性。于是，研究团队提出一个大胆的想法：能否像人类一样，用一句简洁的提示告诉大模型“你现在面对的是某个受试者的大脑数据，在做某种任务”，从而让同一个模型自动调整策略，输出对应的视觉解码结果？这种思路借鉴了『大语言模型』的 prompt 技术，把受试者信息和任务信息编码进提示词，作为上下文条件输入模型，使其在生成过程中自然对齐不同个体、不同任务的差异。
02 METHOD
三层架构如何运作
在具体实现上，PG-GVLDM 由三个核心模块构成：视觉编码器、全脑编码器和解码器。视觉编码器采用门控循环单元（GRU），负责处理视觉皮层的时间序列信号；全脑编码器则通过跨注意力机制，将非视觉皮层的全脑信号引入建模，以捕捉更丰富的上下文信息；最后，解码器基于 GPT-2 框架，将编码后的神经特征和提示词信息结合，生成对应的类别标签或文本描述。提示词部分设计得十分巧妙，既包括受试者的身份信息，也包含任务类型，使得模型能在多种场景下保持统一架构。
研究团队在大规模 NSD 数据集上进行了系统验证。实验结果显示，在图像类别解码任务中，PG-GVLDM 的平均准确率达到 66.6%，不仅远超传统方法，而且在错误分类时，输出结果通常仍与真实类别语义相近，显示出模型在捕捉视觉语义上的优势。在文本描述解码任务中，模型在METEOR、ROUGE、Sentence-Transformer等指标上全面刷新了现有最好成绩，实现了对观看图像内容的准确自然语言还原。
类别解码的结果
更重要的是，研究发现提示词中的任务信息对模型表现至关重要。若缺少任务提示，模型几乎完全失效；而不同风格的提示（长短、正式或简洁）对结果影响不大。这表明，提示不仅仅是辅助，而是模型在跨人群、跨任务泛化时的核心机制。换句话说，正是 prompt 的引入，才让模型能够“理解”自己正在解码的是什么任务、来自哪个个体，从而实现了真正的统一解码。
语言解码的结果
03 SIGNIFICANCE
从个性化到普适性
这项研究的意义可以从两个层面来看。对神经科学而言，它提供了一种新的工具，可以更好地探索视觉加工的共享模式。过去，人们往往认为每个大脑都是独一无二的，但 PG-GVLDM 的结果表明，不同个体之间存在某种共通的神经编码逻辑，只要用合适的方法对齐，就能被统一解码。对脑机接口而言，这则是一个重要的里程碑。以往的 BCI 往往需要长时间的个体化校准，才能适应用户，而这项工作展示了“少量个性化信息 + 通用大模型”的可行性，为未来的普适性 BCI 打开了大门。
更长远来看，PG-GVLDM 所体现的思路或许可以推广到更多模态和任务，不仅是视觉解码，还可能涵盖听觉、语言、情绪等领域。通过提示词这种灵活的方式，脑机接口可以在同一个框架下同时支持不同用户、不同功能，就像『智能手机』操作系统一样，成为真正的“通用平台”。这意味着，未来的脑机接口或许不再是小规模实验室里的个性化工具，而是能够大范围适配不同人群、不同需求的智能系统。
新闻来源：World Scientific Connect
论文参考：DOI: 10.1142/S0129065725500686
