怎样才能快速更有效的记忆，类脑智能：人造超级大脑

作者：任福继（电子科技大学特聘讲席教授）；李太豪（之江实验室高级研究专家）

脑科学被视为理解宇宙、自然与人类关系的“终极疆域”，人类从未停止对人脑的探索，以及对其运行机制的模仿。人脑以极强的可塑性、通用性、自适应性、自组织性以及低能耗、高效率等，为人工智能技术的发展提供了启发和示范。类脑智能这一新兴学科得以诞生，被认为是后摩尔时代最具发展潜力的颠覆性领域之一。日前，中国科学技术协会完成了《直面人类未来——2021年度人类社会发展十大科学问题解读》一书的编辑出版，本期，我们邀请其中的两位作者，介绍有关类脑智能的研究。

《直面人类未来——2021年度人类社会发展十大科学问题解读》图片由中国科协提供

1.全球关注类脑智能研究

类脑智能研究具有重大意义，借鉴人脑的信息处理方式，有助于打破冯·诺依曼体系结构束缚，有望引领人工智能从机器智能走向机增强智能，从专用智能走向通用智能。因此，目前世界各主要发达国家和地区都在积极推动类脑智能的发展。该领域全球重大项目密度逐年提升，如欧盟的“人类脑计划”、美国的“推进创新神经技术脑研究计划”以及我国的科技创新2030——“脑科学与类脑研究重大项目”等，而且有谷歌、微软等国际商业机器公司等高科技公司的大力度投入。

类脑智能又被称为神经形态计算，旨在模拟人类大脑的形态结构及信息处理机制。一方面，突出生物学基础和硬件导向，以神经形态硬件仿真为核心，开发类脑芯片，模拟神经电路结构和脉冲神经网络，并利用神经脉冲计算原理形成新型物理模式；另一方面，突出感知模式、认知机理、学习能力、记忆存储等功能实现，在脑智能机制研究的基础上，借助机器强大的整合、搜索、计算等能力，实现功能类脑和性能超脑的运行模式。

自然选择并不必然意味着智能发展，其中蕴含着对于生存的妥协和生物体依附关系的辅助。因此，人类大脑作为自然进化的产物，仍然存在诸多弊端和局限，并非其所有的运行机制都是科学的和值得被模仿的，其信息处理的方式亦然。诸如记忆容量有限、学习过程缓慢、计算能力个体差异明显等，这就需要梳理明确机脑究竟在哪些方面应该借鉴人脑之所长，在哪些方面恰恰应该发挥机脑与人脑相互协同之作用。

在信息处理方面，人脑有几个显著优势：一是能够很好地处理非结构化信息，能够多模态感知并行处理数据，动态过滤和捕捉关键内容，并进行跨媒体融合和自主决策；二是小样本学习和泛化能力强，在知识和资源相对不足的条件下，主体具有强有力的自适应能力，具有强容错性；三是存算一体化，大脑的生物神经元同时具备运算和存储能力，具有一体化运行和超低能耗的特点；四是大脑建模不仅可以通过计算来实现，还具有稀疏性、学习性、选择性和方向性等生物特性，蕴含巨大的信息处理潜能。

从信息的获取、处理与存储等角度，以及综合考虑人脑在信息处理方面的显著优势，类脑智能可以划分为类脑感知、类脑记忆和类脑学习等。要最终形成“人造超级大脑”，还有很长的路要走，目前的类脑研究尚处于初级阶段，仅是对大脑的高度抽象和简化。

未来研究路径应该对大脑如何进行信息加工加以揭示，阐明复杂行为之下的内在机制实现形式，特别是了解神经信息如何产生感知觉、学习、记忆、决策等认知功能，并思考如何通过机脑实现智能，建立新型的计算结构与智能形态，使其在信息处理机制上“类脑”，在信息处理性能上“超脑”，在认知行为和智能水平上“类人”。

2.类脑感知模拟视觉、听觉、触觉和嗅味觉

根据人类感知世界的方式，类脑感知可以分为视觉智能、听觉智能、触觉智能和嗅味觉智能。当前的视觉智能、听觉智能处于信息技术领域学术研究与实际应用的最前沿。相比之下，触觉智能和嗅味觉智能处于材料硬件、规模化芯片硬件和类脑芯片结构创新的研究阶段。

在基础研究层面，类脑视觉智能已经发展为目前以深度学习为代表的视觉方法。1982年，大卫·马尔的《视觉》一书问世，使得视觉计算理论成为跨界计算机科学与认知神经科学的桥梁。现在，不同的类脑神经网络框架与其他领域的模型，如自然语言处理领域的转换器已经取得最先进的性能。在产业发展层面，视觉智能从上游的光源、镜头、相机，到视觉系统中游的中间算法，再到下游的设备制造和终端应用等已经取得全面的发展。

听觉智能作为另外一个发展较为成熟的领域，其主要研究内容以自然语言处理为核心，以语音和文本为载体，对抽象的信息进行表达。在应用层面，语音信号处理技术已广泛应用于虚拟主播、在线通话、智能音箱等。在产业界，自然语言处理技术已经被用于机器翻译、聊天机器人、舆情分析和市场预测等各个领域。

触觉智能是相对发展较为缓慢的一类感知技术。为了实现机器人准确地感知世界，需要全方位的视觉智能与触觉智能。2021年诺贝尔生理学或医学奖得主、美国加利福尼亚大学旧金山分校的戴维·朱利叶斯和斯克利普斯研究所的阿德姆·帕塔普蒂安分别独立发现了温度与触觉的受体，该发现揭示了人体皮肤感知温度、压力及疼痛的分子机制，即揭示了外部的温度和机械刺激是如何转化为内部的神经信号的。以该类发现为启发，机器的触觉智能以新材料为切入点，感知环境的温度、压力与湿度等各种信号，通过神经网络等机器学习方法自适应地学习模型参数，使得机器具备感知触觉的能力。

嗅味觉智能的研究难点也在感知材料层面，而不是后续的深度学习算法与认知训练层面。人工智能对味觉与嗅觉的识别，进展远远落后于对视觉和听觉的识别。原因之一是视觉与听觉的数据获取相对容易且标注较为简单。而相比之下，嗅觉与味觉的标注非常稀疏，且大部分物品并不会被轻易标注，因为人类不会自己去尝试陌生物品的味道。在基础理论层面，人类对味觉和嗅觉的机理研究并不透彻，目前的认知仅停留在味道与物质分子有关，而对分子之间的联合作用不存在类似视觉的系统认知。因基础理论认知的缺失、感知材料的发展限制，嗅味觉智能尚未在工业界广泛应用。在学术研究层面，IBM研究院于2019年研发的“电子舌头”能在1分钟内识别多种液体，可以用于监测食品安全、工厂质检、疾病诊断、环保检测等领域。2020年，英特尔与康奈尔大学在《自然-机器智能》上联合发表论文，宣布其利用英特尔神经拟态芯片Loihi可以识别10种有害气体。

人脑对大量的信息会基于注意力机制进行筛选，并将资源重点用于面向任务的关键信息处理。类脑注意力智能已经被应用于深度学习的各个领域，如视频图像处理、语音识别和自然语言处理等。当前注意力机制发展最为成熟的领域是自然语言处理，它通过编码-解码器来实现对词语的注意权重。

3.类脑记忆已用于问答系统、机器翻译

生物大脑在进行信息处理时，能够将信息记住一段时间，即大脑具有记忆功能。该功能是生物大脑的重要功能，是大脑进行学习、认知的基础。根据记忆时间的长短，可将记忆分为短时记忆和长时记忆。短时记忆是对当前环境的即时反应，将当前环境数据存储于生物大脑中，从微观角度来看，短时记忆是刺激神经元后的持续性变化。长期记忆是对历史信息的高层次概括，从微观角度来看，是神经元之间的突触连接和强度发生了变化。具有记忆单元的智能体有很好的自适应能力，可以从历史经验中学习，从而更好地发挥作用。

受到脑科学的启发，研究人员将记忆模块应用于机器学习模型中。长短期记忆网络就是一种代表性方法。它通过对神经记忆单元进行结构化设计，通过门控模型控制信息的更新。其中，遗忘门控制信息中的哪些部分会被丢弃，输入门控制神经元要更新的信息，输出门控制神经元要输出的信息，一个细胞状态中存储着由遗忘门和输入门共同确定的可记忆的信息。长短期记忆网络方法将信息表示成固定长度的向量化编码，当外部信息量变大时，这种定长的编码方法可能会丢失信息的细节。这导致了长短期记忆网络的记忆能力有限，并不能精确地记住过去的事实。此时的大部分模型都缺乏可以读取和写入外部知识的组件。

在此基础上，研究人员开始研究非定长的记忆单元存储信息。Facebook团队提出的记忆网络就是其中一种。该团队在记忆网络中引入了一个独立的存储器。我们可以通过类比方式来理解这种网络：网络结构可看作计算机中的中央处理器，而独立存储器可看作随机存储器。一个记忆网络由一个记忆数组和四个组件（输入组件、泛化组件、输出组件、回答组件）组成。输入组件负责将输入数据转化为网络内在的向量；泛化组件用来更新记忆数组；输出组件结合输入，从记忆数组中抽取合适的记忆；回答组件负责将输出组件的输出转化为需要的形式。

记忆网络虽然解决了定长记忆方法的局限性，但这种方法并不是一种端到端的方法。端到端的记忆神经网络随之出现了。键值记忆网络的提出解决了端到端的神经网络记忆规模不足的问题。以上方法通过非定长记忆编码的方式改善定长记忆方法的缺陷，但随着记忆的增长，这种方法可能会造成信息的冗余。因此，学者又引入了注意力机制来对信息进行动态融合，提取记忆中的重要信息。目前，相关工作已经在问答系统、机器翻译等任务中取得了良好表现。

尽管目前的神经网络计算模型对记忆的借鉴已经在应用层面取得了良好的效果，但这些方法仍然是从功能角度去模拟大脑，其进一步的发展还需要对人脑记忆机制和原理进行深入的探索。

在类脑记忆方面，现有的人工神经网络并不具备生物机理作为理论支撑。例如，在生物大脑中，记忆遵循着赫布学习律与脉冲时序依赖的突触可塑性等法则。类脑记忆未来的发展方向应该借鉴生物大脑的研究，根据生物大脑的记忆环路结构及相关理论构建多尺度的记忆框架，实现自主记忆。由于不同种类的记忆类型在神经机制和神经环路上差异明显，因此类脑记忆应重点解决对生物大脑的长时记忆、短时记忆、工作记忆等不同种类记忆方法的建模，探索不同记忆的脑机制。除此之外，类脑记忆还应解决如何对记忆进行表示、如何构建层次化记忆、如何对记忆进行去冗余处理、如何快速激活记忆单元等关键问题。

4.类脑学习需要融合更多神经生物学理论

生物大脑的学习智能来源是其有着超大规模和复杂互联的神经网络，通过模拟生物神经网络从而实现类脑学习是类脑智能的发展思路之一。近年来蓬勃发展的深度神经网络利用生物大脑在进行信息处理时的层次化信息，在诸多领域取得了重大突破。

卷积神经网络就是一个很好的例子。它通过对网络结构的改造，使其某些神经元共享相同参数，可以提取输入数据某种不变的特征。但其仍是浅层的初步尝试，对脑信息处理机制的深度借鉴还有很长的距离。

神经学研究显示，大脑新皮质的功能实现依赖于其区域连接组成的层次结构。该理论是皮质学习算法的理论基础，认为人脑的智能与新皮质紧密相关。皮质学习算法中的核心部分是分层时间记忆算法，该算法模拟了大脑新皮质结构和功能运作。虽然该模型目前已经在数据处理领域得到了广泛的应用，但只是对大脑皮层对应的功能进行粗略建模，与大脑的真实结构差距甚远。

20世纪90年代，神经生物学家发现，在神经元细胞体或轴突附近存在一系列的短脉冲，而且不同的信息在尖脉冲数量和脉冲输出的时间上存在差异。这些研究成果促使了脉冲神经网络的产生。脉冲神经网络被称为第三代神经网络，设计更加接近生物大脑的真实结构，是对真实的生物神经元进行建模。脉冲神经网络目前在模式识别、脑电信号处理、智能感知和控制方面有着良好效果，但在图像或语音处理的效果方面仍然是个未知数。除此之外，脉冲神经网络训练算法的理论发展尚需完善。

对于人类来说，学习新的知识并不需要很多标记数据。这是由于人类在学习新任务时，会有其他的先验知识可以用于联想或者类比学习，人类只需要通过少量样本就能快速学习，这就是机器学习和人类学习之间存在的差距。可不可以借鉴人类学习的过程，从而通过其他任务的学习促进当前任务的学习？

元学习就是基于此思想发展而来的，它试图让机器学习更加接近人类思维。元学习又被称为学会学习，是利用以往的经验来指导新任务的学习，使人工神经网络具备学习的能力。元学习尽管取得了一些成绩，但还有自适应性、进化性、可解释性等一系列问题有待研究，其系统理论知识尚需进一步完善。

在类脑学习方面，虽然现有的深度神经网络已经模拟了生物大脑信息处理的部分原理，但这只是初步的探索，并没有从更深层次去融合神经生物学的相关理论。目前，在微观层面，神经生物学在神经元和突触的类型、数目及其工作原理等方面都取得了不少进展，发现它们在不同的脑区中差异很大，且能根据实现功能的不同动态变化调整，可以通过深度融合生物大脑的学习机制来提升现有模型。

《光明日报》（ 2022年12月22日16版）

来源： 光明网-《光明日报》