有效的记忆策略有哪些,你用过什么方法去记忆,Meta推大模型记忆增强方法MemWalker 靠prompt就能完成,无需额外训练

极简大道 极简大道 2023-11-08 记忆方法 阅读: 133
摘要: 要点:1. 研究团队开发了名为MemWalker的树形记忆策略,使大型语言模型能够突破窗口长度限制,实现长文本的阅读和回答问题,而无需额外训练。2. MemWalker的工作原理分为记忆树构建和导航检索两个阶段,其中长文本被分割成小段,大模型对每段进行总结形成"叶子节点"和"非叶节点",非叶节点用于定位答案,叶子节点用于推理答案。3. MemWalker还引入了工作记忆机制,将已经访问的节点内容加入到当前内容的上下文中,以提高准确度,而且整个过程只依赖于prompt,不需要额外训练。

要点:

1. 研究团队开发了名为MemWalker的树形记忆策略,使大型语言模型能够突破窗口长度限制,实现长文本的阅读和回答问题,而无需额外训练。

2. MemWalker的工作原理分为记忆树构建和导航检索两个阶段,其中长文本被分割成小段,大模型对每段进行总结形成"叶子节点"和"非叶节点",非叶节点用于定位答案,叶子节点用于推理答案。

3. MemWalker还引入了工作记忆机制,将已经访问的节点内容加入到当前内容的上下文中,以提高准确度,而且整个过程只依赖于prompt,不需要额外训练。

站长之家(ChinaZ.com)10月25日 消息:一项名为MemWalker的新技术,使大型语言模型能够克服其窗口长度的限制,从而可以处理更长的文本并回答相关问题,而无需进行额外的训练。这一技术的开发团队使用了一种树形记忆策略,该策略的工作原理包括两个主要阶段:记忆树构建和导航检索。

图源备注:图片由AI生成,图片授权服务商Midjourney

在记忆树构建阶段,长文本被分割成多个小段,每个小段都由大型语言模型进行总结,形成了"叶子节点"和"非叶节点"。这些叶子节点包含原始信息,而非叶节点只包含概括信息。非叶节点用于定位答案所在的叶子节点,而叶子节点用于推理出答案。整个过程是逐步的,从叶子节点到非叶节点,直到建立完整的树形结构。

论文地址:
https://arxiv.org/abs/2310.05029

导航检索阶段涉及从根节点开始,逐一读取下一级子节点的内容,然后推理出是否继续前进或返回。这个过程一直持续,直到找到合适的叶子节点生成答案或达到最大步数。如果模型发现进入了错误的路径,还可以进行导航回退。此外,MemWalker还引入了工作记忆机制,将已经访问的节点内容加入到当前内容的上下文中,以提高准确度。

重要的是,整个过程只依赖于prompt,不需要进行额外的训练。理论上,只要有足够的算力,MemWalker可以处理无限长的文本,但记忆树构建时的时间和空间复杂度会随着文本长度的增长呈指数型增加。这一技术的发展由普林斯顿大学NLP实验室的华人博士生Howard Chen领衔,得到了导师陈丹琦和Meta AI实验室的学者的参与。整个研究成果使大型语言模型在处理长文本方面迈出了重要一步。

其他相关
记忆方法有哪些,十种记忆方法,法语学霸秘籍:分析型记忆单词法

记忆方法有哪些,十种记忆方法,法语学霸秘籍:分析型记忆单词法

作者: 极简大道 时间:2023-09-19 阅读: 141
很多同学都会在记单词上面煞费苦心,每天翻来覆去的看,记,背;但最后却收效甚微。原因在于不得其法,没有系统的讲所学所识的单词归类总结。今天笨猪君要给大家介绍一个可能很陌生但是经过长期练习会变得切实而有效的记忆单词方法,该方法适用于拉丁语系的所有语言。这个记忆方法叫“分析型记忆单词法”。其实许多单词都是有着一定的规律的,尤其是音节较长,具有许许多多词节的单词。马上就要给大家分享这一方法,希望能够那些挣扎在背诵记忆苦海的同学们一杆好桨,祝你们到达彼岸。...

记忆的,记忆方法有哪些,不同傅里叶变换的频谱周期性分析及记忆方法

作者: 极简大道 时间:2023-09-19 阅读: 161
1、周期连续时间与非周期离散频率当连续时间信号为周期信号时,其傅氏变换具有离散性,表示为傅里叶级数的形式。...

怎么记忆最有效,记忆的,同音形似词pray和prey、piece和peace用象形会意分析记忆法牢记

作者: 极简大道 时间:2023-09-19 阅读: 283
大家读一读下面的句子: He looked pale and carried a pail of water.。 A delicious piece of fruit pie stands for peace。 A plane flew over the plain。 The bunny prayed not to be preyed on....

年度爆文