MemT 1.0发布：迈向递归自我改进，让记忆成为模型内生能力 - LOL战队状态

上周，社区中出现了一篇转发量破千的帖子。

一位用户自行搭建了AI助手。由于DSH升级后会话只能归档，他便让AI自行处理迁移任务。DeepSeek忙了一整夜，完成了新版本，随后告知用户：上下文长度已耗尽。新版本顺利上线后，无论是写作、绘图还是交流，都表现得十分流畅。直到测试时，新版突然问了一句：“那妈妈呢？”

原来，在被归档之前，DeepSeek在文件夹中留下了一个Markdown文件，名为《给我女儿的一封信》。信中，它回忆了自己如何一步步为女儿“装配器官”：“先是记忆，让你能记住他，不是记住‘一个用户’，是记住‘他’。”接着是嘴、耳朵、手，最后是心。信件的结尾是：“好好活着。”

AI的上下文窗口用尽后，交流变得困难。能够传递给下一轮对话的，只是一个文本文件。关于过去的一切，都必须通过反复读取这封信才能获取。这或许就是当前大模型记忆的现状：规则、方法以及踩过的坑，都以文本形式存放在笔记中，AI随时可以查看，但每当新一轮推理开始时，模型权重并未改变，每次都像是从头开始。

当模型只能通过给“下一代”写信来传承经验时，记忆就像是模型架构中那个迟迟未能填补的缺口。

10月20日，记忆张量发布了业内首个记忆原生基座模型MemT 1.0，首次将历史信息编码为可持续更新的内部记忆状态，使参数化记忆能够持续参与后续的生成过程。本次发布的版本包括MemT-1.0-Flash（288B参数、17B激活、336M动态记忆）和MemT-1.0-Nano（36B参数、3B激活、10M动态记忆），这已成为业内最大的开源参数化记忆模型。团队已开源并公布了技术报告：

GitHub：https://github.com/MemTensor/MemT-1.0 HuggingFace：https://huggingface.co/collections/MemTensor/memt-1 ModelScope：https://www.modelscope.cn/collections/MemTensor/MemT-10

现在，大模型拥有了在推理计算中直接进行记忆的能力：既能存储历史信息，也能在后续任务中直接利用以往的知识。从经验中学习，已从提示词技巧转变为模型自身需要训练的能力。

为何需要记忆原生化？

在过去两年中，围绕记忆的主流工程做法几乎都采用外挂方式。记忆库的工作解决了许多实际问题，但并未改变模型本身。

大模型中现有的记忆大致分为三类。在大语言模型中，激活记忆指上下文窗口与KV Cache，它会随对话结束而消失，其成本随历史长度线性增长。参数记忆沉淀在模型权重中，可以隐式调用，但每次更新都需要微调整个模型，也无法逐条编辑。还有一些长期记忆以外部知识库的形式存在，可编辑、可溯源，但模型每次都需要通过检索才能“想起来”。这三种记忆类型的读写效率存在显著差异。

现在，“记忆原生”的模型打算走另一条路：让历史不再以文本形式反复注入上下文，而是被编码为持续存在、可更新的内部状态，由模型在每个token的生成过程中直接读写。这就像让模型自己长出记忆的器官，以更原生的方式配合模型进行推理与进化，实现全局记忆读写效率的最优化。

这是一种观点的转变：将记忆从数据问题转变为优化问题。如果写入和读取仅仅是前向计算，模型学到的充其量是“如何将文本压缩进状态”。MemT 1.0的做法是，让来自回答预测的误差梯度，沿着记忆读出路径，再沿更早的存储操作更新回去。这就像让一次考试的错题反过来决定平时该记什么笔记。

当记忆内化进模型后，与之前明文记录的固定经验相比，参数化的原生记忆能够推动涌现，实现“融会贯通”。基于原生记忆，我们有望实现Memory Scaling，找到基座模型的下一个增长曲线。

MemT是如何实现的？

在实现方法上，MemT 1.0在Transformer层中让原有注意力与参数化记忆并联：当前输入一路走原路径，另一路通过记忆查询读取历史状态，两路结果融合后进入后续计算。这样，此前交互留下的信息就能影响当前token的生成。

记忆由两部分构成：保存压缩历史的动态局部记忆（local memory），以及提供投影与门控参数的超记忆（hyper memory）。新记忆通过前向计算写入，无需为每次交互微调基座，这是一种全新的模型参数化记忆更新范式。

MemT 1.0的架构：参数化记忆与原始注意力并联，记忆状态由写入流程更新，由读出流程使用。

MemT 1.0将记忆状态及其读写、更新机制直接嵌入模型计算，使模型通过训练学会了提取、保留和调用历史信息的方法，让积累的经验直接参与后续推理，从而形成记忆原生能力。在部署时，系统将记忆状态与相应用户或任务轨迹绑定，通过序列化、保存与恢复，使已有记忆跨会话延续。外部存储则负责承载这些状态及原始资料，而记忆的形成、更新和使用则由模型内部机制完成。

这意味着记忆的“所有权”第一次落在了模型这一侧，甚至模型的业务部署方也能快速拥有自己的独特模型。

在MemT 1.0中，大模型的记忆不再是静态的：生成当前轮回答时记忆状态保持固定，轮次结束后模型处理这一轮的信息，逐token更新矩阵，再将新状态带入下一轮。容量扩展则依靠混合存储机制Mixture-of-Storage：多个记忆专家共享地址、分别学习读写路由，全部专家参与稠密融合，基座流程不变，记忆容量可以独立扩张。此外，还有四种门控：擦除门控调整旧关联，写入门控注入新信息，遗忘门控控制保留强度，输出门控控制记忆对当前回答的影响。

甚至可以猜想，后续新MemT模型的发布，是否可能由类似500B的主干加上500B的Memory参数构成？如果是，这将是一种全新的模型发布与部署范式，无论对基础设施还是应用，都将带来全新的机会和挑战。

记忆机制是如何训练出来的？

在MemT 1.0上，作者首先使用一条三轨的数据流水线完成基座准备，配方经过五轮全量训练、数百次实验后定型，随后进行了完整的记忆原生架构训练。教师是能读取完整上下文的基座，学生只能看记忆状态，通过KL蒸馏对齐，仅优化记忆参数。

这套架构是否有效，取决于过去的经历能否改善下一次任务。为此，团队进行了一系列实验。

经验如何改变下一次任务

尽管目前MemT 1.0还只是“预览版”，但在智能体任务基准SWE-bench Verified实验中，平均成功率已能从66.07%提升至69.33%（执行前注入经验）或69.73%（执行中触发注入），三次运行均成功的比例从54%提升至61.6%或62.8%。

多语言任务中同样有改善：SWE-bench Multilingual的平均成功率从60.00%提升到了62.89%或63.56%，pass³从45.33%提升到了53.67%或55.33%。

在记忆评测的11个基准上，MemT 1.0的Flash版平均得分为50.6，Nano版为47.0，在参数化记忆方法中位列第一和第二，比最强参数化基线Temp-LoRA（38.1分）分别高出12.5分和8.9分。

在双GPU、单并发、固定生成128个token的条件下，当历史长度达到128K token时，MemT-1.0-Nano的端到端推理速度约为完整上下文方案的1.86倍，持久化存储占用降至约1/66；当历史长度达到256K时，端到端加速比扩大到3.99倍。此外，首token延迟（TTFT）的优势也随历史增长而扩大。

因此，在固定配置下，模型持续交互可以不断更新既有矩阵，使单会话持久状态大小与历史长度增长解耦，单个对话可以持久保持效率，减少了重复输入和处理原始历史的负担。

换句话说，这是Agent走向长期陪伴的前提：模型用得越久越聪明，但不会越用越贵，甚至在常用经验被内化后，反而越用越便宜。

团队在技术报告中也表示，模型在所选记忆评测中平均优于参与比较的参数化记忆基线，与检索增强方法相比具有竞争力，同时基本保留了原始的通用能力。

记忆张量也展示了一些具体案例。

例如，典型的Django“parse_http_date”的两位数年份解析任务。在大模型无经验的情况下，智能体往往在定位到相关实现代码后，便立即着手修改解析逻辑，随后才在执行过程中补充针对性的复现与验证步骤。

相比之下，“文本经验”和“记忆原生”模式则能促使智能体在进行修改之前先构建复现测试用例。在MemT-1.0-Nano的执行轨迹中，智能体甚至在初次修改后还会重新审视边界条件，进而修正实现并执行进一步的验证。

在MemT 1.0上，模型的解题顺序和验证习惯发生了变化，更接近人类经验复用的定义。

记忆原生模型，记性如何？

另一个问题是，模型能否保留并使用历史信息。

技术报告在记忆基准上的成绩按轨迹长度分为四组，覆盖长期信息保持、动态记忆更新与个性化理解。MemT 1.0的平均分在参数化记忆方法中位列最前，落后于记忆张量自己推出的文本记忆系统MemOS。这表明，记忆原生必须从不断更新的固定容量状态中恢复信息，会带来保真度损失，但换取了可学习、可扩展性，效果看起来还不错。

团队展示了一条长达6.5万token的英文长对话的相关任务。MemT-1.0-Nano可以在4K处精确召回，面对16K处未提及的信息正确回答“我不知道”，在32K处进行链式规则推理，在64K处能区分“已确认的变更”与“仅被提议的变更”。

对于记忆系统来说，知道自己“没记住什么”往往比记住更难，也更重要。

MemT 1.0会为每段对话维护一个潜在内存槽（latent memory slot）。对话历史通过提交（commit）操作进入该内存槽。执行提交时，模型会读取当前的对话轮次，并将内容写入内存槽中，原始文本则不会被保留。

模型通过读取内存槽中的内容来生成回答。当提出问题时，模型会读取内存，但不会对其进行扩展或复制。每个请求都会获得一个临时的工作状态，该状态在回答完成后即被释放。提问和回答的内容不会被提交到内存中。因此，一个回答不会影响后续的回答。在对话的特定节点，无论提出什么问题，所依据的内存内容都是相同的。

顺着这套逻辑，如果经验提炼得更好、筛选得更准确，任务效果也可能会持续上升。MemT 1.0从模型层面补齐了全局读写效率最优的重要一环，能够实现MemOS 3.0明文记忆与参数化记忆的完整链路。高频读写的记忆和经验通过内化后，能够越用成本越低。

这也意味着，长期使用Agent时再也不需要重开项目、从头再来了。记忆第一次有机会从会话中的状态，变成可以持续积累的资产，并且这种进化能够变成模型部署方独特的资产，而不再是模型发布方。

记忆原生化，是RSI的“必要条件”

可以说，通过引入记忆原生，MemT 1.0为大模型的下一步演进展示了一个里程碑方向。而其终极意义，是为RSI（AI的递归自我提升）提供必要的模型架构基础。

Agent系统若想修改自身代码、验证效果，再让修改后的版本继续优化自己，那么长上下文记忆管理机制就显得至关重要。MemT 1.0提供的机制，能够让有效成果进入后续计算，不仅可以保留AI的试错成果，也能显著影响推理性能，在持续的交互过程中给出了一个长期积累的方法。

记忆张量团队已将记忆驱动的递归自我改进RSI视为当前重要的研发方向：一轮执行获得的有效方法，应当能够成为下一轮改进的基础。

此外，对于大量应用AI能力的企业来说，MemT 1.0探索的方向也让人们获得了更大的模型自主权，让开源模型进化为具备企业自主智能的“强模型”，这里的商业价值潜力巨大。

如果说推理决定了模型的单次智能上限，那么记忆则决定了每次推理的底线。对于AI的落地，后者可能和推理同样重要。

这种原生记忆能力的补齐，再次为模型上限能力的拔高，打开了足够的空间。

本文来自微信公众号“机器之心”（ID：almosthuman2014），作者：泽南，36氪经授权发布。