長(zhǎng)期記憶，正在從工程補(bǔ)丁，變成大模型能力的核心坐標(biāo)軸。

日前，Google在其發(fā)布的論文《Nested Learning: The Illusion of Deep Learning Architectures》中，提出了一個(gè)名為 HOPE 的新框架試圖解決大模型長(zhǎng)期記憶的問(wèn)題。

這一架構(gòu)備受關(guān)注，因?yàn)殚L(zhǎng)期記憶一直困擾著大模型的發(fā)展，甚至影響著AI落地到智能體的廣度與深度。

今天讓 AI 寫(xiě)一段漂亮的回答不難，難的是隔了一周、換了工作任務(wù)，它還記得你之前某次對(duì)話的關(guān)鍵細(xì)節(jié)，不斷更新對(duì)你的個(gè)性化記憶。也只有在這一刻，大模型才真正開(kāi)始接近「持續(xù)工作的智能體」，而不是一次性消耗品。

可以說(shuō)，大模型的「短期能力」決定了它能不能把一句話說(shuō)通，但長(zhǎng)期記憶真正決定的，其實(shí)是它有沒(méi)有資格被稱為「助手」。

也正是因?yàn)檫@一點(diǎn)，去年最后一天谷歌研究團(tuán)隊(duì)提出的 Titans 架構(gòu)，在 2025 年被反復(fù)翻出來(lái)討論，并不意外。這篇論文試圖回答的，并不是「上下文還能拉多長(zhǎng)」這種老問(wèn)題，而是一個(gè)更本質(zhì)的命題：

當(dāng)注意力只是短期記憶，大模型到底該如何擁有真正的長(zhǎng)期記憶。

圖片來(lái)源：谷歌

在 Titans 里，Transformer 的 self-attention（自注意力機(jī)制）被明確界定為「短期系統(tǒng)」，而一個(gè)獨(dú)立的神經(jīng)長(zhǎng)期記憶模塊，負(fù)責(zé)跨越上下文窗口、選擇性地存儲(chǔ)和調(diào)用關(guān)鍵信息。這套思路，幾乎重新定義了大模型的「大腦結(jié)構(gòu)」。

現(xiàn)在回頭這一年，從谷歌 Titans 到字節(jié) MemAgent，再到谷歌 Hope 架構(gòu)，大模型的長(zhǎng)期記憶真正有了突破。

過(guò)去一年，不論是谷歌在此基礎(chǔ)上延展出的多時(shí)間尺度記憶體系，還是行業(yè)里圍繞超長(zhǎng)上下文、智能體（Agent）記憶、外部記憶中臺(tái)展開(kāi)的密集探索，都指向同一個(gè)趨勢(shì)：長(zhǎng)期記憶，正在從工程補(bǔ)丁，變成大模型能力的核心坐標(biāo)軸。

模型不再只比誰(shuí)的窗口更長(zhǎng)、參數(shù)更多，而是開(kāi)始比誰(shuí)記得更有選擇、更穩(wěn)定、也更「像人」。大模型的長(zhǎng)期記憶不再只是論文里的性能指標(biāo)，而是決定「能不能長(zhǎng)期被用、敢不敢被信任」的關(guān)鍵能力。

從 Titans 到 Hope，長(zhǎng)期記憶在為智能體「打基礎(chǔ)」

今年 8 月中旬，谷歌為 Gemini 推出了兩項(xiàng)重大更新，分別是基于聊天上下文的「自動(dòng)記憶」功能和保護(hù)隱私的「臨時(shí)聊天」模式。

顧名思義，「自動(dòng)記憶」是指 Gemini 會(huì)通過(guò)學(xué)習(xí)用戶過(guò)去的聊天記錄，記憶對(duì)話中的關(guān)鍵細(xì)節(jié)、用戶偏好、長(zhǎng)期項(xiàng)目背景、反復(fù)出現(xiàn)的需求等，并在后續(xù)回答中實(shí)現(xiàn)主動(dòng)的個(gè)性化回答。

類似的變化并不只發(fā)生在 Gemini 身上。過(guò)去一年，從 ChatGPT、豆包到 11 月推出的訊飛星火 X1.5，幾乎所有頭部 AI 助手都在通過(guò)引入「長(zhǎng)期記憶模塊」，努力讓大模型在跨會(huì)話、跨場(chǎng)景中保持連續(xù)性，讓 AI 能夠更新并記憶用戶畫(huà)像、歷史任務(wù)狀態(tài)和關(guān)鍵決策信息。

圖片來(lái)源：科大訊飛

不過(guò)繼續(xù)向上追溯，這一波產(chǎn)品層的變化，并不是孤立發(fā)生的，而是 2025 年大模型底層技術(shù)演進(jìn)的直接結(jié)果。

首先被重新確認(rèn)的一點(diǎn)是，長(zhǎng)上下文不是大模型記憶的終點(diǎn)。

超長(zhǎng)上下文仍然重要，但它越來(lái)越被視為一種「放大的短期記憶」——成本高、也無(wú)法判斷哪些信息值得被長(zhǎng)期保留。而 Titans 的意義，并不在于把窗口再拉長(zhǎng)，而在于明確區(qū)分：注意力只是短期系統(tǒng)，長(zhǎng)期記憶必須是一個(gè)可持續(xù)更新的組件。

11 月，谷歌更是提出將模型訓(xùn)練過(guò)程也視為一層記憶（Nested Learning），并給出了升級(jí)版的 Hope 架構(gòu)，開(kāi)始把「記憶」理解為多時(shí)間尺度的連續(xù)體，短期上下文、中期狀態(tài)、長(zhǎng)期經(jīng)驗(yàn)不再是割裂的模塊，而是按更新頻率和穩(wěn)定性分布在同一套學(xué)習(xí)系統(tǒng)中。

Hope 與 Titans、Transformer 架構(gòu)對(duì)比困惑度（左）和常識(shí)推理（右），圖片來(lái)源：谷歌

與此同時(shí)，長(zhǎng)期記憶的重心從「記住文本」轉(zhuǎn)向「記住經(jīng)驗(yàn)」。過(guò)去常見(jiàn)的做法是用向量數(shù)據(jù)庫(kù)或知識(shí)庫(kù)做 RAG，把它當(dāng)成模型的「外部硬盤(pán)」。但現(xiàn)在這種做法正在被重新審視，長(zhǎng)期記憶不只是檢索答案，而是需要參與推理過(guò)程，影響模型的決策和行為。

還是在 11 月，谷歌提出 Evo-Memory benchmark 和 ReMem 框架，明確將長(zhǎng)期記憶放入智能體的工作流中考察：模型是否能在連續(xù)任務(wù)中提煉經(jīng)驗(yàn)、復(fù)盤(pán)策略，并在后續(xù)任務(wù)中真正用上。長(zhǎng)期記憶不再只是為對(duì)話服務(wù)，而是直接決定智能體是否具備持續(xù)進(jìn)化能力。

事實(shí)上，字節(jié)跳動(dòng)與清華聯(lián)合提出的 MemAgent，則通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練模型在超長(zhǎng)上下文中「學(xué)會(huì)取舍」，讓模型主動(dòng)形成長(zhǎng)期記憶習(xí)慣，而不是被動(dòng)堆疊文本。這些工作雖然路徑不同，但都指明了長(zhǎng)期記憶必須逐步內(nèi)化為模型能力，而不只是工程外掛。

長(zhǎng)期記憶的中國(guó)路線：MiniMax/豆包/DeepSeek有何不同思路？

今年年初，MiniMax 宣布了首個(gè)線性注意力架構(gòu)大模型開(kāi)源，官方就指出現(xiàn)有智能體的「長(zhǎng)期記憶」大多只是外掛 RAG 工具，這嚴(yán)格意義上不算記憶。

事實(shí)的確如此。在早期實(shí)踐中，向量數(shù)據(jù)庫(kù)加 RAG 幾乎是默認(rèn)方案：需要記住什么，就檢索什么。但隨著智能體逐漸承擔(dān)多步驟任務(wù)，這種「查完就走」的記憶方式開(kāi)始顯得吃力。

最近豆包手機(jī)引爆了業(yè)界關(guān)于AI手機(jī)的討論，其實(shí)豆包在 Agent 體系中關(guān)于長(zhǎng)記憶的探索也具有很強(qiáng)的代表性，其長(zhǎng)期記憶被拆分進(jìn)整個(gè)工作流，用來(lái)保存用戶畫(huà)像、任務(wù)狀態(tài)、階段性結(jié)論，甚至失敗經(jīng)驗(yàn)。

MemAgent 的基本結(jié)構(gòu)，圖片來(lái)源：字節(jié)跳動(dòng)

MemAgent 這一類方案，本質(zhì)上并不是在擴(kuò)展上下文長(zhǎng)度，而是在訓(xùn)練模型理解哪些信息會(huì)影響下一步?jīng)Q策。簡(jiǎn)言之，記憶不再是查資料，而是參與判斷。

從這個(gè)角度看，字節(jié)與清華聯(lián)合提出的 MemAgent 并不是一篇孤立的學(xué)術(shù)工作。它關(guān)注的，并不是如何壓縮文本或擴(kuò)展容量，而是通過(guò)強(qiáng)化學(xué)習(xí)，讓模型在超長(zhǎng)上下文和連續(xù)任務(wù)中逐漸學(xué)會(huì)「取舍」。模型需要理解哪些信息值得保留，哪些只適合短期使用，甚至哪些應(yīng)該被主動(dòng)遺忘。

背后也體現(xiàn)了一種非常明確的判斷，即長(zhǎng)期記憶如果不能改變模型的行動(dòng)策略，本質(zhì)上仍然只是工程緩存。

正如前文所提，不論是行業(yè)的實(shí)踐，還是圍繞智能體展開(kāi)的多種系統(tǒng)設(shè)計(jì)，都在強(qiáng)調(diào)對(duì)「過(guò)程信息」的保留。這也解釋了為什么強(qiáng)化學(xué)習(xí)開(kāi)始被用于「記憶行為」的訓(xùn)練，而不是簡(jiǎn)單地?cái)U(kuò)大知識(shí)庫(kù)。

與之不同的是，MiniMax 在今年初就通過(guò)線性注意力等架構(gòu)創(chuàng)新，把模型可處理的上下文推至百萬(wàn)乃至數(shù)百萬(wàn) token 級(jí)別。

這并不是單純?yōu)榱怂⑿轮笜?biāo)，而是試圖用容量換取系統(tǒng)簡(jiǎn)化。當(dāng)模型本身一次可以穩(wěn)定「看見(jiàn)」更多內(nèi)容時(shí)，部分原本需要頻繁調(diào)度、反復(fù)檢索的外部記憶，就可以暫時(shí)被收進(jìn)上下文視野之中。

但 MiniMax 的實(shí)踐并沒(méi)有停留在「超長(zhǎng)上下文窗口」。

圖片來(lái)源：MiniMax

相反，他們?cè)诖嘶�礎(chǔ)上繼續(xù)引入獨(dú)立的記憶層，用于管理長(zhǎng)期知識(shí)與經(jīng)驗(yàn)。先解決「裝不裝得下」，再討論「該不該留下來(lái)」。在這種框架下，長(zhǎng)期記憶不再完全依賴于頻繁的 RAG 調(diào)用，而是通過(guò)更大的模型內(nèi)視野與更少的系統(tǒng)切換，降低整體復(fù)雜度。

而 DeepSeek 的策略，則構(gòu)成了一個(gè)有意義的對(duì)照。DeepSeek 并沒(méi)有在模型側(cè)押注復(fù)雜的長(zhǎng)期記憶機(jī)制，而是將其明確外置，通過(guò) RAG、向量庫(kù)或各類記憶組件完成。倒不是在回避問(wèn)題，而是基于一個(gè)更克制的判斷：

長(zhǎng)期記憶高度依賴具體場(chǎng)景，不同應(yīng)用需要的記憶形態(tài)差異巨大，與其在模型里「一刀切」，不如提供一個(gè)高質(zhì)量的推理核心，讓開(kāi)發(fā)者自行組合記憶方案。

寫(xiě)在最后

2025 年，大模型長(zhǎng)期記憶真正發(fā)生變化的，并不是某一項(xiàng)指標(biāo)被刷新，而是它的角色定位被徹底改寫(xiě)了。從早期依賴 RAG 的「外接硬盤(pán)」，到今天逐步進(jìn)入模型結(jié)構(gòu)與智能體工作流，長(zhǎng)期記憶開(kāi)始成為影響決策、塑造行為的一部分，而不只是被動(dòng)存儲(chǔ)信息的容器。

或許可以這么說(shuō)，未來(lái)大模型之間真正的差異，不再只體現(xiàn)在模型規(guī)�；蛲评硭俣壬�，還在于一套成熟、可控、可持續(xù)演化的記憶機(jī)制。因?yàn)橹挥挟?dāng)一個(gè)模型真正記得住、也管得住，它才有可能被長(zhǎng)期使用、反復(fù)依賴，甚至被交付更大的決策權(quán)。

Gemini豆包MiniMax大模型智能體

來(lái)源：雷科技

本文圖片來(lái)自：123RF 正版圖庫(kù)     

       原文標(biāo)題 : 谷歌新架構(gòu)逆天！為了讓AI擁有長(zhǎng)期記憶，豆包們都想了哪些招數(shù)？