note

• 拥有完善的认知架构仅仅只是第一步。Foundation Agent 的核心特征之一在于其自进化 (Self-Evolution) 的能力，即 Agent 能够通过与环境的交互和自我反思，不断学习、适应和提升自身能力，而无需持续的人工干预。自进化机制：优化空间 (Optimization Space)、LLM 作为优化器 (LLM as Optimizer)等

综述介绍

论文链接：https://arxiv.org/abs/2504.01990
Huggingface链接：https://huggingface.co/papers/2504.01990
Github 链接：https://github.com/FoundationAgents/awesome-foundation-agents

首次定义并提出了基础 Agent（Foundation Agent) 这一新概念框架。Foundation Agent 并非某个特殊的 Agent，而是一个技术蓝图。它指引我们如何构建一个由复杂认知、多层记忆、世界模型、奖励&价值、情绪&动机、多模感知、行动系统等模块化组件构成的智能系统。

一、Agent 的核心组件 - 构建认知基石

一个强大的 Foundation Agent 必然是一个复杂的系统，由多个相互协作的核心组件构成。我们借鉴了认知科学和神经科学中对大脑模块化功能的理解。其中的七个关键组件，它们共同构成了 Agent 的认知架构：

1. 认知核心 (Cognition Core)

这是 Agent 的“大脑”，负责最高层次的决策、推理和规划。与当前主要依赖 LLM 进行“思考”的 Agent 不同，Foundation Agent 的认知核心可能是一个更复杂的系统，集成了多种推理能力（如逻辑推理、因果推理、常识推理）和规划算法（如任务分解、层级规划、长期目标管理）。它需要能够处理不确定性，进行反思和元认知（思考自己的思考过程），并根据环境反馈和内部状态动态调整策略。

认知系统的建立、学习方式：

2. 记忆系统 (Memory System)

当前的大部分 Agent 只有有限的短期记忆（如 Prompt 中的上下文）或简单的外部向量数据库。Foundation Agent 则需要一个更复杂、更接近生物体的多层次记忆系统。这个部分我们探讨了短期记忆、长期记忆与工作记忆等不同类型，包含情景记忆、语义记忆和程序记忆等细分领域。

人类的记忆系统分类：

人类记忆系统的模型，三阶段体系：

3. 世界模型 (World Model)

Agent 还需要能理解它所处的环境以及行为可能产生的后果。世界模型正是对环境动态的理解。它可以帮助 Agent 进行预测（如果我采取行动 A，会发生什么？）、规划（为了达到目标 B，我应该采取什么行动序列？）和反事实推理（如果当初采取了不同的行动，结果会怎样？）。而一个强大的世界模型需要能够处理物理规律、社会规范、其他 Agent 的行为等多方面信息，并且能够根据新的观测数据不断更新和完善。

当前的四种世界模型范式：

4. 奖励与价值系统 (Reward and Value System)

目标对人来说很重要，对 Agent 来说也是。奖励系统负责评估 Agent 的行为表现，并提供学习信号。这不仅仅是简单的奖励，可能涉及到多目标优化、内在动机（如好奇心、探索欲）以及对未来价值的预估。价值系统则负责评估不同状态或行动的长期价值，指导 Agent 的决策。如何设计能够引导 Agent 学习复杂行为、符合人类价值观，并且能够适应动态环境的奖励和价值系统，是确保 Agent 目标一致性的核心。

reward范式的分类：

reward常见范式的流程：

5. 行动系统 (Action System)

Agent 最终需要通过行动系统与环境进行交互。这包括生成自然语言、执行代码、控制机器人肢体、在虚拟世界中导航等。行动系统需要将认知核心的决策转化为具体的、可在环境中执行的操作序列。行动的选择需要考虑可行性、效率和潜在风险。

动作的范式分类和学习方式：

agent的action一般都和工具有关（使用工具）：

二、Agent 的自进化——迈向自主智能

拥有完善的认知架构仅仅只是第一步。Foundation Agent 的核心特征之一在于其自进化 (Self-Evolution) 的能力，即 Agent 能够通过与环境的交互和自我反思，不断学习、适应和提升自身能力，而无需持续的人工干预。
我们探讨了实现自进化的关键机制：

1. 优化空间 (Optimization Space)

自进化的前提是定义清楚哪些东西可以被优化。Agent 的几乎所有组件都可以成为优化的对象：认知策略、记忆内容、世界模型的准确性、感知能力、行动技能等等。

其中，提示词，工作流， Agent 组件是可以被直接优化的三个层次。

2. LLM 作为优化器 (LLM as Optimizer)

大型语言模型不仅可以作为 Agent 的认知核心的一部分，还可以扮演优化器的角色。LLM 通过生成代码、修改参数、提出新的策略或结构，来优化 Agent 自身的其他组件。例如，LLM 可以分析 Agent 过去的失败经验，提出改进记忆检索算法的建议；或者根据新的数据，生成更新世界模型的代码。

3. 在线与离线自改进 (Online and Offline Self-Improvement)

Agent 既能在与环境实时交互过程中进行在线改进，通过强化学习优化行为策略或根据感知更新世界模型（Online)；也能在“休息”或专门训练阶段实现离线改进，利用收集的数据进行深层分析和模型更新，可能涉及调整整个认知架构、重构记忆库，或利用 LLM 作为优化器进行大规模模型迭代（Offline)。

4. 自进化与科学发现 (Self-Evolution in Scientific Discovery)

我们也特别提到了自进化在科学发现等复杂问题解决场景中的巨大潜力。一个具备自进化能力的 Foundation Agent 可以自主地提出假设、设计实验、分析数据、学习新知识，并不断优化其研究策略，从而加速科学探索的进程。这为 AI 在基础科学领域的应用打开了新的想象空间。

自进化是 Foundation Agent 区别于当前大多数 Agent 的关键特征。它突出了 Agent 自主学习和适应的核心能力。实现高效、稳定且目标可控的自进化机制，是通往真正自主智能的关键挑战。

三、协作与进化型智能系统 - 构建群体智能

进一步的，当我们拥有强大的 Foundation Agent , 很自然地会将视野扩展到由多个 Foundation Agent 组成的多 Agent 系统 (Multi-Agent System, MAS)，我们探讨了 MAS 的基础组成、结构、协作范式和决策机制；以及在多 Agent 系统的自主协作/竞争中，群体智能（Collective Intelligence）形成的现象。

1. 多智能体系统设计

Multi-Agent System Design

在大模型多 Agents 系统（LLM-MAS）中，协作目标与协作规范是协作的基础。协作目标明确个体目标（个体性、集体性或竞争性），协作规范确立了 Agent 交互规则、约束和惯例。

基于协作目标和规范，多 Agent 系统可分为策略学习、建模与仿真、以及协同任务求解

2. 拓扑结构与规模化（Comunication Topology and Scalability）

从系统角度出发，拓扑结构往往决定着协作的效率与上限。我们把 MAS 的拓扑分为了静态和动态两大类：前者是预定义好的静态拓扑（层级化、中心化、去中心化）结构，常用于特定任务的解决实现；后者是根据环境反馈持续更新的动态拓扑结构，其可通过搜索式、生成式、参数式等新兴算法实现。

3. 协作范式与机理 (Collaboration Paradigms)

借鉴人类社会中的多样化交互行为，如共识达成、技能学习和任务分工，多 Agent 协作可以被归纳为共识导向、协作学习、迭代教学与强化，以及任务导向交互。在不同交互目标和形式下，Agent 之间形成讨论、辩论、投票、协商等单向或多向交互。随着交互的持续，这些过程迭代出决策和交互网络，不同 Agent 在协作中增强和更新个体记忆与共享知识。

4. 多 Agent 系统评估 (Evaluation of Multi-Agent Systems)

相关MAS的benchmark介绍：

Reference

[1] ADVANCES AND CHALLENGES IN FOUNDATION AGENTS
[2] 264页 Agent 综述！MetaGPT、Mila、斯坦福、耶鲁、谷歌半年共同撰写
[3] 如何设计Agent的记忆系统-六种类型