导言

大家好作为一名工程师，我平时致力于提供使用大型语言模型（LLM）的聊天服务，尤其是在改进RAG系统方面，我们每天都面临着各种挑战。

在本文中，我将简要介绍一种有效构建解决问题的Agent团队的方法——Captain Agent。

 

 

摘要

Captain Agent的特点在于，它能够针对任意问题利用代理进行问题解决，并在得到结果后进行反馈，再重新构建解决问题的代理。由于能够根据每个问题自动构建所需的代理，因此无需事先为特定任务创建代理。此外，通过动态创建代理，能够更加灵活地应对各种问题。

有关更详细的内容，请参考以下论文。

https://arxiv.org/pdf/2405.19425https://arxiv.org/pdf/2405.19425

问题意识

代理的限制

代理是一个框架，使大型语言模型（LLM）能够利用工具执行任意操作或获取外部信息。即使是单一代理，也可以通过调整实现各种操作，例如通过网络搜索信息或发送电子邮件。然而，在处理复杂任务时，单一代理的精度存在问题。

多代理使用的设计问题

为了克服代理精度方面的问题，创建多个目标明确的代理并根据任务进行组合的方法被认为是有前途的。然而，如何设计这些代理并没有标准化的方法。

针对这一问题，Captain Agent专注于如何构建有效的代理群体以解决问题。最终，这种方法在问题解决能力上表现出比之前提出的多代理方法更高的效率。

方法

Captain Agent 通过以下流程来输出结果：

1. 考虑解决任务的步骤：针对给定的任务，首先思考解决该任务的具体步骤。
2. 分解为子任务：将解决步骤细化为多个子任务。
3. 创建多代理团队：为解决子任务，创建一个多代理团队。
4. 代理团队解决子任务：代理团队协作解决子任务。
5. 回顾和输出反思：子任务完成后，对整个过程进行回顾和反思，并输出反馈。
6. 调整并重新开始或输出最终结果：根据反馈调整子任务或代理团队，然后从第4步重新开始，或结束任务并输出最终结果。

更详细的方法说明

多代理团队构建

Captain Agent 会将给定任务分解为多个子任务，并确定每个子任务所需的角色。然后从一个包含代理和工具的库中获取所需的代理和工具，构建一个适当的代理团队。如果没有满足要求的代理存在，系统会基于工具新建代理并加以利用。

子任务解决

代理团队使用对话和各自的工具来解决子任务。一旦子任务完成，反思用的LLM会对对话记录进行回顾，并向Captain Agent提供反思报告。基于这份报告，Captain Agent决定是否重新构建团队、添加新的子任务指示，或完成任务。

代理团队的对话

选定的代理使用名为AutoGen的框架进行相互对话，以解决子任务。详细内容可以参考AutoGen的相关论文。

https://arxiv.org/pdf/2308.08155https://arxiv.org/pdf/2308.08155

反省过程的详细说明

反省报告是基于代理团队的对话和输出结果，包含以下内容：

1. 任务概述：简要说明所解决的任务。
2. 解决结果：详细描述任务的解决结果。
3. 结果的原因：解释为什么得出这些结果。
4. 对话中的问题：指出对话过程中出现的问题。
5. 是否需要再检验：判断是否需要对结果进行重新检验。
6. 其他附加信息：提供其他有助于改进的附加信息。

在反省过程中，主要关注以下几点：

• 检测对话内容和结果中的矛盾之处。
• 判断是否需要重新审查解决方案。
• 提供关于是否需要重新组建代理团队的反馈。

通过以上步骤，确保每个子任务的解决过程得到充分的反思和改进，使得Captain Agent能够在任务解决过程中不断优化和提高效率。

成果

在论文中，首先对现有的多智能体任务解决方法在精度方面进行了比较。比较包含6个项目。

这里所提示的比较项目中，所有项目的精度都有3~5%左右的提升。

此外，对于“世界信息检索场景”这一任务，即高效地搜索信息并迅速收集所需数据或信息，得到了如下结果。

关于这一点，与比较的其他方法相比，所提出的方法取得了最优的结果，并且提到了将提示工程降到最低。

接下来，为了验证动态重组智能体团队的方法是否有效，论文对固定团队和动态生成团队的精度进行了比较。

除物理任务外，几乎所有任务的性能都有所提升，证明了动态生成智能体团队的有效性。

最后，论文比较了预先定义并加载使用的智能体和工具对性能的改善效果。

在世界信息检索场景中，通过事先对智能体和工具进行一定程度的定义，精度得到了显著的提升。

考察

本次介绍的论文讨论了在现实世界中使用LLM（大规模语言模型）来高效解决问题的新方法。比较所用的任务中，许多任务仅靠LLM的简单执行难以解决，需要对任务进行分解。通过比较可以看出，新方法在这些任务上的表现优于传统方法，这表明该方法具有较高的性能。

此外，通过对固定智能体团队和动态变化的智能体团队进行性能比较，发现动态生成智能体团队的性能有所提升，这进一步证明了动态生成智能体团队的有效性。

然而，从成果的最后表格中可以看出，预先定义的智能体和工具对于提高精度是必要的。因此，与其他方法相比，这些成果可能并不完全是由于方法本身的精度差异，而是预先准备的提示工程所带来的差异，因此这一点需要注意。

此外，尽管论文中没有提到执行时间，但可以推测，由于涉及团队的动态构建，执行时间可能会大幅增加。

以上两点在实际应用中需要事先进行验证。

总结

自从LLM广泛普及以来，关于使用工具智能体的各种研究不断涌现。为了进一步提高精度，研究人员开始探索多智能体协作的方法。本次介绍的Captain Agent方法便是其中的最新研究之一。

这篇论文的亮点在于，动态重组智能体对精度的提升有显著贡献。这表明LLM能够识别并选择适当的解决方案，可能应对更复杂的任务。

希望在使用LLM解决复杂问题时，这篇论文能为您提供参考。