介绍大型语言模型（LLMs）在推理任务中的局限性。

概述现有推理方法的分类和局限性：单次查询推理和多查询推理。

提出Buffer of Thoughts (BoT) 框架，旨在提高LLMs的推理准确性、效率和鲁棒性。
2. 相关工作和讨论

回顾检索增强语言模型、基于提示的LLMs推理和类比推理的相关研究。

讨论BoT与现有方法的异同，并强调其优势。
3. Buffer of Thoughts

介绍BoT的整体框架，包括问题蒸馏器、元缓冲区、实例化推理和缓冲区管理器。

详细说明问题蒸馏器的功能和工作原理。

介绍元缓冲区中存储的思想模板，并解释模板检索和实例化推理的过程。

说明缓冲区管理器如何从解决方案中提炼思想模板，并动态更新元缓冲区。
4. 实验

介绍实验数据集和任务，包括24点游戏、BIG-Bench Hard任务、BIG-Bench推理任务、Python编程谜题、多语言小学数学和莎士比亚十四行诗创作。

实现和基准：使用GPT-4作为基线模型，并与标准提示、单查询方法和多查询方法进行比较。

结果分析：BoT在推理准确性、效率和鲁棒性方面均优于现有方法。
5. 模型分析

分析思想模板的分布情况，说明BoT能够有效地发现不同任务的思想模板。

分析BoT的时间成本分布，证明其推理框架的效率。

探讨模型规模与性能之间的权衡，说明BoT能够提升小模型的能力。
6. 消融研究

分析问题蒸馏器、元缓冲区和缓冲区管理器对BoT性能的影响。
7. 讨论

讨论BoT的局限性和未来发展方向，例如整合外部资源、优化思想模板提炼等。
8. 结论

总结BoT的主要贡献和优势，并展望未来研究方向和应用前景。

1. 大型语言模型（LLMs）推理任务的局限性：

LLMs 在推理任务中存在幻觉现象，难以处理复杂推理问题。

现有的推理方法（单次查询和多查询）存在局限性，例如缺乏泛化能力、计算复杂度高、依赖手动设计等。
2. BoT 框架：

问题蒸馏器： 从输入任务中提取关键信息和约束，并将其转化为高层次的抽象表示。

元缓冲区： 存储一系列通用的高层次思想模板，用于解决各种类型的推理问题。

实例化推理： 根据提取的信息和检索到的思想模板，自适应地实例化推理结构进行高效推理。

缓冲区管理器： 从解决方案中提炼思想模板，并动态更新元缓冲区，提高推理能力。
3. BoT 的优势：

准确性提升： 通过共享的思想模板，可以自适应地实例化高层次思想，提高推理准确性。

推理效率： 直接利用历史推理结构进行推理，无需复杂的多次查询过程，提高推理效率。

模型鲁棒性： 模拟人类思维过程，使 LLMs 能够一致地解决类似问题，增强模型鲁棒性。
4. BoT 的应用：

BoT 在各种推理任务中表现出色，例如数学推理、常识推理、编程推理等。

BoT 能够提升小模型的能力，使其达到或超越大型模型的效果。

BoT 具有泛化能力强、推理效率高、模型鲁棒性强的优势。
5. BoT 的未来发展方向：

整合外部资源，构建开放域系统。

优化思想模板提炼，提高模板质量，解决更复杂的推理问题。