
主流的大模型都有各自的长处和短板,因此对资深AI用户,都在打造适合自己需求的多种大模型互补、多大模型协作的解决方案。
AI 大神、前 OpenAI 和 Tesla AI 核心人物 Andrej Karpathy 最近开源了一个“LLM Council”的应用,核心思路是把多个大模型组合起来,由多大语言模型协作回答问题。
Github:https://github.com/karpathy/llm-council
X:https://x.com/karpathy/status/1992381094667411768
用户输入一个问题,LLM Council 背后运行的 GPT-5.1、Gemini 3 Pro、Claude Sonnet 4.5、Grok 4 会同时回应,然后互相匿名审阅对方的输出,最后由一位“首席”模型合成最终答案。
LLM Council的设计灵感来自人类会议(按照区块链的术语叫共识机制):大家先独立发言,然后互相反馈,最后领导总结。整个流程分为三个阶段,匿名化处理避免模型“偏心”。
阶段1:第一意见(First Opinions)
用户的问题同时发送给理事会的所有模型,默认模型包括:GPT-5.1、Gemini-3-Pro-Preview、Claude-Sonnet-4.5、Grok-4
每个模型独立生成响应,这些原始输出会以标签页形式显示在UI中,便于用户侧边比较。
阶段2:审阅与排名(Review)
每个模型收到其他模型的响应,但身份被匿名化,比如用“Response A”、“Response B”标记
模型被提示对这些响应进行排名:基于准确性和洞察力打分。
阶段3:最终响应(Final Response)
“首席”模型(默认为Gemini-3-Pro-Preview)收到所有原始响应、排名和上下文,然后合成一个综合答案,平衡各方观点,提供最终输出。
LLM Council 的多模型协作回答机制不仅能获得多角度的见解,还能通过模型间的“对抗”和“共识”来减少幻觉,提高答案的准确性。
其实多模型协作回答问题的想法在LLM Council 已经有很多开源项目实现过,例如:
https://github.com/maojindao55/botgroup.chat
https://github.com/InternLM/OpenAOE
https://github.com/gptzm/multibot-chat
另外大部分AI玩家,一般也会同时使用多个大模型,人肉对比不同大模型的回答,选择并合并不同的答案。
只不过这些项目在方法论(重点为共识机制)、架构设计上没有 LLM Council 具有普适性,自动化程度低。
LLM Council 是多模型协作框架方向很有价值的探索。
一些简单思考:
1、LLM Council 目前的共识机制借鉴了人类会议,要满足多模型/多Agent大规模协作需求,共识机制至关重要
2、多模型/多Agent协作与区块链的结合可以在共识机制、Token经济学、Agent支付等方面获得很好支撑