LLM on 蔡大锅's Blog

一张九宫格看懂世界模型：人类『造世界』的九种方式

Mon, 12 Oct 2026 19:30:00 +0800

这是一篇用趣味框架做的类比解读，帮人快速理解世界模型是什么，不是严格的学术分类。

世界模型（World Model）最近被反复提起，很多人默认它是下一代大模型的专属黑科技。

但它从来不是 AI 的专利。下面这张借用 D&D 阵营九宫格形式画的图，把一堆你熟悉的东西排在一起——你会发现，「对世界建模」这件事，人类已经干了几千年。

图里两条轴：

横轴看「这个世界有多贴近真实」：真实世界 → 投影世界（从现实复刻）→ 虚构世界（只抓部分特征）。
纵轴看「我们怎么接触它」：机器可读的底层表征 → 人眼可见的画面 → 能走进去互动的空间。

三行三列，九个格子。

第一行：给机器读的世界模型

共同点：用数字、公式、向量描述世界，人看不懂，是给机器算的。这也是「世界模型」最学术的定义——智能体对外部世界的内部隐式表征，用来预测行动后果、推演未来状态。

真实世界 + 机器可读：V-JEPA

图灵奖得主杨立昆（Yann LeCun）主推的路线，狭义世界模型的代表。它直接学真实世界，把画面、物体、物理规律编码成机器能读的抽象向量；不生成画面，只在内部预测「接下来会发生什么」，供 AI 规划推理。

杨立昆的观点：人脑推演世界不会精细到每个像素，只抓关键信息。JEPA 走的就是这条「压缩式抽象」的路——只留对推理和行动有用的特征，过滤掉无关细节。2025 年的 V-JEPA 2 更进一步，已经能基于视频预测直接做规划和机器人控制。

投影世界 + 机器可读：World Models

2018 年 David Ha 与 Jürgen Schmidhuber 的经典论文《World Models》，奠定了现代 AI 世界模型的基础框架。它不直接建模现实，而是搭一个从现实映射来的虚拟投影世界，全部用压缩的状态向量存。AI 在这个「梦境」里反复试错、推演决策，再把策略搬回现实。人看不到这个世界。

这篇论文的核心洞见：智能体不必基于原始观察行动，可以先把现实压成更小的内部表征，再拿它预测未来、支撑决策。

虚构世界 + 机器可读：粒子物理标准模型

听着和 AI 没关系，但它就是一套用数学公式写成的世界模型。它不描述整个宇宙，只抓微观粒子这一部分特征，用方程定义运行规则。普通人读不懂这些公式，但它们精确描述了世界的底层逻辑——跟 AI 世界模型用向量描述规律是同一件事：用一套人无法直接感知的符号系统，精准建模世界的某一部分。

第二行：给人看的世界模型

这一行用画面、文字、实景呈现，不用解码，看一眼就懂。也是大众最常接触的形态——把世界「渲染」成人眼能接收的画面。

真实世界 + 直观可见：Sora

Sora 被叫世界模型，不是因为它会生成视频，而是它学到了真实世界的物理规律。底层怎么算不用管，播放出来就是模拟出的真实场景。

OpenAI 干脆把 Sora 的技术报告取名为《Video generation models as world simulators》——视频生成模型可以被看作世界的模拟器。按功能说，它干的是「渲染」的活：以像素输出人眼可见的画面，指标是视觉保真度，生成的是「观察者将要看到的景象」。

投影世界 + 直观可见：大语言模型（LLM）

大模型把现实世界的知识、常识、逻辑学进参数，再用文字输出——文字是现实世界的一种投影，读就能获取信息。

有一点要说清楚：说「LLM 具备世界模型能力」，指的是它内部隐式的知识表征——参数里编码了空间、因果、物理规则，这部分人看不懂，文字只是显式结果。多项研究已证实，大模型内部确实会隐式编码空间和物理表征。

虚构世界 + 直观可见：迪士尼乐园

不用 1:1 还原现实，只提取童话的核心特征，在现实里搭出能逛的场景。走进去看和体验，就能直观感受到这个虚构世界，规则和剧情不用你操心。说穿了，它是一个用建筑、表演、音效搭出来的「实体渲染器」，把虚构世界观变成人能直接体验的东西。

第三行：让人参与的世界模型

这一行不再是旁观：你走进去，行为会改变世界状态，人成了世界的一部分。对应仿真、交互类世界模型，也是游戏、数字孪生的底层逻辑。

真实世界 + 互动参与：《黑客帝国》Matrix

肉身留在真实世界，意识接入虚拟母体。你在里面行动、选择，行为改变虚拟世界的走向，自己成了模型的一部分。这是交互式世界模型的极致想象：感知完全接入，行动直接作用于模型内部，人和模型形成一个闭环。

投影世界 + 互动参与：VR 女友

从真实的人物形象、社交关系投影出一个虚拟世界。戴上 VR，就能和角色对话互动，每个动作都有反馈，从看客变成参与者。这类应用基于现实特征构建，同时允许你的行为影响世界状态——面向人的交互式世界模型。

虚构世界 + 互动参与：《幻兽帕鲁》

完全虚构的游戏世界，只借鉴现实里生存、建造、生物的部分特征。玩家进去后探索、建造、抓帕鲁，每一步都在改变这个世界，人和世界持续双向互动。电子游戏是虚构交互式世界模型里最成熟的一种：有自己的规则，接收玩家输入，实时推演状态变化。

世界模型的本质：人类「造世界」的所有方式

这张图的价值，是打破「世界模型 = AI 技术」的窄视野。

人类文明干了几千年的事，其实就是用不同媒介造世界。物理定律是拿公式写世界，小说用文字，主题乐园用砖头和表演，电子游戏用代码。今天 AI 生成、推演的数字世界，不过是这条线上最新的一环。

这些「世界」的区别，从来不是高科技还是老东西，只有两个维度——它离真实生活有多近；你是在外面看，还是已经走进去。

拓展阅读与参考来源

定义与思想源头

World model（Wikipedia）：世界模型的通用定义——学习环境动力学、预测未来状态、支持行动规划。
Kenneth Craik《The Nature of Explanation》（1943）最早提出「心智模型」：思维是对现实的符号化模拟。这是世界模型的思想源头，参见 Kenneth Craik（Wikipedia）。

现代 AI 世界模型

David Ha, Jürgen Schmidhuber, World Models（2018）：用压缩的隐式表征构建世界模型，在「梦境」里训练智能体。论文 · 项目主页（含可交互 Demo）
Danijar Hafner et al., Dream to Control: Learning Behaviors by Latent Imagination（ICLR 2020，Dreamer 系列开山作）：在学到的世界模型里「想象」出策略。论文
DeepMind, Genie: Generative Interactive Environments（2024）：从视频中学习可交互的潜在世界模型。论文

JEPA 与视频世界模型

Meta 博客 V-JEPA: The next step toward advanced machine intelligence（2024，杨立昆路线官方介绍）。链接
Adrien Bardes et al., Revisiting Feature Prediction for Learning Visual Representations from Video（V-JEPA 原始论文，联合嵌入预测架构）。论文
V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning（2025）：从视频预测走向规划与机器人控制。论文
OpenAI, Video generation models as world simulators（2024，Sora 技术报告）。链接

LLM 的隐式世界模型

Kenneth Li et al., Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task（Othello-GPT，ICLR 2023）：transformer 在内部编码了棋盘状态。论文
Wes Gurnee, Max Tegmark, Language Models Represent Space and Time（ICLR 2024）：LLM 内部存在空间与时间的表征。论文
Keyon Vafa et al., Evaluating the World Model Implicit in a Generative Model（NeurIPS 2024）：系统检验生成模型隐式学到的世界模型是否真实可用。论文

【论文快读】Improving Factuality and Reasoning in Language Models through Multiagent Debate

Thu, 08 Oct 2026 00:00:00 +0800

⚡ 一句话总结：不改造模型本身，只让多个 LLM 实例「开会辩论」几轮，就能显著减少幻觉、提升数学与策略推理能力——一个即插即用的黑盒增强框架。

📇 论文信息卡

项目	内容
📄 论文标题	Improving Factuality and Reasoning in Language Models through Multiagent Debate
🔗 论文地址	arXiv:2305.14325 · alphaXiv 页面 · PDF
👥 作者	Yilun Du, Shuang Li, Antonio Torralba, Joshua B. Tenenbaum, Igor Mordatch
🏛️ 机构	MIT CSAIL & Google Brain
📅 发表	arXiv 2023.05（ICLR 2024）
💡 一句话介绍	提出 Multiagent Debate 框架：多个 LLM 实例各自作答、多轮互相辩论，最终收敛到共识答案，以「社会心智（society of minds）」方式提升事实性与推理能力

🎯 需求：为什么要做这个研究

LLM 虽然能力惊人，但有两个老大难问题：

幻觉（Hallucination）：一本正经地编造事实，且置信度很高；
推理不稳：面对数学、策略类任务，单模型容易产出错误或矛盾的推理链。

已有方案（验证、self-consistency、scratchpad、CoT 等）都在改进单个模型实例。这篇论文换了个思路：让多个模型实例之间互相交互——通过结构化辩论与共识机制，取长补短。

关键卖点：

✅ 只需黑盒访问模型（不改权重、不看内部），任何现成 LLM 都能用；
✅ 所有任务用同一套流程与 prompt，通用性强；
✅ 可与 CoT 等已有技术叠加使用，收益再增。

💡 方法：多智能体辩论怎么做

流程像一个「圆桌辩论赛」：

初始化：启动 N 个 LLM 实例作为辩手 agent；
独立作答：每个 agent 先独立给出候选答案；
多轮辩论：每轮每个 agent 看到其他所有 agent 的答案，然后更新自己的答案（可反驳他人、可坚守己见）；
迭代收敛：重复若干轮，答案逐步互相纠错；
达成共识：最终收敛到一个共识答案，作为输出。

核心伪代码：

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13


def multiagent_debate(query, num_agents, num_rounds):
 agents = [LLM() for _ in range(num_agents)]
 responses = [agent.generate_response(query) for agent in agents]

 for round in range(num_rounds):
 new_responses = []
 for i, agent in enumerate(agents):
 # 把其他 agent 的回答作为上下文喂进来
 debate_context = create_context(query, responses, i)
 new_responses.append(agent.generate_response(debate_context))
 responses = new_responses

 return get_consensus(responses)

Prompt 设计上有个反直觉细节：「长辩论 prompt」会让模型在后期更「固执」地坚持自己的正确解，从而提升最终共识的质量。

图 2：辩论过程示例——即使部分 agent 初始答案是错的，经过几轮辩论也能收敛到正确答案。

图 4：事实纠错实例——Agent 1 起初错说 Lozano-Perez 出生于西班牙，与 Agent 2 辩论后纠正为古巴。

📊 结果：核心实验数据

评测覆盖算术、GSM8K 小学数学、国际象棋走子、MMLU、人物传记生成（作者新建的 524 位计算机科学家事实性基准）五大类任务。

任务	单模型基线	多智能体辩论	提升
算术	67%	82%	+15
GSM8K 数学	77%	85%	+8
象棋走子最优性	74%	100%	+26
MMLU	64%	71%	+7
传记事实准确率	66%	74%	+8

图 1：各任务上一致优于单模型基线。

图 3：与 CoT 叠加后收益继续放大（GSM8K 77% → 85%）。

消融实验：

Agent 数量：1→5 个持续涨点，5 个后边际收益递减；
辩论轮数：3 轮左右基本饱和，继续加轮数收益有限。

图 5：数学准确率随辩手数量提升，约 5 个后趋于饱和。

图 6：3 轮辩论后收益递减。

✅ 结论

辩论即增强：多实例结构化辩论是一种与「改进单模型」正交的互补路线，能同时改善事实性与推理能力；
黑盒、通用、零改造：同一套流程和 prompt 通吃所有测试任务，可直接套在任何现成 LLM 上；
性价比可调：5 个 agent + 3 轮辩论基本就能拿到大部分收益；
可组合：与 CoT 等技术叠加可获得额外提升。

🔮 后续精读计划：值得深入的方向——共识判定机制、辩论 prompt 的具体构造、与 self-consistency 的严格对比、多 agent 带来的推理成本开销分析。待精读后补充。

本文为论文快读笔记，图片来自论文原文（arXiv:2305.14325），仅作学习交流使用。