世界为什么可以被学习？

学习开始之前，世界先要留下可预测的结构

把过去记为 X，未来记为 Y。如果两者独立，那么知道具体的 X 不会进一步减少 Y 的不确定性，I(X;Y)=0；仅凭 X，模型无法超越只使用 Y 边缘分布的最优基线。这里的“零互信息”不等于什么都学不到：独立样本仍可用于估计 Y 的边缘分布。

单个变量即使 99% 取 0、1% 取 1，也已经有可学习的边缘分布：其熵约为 0.0808 bit/样本，长序列因而容易压缩；但这种偏斜不等于变量之间存在复杂关系。相对于边缘分布基线，额外预测信息来自变量之间的依赖——知道 X 后，Y 的不确定性是否继续减少。

这些依赖可能来自几何约束、组合规则、动力学、因果机制，也可能只是稳定的统计共现。学习算法所做的，是从有限观测中找到可复用的部分，并判断它能否延伸到未观测区域。

高维空间很大，但有意义的数据只占很小一部分

一张图像可以有数百万像素维度，语言的可能序列更接近组合爆炸。但自然图像、合格工艺曲线或通顺句子不会均匀铺满这些空间。身份、姿态、照明、物理连续性、语法与工艺约束，把观测压在远小于名义空间的结构区域中。

流形假说给出了一种几何直觉：高维观测常由少数潜在因素生成，因此局部上呈现较低的内在维度。表征学习尝试把纠缠在像素、波形或词元里的因素重新组织，使任务需要的变化更容易被读取。

“Learning is Compression”为什么是好直觉，却不是一句等号

当模型发现规律，它不必逐条保存训练数据，而可以用较短的规则加少量残差重建或预测数据。在概率模型中，给一个样本分配更高概率，等价于用更短的理想码长描述它：码长约为 −log q(x)。最小化负对数似然，因此可以被读成“寻找更短的编码”。

一个只会背诵数据的巨大模型，第一项很长；一个过度简单、解释不了数据的模型，第二项很长。好的模型在两者之间寻找总描述长度更短的平衡。

这与 Kolmogorov 复杂度的思想相呼应：一个对象的复杂度，可以用生成它的最短程序长度来刻画。但 Kolmogorov 复杂度一般不可计算，而且依赖所选通用机器到一个常数项。现实训练更接近 MDL、正则化、贝叶斯推断或压缩代理目标，而不是直接求出那个“最短程序”。

模型不是世界的同构副本，而是任务相关的压缩投影

梯度下降不会把现实原封不动地搬进参数。它在模型结构、训练目标、数据与优化路径共同限定的空间里，寻找能降低损失的表示。内部表征可以保存语言、空间、实体或程序关系的一部分，也会主动忽略没有帮助的细节。

信息瓶颈把这件事表达为一种优化取舍：让 Z 尽量少携带 X 的全部细节，同时尽量多保留对目标 Y 有用的信息。概念上可写作 min I(X;Z) − βI(Z;Y)。它准确描述了“保留什么、忘掉什么”的问题。

能力为什么看起来会突然出现？先看你用什么尺子

随着模型规模、数据和训练计算增加，底层能力可能连续改善；一旦评测采用“全对才得分”之类的不连续指标，平滑变化也会呈现成突然跃迁。已有研究在若干任务和模型族上给出证据：不连续或非线性指标可以把平滑变化显示为突然跃迁。

这并不能证明所有涌现都是假象。Grokking、内部电路形成或表征重组，可能带来真实的非线性变化。严谨的结论是：看到跳变时，要同时检查底层连续指标、采样密度、训练轨迹和内部机制，而不是把一个台阶直接命名为神秘能力。

Shannon 熵与热力学熵有关联，但不能直接互换

Shannon 熵度量概率分布的不确定性；热力学熵描述物理宏观态与微观态数量等性质。两者共享数学形式，也能在统计物理中建立严格联系，但讨论模型训练时，不能仅凭“熵”这个词就把信息压缩等同于热力学过程。

计算当然是物理过程。Landauer 原理指出，逻辑不可逆的信息擦除存在最低热耗散界。它告诉我们信息处理不会脱离能量与介质，却不意味着某个训练损失下降就可以直接换算成系统热力学熵的下降。