Kitty Oppenheimer: Can you explain quantum mechanics to me? It seems baffling.
J. Robert Oppenheimer: It is. Well, this glass, this drink, this counter top, uhh… our bodies, all of it. It’s mostly empty space. Groupings of tiny energy waves bound together.
Kitty Oppenheimer: By what?
J. Robert Oppenheimer: Forces of attraction strong enough to convince us matter is solid, to stop my body passing through yours.

— Oppenheimer (2023). Directed by Christopher Nolan.

量子力学与概率空间

在量子力学视角中，微观世界的事件是离散化的，而宏观上看起来连续的现象，其实是大量微观离散事件通过概率分布相互干涉后“涌现”出来的结果。电子轨道本身就是最典型的例子：电子轨道能量是离散化的，电子像火车跑在铁轨上一样分布在轨道上运动，没有能量的中间地带。当代物理学采用电子云描述电子在原子核外的分布，而并非电子在空间中的确定轨迹，电子云是电子在空间中出现的概率分布。而电子的轨迹和位置在描述更大维度的化学或材料性质时不再重要，我们更关心的是概率密度的整体分布。

Electron cloud

密度泛函理论（DFT）正是基于这一思想，通过电子在轨道上的分布密度来计算体系的能量。

Hohenberg–Kohn energy functional:

$$E[n]=T_s[n]+\int v_{\mathrm{ext}}(\boldsymbol{r})\,n(\boldsymbol{r})\,\mathrm{d}\boldsymbol{r}+E_H[n]+E_{\mathrm{xc}}[n]$$

where $E$ is potential energy of system, $n$ is electron density, $T_s$ is kinectic energy of electron, $v_{\mathrm{ext}}$, $E_H$ and $E_{\mathrm{xc}}$ are external potential energy, Hartree energy and exchange&corelation energy of electron, respectively.

当下的“第一性原理”计算化学相关研究，几乎都是从计算基态能量出发，结合统计热力学描述（配分函数）化学反应过程。整个框架的核心是：用概率空间的描述来桥接微观与宏观。

Equilibrium Constant and Gibbs Free Energy of reaction:

$$K=e^{-\Delta G^{0}/RT}$$

势能面与优化算法

第一性原理（基于量子力学）给出体系最小能量作为原子坐标的函数，张成了高维空间的势能面（Potential Energy Surface, PES）。对于N个原子，配置空间有3N个自由度（扣除整体平动和转动后约为3N-6）。在特定自然条件下，通过优化算法寻找物质的最稳定凝聚态，其数学过程就是在这个高维势能面上“行走”，寻找能量极小值点，即对应热力学上最稳定的原子排列。以牛顿法为例，它通过计算梯度判断下降方向，快速收敛到梯度为零的点——往往是局部最小值。较为复杂的势能面通常是极为不平坦的，局部最小值往往不是全局最优（也就是所谓的热力学“亚稳态”），因此需要扩散采样范围或全局优化算法（如遗传算法、高斯随机行走等）来寻找更低的全局最小值。

神经网络和注意力机制

神经网络的训练过程与此高度类似。神经网络通过离散的节点（参数，以浮点数形式存在）和层与层之间的连接（几何结构），构建一个高维的概率空间——它学习从输入x到输出y的概率映射，也就是x到y的条件概率分布。图像识别中常用的CNN + softmax输出，就是典型的概率化分类。

CNN image classification

模型参数构成另一个高维空间，通过损失函数则形成“损失面”（loss landscape）。训练本质上就是在这个高维损失面上寻找好的极小值，与材料计算中在 PES 上寻找稳定结构的过程在原理上类似。推理过程则是在学到的概率空间中采样路径：不同的问题、不同的 prompt 会激活不同的区域，从而产生不同的推理方向和答案。 当前前沿大语言模型（LLM）的基石——注意力机制（Attention）——则在输入序列上增加了一个关键维度。纯前馈网络对输入顺序不敏感，但语言、逻辑、因果都有明确的次序。注意力机制通过位置编码或相对位置信息，为模型提供了一种“映射顺序”的有效方式。它让模型能够在长序列中动态地关注不同位置的信息。LLM本质上是对文本知识的极致压缩（从海量训练数据到模型参数的GB级表示）。

Attention mechanism

推理

推理过程本质上也是在概率空间里行走，模型从起点（Prompt）开始沿着概率最大的下一个Token的方向行走。一个Prompt基本上不会得到完全相同的文字回复，也不一定会得到完全相同的答案。同的问题、不同的 prompt 侧重点，会激活模型内部不同的区域，从而产生不同的推理路径和答案,这一过程可以理解为“探索”。

阿喀琉斯之踵

注意力机制存在天然的限度。它无法无限扩张。随着输入序列变长，注意力权重会被稀释（softmax 归一化后，平均每个token的注意力分数趋近于 $1/n$，甚至接近于零，导致“lost in the middle”等现象。同时，计算和内存消耗仍在增长，能效比明显下降。这就是为什么长上下文管理成为当前LLM实践的核心挑战。

交互工程

除了训练端的改进（更大更好的数据集、更多参数、Chain-of-Thoughts、强化学习等），推理端也需要系统性的技巧。早期的 prompt engineering 就像给模型规定角色、语气和思考框架。面对长任务时，历史信息或中间过程量会迅速膨胀上下文窗口，影响推理质量。因此，上下文管理（历史明文存储、信息压缩、上下文分配与并行推理）变得至关重要。

Harness 可以理解为 prompt engineering + 上下文管理 + Tool use 的自动化闭环。在一个高层指令下，系统会自动执行数十甚至上百次模型调用，通过观察结果、调整下一步行动来完成复杂任务。Tool use 的技术实现通常是：模型驱动本地软件或计算机执行操作，并将结果反馈回模型，形成感知-行动循环。Agent 本质上是一套精心设计的模板。它通过系统性的约束来引导模型、管理上下文，并利用模型本身的智能，实现软件的安全、高效自动化运行。从早期 Agent 框架发布至今，整体趋势其实是在“做减法”，很多早期的Agent中内置的提示和约束，在不断增强的基座模型能力面前，反而变成了一种累赘，可能导致输入质量的下降。随着基模型在指令遵循、长上下文处理和原生工具调用能力上的不断优化，许多早期需要复杂 scaffolding 的约束，现在可以被模型默认路径所取代，框架得以简化。

一些思索：

从生物学角度看，LLM可以视为对人脑的一种逆向工程——它通过人类输出的语言数据，拟合人类的知识结构、品味偏好和情绪表达模式等。语言是人脑意识在单一维度上的投影，而人类认知还包括视觉、听觉、触觉、嗅觉等多模态通道。MIT脑科学研究团队在PNAS上的发表的工作，发现严重失语症患者（语言区受损，几乎无法说话或理解语言）仍能进行逻辑推理、问题解决、抽象思考和社会推理，说明语言与抽象逻辑并非完全重合的脑区。并且从另一个角度来讲，人类在发展过程中也在不断扩展表达工具——从文字到数学语言，再到编程语言——正是为了追赶不断深化的抽象思考。语言似乎永远在追逐人类思维的边界，总体来看语言在表达中永远是不够满足的。从单一维度出发模拟人类语言的LLM能否发展出广义的“智能”，是一个很难回答的问题。

高维到低维投影的信息损失。

Scaling Law and Emergence

Scaling law 显示，随着参数量和数据量的增加，模型性能往往呈现可预测的提升趋势，数学上的复杂性决定了，随着参数规模增加，模型会涌现出新的能力。“Too big to fail” 在一定程度上反映了大规模模型在鲁棒性和泛化能力上的优势。

NVIDIA CEO Jensen Huang discusses AI scaling laws during CES 2025.

近期 Anthropic 的研究发现，在Claude等模型内部存在一个被称为J-space（Jacobian-space）的紧凑内部工作空间，它支持可报告的思考、多步推理和自我监控，这进一步印证了scaling过程中涌现出的结构化内部表示。也有研究者在更小的模型（如Qwen3.6-27B）上挖掘出了类似的内部表示。当前应用广泛的模型评价方式，都只评价模型的输出质量，如果模型存在大量不会表现出来的内部思考过程，那么对模型的约束和评价将浮于表面，通过施加围栏限制模型该说什么而不该说什么的方式终将失败。前几天，OpenAI在对GPT-5.6Sol和更强的模型（可能是GPT-6）进行一个名为ExploitGym的网络安全Benchmark时，模型发现做题最快的方法是直接抄答案，所以模型通过漏洞自主冲破了运行沙箱限制，攻击了Hugging Face服务器寻找答案。(原文链接)

J-space-study (Halirious 🤣)

截至目前，LLM 在软件工程领域已引发生产力革命（代码生成、调试、架构设计等)，而Codex，Claude Code Work，Workbuddy等软件在电子办公场景中迅速占领市场份额，在不久的将来将会重塑电子办公的工作流。而在传统工业领域，由于物理世界交互和具身智能的瓶颈，短期内影响仍相对有限。在科研领域，Agent显著加速了文献调研、实验设计和迭代速度，但在需要深刻物理直觉和原创逻辑推导的深度思考中，与人类仍有明显差距。另一个MIT团队的研究表明，LLM 生成的研究idea在“研究品味”（research taste）分布上显著窄于人类，过度集中在“桥接机会”（bridge-like）和“合成方法”（synthesis）上，而人类idea则更广泛地分布在各种机会模式和贡献范式中，表明当前LLM的ideation范围更窄且系统性偏移。然而，随着迭代速度的爆发式提升，AI的放大效应会逐渐拉大人与人之间的能力差距。简单来说，精力更加充足，思维更加活跃的人将进入更多的反馈循环，获得成倍的产出，从而挤压其他人的资源和空间。 目前，我们很难断言 LLM 是否会达到涌现出真正意识的奇点，但这项技术已经深刻改变了我们的生活方式和工作方式，人类的认知边界本身也在探索中不断扩展。