Ch01 AI 与 LLM 基础¶

理解大语言模型的内部机制：从 Token 到 Transformer，从预训练到推理

本章收录 489 篇实体，按深度递增排列。

本章导航¶

你每天都在用 ChatGPT、Claude、Gemini，但你知道它内部发生了什么吗？

本章从最基础的概念开始：文字如何变成数字（Tokenization），数字如何获得语义（Embedding），模型如何理解上下文（Attention），以及它为什么能生成看似"智能"的回答（Next-Token Prediction）。

你不需要懂数学，但读完本章后，你应该能回答一个关键问题：当模型给出糟糕的回答时，是"齿轮坏了"还是"你喂错了原料"？

本章还涵盖训练动力学（模型在预训练中并非稳定进化，而是频繁跳跃）、推理优化（投机解码让吞吐提升 4 倍）、以及混合架构（Transformer 不是唯一的答案）。

这是全书的地基——后面讲 Agent、Harness、RAG 时，你会反复回到这里。

合上这一章，你要带走的不是名词表，而是一副透镜：模型是概率机器，不是知识库。它给出的每个字都是"下一个 token"的赌注——所以糟糕的回答只有两种来源：齿轮本身的能力边界，或你喂错的那把原料。往后各章的每一个工程决策——选哪个模型、给多少上下文、花多少预算——都建立在这副透镜上。