揭秘大模型：一次token生成的完整旅程

你是否好奇过，当你在对话框输入一个问题或一段提示（Prompt）时，像 GPT-4 这样的大语言模型，是如何“思考”并逐字生成那段看似智能的回答的？今天，我们就来一场硬核但易懂的拆解，跟随一个输入token，走完它在巨型神经网络中的完整旅程，看看大模型的“权重”到底是如何被调用和发挥作用的。

我们可以把一个训练完成的大模型，想象成一个巨大的、包含数十亿乃至万亿个数值的数学函数（即其权重参数）。每一次生成，都是这个函数的一次精确调用。

第一步：输入编码 - 给词赋予“坐标”

模型并不直接认识文字。首先，输入的文本会被切分成一系列“词元”（token）。例如，“你好”可能被切分为 [你， 好]。每个token会通过一个 嵌入层（Embedding Layer） 被转换成一个高维向量（例如，4096维）。你可以把这个向量想象成这个token在“语义空间”中的一个坐标点。这一步的变换，由一个庞大的嵌入矩阵（权重的一部分）完成，它包含了从海量数据中学到的词与词之间的关系信息。

此时，模型拿到了一个初始的、代表着输入语义的向量序列。

第二步：层层计算 - 权重矩阵的“交响乐”

这是最核心、计算量最大的部分。输入的向量序列将依次通过数十甚至上百个 Transformer层。每一层都进行着两类关键操作：

1. 自注意力机制（Self-Attention）

模型需要理解当前生成位置与之前所有词元之间的关系。自注意力机制就负责计算这种“关系权重”。

• 线性变换：输入的向量分别乘上三个不同的权重矩阵（Wq, Wk, Wv），得到查询（Query）、键（Key）、值（Value） 三个向量。
• 注意力计算：用当前的查询向量，与所有历史的键向量计算点积（相似度），经过缩放和Softmax归一化后，得到一组“注意力权重”。这组权重决定了模型在生成下一个词时，应该多大程度上“关注”输入序列中的哪个词。
• 加权求和：用上一步得到的注意力权重，对所有的值向量进行加权求和，得到一个融合了上下文信息的新向量。

这一过程并行计算所有位置的信息流，让模型拥有了“全局视野”。其中涉及的线性变换矩阵（Wq, Wk, Wv）都是核心权重参数。

2. 前馈网络（Feed-Forward Network, FFN）

经过自注意力“看”了上下文之后，每个位置的向量还会独立地通过一个前馈神经网络。这个网络通常由两个线性变换和一个非线性激活函数组成：FFN(x) = ReLU(x * W1 + b1) * W2 + b2。

这里的 W1、W2 又是另一大组庞大的权重矩阵。你可以把它理解为对自注意力输出的信息进行进一步的“消化”和“提炼”，将语义概念映射到更抽象、更适合预测下一个词的空间。

每个Transformer层都包含“自注意力 + FFN”的组合。一个深层模型就是这些层的堆叠。数据在这些权重矩阵的海洋中反复变换、提炼，最终，模型顶层输出一个向量，它浓缩了到目前为止所有文本的精华信息，并强烈地指向下一个最可能出现的词。

第三步：输出概率 - 精确的“猜测”

顶层输出的向量，会再与那个巨大的词嵌入矩阵（或其转置）相乘，得到一个针对整个词表（可能有几万个词）的 未归一化分数（logits）。

接着，通过一个Softmax函数，将这些分数转换为概率分布。例如，下一个token是“机器”的概率可能是30%，是“人工”的概率是20%……以此类推。

第四步：采样与生成 - 决策时刻

模型会根据这个概率分布，决定下一个token。这里涉及两种主要策略：

• 贪心解码（Greedy Decoding）：总是选择概率最高的那个词。这很直接，但可能让文本显得呆板。
• 采样解码（Sampling）：按照概率进行随机抽样，这为文本带来了一定的创造性和多样性。通常还会设置一个“温度（Temperature）”参数，来控制抽样的随机性。

假设模型选择了“机器”作为下一个token。这个token就被加入到已生成序列的末尾，模型随即用这个新的、更长的序列作为输入，再次从第一步开始，计算下一个token是什么。这个过程循环往复，直到生成出结束符或达到长度限制。

总结：权重，就是模型的“记忆”与“本能”

回顾整个旅程，你会发现，大模型的权重就是其智能的载体。它通过数万亿次的矩阵乘法和非线性变换，将离散的文字转化为连续空间中的向量运算。每一次计算，都是在庞大的权重参数控制下，对输入信息进行理解、关联和推理。

理解这个过程，有助于我们破除大模型的神秘感。它并非有意识地“思考”，而是一套极其精密的、由权重驱动的概率预测机器。而如何更高效地存储、加载和计算这些权重（例如通过量化、分布式并行等技术），正是当前大模型工程化落地的核心挑战之一。感兴趣的读者可以进一步阅读关于模型本地化部署的实践文章，例如：【AI】大模型本地部署与量化：Ollama、transformers、llama.cpp实践。

虽然不同框架（如React Server Components或大模型推理引擎）的应用场景迥异，但其背后“分层处理、逐步求精”的设计哲学，以及优化数据流以提升性能的思路，有着异曲同工之妙。更多关于系统内部渲染与处理机制的深入解析，可参阅：深入解析 React Server Components 的渲染机制。