核心内容摘要
6080yy：穿越光影，重温经典，点燃记忆中的火花
“每个参数大约对应 20 个 token”（常被叫作Chinchilla 比例）并不是一条“宇宙定律”。
你看到LLaMA 系列的 token/参数 比值远大于 20，核心原因是：他们优化的目标、约束条件、以及用来拟合的“最优前沿（frontier）”都变了。
尤其从 Llama 3 开始，论文里甚至明确承认：小模型会被“刻意训练得比 compute-optimal 更久”，因为这样在同等推理成本（inference budget）下更强。
先把“20”从哪来讲清楚：它来自 Chinchilla 论文的 compute-optimal 前沿Chinchilla（Hoffmann et al., 2022 /
2203.
要解的问题是：在固定训练计算量（FLOPs 预算）下，参数量和训练 token 数怎么分配，才能让 loss 最小？
论文里把训练计算量近似写成（文中用 FLOPs 估算；常见近似形式之一是与N ⋅