把官方 Qwen3-0.6B 架在本地 24GB 统一内存机器上,关闭思考模式(enable_thinking=False),对 200 道四格迷宫题各采样 4 次、生成上限设为 64 个 token,成绩单非常干脆:pass@1 = 0.0000,800 次采样里 736 次触发长度截断,无一合法。
看到这个数字,最顺手的归因是“输出预算太短,模型话没说完就被掐断了”。于是保持权重、题库和随机种子完全不动,只把 max_new_tokens 从 64 放宽 16 倍到 1024,花一个小时重新跑完 800 次推理。截断次数确实从 736 降到了 0,最长一条输出写到第 585 个 token 就主动停下,平均生成 168.7 个 token;但 pass@1 依然是 0.0000。哪怕事后写一段宽容的正则,从其中 655 条夹杂英文解释的回答里强行抠出 U/D/L/R 动作串送去迷宫模拟器验算,能走到终点的路径仍然是 0 条。
再往前推一步:拿 1000 道带最短路标签的迷宫做 200 步仅监督回答的微调(Answer-Only Supervised Fine-Tuning, SFT),pass@1 立刻从 0.0000 跳到 0.1600,平均输出长度骤降到 4.0 个 token,评测耗时从 3592 秒缩水到 99 秒;同样这套 200 步 SFT 配方放到单表 SQL 生成上,pass@1 直接从 0.0375 拉满到 1.0000;放到四则运算凑数(Countdown)上则停在 0.2350。紧接着在迷宫 SFT 起点上引入多解监督、3×3 课程学习与组相对策略优化(Group Relative Policy Optimization, GRPO)做交叉对照,分数又在 0.126 到 0.173 之间呈现出耐人寻味的涨落。
在动辄几十张 H100 的后训练集群里,这类现象常常和分布式通信、推理引擎换代、奖励黑客(Reward Hacking)搅在一起,很难分清一次涨点到底来自算法改进、采样运气还是评测漏水,也很难看清一次训崩究竟怪算子精度还是探索枯竭。为了在一台 24GB 内存的 Apple Silicon 笔记本上把这些问题拆开钉死,我们在 xlab 仓库的 labs/reasoning-lab 中从零搭建了一套单机可验证推理(Reinforcement Learning with Verifiable Rewards, RLVR)实验台:手写 Qwen3 模型与 FP32 低秩适配(Low-Rank Adaptation, LoRA)、三类零外部依赖的程序化出题器与判卷器、绑定数据与源码哈希的断点续训协议,以及按题目聚簇的配对自助法(Clustered Paired Bootstrap)统计检验。
顺着这套实验台的源码实现、实测数据与代码复盘往下追,会发现一个极有意思的事实:单机 0.6B 实验台撞上的每一堵墙——推理与训练算子的对数概率分歧、87.5% 同质采样组的隐式 KL 回拉、序列均值归一化带来的长度偏置、15 万大词表的显存峰值与零草稿规划上限——恰好都是今天工业界 DeepSeek-R1、DAPO、Dr. GRPO、veRL 与 Liger-Kernel 正在正面攻坚的微观同构体。
一、把“推理对错”变成确定性程序:Solver、Verifier 与协议指纹
做可验证推理实验,第一道防线不在模型里,而在判卷器(Verifier)和实验账本里。如果判卷器能被特殊输入钻空子、或者两次评测因为样本顺序与同题相关性混入噪声,后面所有的强化学习曲线都是在沙地上盖楼。
先看最容易写错的四则凑数任务 Countdown:给定 2 到 4 个正整数与目标值 target,要求每个数字恰好使用一次,通过 + - * / 和括号凑出目标值。最偷懒的判卷写法是一行 Python eval(expr) == target,但它会在三个地方同时失守:
- 安全失守:模型只要吐出
__import__('os')或超长指数表达式9**9**9,判卷进程就会被注入或卡死。 - 浮点精度失守:高阶题(L4)专门构造必须经过分数中间态才能凑出的算例,例如用
[4, 4, 7, 7]凑24,唯一解是7 * (4 - 4 / 7)。在 IEEE-754 双精度浮点下,1 / 3 * 3或连续有理数约分极易留下1e-16尾差,导致合法解被冤杀或近似解蒙混过关。 - 归因失守:
eval失败只抛一个笼统的SyntaxError或布尔False,根本分不清模型是还在胡言乱语(格式错)、抄漏了题目给的数字(约束错),还是算术结果差了一点(计算错)。
reasoning-lab 在 tasks.py 里把出题器(Solver)与判卷器严格对称成一套确定性形式系统。出题端用子集动态规划在精确有理数域 fractions.Fraction 上穷举可达表达式,并按推理跨度切成四档难度:L1(2 个数仅加减)、L2(3 个数含乘法)、L3(4 个数四则混合)、L4(4 个数且排除一切整数中间路径,强制分数运算)。判卷端则只允许表达式长度不超过 256、抽象语法树(AST)节点不超过 64 个,逐节点白名单校验 BinOp 与正整数常量,全程用 Fraction 精确求值(分子分母绝对值上限 10^8 防大数膨胀),并把死因精确拆成 parse_error、number_mismatch、division_by_zero 和 target 四类状态码。每一个生成的样本落盘前,都强制断言 verify(task, witness).passed is True——出题器与判卷器现场互拍通过,才允许进入数据集。
另外两类任务遵循同样的闭环设计,但各自瞄准不同的归纳偏置:
Maze(二维网格状态追踪):生成 4×4 网格(分布外审计集ood升至 5×5),障碍墙密度 28%,起点S=(0,0)、终点G=(N-1,N-1)。出题端用广度优先搜索(BFS)给出字典序最短动作串作为示范标签;判卷端则运行网格模拟器逐步回放动作串——它不要求模型必须走最短路,只要不输出非法字符(format)、不撞墙或越界(wall)、最终停在终点(否则记not_at_goal),绕远路同样判满分。这就为后续检验“强化学习能否自己探索出绕路解”留出了干净的判卷空间。SQL(受控语义解析与执行等价):单表items(id, category, value)覆盖过滤、分组聚合、COALESCE、排序截断等组合。判卷如果只比对一份固定样例表,模型写个碰巧撞上结果的常数查询就能骗过测试;因此每道题绑定 4 组独立随机种子生成的内存表实例,故意塞入NULL、负数、零值和重复键,要求候选 SQL 在全部 4 组实例上的结果集与标准 SQL 完全一致(无ORDER BY时按多重集比对,有ORDER BY时按序列精确比对)。为了防止生成恶意或死循环语句,SQLite 连接套上了四层沙箱:只允许单条SELECT/WITH语句、set_authorizer白名单仅放行SELECT/READ与 6 个聚合标量函数、set_progress_handler每 1000 条虚拟机指令检查一次并在 10 万步硬性熔断、结果抓取上限锁死 1000 行。
有了判卷器,接下来要防的是实验流程里的“隐性漂移”。改了一行分词逻辑接着旧断点续训、用测试集挑超参、或者把同一道题采样的 4 个高度相关回答当成 800 个独立样本算置信区间,都会制造虚假的显著性。整个实验台的工程骨架正是围绕这三条红线收紧的:
在数据与续训侧,build-data 按 sha256([kind, rule_version, canonical_identity]) 生成语义级 task_id,确保训练集(1000 题)、开发集 dev(200 题)、测试集 test(400 题)与分布外集 ood(200 题)之间零语义重叠,并把文件级 SHA-256 写入 manifest.json。训练启动时,runs.py 把基座模型版本、数据快照指纹、src/ 源码树与 uv.lock 哈希、运行设备及全部训练超参打包成一份 protocol 摘要写进检查点。中断续训(--resume)时只要协议摘要有一丁点不一致就当场拒绝,顺带连 Python、NumPy、CPU Torch、MPS Torch 四路随机数状态以及由 divmod(cursor, len(rows)) 唯一决定的轮次洗牌游标一并恢复——哪怕每跑一步杀一次进程再拉起,模型看到的样本序列也和一口气跑完分毫不差。若要从 SFT 权重分叉去做 GRPO,则只能走显式的 --adapter 热启动通道,重置优化器与步数账本。
在统计决策侧,evaluation.py 在 200 道 dev 题上每题用确定性种子 hash((base_seed, task_id, candidate_idx)) 采样 \(K=4\) 次。假设某道题模型稳稳全对(4 个 1)或稳稳全错(4 个 0),同题内部的 4 次观测高度正相关;如果直接对 800 条扁平记录做独立同分布自助重采样,方差会被低估近 4 倍,置信区间宽度被虚砍一半。因此 compare 严格按 task_id 聚簇:先把每道题的 4 个候选折算成题内均值 \(s_i \in \{0, 0.25, 0.5, 0.75, 1\}\),再在 200 道题的粒度上做 2000 次配对有放回抽样计算差值分布。只有当平均提升 \(\Delta \ge +0.03\) 且 95% 置信区间下界严格大于 0 时,才给出 accept 判决。
二、手写 Qwen3 与 0.333 的对数概率裂缝:单机复现集群 Rollout–Trainer 失配
为了彻底看清每一层张量形状与梯度去向,model.py 没有调用 peft 或 trl,而是直接对照 HuggingFace 权重名手写了整套 Qwen3Model 与 LoRALinear 旁路。
手写 Qwen3-0.6B 时最容易踩中的结构细节在注意力头维度上。许多早期 Transformer 默认满足 num_attention_heads * head_dim == hidden_size,但 Qwen3-0.6B 的隐藏层维度是 hidden_size = 1024,却配了 16 个查询头(Query Heads)、8 个键值头(KV Heads,即 2:1 的分组查询注意力 GQA),且显式指定 head_dim = 128——这意味着 q_proj 的输出维度是 16 × 128 = 2048,整整是隐藏层维度的两倍,而且在施加旋转位置编码(RoPE)之前,还要对每个头的 128 维向量单独做一次按头均方根归一化(Per-Head q_norm / k_norm)。再加上批量推理采用左填充(Left Padding),有效 token 的旋转位置下标不能直接用 arange(seq_len),必须写成 attention_mask.cumsum(dim=-1) - 1 并在填充位钳制为 0,否则左侧一旦补齐,整条序列的相对位置相位全都会错位。
LoRA 旁路则挂在全部 28 层的 7 个线性投影(q/k/v/o_proj 与 SwiGLU 的 gate/up/down_proj)上,共 392 个可训练张量、10,092,544 个参数,占冻结基座 596,049,920 参数的 1.69%。为了让低秩更新免受半精度下溢干扰,lora_a(Kaiming 初始化)与 lora_b(全零初始化)一律常驻 float32:前向传播时先把输入激活升到 FP32 算完旁路增量,再转回基座精度相加。因为初始 B = 0,未训练时挂载 LoRA 后的输出在数学上与原模型严格恒等。在进入任何训练之前,lab.sh parity 会拉起独立子进程加载官方 HuggingFace CPU FP32 模型做逐项对账:实测无缓存最大 logits 误差仅 9.73e-5(均值 9.75e-6),增量 KV 缓存与全序列重算误差为 0,左填充批处理与单条推理最大误差 1.24e-5。
模型前向对账全部绿灯之后,真正的深水炸弹在打通 GRPO 时炸响了。
在单模型 GRPO 循环里,每道题先自回归采样一组 \(G=4\) 条回答,记下采样时刻的对数概率 \(\log \pi_{\theta_{\text{old}}}(o_{i,t} \mid q, o_{i, \lt t})\);紧接着在第一次策略更新发生之前,当前待训策略 \(\pi_\theta\) 与采样策略 \(\pi_{\theta_{\text{old}}}\) 共享完全相同的一组内存权重。按定义,此时每个回答位的重要性采样比率(Importance Sampling Ratio)必须恒等于 1:
$$\rho_{i,t} = \exp\bigl(\log \pi_\theta(o_{i,t} \mid q, o_{i, \lt t}) - \log \pi_{\theta_{\text{old}}}(o_{i,t} \mid q, o_{i, \lt t})\bigr) \equiv 1$$然而早期在 Apple Silicon MPS 后端以 bfloat16 跑通链路时,更新尚未开始,\(\log \pi_\theta\) 与 \(\log \pi_{\theta_{\text{old}}}\) 之间的最大单 token 对数概率差竟然高达 0.333!换算成概率比率就是 \(\exp(0.333) \approx 1.395\)——权重一个比特都没改,PPO 裁剪上界 \(1 + \varepsilon = 1.2\) 就已经被凭空击穿;与此同时,用于约束策略偏移的 Schulman 非负 KL 估计器
也在零步起点冒出了剧烈的虚假正尖峰。
逐段二分隔离后,根因水落石出:在 PyTorch 2.15.0 的 MPS bfloat16 后端上,同一个模块放在 @torch.no_grad() 上下文里推理,与放在 torch.enable_grad() 上下文里做前向图构建,底层会派发到不同的 Metal 矩阵乘加与归约内核。单层微小的舍入次序差异经过 28 层残差放大,再乘上 151,936 词表的 lm_head 投影与 log_softmax 指数差分,在低概率 token 上直接撕开了 0.333 的口子。
定位到内核分派差异后,training.py 做了三层加固:第一,计算 old 与 reference 对数概率时故意保留 torch.enable_grad() 以强制走与训练完全一致的算子图,算完立刻 .detach() 释放计算图,不留激活开销;第二,把 GRPO 默认精度切回 FP32(实测采样阶段逐 token 缓存推理与训练阶段全序列前向之间的最大对数概率差骤降到 2.41e-5);第三,在训练循环入口焊死两道硬门禁——采样缓存对数概率与重算对数概率之差超过 0.05 立即报错停机,更新前 |current - old| > 1e-4 立即报错停机。
千万别以为这只是苹果笔记本 Metal 驱动的孤立怪癖。把视野拉到百卡 GPU 集群,这恰恰是过去一年工业界 RLVR 框架(veRL、OpenRLHF、SLIME)头号工程顽疾的单机微缩版:
在分布式 RLVR 系统里,生成阶段(Rollout)为了吞吐必须交给 vLLM 或 SGLang,底层跑的是 PagedAttention、RadixAttention 乃至 FP8 分块量化内核;训练阶段(Actor Update)为了显存切分则交给 FSDP 或 Megatron-LM,跑的是 FlashAttention-2/3 与 BF16/FP32 混合精度内核。两边哪怕加载同一份检查点,算出来的 token logprobs 照样存在显著裂缝,长思维链累乘几千步后重要性比率直接指数爆炸,把训练彻底掀翻。工业界最终收敛出的四板斧,与我们在单机实验台推导出的解法严丝合缝:
- 词表头强制升精度与同路径对数概率:词表投影
lm_head与log_softmax统一升回 FP32 计算,并在推理引擎侧输出经温度缩放与采样掩码一致处理后的processed_logprobs; - 重算
old_logprobs隔离推理核误差:在 Actor 训练引擎内部用训练前向算子统一重算一趟 \(\log \pi_{\theta_{\text{old}}}\),确保 PPO 裁剪比率比较的是同一套算子系下的新旧分布; - 截断重要性采样(Truncated Importance Sampling, TIS):当异步流水线必须直接消费推理引擎产出的行为策略 \(\pi_{\text{rollout}}\) 时,显式引入截断修正项 \(\min\bigl(\pi_{\text{train}} / \pi_{\text{rollout}},\, C\bigr)\) 封死算子数值分歧与策略滞后带来的方差爆炸;
- 常驻 Mismatch KL 监控:把
rollout_train_logprob_gap当作一等公民健康指标,一旦越界先排查算子精度与分词模板,绝不带病调学习率。
三、Answer-Only SFT 到底教会了什么:三类任务的能力光谱
把数值底座钉牢之后,我们先测清 Qwen3-0.6B 基座与 200 步 Answer-Only SFT(仅对回答 token 与 <|im_end|> 计算按有效回答 token 数归一的交叉熵,lr = 1e-4,rank = alpha = 16,FP32)在三类任务 dev 全集(200 题 × 4 候选 = 800 次采样)上的真实表现:
| 任务与实验组 | 生成上限 | pass@1 | pass@4 | 截断数 /800 | 平均输出 token | 头号死因(占比) | 配对 Bootstrap 结论(相对基线) |
|---|---|---|---|---|---|---|---|
SQL 基座 | 64 | 0.0375 | 0.1400 | 339 | 43.7 | format (96.3%) | — |
SQL 200 步 SFT | 64 | 1.0000 | 1.0000 | 0 | ~18.0 | 无(0%) | +0.9625 [+0.9488, +0.9750] accept |
Countdown 基座 | 64 | 0.0000 | 0.0000 | 202 | 31.6 | parse_error (99.6%) | — |
Countdown 200 步 SFT | 64 | 0.2350 | 0.3750 | 0 | 8.8 | target (69.1%) | +0.2350 [+0.1888, +0.2813] accept |
Maze 基座(短预算) | 64 | 0.0000 | 0.0000 | 736 | 62.0 | format (100%) | — |
Maze 基座(长预算) | 1024 | 0.0000 | 0.0000 | 0 | 168.7 | format (100%) | 0.0000(放宽预算零收益) |
Maze 200 步 SFT | 1024 | 0.1600 | 0.2200 | 0 | 4.0 | wall (84.0%) | +0.1600 [+0.1163, +0.2075] accept |
同一套模型、同一组 LoRA 超参、同样 200 步梯度更新,在三张考卷上跑出了 100%、23.5%、16.0% 三个截然不同的台阶。拆开各自的错误分布,背后其实是三种完全不同的学习机制。
1. 有限规则空间的模板补全:SQL 为什么能到 100%
基座跑 SQL 时之所以只有 3.75%,不是不懂 SQL 语法,而是习惯用 Markdown 代码块和英文寒暄包裹查询,339 次没写完就被 64 token 截断,770 次死于多语句或格式包裹(format)。一旦 SFT 只监督纯 SQL 字符串与结束符,训练损失在 200 步内从 0.925 一路砸穿到 6e-5,梯度范数从 11.5 跌到 2e-4,开发集 800 次采样一题不漏全部满分。
这么干脆的收敛来自任务本身的结构基数:这套单表 SQL 合成器的规则空间由 5 类查询族 × 3 个类目常量 × 6 个数值阈值 × 26 种列与排序组合构成,满打满算只有 2340 个语义格点。1000 条训练样本已经覆盖了其中 43% 的组合,剩下的全是同构槽位替换。对 1009 万参数的 LoRA 来说,把自然语言槽位映射成固定 SQL 骨架属于典型的有限语法模板补全,单次前向传播绰绰有余。
2. 格式对齐与一步算术的断层:Countdown 的难度梯度与抽样陷阱
Countdown 在 200 步 SFT 之后,截断数从 202 清零,parse_error 从 797 降到仅剩 1 次,平均输出从 31.6 个 token 收敛到干净利落的 8.8 个 token(例如 (12 + 8) * 3)。也就是说,200 步 SFT 几乎 100% 治好了格式与数字抄写约束(number_mismatch 仅占 7.3%);但剩下的 553 次失败(占全部采样的 69.1%)整齐划一地卡在 target——表达式合法、每个给定数字也恰好用了一次,唯独算出来的结果不等于目标值。
把这 200 道开发集题按难度档位拆开,能力断层一目了然:
- L1(两数加减,20 题):
pass@1高达0.9125(73/80)——两数一步运算几乎等同于注意力查表; - L2(三数加减乘,180 题):
pass@1骤降到0.1597(115/720)——只要多出一层中间结果组合与运算符优先级选择,没有演草纸的单次前向传播就开始大面积猜错。
这里还顺带抓出了一个极容易在日常迭代里踩中的评测抽样陷阱:训练中途用来快速挑 best 检查点的 dev-quick 取的是 dev 前 50 题(dev[:50]),当时观测到的 pass@1 高达 0.4200;一跑全量 200 题立刻缩水到 0.2350。回头查 tasks.py 才发现,generate_countdown_tasks 在 L2 难度下让前 10% 的题目降级生成 L1(200 题里前 20 题全是 L1,后 180 题全是 L2)!于是截取前 50 题相当于塞进了 20/50 = 40% 的简单题,是全集 10% 比例的四倍。这也再次印证:不做按难度分层的抽样(Stratified Subsampling),任何前缀切片快评都会严重高估模型进展。
3. 把先验统计当成路径规划:Maze 的“4×4 等于 6 个字符”幻觉
迷宫实验的对比还要更戏剧化。文章开头已经看到,基座在 1024 token 预算下喋喋不休地输出平均 168.7 个 token 的英文分析,却连一条合法路径都走不出来。做完 200 步最短路 SFT 后,模型瞬间学会了闭嘴只吐动作字母,平均输出降到 4.0 个 token(R/D 组合在 BPE 分词器里常被合并成 2~4 个子词),连带把 800 次评测耗时从 1 小时砍到了 99 秒。
表面上看,pass@1 从 0 涨到 0.1600 是个突破;但掀开那 672 次撞墙失败(wall)的轨迹明细,假象立刻露底:
- 长度锁死:800 次生成里,整整 797 次输出的动作串长度严格等于 6;128 次成功通关的样本全部是 6 步最短路,绕路解为 0。为什么偏偏是 6?因为 4×4 网格从左上角
(0,0)到右下角(3,3),只要单调向右(R)和向下(D)各走 3 步,曼哈顿距离永远等于 6! - 盲目起步:在 672 次撞墙记录中,398 次(59.2%)在第一步或第二步就直接一头撞在起点旁边的墙上。
换句话说,Answer-Only SFT 根本没有教会模型在二维字符网格里“看墙寻路”,它学到的只是一条廉价的表层统计捷径:“看到 4×4 迷宫提示词,就从只含 R 和 D 的 6 字符分布里盲抽一串交卷”。在 28% 墙密度的随机网格里,碰巧有一条无障 R/D 通道的概率,恰好就在 16% 左右。
四、三次受控证伪:课程学习、多解监督与 GRPO 的真实作用边界
既然 4×4 最短路 SFT 学成了“固定吐 6 个字符的先验机器”,怎样才能逼出一个 0.6B 模型真正的看图避障能力?顺着最自然的直觉,我们在 labs/reasoning-lab 里连续设计并跑完了两组受控证伪实验。
假说一:4×4 搜索空间太大,先拿 3×3 小迷宫做课程学习(Curriculum Learning)能不能搭起阶梯?
如果模型是因为 6 步规划太长而放弃看图,那先让它穿插练习 2 步就能看清局势的 3×3 迷宫(曼哈顿距离 4),是不是就能先学会局部避障,再迁移到 4×4?
动手生成数据前,先算一笔组合账:3×3 网格共 9 个格子,扣掉起点 (0,0) 和终点 (2,2) 还剩 7 个可放墙的位置,全空间一共只有 \(2^7 = 128\) 种布局;其中至少存在一条通路的可解迷宫只有 51 张,而且在 3×3 网格里根本不存在需要向左或向上绕弯的“U 型死胡同”——全部 51 张可解图的字典序最短路清一色都是长度为 4 的 {D, R} 排列。
我们按 every=4 的比例把这 51 张 3×3 迷宫循环穿插进 1000 道 4×4 训练集(共 1250 步训练预算,其中 250 步看 3×3、1000 步看 4×4),锁死其余一切超参跑完 maze-curriculum-v1,再在同一个 4×4 dev 集上做配对检验:
- 4×4 开发集
pass@1:从0.1600微跌到0.1513(\(\Delta = -0.0088\),95% CI[-0.0238, +0.0063],判决insufficient_evidence);pass@4从0.2200微升到0.2300。 - 3×3 样本内自测:哪怕把训过的全部 51 张 3×3 迷宫拿回来原地考它(全集记忆测试),
pass@1也只有0.1716,75% 的采样照样撞墙。
账面拆到题目粒度看得更清楚:穿插 3×3 之后,200 道 4×4 题里“4 次采样全对”的稳态题从 19 道掉到了 14 道,“部分采样答对”的摇摆题从 25 道涨到了 32 道。模型非但没有习得避障原语,反而只是把那张偷懒查表扩展成了两行——“看见 3 行网格吐 4 个字符,看见 4 行网格吐 6 个字符”,顺带还因为混入异构样本冲淡了原本在 4×4 上背熟的动作分布。
假说二:单条最短路把绕障解全抹杀了,改用“多解监督 + GRPO”能不能打破僵局?
既然迷宫判卷器本来就承认绕远路的合法解,只拿唯一一条字典序最短路做 SFT 会不会太狭隘了?如果对每张 4×4 迷宫用深度优先搜索(DFS)枚举出长度分别为 (6, 8, 10) 的多条不同长度通路一起喂给 SFT,先拓宽动作空间(包含 U 和 L 回退),再接上 100 步同模型 GRPO(group_size=4, lr=1e-5, beta=0.02, clip_eps=0.2)用真实模拟器 0/1 奖励做强化筛选,能不能冲破 16% 的天花板?
为了不让多解监督和强化学习的效应混成一团,我们跑了一组严格的 2×2 全因子正交实验(1000 张训练迷宫共枚举出 2039 条合法路径,平均每题 2.04 解),四组模型在 200 道 dev 题上的完整对账如下:
| 实验组 | 训练配方 | pass@1 | pass@4 | 全对题 (4/4) | 混合题 (1..3/4) | 全错题 (0/4) | 配对 Bootstrap 关键对比 |
|---|---|---|---|---|---|---|---|
| A. 最短路 SFT | 单解 SFT 200 步 | 0.1600 | 0.2200 | 19 | 25 | 156 | 基准锚点 |
| B. 多解 SFT | 多解 SFT 200 步 | 0.1263 | 0.2350 | 6 | 41 | 153 | 对比 A:-0.0338 [-0.0563, -0.0112] reject |
| C. 最短路 SFT + GRPO | A + 100 步 GRPO | 0.1725 | 0.2400 | 22 | 26 | 152 | 对比 A:+0.0125 [-0.0063, +0.0312] insufficient |
| D. 多解 SFT + GRPO | B + 100 步 GRPO | 0.1613 | 0.1900 | 23 | 15 | 162 | 对比 B:+0.0350 [+0.0125, +0.0575] accept对比 A: +0.0013 [-0.0213, +0.0238] insufficient |
这张 2×2 矩阵把 SFT 与 GRPO 各自干的活照得纤毫毕现:
先看 A 到 B(单解变多解):pass@1 显著下跌了 3.38 个百分点(被统计检验明确 reject),但 pass@4 反而微涨到 0.2350;全对题从 19 道暴跌到只剩 6 道,而混合题从 25 道激增到 41 道。原因非常直观:同一张迷宫既让模型学 DRDRDR(6 步),又让它学带回退绕圈的 8 步、10 步路径,交叉熵损失强行把概率质量摊薄到了多条互斥的动作前缀上。原本稳拿满分的 13 道题变得摇摆不定——多解 SFT 并没有注入新知识,而是用确定性换取了人为熵增(Artificial Entropy)。
再看 B 到 D(在多解起点上跑 GRPO):100 步强化学习拿到了 +0.0350 的显著正收益(accept),看起来像是“GRPO 大显神威”!但只要把基准锚点 A 摆在旁边一比,D 的 0.1613 和 A 的 0.1600 几乎完全重合(+0.0013),pass@4 甚至还跌到了 0.1900。再看题组结构迁移:GRPO 把 B 里那 41 道摇摆不定的混合题大刀阔斧压回 15 道,把全对题从 6 道拉回到 23 道。它做的事情只有一个——概率分布锐化(Probability Sharpening):在已经能偶然撞对答案的混合题内部,把多解 SFT 打散的概率重新集中回高奖励路径上,填平多解 SFT 自己挖的坑。
而真正决定上限的那一列——全错题(0/4),在 A、B、C、D 四个象限里分别是 156、153、152、162,像焊死了一样纹丝不动。为什么 GRPO 救不了这四分之三的迷宫?答案就藏在 training.py 的优势函数与损失实现里。
五、算法与统计视角复盘:从代码细节缺陷到 DAPO 与 Dr. GRPO
把 labs/reasoning-lab 的训练与数据源码逐行摊开复盘,会发现上述实验现象背后不仅有 0.6B 无草稿模型的表达能力边界,还埋着三处极具代表性的强化学习信号损耗与统计偏置。更有意思的是,这三处问题几乎原封不动地重演了开源社区从朴素 GRPO 走向 DAPO、Dr. GRPO 与 GSPO 的演进路线。
1. 87.5% 同质采样组的空转与“隐式 KL 回拉”陷阱
在 training.py 中,每道题采样一组 \(G=4\) 条回答并判卷得到奖励 \(r_1, \dots, r_G \in \{0, 1\}\) 后,组内相对优势定义为
紧接着进入损失函数 grpo_loss:
看看当遇到全对题([1, 1, 1, 1])或全错题([0, 0, 0, 0])时,这段代码实际上发生了什么。在最短路 SFT 起点上,这类组内零方差题目占了 (19 + 156) / 200 = 87.5%!
直觉上大家以为“优势 \(\hat{A}_i = 0\) 就代表这一步没有梯度,顶多白跑一次空操作”。错!仔细求一次导就会发现,它比空操作有害得多:
当 \(\hat{A}_i = 0\) 时,方括号里的第一项策略梯度确实归零了,但第二项参考模型 KL 惩罚还在!对参数 \(\theta\) 求导后,整步损失的梯度变成了纯粹的
$$\nabla_\theta \mathcal{L}_{\text{GRPO}}(\theta)\Big|_{\hat{A}=0} = +\frac{\beta}{G}\sum_{i=1}^{G}\frac{1}{|o_i|}\sum_{t=1}^{|o_i|} \nabla_\theta D_{\text{KL},i,t}(\pi_\theta \| \pi_{\text{ref}})$$在第 1 步(\(\pi_\theta = \pi_{\text{ref}}\))时,KL 散度处在极小值点,梯度确实是 0;可一旦模型在某道有方差的混合题(仅占 12.5%)上学到了一点改进,使得 \(\pi_\theta \neq \pi_{\text{ref}}\),接下来连续撞上的 7 道全错或全对题就会以 \(\beta = 0.02\) 的力度,一步接一步地把刚更新出去的 LoRA 权重往回拽向旧的 SFT 起点 \(\pi_{\text{ref}}\),同时照常推进 AdamW 的一阶、二阶动量与余弦学习率衰减,并白白吃掉 100 步总预算里的 87.5 步和每步 12 次前向 + 4 次反向算力!
这直接解释了为什么 DAPO(Decoupled Clip and Dynamic Sampling Policy Optimization)把两项改动列为核心支柱:
- 动态采样过滤(Dynamic Sampling):外层循环持续抽题采样,只有满足 \(0 < \sum_{i=1}^{G} r_i < G\) 的非零方差组才允许进入反向传播并计入有效训练步
step,彻底切断零优势样本对步数预算与优化器动量的稀释;同时对长期0/G的难例单独记录跳过率,调高采样温度或扩大 \(G\) 专门攻坚。 - 去显式 KL 与非对称上界裁剪(Clip-Higher):在可验证确定性奖励下,死死绑住 SFT 参考分布 \(\pi_{\text{ref}}\) 会严重限制模型跳出原有动作习惯;工业界主流做法是直接令 \(\beta = 0\)(顺手省掉常驻
reference模型副本的显存与每步 4 次额外前向),改用非对称裁剪区间 \([1 - \varepsilon_{\text{low}},\, 1 + \varepsilon_{\text{high}}]\)(例如 \(\varepsilon_{\text{low}}=0.2,\,\varepsilon_{\text{high}}=0.28\)),给低概率高回报的新路径留出抬头空间,防止策略过早熵坍缩。
2. 单次更新(mu = 1)让 PPO 裁剪形同虚设,单题更新放大梯度噪声
继续往下读 run_grpo 的主循环,每采样完一道题的 4 条轨迹,代码只做 1 次梯度更新(即 mu = 1),而且 old_logprobs 是在同一份在线权重上当场重算的。这就导致整个训练周期里 \(\rho_{i,t} \equiv 1.0\),日志里的 clip_fraction 永远恒等于 0.0,超参 clip_eps = 0.2 从头到尾没有被触发过一次,重算 old_logprobs 的 4 次完整前向纯粹成了校验断言的冗余开销。与此同时,默认梯度累积 accumulation = 1,意味着每步 AdamW 更新只看 1 道题的 4 个样本,题间方差极大。
要把这一层真正跑通,要么在 mu = 1 的在线策略梯度模式下直接复用采样阶段对齐后的对数概率、省掉 old 前向,并把梯度累积设为 跨 \(M = 8 \sim 16\) 个有效非零方差题目组再迈一步优化器;要么缓存一批采样轨迹做 \(K = 2 \sim 4\) 轮小批次多步更新(mu > 1),让 PPO 比率裁剪真正承担起样本复用时的信任域约束。
3. 按序列求均值的长度偏置与多解行展开偏置
再看 grpo_loss 里不起眼的一行归一化:per_sample = ((surrogate - beta * kl) * mask).sum(dim=1) / lengths.clamp_min(1)。先把每条回答内部的 token 求和,再除以各自回答长度 \(|o_i|\)。
在迷宫多解实验里,合法的短路径长 6 步,合法的绕弯路径长 10 步。除以各自长度之后,同样拿到 \(\hat{A}_i = +1\) 的奖励,6 步路径上每个动作 token 分到的正向梯度权重是 \(1/6\),比 10 步绕弯路径上的 \(1/10\) 高出 67%;反过来当回答判错(\(\hat{A}_i < 0\))时,越啰嗦、越长的错误回答,分摊到每个错误 token 头上的惩罚力度反而越小!
这正是 Dr. GRPO(Done Right GRPO)与 DAPO Token-Level Loss 专门批判的长度偏置(Length Bias):在固定分组大小下,外层除以变长的 \(|o_i|\) 破坏了策略梯度的无偏性,导致模型在正优势时偏爱短平快模板、在负优势时放纵冗长废话。修复方法在代码上只需一行:去掉按单条样本长度 lengths 的除法,改为除以常数生成预算 max_tokens(Dr. GRPO),或者对整个有效批次内所有生成 token 求和后再统一除以总有效 token 数 \(\sum_i |o_i|\)(DAPO);若在长序列上希望避免单 token 比率抖动,则可进一步采用 GSPO(Group Sequence Policy Optimization)在序列几何平均级别定义重要性比率。
同样隐蔽的样本权重偏置还出现在多解迷宫的数据展开上:maze-multisol-v1 把拥有 3 条解的迷宫展开成 train.jsonl 里的 3 行独立记录,而只有 1 条解的狭窄迷宫只占 1 行。这等于在训练分布里暗中给“宽敞多解迷宫”加了 3 倍采样权重,真正难走的窄通道反而被稀释了。更干净的写法是保持每道 task_id 占一行,把多条合法轨迹存成 answers: list[str],每个训练轮次在该题内部均匀抽一条监督,保证题目级先验分布严格不变。
此外,代码审查还顺手揪出了三处值得顺带加固的工程边界:SQL 生成器里的 SELECT category, value FROM items ORDER BY value DESC LIMIT 3 在样例表刻意注入重复 value 时缺乏主键兜底排序(补上 , id ASC 即可消除并列行顺序不确定性);dev-quick 切片应当改为按 difficulty 分层抽样以消除前文提到的 40% L1 虚高;检查点落盘 torch.save(payload, ckpt.pt) 应改为先写同目录临时文件再 os.replace 原子替换,防止统一内存触发系统强杀时损坏唯一的 last/ckpt.pt。
六、24GB 统一内存上的系统瓶颈与工业级基础设施演进
把算法账算清楚之后,最后一层硬约束来自物理机器:为什么一个区区 0.6B 的小模型,在 M4 Pro 上跑 800 条迷宫推理要花将近 1 小时(平均吞吐仅 37.6 tok/s),跑几轮 GRPO 还会把 macOS 交换分区(Swap)顶破 18.7GB 触发自动熔断停机?
把单机运行时的算子派发、张量生命周期与工业级 RLVR 集群架构摆在同一张图上对照,四条优化主线清晰可见:
1. 从 batch = 1 串行解码到共享前缀 KV 广播(对应 vLLM/SGLang Prefix Caching)
在当前的 evaluation.py 和 training.py 中,同一道题的 4 个候选回答是套在 for candidate_idx in range(4) 循环里以 batch_size = 1 串行跑完的。Apple Silicon M4 Pro 拥有约 273 GB/s 的统一内存带宽,FP32 下 0.6B 基座权重约占 2.4GB,理论上单流解码带宽上限超过 100 tok/s;实测掉到 37.6 tok/s,根本瓶颈是 Python/Metal 内核启动延迟(Kernel Launch Overhead):每吐 1 个 token 要串行穿过 28 层 × 约 20 个碎算子 = 560+ 次 Metal 派发,GPU 计算单元大部分时间都在空等驱动投喂。
而在 pass@k 评测和 GRPO 组采样中,同一道题的 \(G=4\) 条轨迹拥有一模一样的提示词前缀!只要把 generate_one 升级成两阶段共享前缀批解码:
- 单次 Prefill:以
batch = 1算完提示词的 KV 缓存[1, H_kv, T_prompt, D],提示词计算量立省 75%; - 广播并发 Decode:将提示词 KV 缓存沿批次维扩展拷贝成
[G, H_kv, T_prompt, D],用每道候选各自的独立torch.Generator在[G, 1]形状下锁步并行解码,直到全部序列命中eos_token_id后统一掩码截断。
这一改动在不改变任何采样数学语义的前提下,能把权重的内存读取与 560 次内核派发同时摊薄到 \(G\) 条轨迹上,直接带来 2.5~3.5 倍的采样提速。放到工业级推理引擎里,这就是 SGLang RadixAttention 与 vLLM Automatic Prefix Caching(APC) 在 RLVR 场景下成为标配的根本原因——当 \(G = 16 \sim 64\) 条长思维链共享同一道数学或代码题干时,复用前缀 KV 缓存外加连续批处理(Continuous Batching)直接决定了整个 RL 集群的采样利用率。
2. 从 151,936 大词表全长投影到尾部切片与融合交叉熵(对应 Liger-Kernel)
为什么 24GB 内存跑 batch = 4 的短文本训练也会飙出十几个 GB 的峰值占用?罪魁祸首不在 28 层 Transformer 主干(hidden_size 只有 1024),而在 Qwen3 高达 151,936 的多语种大词表!
看一眼 model.py 第 285 行的前向结尾:return self.lm_head(self.norm(h))。假设提示词长 250 个 token,迷宫回答只有 6 个 token,全长 \(T = 256\)。无论是 Answer-Only SFT 还是 GRPO 打分,我们只需要最后 6 个回答位置上的对数概率;但 lm_head 却老老实实地把全部 256 个位置全都乘上了 [1024, 151936] 的词表矩阵,当场物化出一个 [B, 256, 151936] 的 FP32 logits 张量,紧接着在 sequence_token_logprobs 里再做一整张全词表 log_softmax!
单算 [4, 256, 151936] 这一张 logits 张量,FP32 下就占 622 MB,连带 log_softmax 输出、前向缓存与反向梯度,仅词表头一处就凭空吞掉 2.5GB+ 内存,其中 97.6% 的提示词位置算完立刻被 answer_mask 乘零丢弃!
单机上的止血刀法极其干脆:给 Qwen3Model.forward 增加一个 logits_to_keep: int | None = None 参数,在进 self.norm 和 self.lm_head 之前先切片 h = h[:, -logits_to_keep:, :]。解码阶段传 logits_to_keep=1,SFT 和 GRPO 阶段只传批次内最长回答长度 \(L_{\text{ans}} + 1\)。仅这三行代码就能砍掉 90% 以上的词表头浮点运算与峰值激活内存。
如果再进一步,当未来引入长思维链(比如回答本身就有 4096 个 token)时,连回答部分自己的 [B, 4096, 151936] logits 也会把显存撑爆。这时就轮到工业界后训练标配 Liger-Kernel Fused Linear Cross-Entropy 登场了:在 Triton 内核内部把隐藏状态 h 按小块(Chunk)流式乘上 lm_head 权重,在片上高速缓存里在线维护 Log-Sum-Exp 并直接算出交叉熵损失与关于 h、W 的梯度,全程在显存里连一整张 [B, T, V] logits 张量都不物化,直接把大词表模型的训练显存峰值削平一个数量级。
3. 注意力微架构冗余与统一内存碎片治理(对应 veRL HybridEngine)
除了批解码和词表切片,model.py 与 runtime.py 里还有四处高频热路径损耗,在统一内存架构上叠加放大了内存压力:
- GQA 键值张量显式复制:
Qwen3Attention每层每步都调用k.repeat_interleave(2, dim=1)把 8 个 KV 头物理复制成 16 个头,每次前向白做 56 次张量拷贝。PyTorch 2.5+ 的F.scaled_dot_product_attention原生支持enable_gqa=True,零拷贝即可完成分组注意力;同时把 RoPE 正余弦表与因果掩码提到模型顶层构建一次传入 28 层,还能省掉每生成一个 token 重复执行 28 次三角函数外积与布尔矩阵分配。 - 零增量基座评测与 LoRA 合并推理:跑基座评测时
lora_b全为零,却依然走了一遍x.float() @ A @ B的 392 次旁路矩阵乘;而在 SFT/GRPO 采样的纯推理阶段,临时将 \(\frac{\alpha}{r} B A\) 原地加进冻结线性层(采样结束再减去,或推理时短路零矩阵),即可让采样速度彻底回到原生无插件基座水平。 - 消除每步 120MB 的 CPU↔MPS 权重搬运:
training.py每算一次参考模型 KL,都通过上下文管理器adapters_as先把当前在线 LoRA 拷去 CPU(40MB),再把 CPU 上的reference拷进 MPS(40MB),算完再从 CPU 拷回在线权重(40MB),每步固定产生 120MB 跨设备同步拷贝。其实一份 FP32 LoRA 总共才 40.4MB,直接在设备侧常驻两份字典指针原地切换,耗时趋近于零。 - 区分 Metal 缓存池水位与真实泄漏:
runtime.py监控torch.mps.driver_allocated_memory()超过阈值即触发防换页停机,但该指标统计的是 Metal 缓存分配器向操作系统保留的池大小(只涨不退),并非当前存活张量current_allocated_memory()。在每次检查点保存或评测前后显式调用gc.collect(); torch.mps.empty_cache(),才能避免缓存池虚高触发误杀停机。
在百卡集群里,上述“推理态与训练态来回倒腾权重、保留多份冗余模型副本撑爆内存”的放大版难题,催生了 veRL 的 3D-HybridEngine:让 Actor 训练与 Rollout 推理共置(Colocate)在同一组 GPU 上,更新完梯度后无需走主机内存落盘中转,直接通过零冗余重分片(Zero-Redundancy Resharding)在毫秒级把 FSDP 分片权重原地重组为推理张量并行布局,采样完再立即回收 KV 缓存切回训练布局。
4. 打破迷宫 16% 天花板:强制绕障题库与受控执行轨迹(对应 DeepSeek-R1 测试时计算)
最后回到那个最根本的科学问题:把上面的算子、采样和无偏损失全都修好之后,Answer-Only 的 4~6 token 直出模式能把复杂迷宫和四则凑数推到高分吗?
从计算复杂度看,不能。一个固定 28 层的 Transformer 在不吐出任何中间 token 的情况下,从读入网格到决定第一步往哪走,中间只有常数层(\(O(1)\) 串行深度)的矩阵变换;而 \(N \times N\) 含障迷宫的可达性搜索与 4 数括号组合穷举,都需要随规模增长的多步状态推演与死路回溯。不给模型演草纸,就等于强迫一个人在看清迷宫的瞬间不许动笔、不许默念坐标,脱口报出全套动作序列——容量有限的模型除了退回去背诵“4×4 大概是 6 个 R/D”之外别无选择。
与此同时,DeepSeek-R1 证明了另一条路:通过强化学习放开测试时计算(Test-Time Compute),让模型在交出最终答案前先在上下文里展开状态追踪、试错与回溯,把原本压在单次前向深度里的组合搜索摊平到自回归序列宽度上。但在我们开头的 1024 token 迷宫基座实验里也看到了反面教训:对一个只有 0.6B 的小基座,毫无约束地放开长输出,它只会写几百个词的无效英文套话(0/655 有效解),连一次正奖励都撞不上,强化学习同样无从启动。
在单机 0.6B 尺度上打通“真搜索”的正道,是把题库设计与**受控短轨迹草稿(Structured Execution Trace)**结合起来:
- 打破单调方向捷径:在迷宫出题端随机化起点
S与终点G坐标,并筛入一批最短路严格大于曼哈顿距离(必须先向U或L绕过挡路墙才能到达终点)的样本,彻底废掉“闭眼抽R/D混 16% 分数”的温床; - 用紧凑可验证草稿做 SFT 冷启动:把 SFT 示范标签从裸动作串
DRDDRR升级为仅占约 35 个 token 的确定性坐标推演草稿,例如:判卷器只需按1(0,0)->D(1,0)->R(1,1)[wall]->D(2,0)->R(2,1)->R(2,2)->D(3,2)->R(3,3) | DDRRDR|切取右侧最终答案判分(或对中间坐标施加轻量过程格式校验),既不给 0.6B 模型留出写几百字废话失焦的空间,又把二维全局规划拆解成了每一步只需看相邻一格字符的局部状态转移; - 接上动态采样无偏 GRPO:当 SFT 冷启动把带草稿的基础通关率推过零方差死区(例如在绕障题上达到 25%~40% 的混合命中率)后,再用过滤零方差组 + Token 级无偏损失的 GRPO 驱动模型在采样中自己修正一步看错的坐标分支。这正是工业界“少量高质量冷启动轨迹激活格式与局部推演 + 大规模可验证 RL 放大搜索鲁棒性”的两阶段标准范式。
实验环境与复现基线
本文涉及的全部实现、测试与实验数据均来自公开仓库 xlab 下的 labs/reasoning-lab 模块,软硬件与源码基线如下:
| 项目 | 版本 / 状态 |
|---|---|
| 仓库模块与基线提交 | labs/reasoning-lab(本地基线提交 39acc119) |
| 基座模型与版本指纹 | Qwen/Qwen3-0.6B(官方快照 c1899de2,冻结参数 596,049,920,LoRA 可训参数 10,092,544) |
| 硬件与操作系统 | Apple M4 Pro,24GB 统一内存,macOS 15.5 (arm64) |
| 运行时与依赖 | Python 3.11.15,PyTorch 2.15.0(MPS / CPU),Transformers 5.22.2(仅用于分词与独立进程 parity 对账) |
| 统计检验门槛 | 200 道 dev 题 × 4 候选,按 task_id 聚簇 2000 次配对 Bootstrap,\(\Delta \ge +0.03\) 且 95% CI 下界 \(> 0\) 判 accept |
核心验证与实验复现入口(在 labs/reasoning-lab 目录下执行):
1# 1. 运行单元测试、代码规范检查与跨模块隔离校验
2./lab.sh test
3python3 ../../tools/test_lab_isolation.py
4
5# 2. 冻结三类任务不可变数据快照,并与官方 HF CPU FP32 模型做独立进程数值对账
6./lab.sh build-data --data-dir data
7./lab.sh parity --model Qwen/Qwen3-0.6B --dtype float32
8
9# 3. 复现 SFT -> GRPO 训练与题目聚簇配对 Bootstrap 统计对比
10./lab.sh sft --task maze --model Qwen/Qwen3-0.6B --run-dir runs/maze-sft --steps 200 --max-new-tokens 1024
11./lab.sh grpo --task maze --model Qwen/Qwen3-0.6B --run-dir runs/maze-grpo --adapter runs/maze-sft/checkpoints/best --steps 100
12./lab.sh eval --model Qwen/Qwen3-0.6B --task maze --split dev --adapter runs/maze-grpo/checkpoints/best --candidates 4 --max-new-tokens 1024 --out runs/evals/maze-grpo-dev.json
13./lab.sh compare --baseline runs/evals/maze-sft-dev.json --candidate runs/evals/maze-grpo-dev.json --out runs/evals/maze-grpo-vs-sft.json