数据技术及产品部-RL Data Rubric 算法设计专家-Work

职位描述

1. Reward / Rubric 设计：和领域专家一起把领域专业判断（漏洞是否成立、时序是否收敛、回答是否可用等）拆成可自动化验证的评分规则，覆盖硬验证（工具退出码 / 规则）+ 数值指标 + milestone + LLM judge 的多层组合；根据任务特性选择合适的奖励形态——dense reward（过程 / 分步奖励）、sparse reward（结果奖励）、process / outcome reward、reward shaping 与多目标加权，设计可训练、抗 hacking 的奖励信号。 2. RLVR / RLHF 训练落地与反查：用设计出的 reward / rubric 真实训练模型（SFT / GRPO / DPO / RLVR / RLHF），独立跑通训练闭环，从训练曲线与 benchmark 结果反查 reward 与数据的问题，形成"设计 → 训练 → 反查"迭代闭环。 3. Reward Hacking 识别与改正：识别评分规则里可能被模型钻空子的路径，定位训练中出现的 hacking 现象并改正规则 / reward，对已上线 rubric 做持

任职要求

1. 具备较大规模模型训练经验：有 27B 或以上规模模型的实际训练经验，能跑通完整训练闭环（不要求分布式训练框架开发能力）。 2. 深耕 RLVR / RLHF：深入理解并实践过 RLVR（可验证奖励强化学习）与 RLHF，理解 reward 设计、rubric 与训练效果之间的关系。 3. SFT / GRPO / DPO 经验丰厚：熟练掌握 SFT、GRPO、DPO 等训练方法，能根据任务选择合适的算法并调优。 4. 具备各类 reward 设计经验：有 dense reward（过程 / 分步奖励）、sparse reward（结果奖励）、process / outcome reward、reward shaping 与多目标加权等实际设计经验，能针对任务选对奖励形态并调出稳定可训练的 reward。 5. 具备 reward hacking 识别与改正能力：理解常见 hacking 模式与验证机制，能在训练过程中发现并修正。 6. 具备 Rubric 设计能力：熟悉主流 rubric 设计范式，能大批量生成高质量 rubric，并把主观评价拆成可校验子问题；熟练 Python