AI评测负责人（Agent/大模型方向）

职位描述

1.统筹腾讯电脑管家系列 Agent（如管家云端 Agent、磁盘清理专家等）以及自研微调模型的 AI 评测与质量保障工作，对产品和模型的效果质量负责； 2.规划并主导 AI 评测体系建设，制定中长期路线图，覆盖模型能力评测、Agent 任务评测和端到端产品评测；牵头制定评测标准、指标体系和评测流程，构建贴合业务的自有 Benchmark； 3.建立评测驱动的研发机制：把评测结果接入模型迭代、Agent 发版和 CI 流程，设定安全红线和质量门禁；为产品决策、模型选型和微调方向提供数据依据； 4.主导评测工程平台建设，包括评测集管理、评测执行器、判分器（规则判分、状态比对、LLM-as-Judge 及人工校准）和线上采样评测；打通“线上 trace、Bad Case 挖掘、回归评测集”的闭环； 5.打通线上反馈闭环：从用户真实 trace、负反馈、Bad Case 中挖掘问题，持续沉淀为回归评测集。组建并带领评测团队，推动评测结论落地为实际改进； 6.研判业界评测基准与方法的演进趋势，例如 SWE-bench Verified / Pro、Terminal-Bench、OSWorld、

任职要求

五年以上工作经验