阿里控股-大模型评测工程师-code/agentic方向

职位描述

1. 从模型迭代目标出发，设计覆盖全面、层次清晰的评测体系；明确各维度评测的考核重点和难度梯度。 2. 自主构建高质量评测数据集，包括题目设计、标准答案制定、评测逻辑实现；确保题目区分度、公平性和防污染性。 3. 基于Benchmark结果，为模型团队提供清晰的能力雷达图、短板分析和优化优先级建议。 4. 探索更科学的评测指标、更高效的评测方法。

任职要求

1. 对于swe/terminal及业界更加前沿的代码&agentic场景任务能够熟练构建，设计和实现领域标注方向AI训练流程，并不断优化迭代，高效完成标注和内容生产项目 2. 熟悉代码&agentic数据评测流程和标准和工具。有代码&agentic数据处理，质量评估，数据分析，领域标注等相关工程经验者优先； 3. 有良好的工程经验背景。有大模型开发经验和算法背景者优先，有js/ts/rust/c++/go经验者优先。 4. 具备沙盒/容器化环境搭建经验，能设计可复现的代码执行环境（Docker、gVisor 等）者优先