Agent评测工程师

职位描述

评测体系建设：设计覆盖基座模型、端到端Agent、用户体验等场景的评测框架和标准，保障评测可解释可复现，并主导Benchmark数据集构建与持续迭代，防控数据污染与评测失效；数据生产与质量管控：主导评测方案设计，建立标注规范与质检体系，同时与数据团队协作，保障大规模数据生产的稳定性与准确性沉淀团队评测方法论，输出可复用框架与工具

任职要求

1.计算机、人工智能、统计学、数学或相关专业，本科及以上学历 2.熟悉业界主流评测工具集和评测集，有独立设计评测框架和评测标准经验 3.沟通表达能力优秀 4.熟悉Java或Python，有实际开发、测试开发或评测工具开发经验优先 5.具备模型和AI产品分析能力，根据评测结论提出优化建议，驱动优化落地 6.关注业界前沿AI模型和产品发展，关注AI前沿评测方法发展，并转化为内部评测实践，并且能够熟练借助AI工具进行7.具备Vibe coding或自动化流程搭建能力，支持方案快速验证与落地迭代 8.对AI和大模型领域有激情，乐于挑战模糊的事情，喜欢找办法解决问题，具备较强的团队协作能力、组织协调能力