AI应用工程师（评测方向）

职位描述

我们正在构建内部 Agent Benchmark 评测体系，聚焦 Coding Agent 方向，系统性地度量和驱动 AI 编程能力的提升。你将深度参与评测基准的设计、数据集构建、自动化评测平台搭建等核心工作，直接影响产品的技术演进方向。工作职责 1. Benchmark 体系设计与构建：针对 Coding Agent 场景（代码理解、代码生成、代码重构、Spec Coding、代码 Review、Bug 修复等），设计多维度、多粒度、支持多轮对话的评测基准，覆盖端到端任务完成度、代码质量、工具调用准确性、推理链路合理性等核心指标； 2. 评测数据集建设：构建并持续维护高质量评测数据集（Golden Dataset），设计覆盖不同语言、不同复杂度、不同工程场景的测试用例，确保数据集的区分度和代表性； 3. 自动化评测平台开发：搭建自动化评测 Pipeline，支持多模型/多 Agent 的批量评测、结果对比与回归检测，实现评测流程的标准化和可复现； 4. 竞品对标分析：跟踪业界主流 Coding Agent 产品（如 Claude Code、Codex、Cursor、Copilot等

任职要求

1. 本科及以上学历，计算机科学、软件工程、人工智能等相关专业； 2. 3-5 年相关工作经验，有 Agent/LLM Benchmark 构建经验者优先； 3. 熟练掌握 Python 和 TypeScript，具备扎实的工程开发能力，能独立完成评测工具链的设计与开发； 4. 对 Coding Agent 的工作范式有深入理解（规划-执行-反思循环、工具调用机制、多步推理等），是 Claude Code/ Codex / Cursor / Copilot 等 AI 编程工具的重度用户； 5. 熟悉主流 Agent 评测框架或 Benchmark（SWE-Bench、HumanEval、Terminal-Bench、OctoCodingBench、WildClawBench、GAIA、WebArena、AgentBench、ToolBench 等）中的至少3种； 6. 具备较强的数据分析和结构化拆解能力，能从评测数据中提炼有效洞察； 7. 良好的文档撰写和跨团队协作能力，能清晰表达评测结论和改进方案。加分项 1. 有评测数据标注流程与质量控制方法论经验； 2. 熟悉 LangSmit