AI评测产品经理

职位描述

1. 评测体系建设：深入洞察搜索场景下的用户需求与意图，系统性拆解并优化搜索体验的评估标准与打分维度，主导Benchmark数据集的构建和迭代，形成科学的体验评测体系 2. 自动化评测能力建设：持续优化基于LLM-as-a-Judge的评测方案，建立机评与人评一致率的量化监控机制，对机评的效果和稳定性负责，推动评测提效 3. 与产品、研发及业务团队建立深度协作机制，推动“问题发现—归因分析—方案落地—效果验证”的闭环工作流程，对核心体验指标及Badcase率的持续改善负责

任职要求

1. 本科及以上学历，计算机、统计学、人工智能等相关专业优先，3年以上搜索/NLP/大模型相关工作经验。 2. 具备扎实的评测方法论基础，熟悉Benchmark构建、评测集设计、Rubrics构建等，有大模型评测相关项目经验者优先。 3. 沟通协作能力强，有跨团队项目推动经验，能高效协同产品、研发、业务多方达成目标；对行业评测方法有持续关注者优先。