阿里巴巴
ATH-AI创新事业部-测试开发专家-Qoder
官网发布时间：
职位描述
1、主导 AI Coding 产品的全生命周期质量保障，覆盖客户端、Agent 运行时、模型服务及工具集成等关键链路；制定测试策略、质量标准与发布准入机制，从架构和设计阶段推动可测性、可观测性与稳定性建设； 2、构建面向 AI Coding 场景的测试评估体系，针对非确定性输出、上下文变化、长链路交互和工具调用等特点，设计真实任务集、评测指标与回归方案，持续评估任务成功率、生成代码正确性及执行可靠性； 3、设计和开发自动化测试框架与质量平台，打通单元、接口、端到端测试及 Agent 任务评测，融入 CI/CD 流程；提升测试环境与数据的可复现性，支持模型、提示词和 Agent 策略变更的效果对比与退化检测； 4、主导关键场景的性能、稳定性与安全边界测试，覆盖并发负载、长时间运行、依赖故障、工具权限、数据隔离及异常恢复，识别复杂交互中的质量风险，验证系统在异常和边界条件下的行为； 5、建设线上质量监控、问题复现与执行轨迹分析能力，结合用户反馈开展失败归因和质量复盘；探索利用 AI 辅助用例生成、缺陷发现及问题定位，并验证其实际效果，持续提升质量保障效率； 6、主导中大型项目的质量风险识别
任职要求
1、本科及以上学历，计算机科学、软件工程或相关专业，5 年以上测试开发或研发经验，具备复杂系统质量保障及跨团队项目推进经验； 2、对质量工程有系统性理解，具备较强的架构分析、测试设计和风险判断能力，能够结合业务目标制定分层测试策略，并从可测性、可观测性及稳定性等方面推动研发改进； 3、具备扎实的编程能力，熟练掌握 Python、Go、Typescript 等语言中的至少一种，有测试工具、自动化框架或质量平台的实际开发经验，重视代码质量与工程可维护性； 4、理解大模型与 Agent 的基本工作机制，能够针对非确定性输出、多步骤执行和外部工具依赖设计测试评估方案；具备实验设计与数据分析能力，能够区分模型能力、系统缺陷和环境因素带来的问题； 5、熟悉 CI/CD、自动化测试及线上问题排查，具备将质量检查融入研发流程的实践经验；能够结合日志、指标与调用链定位问题，并推动形成可复现、可回归的验证方案； 6、具备用户视角与产品体验意识，对异常分支、边界条件和质量退化敏感；沟通清晰、责任心强，能够主动协调跨团队资源，推动技术方案落地与问题闭环，持续总结和改进质量方法。 加分项： 1、有大模型、Age