阿里巴巴
数据技术及产品部-RL 数据处理工程师-Work
官网发布时间:
职位描述
1. 数据链路搭建与治理:搭建端到端的数据处理链路(采集 → 清洗 → 加工 → 挖掘 → 增广 → 质量校验 → 筛选 → 输出),对接线上 rollout 产生的原始数据(轨迹、日志、执行结果、用户反馈),保证数据可追溯(血缘管理)、可复现(版本管理)、可观测(关键指标监控)。 2. 数据清洗、加工与质量校验:对海量原始 / 脏数据做去重、去噪、过滤无效样本、格式规整、脱敏与结构化,并做二次加工(改写、结构补全、难度分级、标签规范化);建立质量校验机制(规则质检 + 模型质检 + 双标一致性 + 金标抽检),系统性检测脏数据、偏见与分布异常,保证出库数据质量可量化、可迭代。 3. 日志与 Rollout 轨迹分析处理:对模型运行日志、工具调用日志、系统日志做解析、清洗、结构化,从噪声中抽取可用信号;对模型多步执行轨迹做逐步解析与标注(正确性 / 必要性 / 思考质量 / 整体 reward),识别冗余操作、隐性副作用与轨迹异常。 4. Bad Case 分析挖掘与高价值样本挖掘:系统性发现 bad case(执行失败、输出低质量、轨迹异常、用户投诉)并做根因分类(模型能力 / 数据
任职要求
1. 计算机、人工智能、数据科学、统计学或相关专业,2 年以上数据挖掘 / 数据工程 / 机器学习方向经验。 2. 具备扎实的工程能力:精通 Python,具备大规模数据处理能力(Spark / Ray / Dask / Flink 任一),熟悉 SQL / Shell,能独立搭建稳定、可追溯的数据 pipeline 与 ETL 流程,数据处理链路写得好、跑得稳、可追溯。 3. 具备完整的数据处理能力:能对海量脏数据做清洗、加工、脱敏与结构化,能用 LLM 做数据增广(变体生成 / 难度扩展 / 场景泛化)并验证质量,能建立质量校验机制(规则 + 模型质检、双标一致性、金标抽检),对数据分布、异常检测、偏见风险有敏锐直觉。 4. 具备日志与 Rollout 轨迹分析能力:熟悉 Agent 执行日志、执行轨迹、工具调用模式(bash / python / API),能从原始数据中解析、定位问题、判断冗余操作与隐性副作用;能独立完成 bad case 归因,区分模型能力 / 数据 / 任务定义 / 环境问题并输出结构化改进建议。 5. 具备数据挖掘经验与 LLM 工具链能力:有从线上日志、