数据技术及产品部-RL 数据处理工程师-Work领域

职位描述

1. 数据链路搭建与治理：搭建端到端数据处理链路（采集 → 清洗 → 加工 → 挖掘 → 增广 → 质检 → 筛选 → 输出），对接线上 rollout 原始数据（轨迹、日志、执行结果、用户反馈），保证数据可追溯（血缘）、可复现（版本）、可观测（指标监控）。 2. 数据清洗、加工与质量校验：对海量原始/脏数据做去重、去噪、过滤、脱敏与结构化，并做二次加工（改写、补全、难度分级、标签规范化）；独立编写并维护质检脚本（规则质检 + 模型质检 + 双标一致性 + 金标抽检），系统性检测脏数据、偏见与分布异常，使出库数据质量可量化、可迭代。 3. 日志与轨迹解析：解析模型运行日志、工具调用日志与系统日志，从噪声中抽取可用信号；对多步执行轨迹做逐步标注（正确性 / 必要性 / 思考质量 / 整体 reward），识别冗余操作、隐性副作用与轨迹异常。 4. Bad Case 与高价值样本挖掘：系统性发现 bad case（执行失败、低质量输出、轨迹异常、用户投诉）并做根因分类（模型能力 / 数据分布 / 任务定义 / 环境依赖），输出结构化报告驱动数据与评测改进；融合规则 + 模型 + LLM 多

任职要求

1. 计算机、人工智能、数据科学、统计学或相关专业，2 年以上数据挖掘 / 数据工程 / 机器学习方向经验。 2. 扎实工程能力：精通 Python，具备大规模数据处理经验（Spark / Ray / Dask / Flink 任一），熟悉 SQL / Shell，能独立搭建稳定、可追溯的 ETL pipeline，链路写得好、跑得稳、可监控。 3. 完整的数据处理能力：海量脏数据的清洗、脱敏与结构化；用 LLM 做数据增广并验证质量；能独立设计和实现质检脚本与自动化质检流程（规则校验、异常检测、双标一致性计算、金标抽检），对数据分布、异常与偏见风险有敏锐直觉。 4. 日志与轨迹分析能力：熟悉 Agent 执行日志、多步轨迹、工具调用模式（bash / python / API），能判断冗余操作与隐性副作用；能编写轨迹解析与校验脚本，独立完成 bad case 归因（模型 / 数据 / 任务定义 / 环境）并输出结构化改进建议。 5. 数据挖掘与 LLM 工具链经验：有从线上日志、用户行为、模型轨迹中挖掘高价值样本的实战经验，熟悉规则挖掘、聚类、异常检测、分类方法，熟练用 LLM 做数