LLM 产品运营工程师

职位描述

一、岗位定位面向公司内部员工及业务系统，负责大模型网关的价格管理、用量计量、双向对账及成本治理。能够独立分析调用数据、定位计费问题，并通过脚本和系统工具实现运营自动化，提升价格与结算准确性，持续优化模型使用成本。二、岗位职责 1、模型价格管理与双向对账；负责模型采购价格与内部收费价格的维护、调价测算、配置验证及生效跟踪，建立价格版本和变更记录；独立完成供应商账单、网关调用明细与内部结算数据的核对，定位并推动解决用量、价格、折扣、缓存、重试及账期等差异，支持月度结算与账务调整。 2、计量与对账自动化；使用 Python、SQL 等工具，独立开发和维护用量数据处理、价格校验、账单匹配、差异分析及报表生成流程；识别重复上报、数据遗漏、延迟和 usage 缺失等问题，建立可重复执行、可追溯的核算机制，持续减少人工操作。 3、缓存分析与模型成本优化；基于真实调用日志，分析供应商 Prompt Caching 和网关缓存的适用场景、命中表现与实际收益，定位提示词结构、工具定义、上下文组织等因素造成的缓存问题；结合模型选型、重试与降级、上下文管理等手段推进优化，在效果、成功率及延迟约束下，

任职要求

1、相关工作经验； 3 年以上相关工作经验，具有大模型平台、云平台、API 开放平台、技术运营、成本治理或计费数据处理等背景。 2、扎实的数据处理与自动化能力；熟练使用 SQL 和 Python，能够独立完成日志分析、数据清洗、跨来源数据核对、异常归因及自动化任务开发。具备数据完整性校验、重复数据处理、异常重跑和运行日志意识，能够验证处理结果的正确性。 3、计量、计费与成本分析能力；具有用量计量、价格管理、账单核对、成本分摊或费用分析中的实际项目经验，能够清晰解释数据来源、计算规则、价格生效时间及差异原因；理解历史数据追溯、变更复核和账务调整的重要性。 4、大模型网关与接口理解能力；理解大模型调用链路中的认证、限流、路由、缓存、重试、降级和计量机制，能够阅读 API 文档、调试模型接口并结合日志定位问题。了解 Token 计费、流式响应、usage、上下文窗口及缓存读写等概念；具备 LiteLLM、One API、Higress AI Gateway 等平台经验者优先； 5、加分项独立建设过供应商对账、内部计费、价格管理或云成本治理工具，并投入实际使用；有大模型缓存优化、To