AI Infra SRE 工程师(大模型推理)(深圳/北京)

职位描述

1.负责大模型在线推理服务（含评测、潮汐调度等业务形态）的全链路稳定性保障：日常值班、告警响应、故障定位与复盘，推动根因治理与长期改善； 2.负责推理服务性能与容量运营：KV Cache 调优、吞吐与时延优化、GPU 资源池水位监控与弹性调度，参与成本 / 资源优化专项； 3.建设面向推理场景的可观测体系：TTFT / TPOT、缓存命中率、GPU 利用率、排队时延等 SLI/SLO 指标落地，结合 Tracing / Logging 定位长尾问题； 4.参与推理集群（Kubernetes）日常运维：多机多卡部署与调度策略、Pod 异常与故障节点隔离、灰度发布与回滚预案； 5.沉淀 SRE 工具链与效能建设：巡检工具、故障自愈脚本、容量与成本预测模型，持续降低人工运维成本。

任职要求

三年以上工作经验