数据计算平台调度工程师（北京/深圳/上海/杭州）

职位描述

1.负责大数据云原生计算平台的资源管理与调度架构设计，基于 Kubernetes 支持 Spark/Flink/Ray 等分布式计算引擎，提升大规模集群的资源利用率、任务吞吐和运行稳定性； 2.面向批处理、交互式计算及分布式数据处理等场景，设计和优化多租户资源配额、公平共享、优先级与抢占、任务组调度、弹性伸缩等机制，保障关键任务的时效性与资源使用效率； 3.深入优化计算引擎与 Kubernetes 的协同机制，围绕任务启动、资源申请与回收、数据本地性、网络及存储访问等环节，解决大规模作业的性能与稳定性问题； 4.建设高可用、可扩展的调度与任务编排能力，开展 Kubernetes 调度器扩展、Controller、Operator 及 CRD 开发，完善故障恢复、可观测性和容量治理体系； 5.面向 Spark/Ray 等引擎的 GPU 计算需求，与 GPU 资源平台团队协同，建设应用侧异构资源申请、任务编排及 CPU/GPU 协同调度能力，支持大数据计算向异构计算场景演进。

任职要求

三年以上工作经验