腾讯专有云-大模型推理优化工程师-深圳/北京

职位描述

1.参与私有云MaaS 平台推理侧架构设计（调度、路由、多实例、多卡多机部署），支撑私有化项目 POC、压测、问题定位与交付； 2.负责私有云场景下的大模型推理引擎优化，持续提升吞吐、并发、TTFT / TPOT、显存利用率等关键性能指标； 3.负责主流开源大模型在私有云MaaS 平台上的推理适配、精度对齐与性能达标； 4.负责AI 加速卡的推理适配与深度优化，打通异构硬件后端与上层推理框架的对接； 5.针对私有化场景下客户「模型 × 硬件」组合众多、差异大的特点，设计并落地可复用的推理加速方案； 6.建设推理性能基线与回归体系，沉淀卡适配方法论与最佳实践。

任职要求

五年以上工作经验