大模型推理框架研发工程师-上海/北京/深圳/杭州

职位描述

1.研发及优化大模型推理引擎、PD分离推理调度系统，提升大规模分布式推理系统的整体效率； 2.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势。

三年以上工作经验