腾讯云-MaaS平台推理研发高级工程师(北/杭/深)

职位描述

1.负责推理、评测、训练等平台业务的设计、开发和维护，完善任务编排、状态管理、结果管理及服务衔接能力，提升平台的稳定性、可扩展性和业务迭代效率； 2.建设 Token Plan、模型单元等平台业务，完善套餐权益、配额管理、服务配置及生命周期管理能力，提升推理服务的产品化能力与业务交付效率； 3.建设智能路由、Harness等平台能力，完善模型选择、任务编排、工具调用和执行反馈机制，平衡模型效果、响应时延、可用性与调用成本； 4.负责图像、音频、视频等多模态推理能力的接入与服务化，支持多模态输入输出、实时流式交互和异步任务，优化端到端延迟、可靠性与使用体验； 5.建设Chat/Response/Message三类推理协议的统一接入与兼容适配能力，完善请求响应转换、流式事件处理、工具调用适配及兼容性测试，降低模型与供应商接入成本； 6.建设内容审核、计量计费、限流、Tokenizer、Embedding 等通用能力，完善统一服务接口与调用链路，保障内容安全、用量计费准确性及多租户服务稳定性，沉淀可复用的平台组件。

任职要求

三年以上工作经验