腾讯
金融科技-Agent架构设计与推理性能优化工程师
职位描述
1.· 负责Agent harness的设计与平台 Agent 开发，结合统一Agent框架、标准LLM服务，扩展自定义工具、沙箱 、Agent 互调通信，完成业务功能目标； 2.· 围绕工具的场景，定义量化指标，并结合轨迹的合理性，整体优化 Agent 工作效率与效果； 3.· 优化模型推理性能，包括缓存命中率、私有化推理集群的调度、卡适配、跨集群成本削峰填谷等，提升推理资源利用率和响应速度； 4.· 协助Agent框架与FAT平台、LLM API、评测系统的打通，实现一站式Agent创建、上线与效果评估； 5.· 跟踪Agent与推理框架的前沿技术，结合业务需求探索创新方案并推动落地。
任职要求
五年以上工作经验