美团
基座大模型算法研究员 (Mid-training)
职位描述
1. 大规模高质量数据体系与合成数据建设 数据体系构建： 建设 Trillion 级别的大规模跨模态数据处理与合成链路。负责从数据清洗、去重、质量评分到动态配比建模的全流程优化。 合成方法演进： 深入探索大规模合成数据 (Synthetic Data) 与自蒸馏 (Self-distillation) 技术，针对复杂逻辑推理、代码生成及多模态场景，制定Pre-training与 Mid-training 阶段的合成数据应用策略。 理论探索： 研究 Data Scaling Laws，解决数据扩展中的模型坍塌（Model Collapse）与多样性瓶颈问题，通过课程学习（Curriculum Learning）等多阶段训练策略，显著优化 Token/FLOPs 转化效率。 2. 长上下文 (Long Context) 与高效架构演进 长窗口突破：持续 Scaling Up 模型的 Context Length，优化超长上下文机制。重点提升 LongCat 等基座模型在长文理解、长程推理、创作等任务上的表现。 架构优化： 探索并验证 MoE（混合专家）、稀疏注意力（Sparse Atten
任职要求
对大模型开发流程有深入认知，熟悉预训练、指令微调、RL等流程与框架； 对Dense和MoE等模型架构有深入理解并拥有大规模训练经验 具备扎实的算法和数学理论基础及良好的编程基础，熟悉自然语言处理、生成式AI和机器学习等技术，熟悉Python、Java等至少一种编程语言，熟悉PyTorch等深度学习框架，对技术开发及应用有热情； 目标感强，善于分析和发现问题，拆解简化，有想法并乐于挑战自我，能够从日常工作中发现新的空间； 条理性强且有推动力，能够梳理繁杂的工作并建立有效机制，推动上下游配合完成目标。