岗位描述
1. 负责大模型分布式训练与推理框架的研发和性能优化,持续提升训练效率、推理吞吐、资源利用率及系统稳定性; 2. 与算法团队紧密协作,针对新模型结构(Dense/MoE等)提供框架层面的支持与适配,支撑算法高效迭代与算力高效利用; 3. 建设推理服务的可观测性与容错能力,完善监控、诊断、限流、降级与故障恢复机制,保障线上服务 SLA; 4. 调研、评 估并推动 SGLang、vLLM、TensorRT-LLM、FlashInfer、Triton Inference Server 等前沿推理框架及优化技术在内部落地; 5. 参与GPU/异构集群的资源调度与成本优化,提升整体算力利用效率;