岗位描述
- 长上下文、多模态和 Agent,让模型推理面对更复杂的计算和服务需求。 - 你将参与 MiniMax 从 GPU 算子、推理框架到在线 Serving 的研发与优化,把 kernel 上的加速转化为实际服务的低延迟、高吞吐与更低成本。可以结合兴趣和基础,选择一个或多个方向深入。 你将参与的工作 1. 算子开发与优化:参与 Attention、GEMM、MoE 等关键 kernel 的开发与优化,使用 CUDA/Triton 改进访存、并行计算和算子融合,在保证 数值正确性的前提下提升 GPU 执行效率。 2. 推理框架研发:参与推理框架与 Runtime 研发,优化模型执行、KV Cache、Batching 和多卡通信,探索 CUDA Graph、量化与 Speculative Decoding 等加速方案。 3. Serving 系统研发:参与在线推理服务研发,优化请求路由、并发控制、流式输出与负载均衡,完善弹性伸缩、故障恢复和监控,提升复杂负载下的服务性能与稳定性。 4. 端到端性能优化:通过 Profiling、Benchmark 和压测,定位算子、框架及服务中的性能瓶颈,围绕 TTFT、TPOT、吞吐和成本开展优化,验证不同模型与业务负载下的实际收益。