岗位描述
1. 推理适配与优化:基于 vLLM、SGLang、TensorRT-LLM 等框架,在 NVIDIA Blackwell 平台上适配主流开源模型;通过并行策略、PD 分离、KV Cache 复用、投机解码等手段优化吞吐与延迟,支撑 MaaS 平台上线,降低单位 token 成本。 2. 训练适配与优化:基于 Megatron-Core、FSDP 及 verl、OpenRLHF 等框架,支持租户的预训练、SFT 及 RLHF/GRPO 等任务,优化多机训练效率。 3. 镜像与版本管理:维护官方训练/推理镜像,跟进 CUDA、驱动、NCCL 与框架版本的兼容性,新版本发布后快速评估升级。 4. 性能基准:建设模型性能 Benchmark 体系与回归测试,为客户选型提供数据支撑。 5. 问题攻坚:与运维、平台研发团队协作定位性能和稳定性问题,参与客户侧技术支持。 1. 本科及以上学历,计算机或相关专业;3 年以上 AI 系统、高性能计算或深度学习框架相关经验,推理或训练方向至少精通其一。 2. 推理方向:深度使用过 vLLM / SGLang / TensorRT-LLM 中至少一种,有线上大模型推理服务的部署调优经验。 3. 训练方向:熟悉 Megatron / FSDP / verl 中至少一种,理解并行策略及通信开销,有多机多卡训练经验。 4. 熟悉 GPU 体系结构与 CUDA 编程模型,能用 Nsight、PyTorch Profiler 等工具定位性能瓶颈。 5. 熟练掌握 Python,熟悉 C++ 者优先;熟悉 PyTorch 内部机制、NCCL 通信,以及Kubernetes 环境构建。 加分项 1. 有 Hopper / Blackwell 平台的调优经验,熟悉 FP8 / FP4 量化或低精度训练。 2. 有开源大模型实战部署经验者。 岗位职责 1. 推理适配与优化:基于 vLLM、SGLang、TensorRT-LLM 等框架,在 NVIDIA Blackwell 平台上适配主流开源模型;通过并行策略、PD 分离、KV Cache 复用、投机解码等手段优化吞吐与延迟,支撑 MaaS 平台上线,降低单位 token 成本。 2. 训练适配与优化:基于 Megatron-Core、FSDP 及 verl、OpenRLHF 等框架,支持租户的预训练、SFT 及 RLHF/GRPO 等任务,优化多机训练效率。 3. 镜像与版本管理:维护官方训练/推理镜像,跟进 CUDA、驱动、NCCL 与框架版本的兼容性,新版本发布后快速评估升级。 4. 性能基准:建设模型性能 Benchmark 体系与回归测试,为客户选型提供数据支撑。 5. 问题攻坚:与运维、平台研发团队协作定位性能和稳定性问题,参与客户侧技术支持。 任职要求 1. 本科及以上学历,计算机或相关专业;3 年以上 AI 系统、高性能计算或深度学习框架相关经验,推理或训练方向至少精通其一。 2. 推理方向:深度使用过 vLLM / SGLang / TensorRT-LLM 中至少一种,有线上大模型推理服务的部署调优经验。 3. 训练方向:熟悉 Megatron / FSDP / verl 中至少一种,理解并行策略及通信开销,有多机多卡训练经验。 4. 熟悉 GPU 体系结构与 CUDA 编程模型,能用 Nsight、PyTorch Profiler 等工具定位性能瓶颈。 5. 熟练掌握 Python,熟悉 C++ 者优先;熟悉 PyTorch 内部机制、NCCL 通信,以及Kubernetes 环境构建。 加分项 1. 有 Hopper / Blackwell 平台的调优经验,熟悉 FP8 / FP4 量化或低精度训练。 2. 有开源大模型实战部署经验者。 --- 职位详情 急 AI Infra 负责人(大模型训练/推理框架) 全职 职位描述 岗位职责 1. 推理适配与优化:基于 vLLM、SGLang、TensorRT-LLM 等框架,在 NVIDIA Blackwell 平台上适配主流开源模型;通过并行策略、PD 分离、KV Cache 复用、投机解码等手段优化吞吐与延迟,支撑 MaaS 平台上线,降低单位 token 成本。 2. 训练适配与优化:基于 Megatron-Core、FSDP 及 verl、OpenRLHF 等框架,支持租户的预训练、SFT 及 RLHF/GRPO 等任务,优化多机训练效率。 3. 镜像与版本管理:维护官方训练/推理镜像,跟进 CUDA、驱动、NCCL 与框架版本的兼容性,新版本发布后快速评估升级。 4. 性能基准:建设模型性能 Benchmark 体系与回归测试,为客户选型提供数据支撑。 5. 问题攻坚:与运维、平台研发团队协作定位性能和稳定性问题,参与客户侧技术支持。 任职要求 1. 本科及以上学历,计算机或相关专业;3 年以上 AI 系统、高性能计算或深度学习框架相关经验,推理或训练方向至少精通其一。 2. 推理方向:深度使用过 vLLM / SGLang / TensorRT-LLM 中至少一种,有线上大模型推理服务的部署调优经验。 3. 训练方向:熟悉 Megatron / FSDP / verl 中至少一种,理解并行策略及通信开销,有多机多卡训练经验。 4. 熟悉 GPU 体系结构与 CUDA 编程模型,能用 Nsight、PyTorch Profiler 等工具定位性能瓶颈。 5. 熟练掌握 Python,熟悉 C++ 者优先;熟悉 PyTorch 内部机制、NCCL 通信,以及Kubernetes 环境构建。 加分项 1. 有 Hopper / Blackwell 平台的调优经验,熟悉 FP8 / FP4 量化或低精度训练。 2. 有开源大模型实战部署经验者。 岗位职责 1. 推理适配与优化:基于 vLLM、SGLang、TensorRT-LLM 等框架,在 NVIDIA Blackwell 平台上适配主流开源模型;通过并行策略、PD 分离、KV Cache 复用、投机解码等手段优化吞吐与延迟,支撑 MaaS 平台上线,降低单位 token 成本。 2. 训练适配与优化:基于 Megatron-Core、FSDP 及 verl、OpenRLHF 等框架,支持租户的预训练、SFT 及 RLHF/GRPO 等任务,优化多机训练效率。 3. 镜像与版本管理:维护官方训练/推理镜像,跟进 CUDA、驱动、NCCL 与框架版本的兼容性,新版本发布后快速评估升级。 4. 性能基准:建设模型性能 Benchmark 体系与回归测试,为客户选型提供数据支撑。 5. 问题攻坚:与运维、平台研发团队协作定位性能和稳定性问题,参与客户侧技术支持。 任职要求 1. 本科及以上学历,计算机或相关专业;3 年以上 AI 系统、高性能计算或深度学习框架相关经验,推理或训练方向至少精通其一。 2. 推理方向:深度使用过 vLLM / SGLang / TensorRT-LLM 中至少一种,有线上大模型推理服务的部署调优经验。 3. 训练方向:熟悉 Megatron / FSDP / verl 中至少一种,理解并行策略及通信开销,有多机多卡训练经验。 4. 熟悉 GPU 体系结构与 CUDA 编程模型,能用 Nsight、PyTorch Profiler 等工具定位性能瓶颈。 5. 熟练掌握 Python,熟悉 C++ 者优先;熟悉 PyTorch 内部机制、NCCL 通信,以及Kubernetes 环境构建。 加分项 1. 有 Hopper / Blackwell 平台的调优经验,熟悉 FP8 / FP4 量化或低精度训练。 2. 有开源大模型实战部署经验者。 职位信息 职位性质 全职 职位名称 AI Infra 负责人(大模型训练/推理框架)