岗位描述
我们正在利用自进化 Agent,自动优化大模型推理系统的部署配置与 GPU 算子。你将参与构建“性能分析—优化方案生成—部署与执行—正确性验证—性能评测—反馈迭代”的闭环,推动 Agent 根据真实实验结果持续改进优化策略,提升推理效率、降低推理成本。 岗位职责 **自动调优 Agent 研发:**参与任务规划、工具调用、实验执行与反馈分析等模块开发,探索能够根据运行结果调整搜索策略、积累优化 经验的自进化机制。 **推理引擎配置优化:**围绕 vLLM、SGLang 等推理引擎,开展批处理、并行策略、KV Cache、CUDA Graph 等参数的自动搜索与调优,结合硬件资源和业务负载寻找更优配置。 **GPU 算子生成与优化:**面向 Attention、GEMM、MoE、归一化及量化等关键算子,探索基于 CUDA、Triton、TileLang 等技术的代码生成、性能分析与迭代优化。 **评测与工具链建设:**建设可复现的实验环境,接入性能分析、精度验证和真实负载回放工具,评估优化方案对任务耗时、吞吐、延迟、显存占用及成本的影响。 **成果集成与验证:**参与优化配置与算子的推理引擎集成,探索动态资源感知、跨模型与跨硬件经验复用,完善候选方案验证、实验记录及回滚机制。