岗位描述
团队介绍:面向大模型推理平台,围绕真实业务工况、典型业务场景,建设数据分析与洞察能力。通过分析海量线上请求,深入理解业务负载特征、系统运行规律及性能瓶颈,挖掘潜在的用户共性需求提升客户体验,解锁技术优化机会,为平台研发方向、架构设计和技术演进提供数据依据,持续提升平台性能、稳定性、资源效率、成本和产品能力的竞争力。 1.工况分析与业务洞察:深入分析线上真实请求的流量分布、Token 长度、并发模式、请求时序、模型调用等特征,建立 Workload 画像,挖掘不同业务场景下的负载规律、变化趋势及潜在优化机会。 2.Trace 分析与性能归因:基于全链路 Trace 和运行指标,分析请求在路由、调度、排队、Prefill、Decode 等环节的性能表现,识别关键瓶颈,建立系统化的性能分析与归因能力。 3.场景分析与技术机会挖掘:针对 Chat、Agent、Coding、长上下文、多轮交互等典型场景,研究请求行为、Session 特征、KV Cache 复用及资源使用模式,从真实工况中发现新的技术需求和架构优化机会。 4.研发方向与架构演进:将数据分析结果转化为技术洞察,识别现有平台在调度、缓存、弹性、资源管理及服务架构上的系统性问题,提出优化方向,并与研发团队共同推动方案设计、落地及效果验证。 5.性能与资源效率优化:通过数据分析和实验评估,研究不同模型、硬件、业务负载和调度策略下的性能与成本表现,推动吞吐、时延、GPU 利用率及资源效率持续提升。 6.数据工程与分析体系建设:建设面向海量请求的工况分析、Trace 检索、异常检测、性能归因及可视化分析工具,推动分析流程自动化、标准化与工程化。