岗位描述
团队介绍:Data AML是字节跳动的机器学习中台,为抖音/今日头条/西瓜视频等业务提供推荐/广告/CV/语音/NLP的训练和推理系统。为公司内业务部门提供强大的机器学习算力,并在这些业务的问题上研究一些具有通用性和创新性的算法。同时,也通过火山引擎将一些机器学习/推荐系统的核心能力提供给外部企业客户。 1、负责模型推理服务整体架构设计与落地,针对大参数、高复杂度AI模型打造高性能、高可用、可扩展的企业级推理体系,攻克复杂模型推理落地中的各类架构难题,支撑业务全场景模型高效上线; 2、负责推理框架模块的研发与 优化,涵盖推理引擎调度、监控告警、灰度发布等能力,持续迭代框架性能,解决高并发、大模型推理场景下的性能瓶颈、资源瓶颈与稳定性问题; 3、跟进业界前沿推理技术,结合业务场景进行技术选型与技术创新,沉淀分布式高并发服务架构方案,推动团队技术体系升级与标准化建设。