岗位描述
1. 深度参与LLM的模型结构,包括MLP以及attention 模块改进,以及训练方法的设计,包括模型并行策略优化,优化算法改进,量化算法改进,目标损失函数改进等方向,目标是同时在模型训练以及大概规模推理效率上取得sota级别的领先水平 2. 深入调研如何设计科学的实验,利用scaling law验证模型设计以及训练算法,获取从头开始,端到端的大模型训练经验。 3. 良好的团队氛围,扁平化的沟通和管理,丰富的算力和计算资源。 1. 本科及以上学历,计算机、人工智能、自动化、数学专业优先 2. 扎实的编程基础,对数据结构、算法设计基础有深度了解,熟练使用pytorch或其他深度学习框架。 3. 有深度学习训练丰富实操以及参数调优经验者优先 4. 有高性能计算经验者优先,有triton,cuda 等gpu kernel 编码经验优先 5. 有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先 6. 在顶级学术会议上发表论文者优先,在机器学习、人工智能领域内获得过优异成绩者优先 7. 责任心强,积极主动,有良好的沟通和合作能力 职位描述: 1. 深度参与LLM的模型结构,包括MLP以及attention 模块改进,以及训练方法的设计,包括模型并行策略优化,优化算法改进,量化算法改进,目标损失函数改进等方向,目标是同时在模型训练以及大概规模推理效率上取得sota级别的领先水平 2. 深入调研如何设计科学的实验,利用scaling law验证模型设计以及训练算法,获取从头开始,端到端的大模型训练经验。 3. 良好的团队氛围,扁平化的沟通和管理,丰富的算力和计算资源。 职位要求: 1. 本科及以上学历,计算机、人工智能、自动化、数学专业优先 2. 扎实的编程基础,对数据结构、算法设计基础有深度了解,熟练使用pytorch或其他深度学习框架。 3. 有深度学习训练丰富实操以及参数调优经验者优先 4. 有高性能计算经验者优先,有triton,cuda 等gpu kernel 编码经验优先 5. 有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先 6. 在顶级学术会议上发表论文者优先,在机器学习、人工智能领域内获得过优异成绩者优先 7. 责任心强,积极主动,有良好的沟通和合作能力 --- 校园招聘 首页 关于我们 校招职位 社招职位 登录 大语言模型架构实习生(预训练方向) 分享 实习 | 算法类/AI | 北京市 发布于 2025-01-16 申请职位 首页 / 职位列表 / 职位详情 / 大语言模型架构实习生(预训练方向) 分享 实习 | 算法类/AI | 北京市 发布于 2025-01-16 申请职位 职位描述 职位描述: 1. 深度参与LLM的模型结构,包括MLP以及attention 模块改进,以及训练方法的设计,包括模型并行策略优化,优化算法改进,量化算法改进,目标损失函数改进等方向,目标是同时在模型训练以及大概规模推理效率上取得sota级别的领先水平 2. 深入调研如何设计科学的实验,利用scaling law验证模型设计以及训练算法,获取从头开始,端到端的大模型训练经验。 3. 良好的团队氛围,扁平化的沟通和管理,丰富的算力和计算资源。 职位要求: 1. 本科及以上学历,计算机、人工智能、自动化、数学专业优先 2. 扎实的编程基础,对数据结构、算法设计基础有深度了解,熟练使用pytorch或其他深度学习框架。 3. 有深度学习训练丰富实操以及参数调优经验者优先 4. 有高性能计算经验者优先,有triton,cuda 等gpu kernel 编码经验优先 5. 有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先 6. 在顶级学术会议上发表论文者优先,在机器学习、人工智能领域内获得过优异成绩者优先 7. 责任心强,积极主动,有良好的沟通和合作能力 职位描述: 1. 深度参与LLM的模型结构,包括MLP以及attention 模块改进,以及训练方法的设计,包括模型并行策略优化,优化算法改进,量化算法改进,目标损失函数改进等方向,目标是同时在模型训练以及大概规模推理效率上取得sota级别的领先水平 2. 深入调研如何设计科学的实验,利用scaling law验证模型设计以及训练算法,获取从头开始,端到端的大模型训练经验。 3. 良好的团队氛围,扁平化的沟通和管理,丰富的算力和计算资源。 职位要求: 1. 本科及以上学历,计算机、人工智能、自动化、数学专业优先 2. 扎实的编程基础,对数据结构、算法设计基础有深度了解,熟练使用pytorch或其他深度学习框架。 3. 有深度学习训练丰富实操以及参数调优经验者优先 4. 有高性能计算经验者优先,有triton,cuda 等gpu kernel 编码经验优先 5. 有ACM/IOI/NOI/Top Coder等算法竞赛获奖经历优先 6. 在顶级学术会议上发表论文者优先,在机器学习、人工智能领域内获得过优异成绩者优先 7. 责任心强,积极主动,有良好的沟通和合作能力 职位信息