岗位描述
1、有模型评测或 AI 应用效果评估相关的实际经验,能够从具体场景出发设计评测,而不只停留在通用指标或 benchmark。 2、理解大模型的能力边界,能把业务需求转化为可测试的模型要求,并判断问题更可能来自模型还是应用链路。 3、具备良好的分析和判断能力,能从评测结果中识别关键问题,并推动相关团队采取行动。 4、能与模型、产品和业务团队有效协作,适应快速变化的业务场景。 加分项: 有大模型团队的训练或评测体系经验,同时也经历过创业团队或快速迭代环境。 有从零搭建场景评测集、持续用于模型或产品迭代的经验。 能用代码或脚本亲自完成评测相关工作。 职责: 1、建设场景评测方案:理解业务 use case,将真实需求拆解为可执行的评测任务、评价标准和评测集,并持续维护与完善。 2、评估模型能力与边界:结合具体场景提出模型能力要求,设计评测方式,分析模型表现,判断问题主要来自模型能力还是应用链路。 3、推动评测驱动迭代:与模型、产品及业务团队协作,将评测结果转化为清晰的问题判断和改进方向,并跟进迭代效果。 4、沉淀评测方法:结合不同场景总结可复用的评测思路与标准,提升评测结论对模型选型和产品迭代的参考价值。 5、参与评测实践:评测集建设、测试执行与结果分析,提升评测工作的效率和可复现性。 发布时间: 2026-11-20