岗位描述
1、定义 Coding Agent、Skill、Harness 的评测目标与适用范围,识别哪些变化需要系统评测,明确成功标准、基线、关键场景及质量和成本约束。 2、从真实研发任务、产品反馈和失败案例中建设评测集,设计采样、标注、专家复核、去重、版本管理和持续维护机制,使数据能够代表目标用户与任务。 3、设计并实现评估方法,结合编译测试、规则验证、模型裁判与人工评审,验证评估标准的有效性,处理裁判偏差、标注分歧和不同任务的评分差异。 4、设计对照实验、重复运行和分层分析,区分模型、Prompt、Skill、上下文、工具与运行环境的影响,识别统计波动、关键回归及效果与成本的 取舍。 5、与工程同学共同交付评测工具,亲自承担关键评估模块和实验原型;完善执行隔离、配置记录、运行证据、失败分类和结果报告,使评测可追溯、可重复执行。 6、优先接入内部重点产品,与产品团队共同分析问题、提出改进假设、复测效果,形成能支持业务判断的案例及可复用方法。 7、基于实际评测结果探索模型合作方向,梳理能力短板、数据需求和可行实验;与算法或模型团队沟通优化方案,依据证据判断是否值得进一步投入。 8、保持小团队中的一线技术贡献,推动数据、产品和工程协作,并将有效实践沉淀为文档、接口和工具能力。