岗位描述
主要负责重点企业 Agent 项目的测试与评测交付,主导 B 端评测体系建设,并参与评测 Harness 和通用评测平台建设。既能在项目中动手解决问题,也能把经验沉淀为方法、工具和平台能力。 岗位职责 1、负责重点企业 Agent 项目的测试与评测交付 -作为领域主 R,制定测试策略、评测方案和验收标准; -理解客户业务和使用场景,识别关键质量风险; -推动产品、算法、研发和交付团队解决问题; -输出可用于上线、交付和客户验收的评测结论与改进建议。 -负责 AI/Agent 全链路测试与评测 -覆盖大模型应用、知识库检索、Agent、工具调用、多轮对话和工作流; -设计人工评测、自动评测和模型辅助评分相结合的评测方案; -处理结果波动、上下文干扰、工具选择错误等问题; -根据日志和调用链分析失败原因,推动问题修复和回归验证。 2、主导 B 端 Agent 评测体系建设 -建立质量指标、评测数据集和人工评测标准; -建设标准集、回归集、难题集及覆盖度评估机制; -建立评测基线、版本对比、上线门槛和线上问题回流机制; -沉淀可复用的领域评测方案、模板和最佳实践。 3、建设评测 Harness 和通用评测平台 -建设或完善 Harness,支持测试场景加载、批量执行、模型与 Agent 调用、结果收集、自动评分、版本对比和失败重跑; -从重点项目中抽象共性需求,参与数据集管理、任务编排、结果分析和报告生成等平台能力建设; -推动 Harness 与评测平台衔接,并在真实项目中落地使用; -支持不同模型、提示词、Agent 和工作流版本的对比评测。 5、负责关键质量专项和工具建设 -推进稳定性、性能、安全及对抗测试等专项; -开发测试与评测脚本、工具或平台组件,并应用到实际流程; -利用 AI 工具提升用例生成、数据标注、异常挖掘和失败分析效率。