岗位描述
1、深度使用主流Code/Work类Agent产品完成真实的长程任务,通过多轮交互、工具调用和结果验证,系统分析Agent在多步规划、指令跟随、上下文管理、信息缺失处理和执行中的纠错恢复等方面的能力短板与失败模式; 2、针对规划、工具调用、多轮交互、指令跟随等核心能力,构建覆盖不同场景、难度和异常情况的长程任务与边界用例;明确任务输入、运行条件和验收标准,通过可复现的评测与重复实验,识别不同Agent/模型的能力差异,结合业界技术进展与真实用户需求,持续迭代评测集与标准; 3、从准确性、完整性、约束满足度和实际可用性等维度评估交付物,结合Rubric设计、程序化校验、人工评测和LLM-as-Judge,持续校准评分标准、验证评分一致性,提升评测结果的可靠性; 4、基于执行轨迹定位失败环节,区分模型能力、Agent策略、工具接口及运行环境等因素,输出清晰的评测结论和优化建议;将典型失败模式沉淀为新的评测用例和改进数据,协同研发、算法团队推动修复,并通过回归评测验证效果。