如约见 · 技术研发 · 算法/AI

业务技术-AI Agent评测专家(Code/Work方向)

淘天集团 · 杭州 · 薪资面议 · 更新于 2026/11/17

任职要求

经验:2年以上学历:硕士

岗位描述

1、深度使用主流Code/Work类Agent产品完成真实的长程任务,通过多轮交互、工具调用和结果验证,系统分析Agent在多步规划、指令跟随、上下文管理、信息缺失处理和执行中的纠错恢复等方面的能力短板与失败模式; 2、针对规划、工具调用、多轮交互、指令跟随等核心能力,构建覆盖不同场景、难度和异常情况的长程任务与边界用例;明确任务输入、运行条件和验收标准,通过可复现的评测与重复实验,识别不同Agent/模型的能力差异,结合业界技术进展与真实用户需求,持续迭代评测集与标准; 3、从准确性、完整性、约束满足度和实际可用性等维度评估交付物,结合Rubric设计、程序化校验、人工评测和LLM-as-Judge,持续校准评分标准、验证评分一致性,提升评测结果的可靠性; 4、基于执行轨迹定位失败环节,区分模型能力、Agent策略、工具接口及运行环境等因素,输出清晰的评测结论和优化建议;将典型失败模式沉淀为新的评测用例和改进数据,协同研发、算法团队推动修复,并通过回归评测验证效果。

淘天集团其他在招岗位

同类在招岗位(技术研发)

岗位信息来自企业官方招聘渠道(taotian),由如约见每日自动同步; 如已下架可前往职位雷达用 AI 匹配相似岗位,或浏览招聘岗位大全。