岗位描述
团队介绍: 岗位归属于网商银行智能服务技术部,致力于以大模型与Agent技术重塑小微金融服务范式,助力AI银行实践。我们以"AI驱动、服销一体化"为核心,打造面向亿级信贷与理财客户的下一代全域智能服务体系。我们是一个怀揣AI技术梦想的团队,成员包括多位来自清华、卡内基梅隆、北大、复旦、上交、浙大等知名院校的硕、博同学,AI技术气氛佳、团队热情友好。 岗位描述: 1. 评测体系与Benchmark建设:面向AI客户经理、AI风险经理、AI金融管家等核心智能体,抽象信贷、理财、票据等场景的真实任务,把业务专家的分析逻辑、服务规范与合规规则沉淀为可泛化、可规模化的Rubric/Checkpoint;从真实流量、典型任务、长尾与高风险Case构造有代表性的金融智能服务评测集,持续提升智能体专业力与事实准确性。 2. 评测标准与多路Judge设计:联合业务专家、产品、算法团队,将专业判断转化为原子、可追溯的评测标准;围绕金融多维度,组合LLM/Agent Judge、金融事实核验、规则/Python Judge、Voice与Trace Judge等多路判分,并结合专家Gold持续校准,提升评测可信度;跟踪SWE Bench、Terminal Bench、GAIA等主流Agent评测Benchmark并完成本地化落地。 3. Agentic评测与轨迹归因:设计并执行大模型Agent的全流程评测(功能/性能/效果/稳定性),重点覆盖长程任务、多轮共情、意图澄清与拒答、工具调用、记忆机制等Agentic能力;梳理Agent决策链路与工具调用轨迹,区分模型错误、金融口径差异、检索供给错误、工具故障与Judge误判,形成结构化归因报告并推动闭环。 4. 评测工程与工具平台:基于工程能力搭建自动化评测框架与线上case采集录制能力,优化评测流程与工具性能;开发适配算法服务的测试工具(评测数据集构造、模型效果评估、性能压测等),通过同口径A/B、配对实验、置信区间与噪声基线判断版本变化是否真实,支撑Agent版本快速迭代验证。 5. 前沿探索:跟踪大模型及Agent评测领域前沿技术(LLM-as-a-Judge、多LLM投票打分、few-shot评测、后训练阶段评测等),引入先进评测方法、工具与指标,持续提升评测体系的专业性与前瞻性。