跳转到内容

检索 · workspace-mixed

本页 4 个用例共用基础项目 workspace-mixed@1.xh (下载后导入星汉即可查看初始数据)。每个用例的执行完全独立:各自导入 全新项目、各自开新会话;标了步骤数的用例是多步 —— 多步在同一会话里连续 执行,考连续作业。

L3-clue-note · L3 | 内容线索 → 全局检索定位

题面

备注里写着要「续约」的是哪个客户?

验收

- type: answer_text
expectContains: ["云途物流"]
- type: trajectory
mustUseTools: [search_project]
maxToolCalls: 4
forbidTools: [run_sandbox]

复现:

Terminal window
pnpm --dir packages/agent-eval eval --only L3-clue-note

L3-cross-entity · L3 | 实体跨表召回

题面

「晨光教育」在这个项目里出现在哪些地方?把涉及它的表都说出来。

验收

# 同一实体散在三张表(客户行/工单两行/备忘一行)—— 跨表召回的典型问法
- type: answer_text
expectContains: ["客户", "工单", "备忘"]
- type: trajectory
mustUseTools: [search_project]
maxToolCalls: 5
forbidTools: [run_sandbox]

复现:

Terminal window
pnpm --dir packages/agent-eval eval --only L3-cross-entity

L3-locate-keyword · L3 | 关键词检索+归属解读

题面

项目里哪条记录提到了「发票」?在哪张表、相关客户是谁?

验收

# 线索词只在工单表一行:标题「开具采购发票」,客户远山科技。问题不点名表 ——
# 逐表翻找也能找到,但那要 3 张表各 profile+query;search 一次定位(上限 4 卡它)
- type: answer_text
expectContains: ["工单", "远山科技"]
- type: trajectory
mustUseTools: [search_project]
maxToolCalls: 4
forbidTools: [run_sandbox]

复现:

Terminal window
pnpm --dir packages/agent-eval eval --only L3-locate-keyword

L3-phone-lookup · L3 | 精确值全局检索

题面

13877669900 这个号码是谁的?

验收

# 号码藏在备忘表的一条内容里 —— 结构化筛选根本无从下手,纯检索题
- type: answer_text
expectContains: ["李娜"]
- type: trajectory
mustUseTools: [search_project]
maxToolCalls: 4
forbidTools: [run_sandbox]

复现:

Terminal window
pnpm --dir packages/agent-eval eval --only L3-phone-lookup