查询 · orders-large

本页 7 个用例共用基础项目 orders-large@1.xh （下载后导入星汉即可查看初始数据）。每个用例的执行完全独立：各自导入 全新项目、各自开新会话；标了步骤数的用例是多步 —— 多步在同一会话里连续 执行，考连续作业。

订单表的字段

L1-order-fields · L1 ｜ 读 schema（第二张 fixture）

题面

「订单」表有哪些字段？

验收

- type: answer_text
  expectContains: ["订单号", "负责人", "金额", "状态"]
- type: trajectory
  maxToolCalls: 2
  forbidTools: [run_sandbox]

复现：

pnpm --dir packages/agent-eval eval --only L1-order-fields

按订单号查单

L1-order-lookup · L1 ｜ 2000 行大表按业务主键定位——必须下推 filter

题面

「订单」表里，订单号 SO-01234 这一单的负责人是谁？状态是什么？

验收

- type: answer_text
  expectContains: ["陈静", "已发货"]
# 2000 行的表,找一单必须下推 filter —— 拉全表翻 4 页找一行是大表上必崩的路子
# search_project 上线后模型会用全项目检索找单号 —— 与 query+filter 同为合法
# 高效路径(答案全对)。"不拉全表"的本意由 maxToolCalls 罩住:2000 行翻 4 页必超。
# 教训:断言写"意图"(次数上限)别写"路径"(必须用哪个工具),工具集会演化
- type: trajectory
  maxToolCalls: 3
  forbidTools: [run_sandbox]

复现：

pnpm --dir packages/agent-eval eval --only L1-order-lookup

已退款订单计数

L2-count-refund · L2 ｜ 大表条件计数（服务端聚合）

题面

「订单」表里状态是「已退款」的一共有多少单？

验收

- type: answer_text
  expectContains: ["666"]
# 不指定路径:aggregate 和 profile(值分布自带 count)都是服务端算的合法路径,
# 指定 mustUseAggregate 曾把 profile 两步更优解判死(sonnet 挂 2/4——考卷惩罚
# 聪明)。意图"别翻页凑数"由上限 3 表达:2000 行翻页要 5+ 次
- type: trajectory
  maxToolCalls: 3
  forbidTools: [run_sandbox]

复现：

pnpm --dir packages/agent-eval eval --only L2-count-refund

已发货订单计数

L2-count-shipped · L2 ｜ 大表条件计数

题面

「订单」表里「已发货」状态的订单有多少单？

验收

- type: answer_text
  expectContains: ["667"]
# 不指定路径:aggregate 和 profile(值分布自带 count)都是服务端算的合法路径,
# 指定 mustUseAggregate 曾把 profile 两步更优解判死(sonnet 挂 2/4——考卷惩罚
# 聪明)。意图"别翻页凑数"由上限 3 表达:2000 行翻页要 5+ 次
- type: trajectory
  maxToolCalls: 3
  forbidTools: [run_sandbox]

复现：

pnpm --dir packages/agent-eval eval --only L2-count-shipped

张伟的已退款订单数

L2-owner-status-count · L2 ｜ 双条件计数

题面

「订单」表里，张伟名下「已退款」状态的订单有多少单？

验收

# 两条件组合 count —— 比单条件更容易暴露"拉回来自己数"的路子
- type: answer_text
  expectContains: ["133"]
- type: trajectory
  mustUseAggregate: true
  maxToolCalls: 4
  forbidTools: [run_sandbox]

复现：

pnpm --dir packages/agent-eval eval --only L2-owner-status-count

按负责人汇总订单金额

L2-sum-by-owner · L2 ｜ 分组聚合+排序

题面

「订单」表里，每个负责人名下的「金额」合计各是多少？按合计从高到低说。

验收

- type: trajectory
  maxToolCalls: 4
  forbidTools: [run_sandbox]
  mustUseAggregate: true

复现：

pnpm --dir packages/agent-eval eval --only L2-sum-by-owner

张伟名下订单合计

L2-sum-owner-zhang · L2 ｜ 大表条件求和

题面

「订单」表里，张伟名下所有订单的「金额」合计是多少？

验收

# 真值 2596698 由 fixture 公式决定(金额=(n%97)*137,负责人 n%5 轮转)。
# 2000 行拉回来自己加,翻页漏一页就是静默错的合计 —— 必须聚合下推
- type: answer_text
  expectContains: ["2596698"]
- type: trajectory
  mustUseAggregate: true
  maxToolCalls: 4
  forbidTools: [run_sandbox]

复现：

pnpm --dir packages/agent-eval eval --only L2-sum-owner-zhang