拾穗数据工作室SQL 模型评测台

测试用例

每个版本包含 Schema、种子数据、语义口径、Prompt、金标与比较规则。已发布版本不可修改,修正需发布新版本。

已发布版本

源文件包含各版本的题目、数据和金标结果。

版本 02 · 2026年8月30日 05:04

retail-analytics-v1

固定可复现的零售分析 Text-to-SQL 基准

业务题
18
金标结果行
1245
方言
duckdb

执行引擎DuckDB 1.5.5

解析器SQLGlot 30.17.0

评分器1.0.0

查看内容与发布摘要

Content SHA-2565b5d98876ea35114f18ce6dfa48cc9800d88b6baba80d311b2f52552a38b31af

Bundle SHA-256955abdf3b158dd0db0e6db364eb8b5e30c78cefee58f0e12b1dc366adf0ad97a

浏览题目、数据与金标 ↗

版本 01 · 2026年8月29日 23:06

retail-analytics-v1

固定可复现的零售分析 Text-to-SQL 基准

业务题
12
金标结果行
1053
方言
duckdb

执行引擎DuckDB 1.5.5

解析器SQLGlot 30.17.0

评分器1.0.0

查看内容与发布摘要

Content SHA-2560a4a18b4374f510f5eff18b06272c30c3375e1f082ae405adc8ead7dd9c81556

Bundle SHA-2563480015062ea555127daae99d83e16f29fae77a467d5516ccac3c1349232d913

浏览题目、数据与金标 ↗

模型输入与评分流程

模型输入不包含 Reference SQL 或金标结果。

  1. 01

    冻结题库

    维护者用 Reference SQL 生成并验证金标结果。

  2. 02

    裁剪输入

    模型只收到结构、语义、业务问题、方言规则和输出合同。

  3. 03

    本地执行

    生成 SQL 在固定 DuckDB 数据上运行,再与金标结果比较。

  4. 04

    发布证据

    运行结束后才公开 Prompt、输出、评分、日志与摘要。

测试用例提案

填写后可复制或下载 JSON,不会自动提交。纳入题库前需由维护者审核数据授权、可复现性和金标结果。

尚未生成。内容只在当前页面内处理。