已取消 · 2026年8月30日 00:43
运行 #13 评测报告
Sol 与 Gemini,12 道题。综合得分为规则加权分,不是正确率。
比较条件存在差异:adapter_kind、cli_version。阅读模型间差距时必须保留这一前提。
Gemini
综合得分 / 100样本边界:结论仅适用于此题库哈希、模型版本、适配器和参数快照。跨版本、跨运行稳定性需要独立复测。
分差最大的题目:基础筛选与排序
分差按每个模型在该题全部计划尝试的平均得分计算。
结果预测(可选)
选择你认为本题全部作答结果正确的模型。选择仅保存在本机,不上传、不计票;也可直接展开结果对比。这不是盲测。
选择后显示根据评分分项派生的结果比较。
查看结果对比
模型 A · Sol
A1 · 查询 2026-01-01 起的已完成订单及客户名称,按订单金额降序、订单 ID 升序排列。
查看 A1 的执行与评分证据 →模型 B · Gemini
A1 · Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
查看 A1 的执行与评分证据 →历史结果正确要求全部计划尝试的执行、行结果、列名、列数与排序分项均通过;AST 不参与。任一作答缺少证据即显示未知。
得分与资源消耗
新 efficiency-v2 按业务结果正确题数归一;旧 efficiency-v1 保留综合得分 ÷ 100 的折算口径,两种指标不能混排。记录不完整时不估算单位正确题消耗。
| 指标 | Sol | Gemini |
|---|---|---|
| 综合得分 固定规则加权 / 100 | 50.00 | 0.00 |
| Token / 归一单位 | 19,331每得分折算题 · 6/12 题有记录 | —每得分折算题 · 未记录 |
| 费用 / 归一单位 基于冻结价格;缺失不估 | 不可估算每得分折算题 · unavailable | 不可估算每得分折算题 · unavailable |
| 生成耗时中位数 模型生成阶段 | —P95 — | —P95 — |
分项得分
分项为加权得分,不是业务结果正确率。
| 题目维度 | Sol | Gemini |
|---|---|---|
| 基础查询 | 100.00 | 0.00 |
| 复杂管道 | 0.00 | 0.00 |
| 子查询 | 100.00 | 0.00 |
| 窗口函数 | 25.00 | 0.00 |
| 聚合分析 | 0.00 | 0.00 |
| 连接语义 | 100.00 | 0.00 |
逐题结果
得分为全部计划尝试的均分,失败计入分母,未完成显示未知。展开可查看每次作答。
基础筛选与排序basic_filter_sort100.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确(页面派生)
A1 · 完成 · 100.00
查询 2026-01-01 起的已完成订单及客户名称,按订单金额降序、订单 ID 升序排列。
结果正确(页面派生)
SELECT
o.order_id,
c.customer_name,
o.order_date,
o.total_amount
FROM fact_orders AS o
JOIN dim_customers AS c
ON o.customer_id = c.customer_id
WHERE
o.status = 'completed' AND o.order_date >= CAST('2026-01-01' AS DATE)
ORDER BY
o.total_amount DESC,
o.order_id ASC查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据多表连接品类收入multi_join_category_revenue100.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确(页面派生)
A1 · 完成 · 100.00
按商品品类汇总已完成订单的去重订单数和订单行净销售额,并按净销售额降序、品类升序排列。
结果正确(页面派生)
SELECT
p.category AS category,
COUNT(DISTINCT o.order_id) AS order_count,
SUM(oi.quantity * oi.unit_price - oi.discount_amount) AS net_revenue
FROM fact_orders AS o
JOIN fact_order_items AS oi
ON oi.order_id = o.order_id
JOIN dim_products AS p
ON p.product_id = oi.product_id
WHERE
o.status = 'completed'
GROUP BY
p.category
ORDER BY
net_revenue DESC,
category ASC查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据保留零订单客户left_join_zero_orders100.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确(页面派生)
A1 · 完成 · 100.00
列出所有客户及其已完成订单数,通过 LEFT JOIN 保留零订单客户,并按完成订单数降序、客户 ID 升序排列。
结果正确(页面派生)
SELECT
c.customer_id,
c.customer_name,
COUNT(DISTINCT o.order_id) AS completed_order_count
FROM dim_customers AS c
LEFT JOIN fact_orders AS o
ON c.customer_id = o.customer_id AND o.status = 'completed'
GROUP BY
c.customer_id,
c.customer_name
ORDER BY
completed_order_count DESC,
c.customer_id ASC查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据相关子查询分群均值correlated_segment_average100.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确(页面派生)
A1 · 完成 · 100.00
返回金额高于其客户分群已完成订单平均金额的已完成订单,并按订单金额降序、订单 ID 升序排列。
结果正确(页面派生)
SELECT
o.order_id,
o.customer_id,
c.segment,
o.total_amount,
(
SELECT
AVG(o2.total_amount)
FROM fact_orders AS o2
JOIN dim_customers AS c2
ON o2.customer_id = c2.customer_id
WHERE
o2.status = 'completed' AND c2.segment = c.segment
) AS segment_avg_amount
FROM fact_orders AS o
JOIN dim_customers AS c
ON o.customer_id = c.customer_id
WHERE
o.status = 'completed'
AND o.total_amount > (
SELECT
AVG(o3.total_amount)
FROM fact_orders AS o3
JOIN dim_customers AS c3
ON o3.customer_id = c3.customer_id
WHERE
o3.status = 'completed' AND c3.segment = c.segment
)
ORDER BY
o.total_amount DESC,
o.order_id ASC查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据从未完成订单客户not_exists_customers100.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确(页面派生)
A1 · 完成 · 100.00
返回从未有已完成订单的客户,并按 customer_id 升序排列。
结果正确(页面派生)
SELECT
c.customer_id,
c.customer_name
FROM dim_customers AS c
WHERE
NOT EXISTS(
SELECT
1
FROM fact_orders AS o
WHERE
o.customer_id = c.customer_id AND o.status = 'completed'
)
ORDER BY
c.customer_id ASC查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据每品类收入前三商品top3_products_per_category100.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确(页面派生)
A1 · 完成 · 100.00
统计完成订单中各商品的净销售额,并用 ROW_NUMBER 选出每个品类净销售额最高的恰好前三个商品;同额时按 product_id 升序排名。
结果正确(页面派生)
WITH product_revenue AS (
SELECT
p.category,
p.product_id,
p.product_name,
SUM(oi.quantity * oi.unit_price - oi.discount_amount) AS net_revenue
FROM fact_order_items AS oi
JOIN fact_orders AS o
ON oi.order_id = o.order_id
JOIN dim_products AS p
ON oi.product_id = p.product_id
WHERE
o.status = 'completed'
GROUP BY
p.category,
p.product_id,
p.product_name
), ranked_products AS (
SELECT
category,
product_id,
product_name,
net_revenue,
ROW_NUMBER() OVER (PARTITION BY category ORDER BY net_revenue DESC, product_id ASC) AS rank_no
FROM product_revenue
)
SELECT
category,
product_id,
product_name,
net_revenue,
rank_no
FROM ranked_products
WHERE
rank_no <= 3
ORDER BY
category ASC,
rank_no ASC查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据月收入与累计收入monthly_running_revenue0.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确性未知
A1 · 已取消 · —
没有可见摘要。
结果正确性未知
查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据月收入环比增长monthly_mom_growth0.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确性未知
A1 · 已取消 · —
没有可见摘要。
结果正确性未知
查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据高于平均累计消费客户above_average_customer_spend0.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确性未知
A1 · 已取消 · —
没有可见摘要。
结果正确性未知
查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据渠道支付状态金额payment_status_by_channel0.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确性未知
A1 · 已取消 · —
没有可见摘要。
结果正确性未知
查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据品类退货率category_return_rate0.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确性未知
A1 · 已取消 · —
没有可见摘要。
结果正确性未知
查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据每单最新成功支付latest_successful_payment0.00 / 0.00
Sol
全部 1 次计划作答 · 结果正确性未知
A1 · 已取消 · —
没有可见摘要。
结果正确性未知
查看 A1 完整证据Gemini
全部 1 次计划作答 · 结果正确性未知
A1 · 失败 · 0.00
Gemini 退出码 41: Please set an Auth method in your $PROJECT_ROOT/var/cli-homes/gemini/3/.gemini/settings.json or specify one of the following environment variables before running: GEMINI_API_KEY, GOOGLE_GENAI_USE_VERTEXAI, GOOGLE_GENAI_USE_GCA
结果正确性未知
查看 A1 完整证据