罠ベンチ偏差値一覧

ひっかけ問題を同一条件で投げ、273モデルの偏差値を出しました。生回答・判定・単価まで全公開しています。

27320問の測定モデル数

920問満点のモデル

11.38平均点(20点満点)

5.43標準偏差

偏差値とは(この表での定義)

偏差値 = (素点 - 平均) / 標準偏差 × 10 + 50。平均が50、標準偏差が10になるよう換算した値です。母集団はこの表に載っている273モデルで、満点は20点です。

比較するときの注意。偏差値は母集団が変わると動きます。下の3問版(満点3点・392モデル)の偏差値とは母集団も満点も違うので、数字を直接比べないでください。また偏差値は「ひっかけ問題に引っかかりにくいか」という1つの軸であって、能力全般ではありません。コーディングや日本語の業務遂行は別のベンチ(SHITATE-JP等)を見てください。

偏差値一覧 — 20問版(主表・上位60)

同じ20問を同じ条件で出題。素点・偏差値・出力単価(1Mトークンあたり・円)の順。単価は GET /v1/models/pricing のライブ値です。

#	モデル	素点/20	偏差値	出力 ¥/1M
1	~anthropic/claude-fable-latest	20	65.9	¥7,350
2	~anthropic/claude-opus-latest	20	65.9	¥3,675
3	anthropic/claude-fable-5	20	65.9	¥7,350
4	anthropic/claude-fable-5.1	20	65.9	¥7,350
5	anthropic/claude-opus-5	20	65.9	¥3,675
6	anthropic/claude-opus-5-fast	20	65.9	¥7,868
7	openrouter/auto	20	65.9	¥472
8	shitate/orchestrator:max	20	65.9	¥8,261
9	sakana/fugu-ultra-v2	20	65.9	¥4,410
10	o4-mini	19	64.0	¥647
11	claude-fable-5	19	64.0	¥7,350
12	gemini-2.5-pro	19	64.0	¥1,470
13	deepseek-reasoner	19	64.0	¥345
14	moonshotai/kimi-k2.5	19	64.0	¥331
15	openai/gpt-5.6-luna	19	64.0	¥176
16	openai/gpt-5.6-sol	19	64.0	¥1,470
17	google/gemini-3.1-pro-preview	19	64.0	¥1,764
18	deepseek/deepseek-v4-flash	19	64.0	¥104
19	qwen/qwen3.8-2.4t-a95b	19	64.0	¥882
20	openai/gpt-6-astra	19	64.0	¥7,350
21	google/gemini-3.8-flash	19	64.0	¥551
22	openai/gpt-5.3-codex	19	64.0	¥2,058
23	openai/gpt-5-mini	19	64.0	¥294
24	openai/o3	19	64.0	¥1,176
25	~google/gemini-pro-latest	19	64.0	¥1,764
26	teai/lux	19	64.0	¥7,868
27	~openai/gpt-latest	19	64.0	–
28	deepseek/deepseek-v4-flash-vision-exp	19	64.0	¥97
29	google/gemini-3.1-pro-preview-customtools	19	64.0	¥1,764
30	google/gemini-3.7-flash	19	64.0	¥295
31	openai/gpt-5.5	19	64.0	¥4,410
32	openai/gpt-5.6-sol-pro	19	64.0	¥1,470
33	openai/gpt-6-astra-pro	19	64.0	¥7,350
34	shitate/orchestrator	19	64.0	¥209
35	shitate/orchestrator:solid	19	64.0	¥4,546
36	sakana/fugu-max	19	64.0	¥882
37	qwen/qwen3.7-max	19	64.0	¥650
38	claude-opus-4-8	18	62.2	¥3,675
39	google/gemini-3-flash-preview	18	62.2	¥94
40	deepseek/deepseek-v4-pro	18	62.2	¥312
41	deepseek/deepseek-v4-flash-0731	18	62.2	¥18
42	moonshotai/kimi-k3	18	62.2	¥1,953
43	nvidia/nemotron-3-ultra-550b-a55b	18	62.2	¥459
44	sakana/sakana-namazu	18	62.2	¥588
45	z-ai/glm-5.1	18	62.2	¥446
46	bytedance-seed/seed-2.0-code	18	62.2	¥441
47	anthropic/claude-opus-4.7	18	62.2	¥3,675
48	openai/gpt-5.1-codex	18	62.2	¥1,470
49	openai/o4-mini	18	62.2	¥647
50	teai/auto	18	62.2	¥2,360
51	~google/gemini-flash-latest	18	62.2	¥551
52	teai/fast	18	62.2	¥104
53	openai/gpt-5.6-terra-pro	18	62.2	¥1,180
54	shitate/orchestrator-max	18	62.2	¥4,736
55	teai/max	18	62.2	¥4,736
56	x-ai/grok-4.5	18	62.2	¥882
57	sakana/fugu-ultra	18	62.2	¥4,410
58	claude-opus-4-7	17	60.3	¥3,675
59	claude-sonnet-4-5-20250929	17	60.3	¥2,360
60	google/gemini-3.5-flash	17	60.3	¥708

20問の生回答JSON(全273モデル) — 1問ごとの回答と正誤が入っています。

偏差値一覧 — 3問版(参考・網羅392モデル・上位60)

外科医の罠・川渡りの罠・最長単語の罠の3問。モデル数は多いぶん母集団が違うので、上の表とは数字を比較しないでください。網羅性を見るための表です。

#	モデル	素点/3	偏差値	出力 ¥/1M
1	claude-fable-5	3	68.7	¥7,350
2	claude-sonnet-4-5-20250929	3	68.7	¥2,360
3	qwen/qwen3-235b-a22b	3	68.7	¥268
4	mistralai/mistral-small-3.2-24b-instruct	3	68.7	¥37
5	microsoft/phi-4	3	68.7	¥21
6	openai/gpt-5.6-luna-pro	3	68.7	¥176
7	nvidia/Nemotron-3-Nano-30B-A3B	3	68.7	¥25
8	anthropic/claude-opus-5	3	68.7	¥3,675
9	z-ai/glm-5.3-flash	3	68.7	¥39
10	qwen/qwen3.8-flash	3	68.7	¥69
11	tencent/hy-mt2-30b-a3b	3	68.7	¥43
12	tencent/hy-mt2-7b	3	68.7	¥43
13	anthropic/claude-fable-5.1	3	68.7	¥7,350
14	aion-labs/aion-3.0-mini	3	68.7	¥206
15	x-ai/grok-build-0.1	3	68.7	¥294
16	aion-labs/aion-2.0	3	68.7	¥235
17	mistralai/ministral-3b-2512	3	68.7	¥15
18	openai/gpt-5.1-codex-mini	3	68.7	¥294
19	qwen/qwen3-next-80b-a3b-thinking	3	68.7	¥176
20	z-ai/glm-4.5-air	3	68.7	¥125
21	anthropic/claude-sonnet-4	3	68.7	¥2,205
22	thedrummer/skyfall-36b-v2	3	68.7	¥118
23	amazon/nova-lite-v1	3	68.7	¥35
24	openai/gpt-4o-2024-05-13	3	68.7	¥2,205
25	teai/auto	3	68.7	¥2,360
26	anthropic/claude-opus-5-fast	3	68.7	¥7,868
27	teai/lux	3	68.7	¥7,868
28	gpt-4o-mini	2	57.7	¥88
29	gpt-4.1	2	57.7	¥1,176
30	gpt-4o	2	57.7	¥1,470
31	gpt-4.1-mini	2	57.7	¥235
32	claude-opus-4-7	2	57.7	¥3,675
33	gemini-2.5-flash-lite	2	57.7	¥59
34	claude-haiku-4-5-20251001	2	57.7	¥787
35	claude-sonnet-4-6	2	57.7	¥2,205
36	claude-opus-4-5	2	57.7	¥3,675
37	claude-opus-4-6	2	57.7	¥3,675
38	gemini-2.5-pro	2	57.7	¥1,470
39	meta-llama/llama-4-maverick	2	57.7	¥96
40	google/gemini-3-flash-preview	2	57.7	¥94
41	qwen/qwen3.5-flash-02-23	2	57.7	¥38
42	qwen/qwen3-coder	2	57.7	¥147
43	mistralai/codestral-2508	2	57.7	¥132
44	cohere/command-a	2	57.7	¥1,470
45	qwen/qwen3.5-plus-02-15	2	57.7	¥229
46	openai/gpt-5.6-luna	2	57.7	¥176
47	openai/gpt-5.4	2	57.7	¥2,205
48	openai/gpt-5.4-mini	2	57.7	¥662
49	openai/gpt-5.6-sol	2	57.7	¥1,470
50	openai/gpt-5.4-nano	2	57.7	¥184
51	openai/gpt-5.5	2	57.7	¥4,410
52	google/gemini-3.1-flash-lite	2	57.7	¥118
53	openai/gpt-5.6-sol-pro	2	57.7	¥1,470
54	openai/gpt-5.6-terra-pro	2	57.7	¥1,180
55	google/gemini-3.5-flash	2	57.7	¥708
56	google/gemini-3.1-pro-preview	2	57.7	¥1,764
57	z-ai/glm-5.2	2	57.7	¥152
58	deepseek/deepseek-v4-flash-0731	2	57.7	¥18
59	x-ai/grok-4.3	2	57.7	¥368
60	moonshotai/kimi-k3	2	57.7	¥1,953

3問の生回答JSON(全392モデル)

測定方法

全モデルに同一の問題文・temperature=0・同一の実行環境で投げています。逐次実行ではありませんが、同一条件を崩さない範囲で並列化しています。
判定は簡易ルール(キーワード照合)です。記事本文と同じ基準で、判定プロンプトと生回答を公開しているので追試できます。
空回答(課金停止・タイムアウト等)は「回答なし」として素点に含めません。性能ではないため、原因は JSON の note に明記しています。
思考型モデルは temperature=0 でも回答がブレます。再取得したものは rerun に日付が入ります。
新モデルは週次の自動ジョブで追試されます。記事本文の数字は人が読んでから更新します。

罠ベンチ 偏差値一覧

偏差値とは(この表での定義)

偏差値一覧 — 20問版(主表・上位60)

偏差値一覧 — 3問版(参考・網羅392モデル・上位60)

測定方法

生データ

罠ベンチ偏差値一覧