AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-09-03 評価済みモデル数: 311

311/311

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#15#15	Claude Opus 5high	9.2	Anthropic	$3.070	22.51s
モデルカードを見る合計テスト数 22 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 81.8% 不安定なテスト 0 入力トークン 135,956 出力トークン 64,624 推論トークン 30,959 応答時間（平均） 22.51s 応答時間（合計） 495.12s 応答時間（最大） 159.01s 不正解: 2 余分な書式: 1 回答なし: 1 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#42#42	GPT-5.4medium	8.5	OpenAI	$1.560	22.85s
モデルカードを見る合計テスト数 22 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 77.3% 不安定なテスト 4 入力トークン 81,136 出力トークン 6,155 推論トークン 84,311 応答時間（平均） 22.85s 応答時間（合計） 502.78s 応答時間（最大） 100.41s 不正解: 5 指示に従っていない: 2 反AIトリック : 8.3 コーディング : 8.8 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.7 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#85#85	GLM 5 Turbomedium	7.6	Z.ai	$0.323 ↑	23.00s
モデルカードを見る合計テスト数 21 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 71.2% 不安定なテスト 4 入力トークン 35,593 出力トークン 12,245 推論トークン 62,277 応答時間（平均） 23.00s 応答時間（合計） 482.97s 応答時間（最大） 194.23s 不正解: 4 指示に従っていない: 1 回答なし: 1 タイムアウト: 1 反AIトリック : 10.0 コーディング : 8.2 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#154#154	GLM 5V Turbomedium	6.7	Z.ai	$0.457	23.08s
モデルカードを見る合計テスト数 21 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 6 入力トークン 44,615 出力トークン 2,347 推論トークン 98,415 応答時間（平均） 23.08s 応答時間（合計） 484.63s 応答時間（最大） 95.88s 不正解: 7 無効なツール呼び出し: 2 指示に従っていない: 1 反AIトリック : 7.2 コーディング : 6.0 複合 : 3.4 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 7.7 ツール呼び出し : 7.0 雑学 : 3.0
#73#73	GLM 5.2medium	7.8	Z.ai	$0.224 ↓	23.28s
モデルカードを見る合計テスト数 21 誤答テスト数 6 信頼性 9.5 試行ごとの合格率 80.3% 不安定なテスト 4 入力トークン 37,199 出力トークン 12,261 推論トークン 49,500 応答時間（平均） 23.28s 応答時間（合計） 488.94s 応答時間（最大） 101.36s 不正解: 3 回答なし: 2 タイムアウト: 1 反AIトリック : 10.0 コーディング : 8.2 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#23#23	Qwen3.8 Maxmedium	9.0	Qwen	$0.771	23.34s
モデルカードを見る合計テスト数 22 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 80.3% 不安定なテスト 1 入力トークン 109,055 出力トークン 6,566 推論トークン 85,481 応答時間（平均） 23.34s 応答時間（合計） 513.47s 応答時間（最大） 126.60s 不正解: 4 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 10.0 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#68#68	Step 3.7 Flashmedium	7.9	Stepfun	$0.495	23.51s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 68.2% 不安定なテスト 3 入力トークン 114,191 出力トークン 409,709 推論トークン 0 応答時間（平均） 23.51s 応答時間（合計） 517.21s 応答時間（最大） 152.83s 不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1 反AIトリック : 8.7 コーディング : 8.8 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 9.8 パズル解決 : 5.7 ツール呼び出し : 10.0 雑学 : 3.0
#278#278	Grok 4.1 Fastmedium	4.7	X AI	$0.069 ↑	23.85s
モデルカードを見る合計テスト数 19 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 53.0% 不安定なテスト 6 入力トークン 42,845 出力トークン 2,006 推論トークン 96,334 応答時間（平均） 23.85s 応答時間（合計） 286.16s 応答時間（最大） 121.79s 指示に従っていない: 4 不正解: 4 回答なし: 1 タイムアウト: 1 反AIトリック : 8.7 コーディング : 7.8 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.8 汎用知能 : 4.2 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 2.8 雑学 : 3.0
#230#230	Hy3 previewlow	5.5	Tencent	$0.042 ↕	24.56s
モデルカードを見る合計テスト数 21 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 50.0% 不安定なテスト 2 入力トークン 21,045 出力トークン 63,460 推論トークン 0 応答時間（平均） 24.56s 応答時間（合計） 368.35s 応答時間（最大） 78.74s API エラー: 7 不正解: 4 反AIトリック : 8.3 コーディング : 5.3 複合 : 5.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.9 汎用知能 : 3.0 指示追従 : 10.0 パズル解決 : 5.3 ツール呼び出し : 2.8 雑学 : 3.0
#135#135	KAT-Coder-Pro V2.5medium	6.9	Kwaipilot	$0.478	24.87s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 8 入力トークン 87,916 出力トークン 7,213 推論トークン 132,162 応答時間（平均） 24.87s 応答時間（合計） 547.14s 応答時間（最大） 257.00s 不正解: 9 API エラー: 1 指示に従っていない: 1 反AIトリック : 8.2 コーディング : 7.8 複合 : 6.4 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 4.7 指示追従 : 9.9 パズル解決 : 5.9 ツール呼び出し : 10.0 雑学 : 3.0
#200#200	Qwen3.5-Flashnone	6.0	Qwen	$0.073 ↓	25.28s
モデルカードを見る合計テスト数 22 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 34.9% 不安定なテスト 2 入力トークン 282,356 出力トークン 209,201 推論トークン 0 応答時間（平均） 25.28s 応答時間（合計） 556.14s 応答時間（最大） 480.96s 不正解: 14 無効なツール呼び出し: 1 反AIトリック : 3.5 コーディング : 5.5 複合 : 2.9 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.3 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#111#111	GLM 5.3 Flashhigh	7.3	Z.ai	$0.029	25.36s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 66.7% 不安定なテスト 3 入力トークン 113,003 出力トークン 11,558 推論トークン 66,760 応答時間（平均） 25.36s 応答時間（合計） 558.01s 応答時間（最大） 163.41s 不正解: 4 余分な書式: 2 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1 反AIトリック : 8.3 コーディング : 8.2 複合 : 6.4 データ解析と抽出 : 7.3 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#151#151	KAT-Coder-Pro V2.5none	6.7	Kwaipilot	$0.487	26.01s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 71.2% 不安定なテスト 8 入力トークン 98,508 出力トークン 139,572 推論トークン 0 応答時間（平均） 26.01s 応答時間（合計） 572.22s 応答時間（最大） 335.41s 不正解: 10 無効なツール呼び出し: 1 反AIトリック : 8.7 コーディング : 6.1 複合 : 4.1 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#38#38	Muse Spark 1.1medium	8.6	Meta	$1.420	26.25s
モデルカードを見る合計テスト数 22 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 72.7% 不安定なテスト 2 入力トークン 142,147 出力トークン 7,905 推論トークン 284,247 応答時間（平均） 26.25s 応答時間（合計） 577.47s 応答時間（最大） 165.38s 不正解: 4 指示に従っていない: 2 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 10.0 複合 : 8.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 6.5 パズル解決 : 7.9 ツール呼び出し : 9.8 雑学 : 3.0
#36#36	Muse Spark 1.2high	8.7	Meta	$1.771	26.59s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 9.9 試行ごとの合格率 74.2% 不安定なテスト 5 入力トークン 117,037 出力トークン 6,983 推論トークン 375,104 応答時間（平均） 26.59s 応答時間（合計） 584.89s 応答時間（最大） 192.00s 不正解: 4 指示に従っていない: 3 無効なツール呼び出し: 1 反AIトリック : 7.1 コーディング : 10.0 複合 : 8.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#97#97	GPT-5.4 Minimedium	7.5	OpenAI	$0.786	26.72s
モデルカードを見る合計テスト数 22 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 68.2% 不安定なテスト 5 入力トークン 97,164 出力トークン 6,211 推論トークン 152,133 応答時間（平均） 26.72s 応答時間（合計） 587.90s 応答時間（最大） 138.75s 不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 1 反AIトリック : 8.6 コーディング : 8.4 複合 : 6.9 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 4.5 指示追従 : 9.8 パズル解決 : 7.8 ツール呼び出し : 4.7 雑学 : 3.0
#57#57	GPT-5 Minimedium	8.1	OpenAI	$0.241	27.64s
モデルカードを見る合計テスト数 22 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 4 入力トークン 98,383 出力トークン 14,409 推論トークン 93,610 応答時間（平均） 27.64s 応答時間（合計） 608.02s 応答時間（最大） 111.48s 不正解: 5 指示に従っていない: 3 回答なし: 1 タイムアウト: 1 反AIトリック : 7.1 コーディング : 10.0 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 4.5 指示追従 : 10.0 パズル解決 : 5.6 ツール呼び出し : 10.0 雑学 : 3.0
#109#109	GLM 5.3high	7.3	Z.ai	$0.403	27.82s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 74.2% 不安定なテスト 7 入力トークン 87,601 出力トークン 6,006 推論トークン 57,661 応答時間（平均） 27.82s 応答時間（合計） 612.06s 応答時間（最大） 159.91s 不正解: 6 余分な書式: 2 指示に従っていない: 1 反AIトリック : 10.0 コーディング : 6.6 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#75#75	Claude Sonnet 4.6medium	7.8	Anthropic	$2.126	28.08s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 1 入力トークン 106,316 出力トークン 79,338 推論トークン 41,089 応答時間（平均） 28.08s 応答時間（合計） 421.15s 応答時間（最大） 140.96s 不正解: 4 余分な書式: 3 タイムアウト: 1 反AIトリック : 6.5 コーディング : 5.7 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#47#47	GPT-5.2medium	8.4	OpenAI	$1.182	28.51s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 72.7% 不安定なテスト 4 入力トークン 105,013 出力トークン 9,914 推論トークン 61,338 応答時間（平均） 28.51s 応答時間（合計） 456.13s 応答時間（最大） 116.86s 指示に従っていない: 3 不正解: 3 回答なし: 1 タイムアウト: 1 反AIトリック : 6.5 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 3.7 指示追従 : 9.9 パズル解決 : 7.5 ツール呼び出し : 4.7 雑学 : 3.0
#300#300	Grok Build 0.1none	4.0	X AI	$0.547	28.69s
モデルカードを見る合計テスト数 19 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 43.9% 不安定なテスト 4 入力トークン 11,793 出力トークン 267,275 推論トークン 0 応答時間（平均） 28.69s 応答時間（合計） 459.00s 応答時間（最大） 138.35s 不正解: 7 API エラー: 3 指示に従っていない: 2 反AIトリック : 8.7 コーディング : 3.3 複合 : 1.5 データ解析と抽出 : 3.8 ドメイン特化 : 3.6 汎用知能 : 4.3 指示追従 : 9.8 パズル解決 : 6.4 ツール呼び出し : 3.0 雑学 : 3.0
#258#258	North Mini Codenone	5.1	Cohere	$0.000	29.95s
モデルカードを見る合計テスト数 22 誤答テスト数 18 信頼性 8.7 試行ごとの合格率 18.2% 不安定なテスト 0 入力トークン 130,501 出力トークン 26,786 推論トークン 0 応答時間（平均） 29.95s 応答時間（合計） 658.83s 応答時間（最大） 159.85s 不正解: 12 余分な書式: 2 指示に従っていない: 2 無効なツール呼び出し: 2 反AIトリック : 3.0 コーディング : 3.9 複合 : 3.2 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 3.9 指示追従 : 6.5 パズル解決 : 3.5 ツール呼び出し : 9.5 雑学 : 3.0
#50#50	Inkling Smallhigh	8.4	Thinkingmachines	$0.398 ↓	30.43s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 69.7% 不安定なテスト 2 入力トークン 85,669 出力トークン 6,092 推論トークン 292,801 応答時間（平均） 30.43s 応答時間（合計） 669.38s 応答時間（最大） 122.60s 不正解: 6 指示に従っていない: 2 反AIトリック : 10.0 コーディング : 10.0 複合 : 9.9 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.3 指示追従 : 9.8 パズル解決 : 4.8 ツール呼び出し : 3.0 雑学 : 3.0
#121#121	Muse Glimmer 30Bmedium	7.2	Meta	$0.227 ↓	30.64s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 6 入力トークン 116,513 出力トークン 33,065 推論トークン 135,009 応答時間（平均） 30.64s 応答時間（合計） 674.01s 応答時間（最大） 181.08s 不正解: 9 指示に従っていない: 1 回答なし: 1 反AIトリック : 9.2 コーディング : 8.4 複合 : 6.5 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 4.7 指示追従 : 9.8 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#82#82	Claude Opus 4.6medium	7.7	Anthropic	$2.961	32.23s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 3 入力トークン 108,573 出力トークン 69,994 推論トークン 26,728 応答時間（平均） 32.23s 応答時間（合計） 515.65s 応答時間（最大） 151.51s 余分な書式: 4 不正解: 4 指示に従っていない: 1 反AIトリック : 6.4 コーディング : 5.7 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium GPT-5.6 SolmediumvsGPT-5.6 Solhigh GPT-5.6 SolhighvsGPT-5.5low GPT-5.5lowvsGrok 4.6high Grok 4.6highvsGemini 3.1 Pro Previewmedium