AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-09-03 評価済みモデル数: 311

311/311

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#200#200	Qwen3.5-Flashnone	6.0	Qwen	$0.073 ↓	25.28s
モデルカードを見る合計テスト数 22 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 34.9% 不安定なテスト 2 入力トークン 282,356 出力トークン 209,201 推論トークン 0 応答時間（平均） 25.28s 応答時間（合計） 556.14s 応答時間（最大） 480.96s 不正解: 14 無効なツール呼び出し: 1 反AIトリック : 3.5 コーディング : 5.5 複合 : 2.9 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.3 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#135#135	KAT-Coder-Pro V2.5medium	6.9	Kwaipilot	$0.478	24.87s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 8 入力トークン 87,916 出力トークン 7,213 推論トークン 132,162 応答時間（平均） 24.87s 応答時間（合計） 547.14s 応答時間（最大） 257.00s 不正解: 9 API エラー: 1 指示に従っていない: 1 反AIトリック : 8.2 コーディング : 7.8 複合 : 6.4 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 4.7 指示追従 : 9.9 パズル解決 : 5.9 ツール呼び出し : 10.0 雑学 : 3.0
#230#230	Hy3 previewlow	5.5	Tencent	$0.042 ↕	24.56s
モデルカードを見る合計テスト数 21 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 50.0% 不安定なテスト 2 入力トークン 21,045 出力トークン 63,460 推論トークン 0 応答時間（平均） 24.56s 応答時間（合計） 368.35s 応答時間（最大） 78.74s API エラー: 7 不正解: 4 反AIトリック : 8.3 コーディング : 5.3 複合 : 5.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.9 汎用知能 : 3.0 指示追従 : 10.0 パズル解決 : 5.3 ツール呼び出し : 2.8 雑学 : 3.0
#278#278	Grok 4.1 Fastmedium	4.7	X AI	$0.069 ↑	23.85s
モデルカードを見る合計テスト数 19 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 53.0% 不安定なテスト 6 入力トークン 42,845 出力トークン 2,006 推論トークン 96,334 応答時間（平均） 23.85s 応答時間（合計） 286.16s 応答時間（最大） 121.79s 指示に従っていない: 4 不正解: 4 回答なし: 1 タイムアウト: 1 反AIトリック : 8.7 コーディング : 7.8 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.8 汎用知能 : 4.2 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 2.8 雑学 : 3.0
#68#68	Step 3.7 Flashmedium	7.9	Stepfun	$0.495	23.51s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 68.2% 不安定なテスト 3 入力トークン 114,191 出力トークン 409,709 推論トークン 0 応答時間（平均） 23.51s 応答時間（合計） 517.21s 応答時間（最大） 152.83s 不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1 反AIトリック : 8.7 コーディング : 8.8 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 9.8 パズル解決 : 5.7 ツール呼び出し : 10.0 雑学 : 3.0
#23#23	Qwen3.8 Maxmedium	9.0	Qwen	$0.771	23.34s
モデルカードを見る合計テスト数 22 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 80.3% 不安定なテスト 1 入力トークン 109,055 出力トークン 6,566 推論トークン 85,481 応答時間（平均） 23.34s 応答時間（合計） 513.47s 応答時間（最大） 126.60s 不正解: 4 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 10.0 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#73#73	GLM 5.2medium	7.8	Z.ai	$0.224 ↓	23.28s
モデルカードを見る合計テスト数 21 誤答テスト数 6 信頼性 9.5 試行ごとの合格率 80.3% 不安定なテスト 4 入力トークン 37,199 出力トークン 12,261 推論トークン 49,500 応答時間（平均） 23.28s 応答時間（合計） 488.94s 応答時間（最大） 101.36s 不正解: 3 回答なし: 2 タイムアウト: 1 反AIトリック : 10.0 コーディング : 8.2 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#154#154	GLM 5V Turbomedium	6.7	Z.ai	$0.457	23.08s
モデルカードを見る合計テスト数 21 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 6 入力トークン 44,615 出力トークン 2,347 推論トークン 98,415 応答時間（平均） 23.08s 応答時間（合計） 484.63s 応答時間（最大） 95.88s 不正解: 7 無効なツール呼び出し: 2 指示に従っていない: 1 反AIトリック : 7.2 コーディング : 6.0 複合 : 3.4 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 7.7 ツール呼び出し : 7.0 雑学 : 3.0
#85#85	GLM 5 Turbomedium	7.6	Z.ai	$0.323 ↑	23.00s
モデルカードを見る合計テスト数 21 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 71.2% 不安定なテスト 4 入力トークン 35,593 出力トークン 12,245 推論トークン 62,277 応答時間（平均） 23.00s 応答時間（合計） 482.97s 応答時間（最大） 194.23s 不正解: 4 指示に従っていない: 1 回答なし: 1 タイムアウト: 1 反AIトリック : 10.0 コーディング : 8.2 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#42#42	GPT-5.4medium	8.5	OpenAI	$1.560	22.85s
モデルカードを見る合計テスト数 22 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 77.3% 不安定なテスト 4 入力トークン 81,136 出力トークン 6,155 推論トークン 84,311 応答時間（平均） 22.85s 応答時間（合計） 502.78s 応答時間（最大） 100.41s 不正解: 5 指示に従っていない: 2 反AIトリック : 8.3 コーディング : 8.8 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.7 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#15#15	Claude Opus 5high	9.2	Anthropic	$3.070	22.51s
モデルカードを見る合計テスト数 22 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 81.8% 不安定なテスト 0 入力トークン 135,956 出力トークン 64,624 推論トークン 30,959 応答時間（平均） 22.51s 応答時間（合計） 495.12s 応答時間（最大） 159.01s 不正解: 2 余分な書式: 1 回答なし: 1 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#176#176	Mimo V2 PROmedium	6.3	Xiaomi	$0.333 ↑	22.16s
モデルカードを見る合計テスト数 21 誤答テスト数 9 信頼性 9.6 試行ごとの合格率 69.7% 不安定なテスト 5 入力トークン 40,961 出力トークン 2,518 推論トークン 81,801 応答時間（平均） 22.16s 応答時間（合計） 443.22s 応答時間（最大） 136.29s 不正解: 5 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1 反AIトリック : 10.0 コーディング : 6.0 複合 : 2.3 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 6.4 ツール呼び出し : 10.0 雑学 : 3.0
#117#117	KAT-Coder-Pro V2.5high	7.2	Kwaipilot	$0.506	22.11s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 6 入力トークン 106,085 出力トークン 9,071 推論トークン 135,288 応答時間（平均） 22.11s 応答時間（合計） 486.31s 応答時間（最大） 199.97s 不正解: 10 無効なツール呼び出し: 1 反AIトリック : 7.0 コーディング : 6.4 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.1 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#41#41	Qwen3.8 Maxlow	8.6	Qwen	$0.702	21.83s
モデルカードを見る合計テスト数 22 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 80.3% 不安定なテスト 3 入力トークン 99,181 出力トークン 6,132 推論トークン 77,689 応答時間（平均） 21.83s 応答時間（合計） 480.37s 応答時間（最大） 155.75s 不正解: 5 指示に従っていない: 1 反AIトリック : 10.0 コーディング : 8.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.5 指示追従 : 10.0 パズル解決 : 9.9 ツール呼び出し : 10.0 雑学 : 3.0
#307#307	gpt-oss-120bnone	3.7	OpenAI	$0.010 ↓	21.61s
モデルカードを見る合計テスト数 19 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 33.3% 不安定なテスト 2 入力トークン 9,081 出力トークン 51,664 推論トークン 0 応答時間（平均） 21.61s 応答時間（合計） 345.79s 応答時間（最大） 113.71s 不正解: 8 API エラー: 3 指示に従っていない: 2 反AIトリック : 6.5 コーディング : 1.5 複合 : 1.5 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 6.0 ツール呼び出し : 3.0 雑学 : 3.0
#53#53	Gemini 2.5 Flashmedium	8.2	Google	$0.644	21.14s
モデルカードを見る合計テスト数 22 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 71.2% 不安定なテスト 1 入力トークン 132,507 出力トークン 12,739 推論トークン 228,626 応答時間（平均） 21.14s 応答時間（合計） 465.10s 応答時間（最大） 140.50s 不正解: 6 指示に従っていない: 1 反AIトリック : 8.4 コーディング : 7.8 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#184#184	gpt-oss-120bmedium	6.1	OpenAI	$0.020 ↓	20.81s
モデルカードを見る合計テスト数 22 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 50.0% 不安定なテスト 5 入力トークン 108,767 出力トークン 29,378 推論トークン 68,904 応答時間（平均） 20.81s 応答時間（合計） 332.88s 応答時間（最大） 68.16s 不正解: 9 指示に従っていない: 3 無効なツール呼び出し: 1 反AIトリック : 6.7 コーディング : 5.9 複合 : 6.5 データ解析と抽出 : 6.4 ドメイン特化 : 2.9 汎用知能 : 4.3 指示追従 : 9.9 パズル解決 : 5.3 ツール呼び出し : 9.8 雑学 : 3.0
#239#239	DeepSeek V4 Flash 0731none	5.4	DeepSeek	$0.011 ↓	20.72s
モデルカードを見る合計テスト数 22 誤答テスト数 18 信頼性 10.0 試行ごとの合格率 27.3% 不安定なテスト 4 入力トークン 94,566 出力トークン 25,426 推論トークン 0 応答時間（平均） 20.72s 応答時間（合計） 455.81s 応答時間（最大） 387.15s 不正解: 13 指示に従っていない: 2 無効なツール呼び出し: 2 余分な書式: 1 反AIトリック : 3.4 コーディング : 4.3 複合 : 3.7 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.4 指示追従 : 5.0 パズル解決 : 3.2 ツール呼び出し : 9.5 雑学 : 3.0
#13#13	Gemini 3.1 Pro Previewmedium	9.2	Google	$1.352	20.62s
モデルカードを見る合計テスト数 22 誤答テスト数 2 信頼性 10.0 試行ごとの合格率 90.9% 不安定なテスト 0 入力トークン 92,296 出力トークン 5,232 推論トークン 92,006 応答時間（平均） 20.62s 応答時間（合計） 329.94s 応答時間（最大） 88.68s 不正解: 2 反AIトリック : 10.0 コーディング : 7.9 複合 : 9.8 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#110#110	KAT-Coder-Pro V2.5low	7.3	Kwaipilot	$0.400	20.20s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 68.2% 不安定なテスト 8 入力トークン 87,682 出力トークン 7,166 推論トークン 106,027 応答時間（平均） 20.20s 応答時間（合計） 444.35s 応答時間（最大） 209.15s 不正解: 10 API エラー: 1 反AIトリック : 6.9 コーディング : 7.8 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 4.1 指示追従 : 10.0 パズル解決 : 6.4 ツール呼び出し : 10.0 雑学 : 3.0
#177#177	MiMo-V2-Flashmedium	6.3	Xiaomi	$0.043 ↑	20.11s
モデルカードを見る合計テスト数 21 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 62.1% 不安定なテスト 3 入力トークン 40,111 出力トークン 12,476 推論トークン 125,039 応答時間（平均） 20.11s 応答時間（合計） 301.59s 応答時間（最大） 96.01s 不正解: 5 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1 反AIトリック : 8.1 コーディング : 6.0 複合 : 4.9 データ解析と抽出 : 6.5 ドメイン特化 : 5.9 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#6#6	Gemini 3 Flash Previewmedium	9.5	Google	$0.763	19.86s
モデルカードを見る合計テスト数 22 誤答テスト数 2 信頼性 10.0 試行ごとの合格率 93.9% 不安定なテスト 1 入力トークン 87,870 出力トークン 5,486 推論トークン 234,122 応答時間（平均） 19.86s 応答時間（合計） 436.88s 応答時間（最大） 117.26s 不正解: 2 反AIトリック : 10.0 コーディング : 8.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#37#37	Muse Spark 1.2medium	8.6	Meta	$1.339	19.67s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 74.2% 不安定なテスト 4 入力トークン 123,680 出力トークン 7,222 推論トークン 271,442 応答時間（平均） 19.67s 応答時間（合計） 432.72s 応答時間（最大） 142.49s 指示に従っていない: 3 不正解: 3 余分な書式: 1 無効なツール呼び出し: 1 反AIトリック : 7.3 コーディング : 10.0 複合 : 8.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#217#217	Kimi K2.6none	5.7	Moonshot AI	$0.233 ↑	19.57s
モデルカードを見る合計テスト数 22 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 30.3% 不安定なテスト 2 入力トークン 116,983 出力トークン 30,249 推論トークン 0 応答時間（平均） 19.57s 応答時間（合計） 430.58s 応答時間（最大） 238.89s 不正解: 12 指示に従っていない: 3 回答なし: 1 反AIトリック : 4.6 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.4 指示追従 : 6.5 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#256#256	Qwen3.5-9Bnone	5.1	Qwen	$0.021 ↑	19.19s
モデルカードを見る合計テスト数 22 誤答テスト数 18 信頼性 10.0 試行ごとの合格率 19.7% 不安定なテスト 1 入力トークン 144,416 出力トークン 37,484 推論トークン 0 応答時間（平均） 19.19s 応答時間（合計） 422.25s 応答時間（最大） 382.06s 不正解: 14 指示に従っていない: 2 無効なツール呼び出し: 2 反AIトリック : 3.1 コーディング : 3.9 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 4.4 指示追従 : 6.5 パズル解決 : 3.2 ツール呼び出し : 10.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium GPT-5.6 SolmediumvsGPT-5.6 Solhigh GPT-5.6 SolhighvsGPT-5.5low GPT-5.5lowvsGrok 4.6high Grok 4.6highvsGemini 3.1 Pro Previewmedium