AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-19 評価済みモデル数: 451

451/451

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#164#164	Gemini 2.5 Flashmedium	7.3	Google	$0.680 ↑	20.51s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 68.1% 不安定なテスト 1 入力トークン 132,507 出力トークン 12,739 推論トークン 228,626 応答時間（平均） 20.51s 応答時間（合計） 471.64s 応答時間（最大） 140.50s 不正解: 6 指示に従っていない: 2 エージェントタスク : 3.0 反AIトリック : 8.4 コーディング : 7.8 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#176#176	Step 3.7 Flashlow	7.2	Stepfun	$0.449	20.72s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 63.8% 不安定なテスト 6 入力トークン 292,685 出力トークン 339,108 推論トークン 0 応答時間（平均） 20.72s 応答時間（合計） 476.67s 応答時間（最大） 124.75s 不正解: 9 無効なツール呼び出し: 2 回答なし: 1 エージェントタスク : 7.4 反AIトリック : 8.7 コーディング : 8.2 複合 : 7.3 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 3.4 指示追従 : 9.8 パズル解決 : 5.5 ツール呼び出し : 10.0 雑学 : 3.0
#235#235	KAT-Coder-Pro V2.5high	6.5	Kwaipilot	$0.506	21.21s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 60.9% 不安定なテスト 6 入力トークン 106,085 出力トークン 9,071 推論トークン 135,288 応答時間（平均） 21.21s 応答時間（合計） 487.83s 応答時間（最大） 199.97s 不正解: 10 API エラー: 1 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 7.0 コーディング : 6.4 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.1 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#56#56	Muse Spark 1.2medium	8.9	Meta	$1.590	21.28s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 75.4% 不安定なテスト 4 入力トークン 292,604 出力トークン 9,569 推論トークン 278,408 応答時間（平均） 21.28s 応答時間（合計） 489.46s 応答時間（最大） 142.49s 指示に従っていない: 3 不正解: 3 余分な書式: 1 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 7.3 コーディング : 10.0 複合 : 8.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#15#15	Gemini 3 Flash Previewmedium	9.6	Google	$0.876	21.57s
モデルカードを見る合計テスト数 23 誤答テスト数 2 信頼性 10.0 試行ごとの合格率 94.2% 不安定なテスト 1 入力トークン 235,726 出力トークン 6,669 推論トークン 245,867 応答時間（平均） 21.57s 応答時間（合計） 496.12s 応答時間（最大） 117.26s 不正解: 2 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#32#32	Muse Wondermedium	9.2	Meta	$3.397	21.58s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 9.1 試行ごとの合格率 76.8% 不安定なテスト 1 入力トークン 241,489 出力トークン 11,575 推論トークン 109,971 応答時間（平均） 21.58s 応答時間（合計） 496.40s 応答時間（最大） 162.73s API エラー: 4 不正解: 2 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.6 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 4.7
#54#54	Muse Spark Openlow	8.9	Meta	$0.600	21.62s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 9.9 試行ごとの合格率 76.8% 不安定なテスト 3 入力トークン 278,684 出力トークン 10,151 推論トークン 48,907 応答時間（平均） 21.62s 応答時間（合計） 497.25s 応答時間（最大） 119.16s 不正解: 4 指示に従っていない: 2 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 9.2 コーディング : 10.0 複合 : 8.4 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 6.1 指示追従 : 8.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#243#243	Minimax M3.1 Flashxhigh	6.4	Minimax	$0.000	21.71s
モデルカードを見る合計テスト数 23 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 56.5% 不安定なテスト 5 入力トークン 318,768 出力トークン 9,865 推論トークン 155,441 応答時間（平均） 21.71s 応答時間（合計） 499.37s 応答時間（最大） 87.61s 不正解: 9 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 6.5 コーディング : 6.0 複合 : 7.3 データ解析と抽出 : 6.5 ドメイン特化 : 7.7 汎用知能 : 5.0 指示追従 : 4.9 パズル解決 : 7.8 ツール呼び出し : 10.0 雑学 : 3.0
#341#341	Mimo V2 PROmedium	5.2	Xiaomi	$0.333 ↑	22.16s
モデルカードを見る合計テスト数 21 誤答テスト数 9 信頼性 9.6 試行ごとの合格率 66.7% 不安定なテスト 5 入力トークン 40,961 出力トークン 2,518 推論トークン 81,801 応答時間（平均） 22.16s 応答時間（合計） 443.22s 応答時間（最大） 136.29s 不正解: 5 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1 エージェントタスク : 0.0 反AIトリック : 10.0 コーディング : 6.0 複合 : 2.3 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 6.4 ツール呼び出し : 10.0 雑学 : 3.0
#193#193	Muse Glimmer 30Blow	6.9	Meta	$0.219 ↓	22.40s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 63.8% 不安定なテスト 6 入力トークン 307,228 出力トークン 36,044 推論トークン 71,621 応答時間（平均） 22.40s 応答時間（合計） 515.14s 応答時間（最大） 234.92s 不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 2 回答なし: 1 エージェントタスク : 6.1 反AIトリック : 8.7 コーディング : 8.1 複合 : 3.8 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 5.0 指示追従 : 8.4 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#373#373	DeepSeek V3.2none	4.6	DeepSeek	$0.119 ↑	22.44s
モデルカードを見る合計テスト数 23 誤答テスト数 17 信頼性 10.0 試行ごとの合格率 34.8% 不安定なテスト 5 入力トークン 342,158 出力トークン 32,853 推論トークン 25,013 応答時間（平均） 22.44s 応答時間（合計） 516.03s 応答時間（最大） 122.50s 不正解: 9 API エラー: 3 余分な書式: 2 無効なツール呼び出し: 2 指示に従っていない: 1 エージェントタスク : 3.0 反AIトリック : 3.2 コーディング : 3.1 複合 : 4.8 データ解析と抽出 : 6.3 ドメイン特化 : 3.0 汎用知能 : 4.7 指示追従 : 10.0 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 3.0
#329#329	Ember-1none	5.4	Fireworks	$0.786	22.65s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 8.8 試行ごとの合格率 43.5% 不安定なテスト 4 入力トークン 202,617 出力トークン 11,832 推論トークン 0 応答時間（平均） 22.65s 応答時間（合計） 520.91s 応答時間（最大） 93.12s 不正解: 10 API エラー: 5 エージェントタスク : 6.1 反AIトリック : 5.2 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 6.4 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 6.4 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 3.0
#86#86	Gemini 3.1 Pro Previewmedium	8.4	Google	$1.585	22.71s
モデルカードを見る合計テスト数 23 誤答テスト数 3 信頼性 9.8 試行ごとの合格率 89.9% 不安定なテスト 1 入力トークン 176,208 出力トークン 6,093 推論トークン 96,598 応答時間（平均） 22.71s 応答時間（合計） 386.11s 応答時間（最大） 88.68s 不正解: 2 タイムアウト: 1 エージェントタスク : 4.7 反AIトリック : 10.0 コーディング : 7.9 複合 : 9.8 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#134#134	Muse Wonderhigh	7.7	Meta	$3.426	22.96s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.3 試行ごとの合格率 66.7% 不安定なテスト 1 入力トークン 94,153 出力トークン 9,606 推論トークン 142,834 応答時間（平均） 22.96s 応答時間（合計） 528.08s 応答時間（最大） 143.21s API エラー: 6 不正解: 2 エージェントタスク : 3.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 9.8 雑学 : 2.8
#269#269	GLM 5 Turbomedium	6.2	Z.ai	$0.323 ↑	23.00s
モデルカードを見る合計テスト数 21 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 68.1% 不安定なテスト 4 入力トークン 35,593 出力トークン 12,245 推論トークン 62,277 応答時間（平均） 23.00s 応答時間（合計） 482.97s 応答時間（最大） 194.23s 不正解: 4 指示に従っていない: 1 回答なし: 1 タイムアウト: 1 エージェントタスク : 0.0 反AIトリック : 10.0 コーディング : 8.2 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#321#321	GLM 5V Turbomedium	5.5	Z.ai	$0.457	23.08s
モデルカードを見る合計テスト数 21 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 62.3% 不安定なテスト 6 入力トークン 44,615 出力トークン 2,347 推論トークン 98,415 応答時間（平均） 23.08s 応答時間（合計） 484.63s 応答時間（最大） 95.88s 不正解: 7 無効なツール呼び出し: 2 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 7.2 コーディング : 6.0 複合 : 3.4 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 7.7 ツール呼び出し : 7.0 雑学 : 3.0
#144#144	GPT-6 Lunalow	7.6	OpenAI	$0.033	23.23s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 9.7 試行ごとの合格率 63.8% 不安定なテスト 4 入力トークン 195,928 出力トークン 5,728 推論トークン 19,152 応答時間（平均） 23.23s 応答時間（合計） 534.22s 応答時間（最大） 89.37s 不正解: 7 API エラー: 2 指示に従っていない: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 6.9 コーディング : 6.0 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.4 指示追従 : 7.1 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#3🥉 #3	GPT-6 Solhigh	9.9	OpenAI	$0.921	23.56s
モデルカードを見る合計テスト数 23 誤答テスト数 1 信頼性 10.0 試行ごとの合格率 95.7% 不安定なテスト 0 入力トークン 182,698 出力トークン 5,647 推論トークン 49,872 応答時間（平均） 23.56s 応答時間（合計） 541.85s 応答時間（最大） 136.22s 不正解: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#114#114	Qwen3.8 Flash Nextlow	8.0	Qwen	~$0.045	23.66s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 79.7% 不安定なテスト 6 入力トークン 342,163 出力トークン 1,518 推論トークン 133,777 応答時間（平均） 23.66s 応答時間（合計） 544.16s 応答時間（最大） 166.72s 不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.9 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 4.7 指示追従 : 9.8 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#402#402	Grok 4.1 Fastmedium	3.9	X AI	$0.069 ↑	23.85s
モデルカードを見る合計テスト数 19 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 50.7% 不安定なテスト 6 入力トークン 42,845 出力トークン 2,006 推論トークン 96,334 応答時間（平均） 23.85s 応答時間（合計） 286.16s 応答時間（最大） 121.79s 指示に従っていない: 4 不正解: 4 回答なし: 1 タイムアウト: 1 エージェントタスク : 0.0 反AIトリック : 8.7 コーディング : 0.8 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.8 汎用知能 : 4.2 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 2.8 雑学 : 3.0
#268#268	KAT-Coder-Pro V2.5medium	6.2	Kwaipilot	$0.669 ↑	23.94s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 62.3% 不安定なテスト 8 入力トークン 87,916 出力トークン 7,213 推論トークン 132,162 応答時間（平均） 23.94s 応答時間（合計） 550.52s 応答時間（最大） 257.00s 不正解: 9 API エラー: 2 指示に従っていない: 1 エージェントタスク : 3.0 反AIトリック : 8.2 コーディング : 7.8 複合 : 6.4 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 4.7 指示追従 : 9.9 パズル解決 : 5.9 ツール呼び出し : 10.0 雑学 : 3.0
#383#383	Hy3 previewlow	4.5	Tencent	$0.042 ↕	24.56s
モデルカードを見る合計テスト数 21 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 47.8% 不安定なテスト 2 入力トークン 21,045 出力トークン 63,460 推論トークン 0 応答時間（平均） 24.56s 応答時間（合計） 368.35s 応答時間（最大） 78.74s API エラー: 7 不正解: 4 エージェントタスク : 0.0 反AIトリック : 8.3 コーディング : 5.3 複合 : 5.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.9 汎用知能 : 3.0 指示追従 : 10.0 パズル解決 : 5.3 ツール呼び出し : 2.8 雑学 : 3.0
#143#143	Qwen3.8 Flash Nextmedium	7.6	Qwen	~$0.047	24.79s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 75.4% 不安定なテスト 6 入力トークン 278,792 出力トークン 1,695 推論トークン 142,270 応答時間（平均） 24.79s 応答時間（合計） 570.26s 応答時間（最大） 159.62s 不正解: 6 指示に従っていない: 1 回答なし: 1 エージェントタスク : 4.7 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#61#61	GPT-5.4medium	8.8	OpenAI	$2.213 ↑	24.81s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 78.3% 不安定なテスト 4 入力トークン 223,210 出力トークン 7,312 推論トークン 89,190 応答時間（平均） 24.81s 応答時間（合計） 570.60s 応答時間（最大） 100.41s 不正解: 5 指示に従っていない: 2 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 8.8 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.7 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#281#281	KAT-Coder-Pro V2.5default	6.1	Kwaipilot	$0.742 ↑	24.96s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 68.1% 不安定なテスト 8 入力トークン 98,508 出力トークン 8,088 推論トークン 131,484 応答時間（平均） 24.96s 応答時間（合計） 574.12s 応答時間（最大） 335.41s 不正解: 10 API エラー: 1 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 8.7 コーディング : 6.1 複合 : 4.1 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0

←

1 9 10 11 19

→

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow