AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-17 評価済みモデル数: 442

442/442

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#1🥇 #1	Gemini 3.6 Flashhigh	9.9	Google	$0.900 ↓	18.93s
モデルカードを見る合計テスト数 23 誤答テスト数 1 信頼性 10.0 試行ごとの合格率 98.6% 不安定なテスト 1 入力トークン 238,080 出力トークン 4,211 推論トークン 188,109 応答時間（平均） 18.93s 応答時間（合計） 435.48s 応答時間（最大） 104.15s 不正解: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 8.2 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#194#194	Claude Sonnet 5.5low	6.9	Anthropic	$0.909	7.46s
モデルカードを見る合計テスト数 23 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 46.4% 不安定なテスト 2 入力トークン 291,853 出力トークン 24,116 推論トークン 8,327 応答時間（平均） 7.46s 応答時間（合計） 171.47s 応答時間（最大） 46.61s 余分な書式: 5 指示に従っていない: 5 無効なツール呼び出し: 1 回答なし: 1 不正解: 1 エージェントタスク : 10.0 反AIトリック : 6.5 コーディング : 3.2 複合 : 7.9 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 4.8 指示追従 : 6.3 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#77#77	Muse Spark 1.3low	8.5	Meta	$0.911	17.73s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 82.6% 不安定なテスト 5 入力トークン 270,231 出力トークン 13,363 推論トークン 121,332 応答時間（平均） 17.73s 応答時間（合計） 407.75s 応答時間（最大） 78.72s 不正解: 4 API エラー: 1 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.2 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#256#256	Trinity Large Thinkinglow	6.3	Arcee AI	$0.918 ↑	95.16s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 47.8% 不安定なテスト 6 入力トークン 347,980 出力トークン 121,898 推論トークン 720,302 応答時間（平均） 95.16s 応答時間（合計） 2188.74s 応答時間（最大） 540.96s 不正解: 7 指示に従っていない: 3 API エラー: 2 無効なツール呼び出し: 2 回答なし: 1 エージェントタスク : 7.4 反AIトリック : 8.3 コーディング : 5.3 複合 : 5.2 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 10.0 指示追従 : 4.4 パズル解決 : 6.3 ツール呼び出し : 10.0 雑学 : 3.0
#3🥉 #3	GPT-6 Solhigh	9.9	OpenAI	$0.921	23.56s
モデルカードを見る合計テスト数 23 誤答テスト数 1 信頼性 10.0 試行ごとの合格率 95.7% 不安定なテスト 0 入力トークン 182,698 出力トークン 5,647 推論トークン 49,872 応答時間（平均） 23.56s 応答時間（合計） 541.85s 応答時間（最大） 136.22s 不正解: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#230#230	Grok 4.3medium	6.5	X AI	$0.989	44.53s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 63.8% 不安定なテスト 5 入力トークン 325,471 出力トークン 14,867 推論トークン 217,675 応答時間（平均） 44.53s 応答時間（合計） 1024.25s 応答時間（最大） 216.69s 不正解: 6 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 3.9 反AIトリック : 10.0 コーディング : 5.9 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 5.4 指示追従 : 9.8 パズル解決 : 5.9 ツール呼び出し : 10.0 雑学 : 3.0
#4#4	GPT-6.1 Solmax	9.9	OpenAI	$1.006	61.98s
モデルカードを見る合計テスト数 23 誤答テスト数 1 信頼性 9.7 試行ごとの合格率 95.7% 不安定なテスト 0 入力トークン 183,607 出力トークン 5,741 推論トークン 58,082 応答時間（平均） 61.98s 応答時間（合計） 1425.65s 応答時間（最大） 960.01s タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#100#100	GLM 5.2medium	8.2	Z.ai	$1.007 ↑	26.88s
モデルカードを見る合計テスト数 22 誤答テスト数 6 信頼性 9.6 試行ごとの合格率 81.2% 不安定なテスト 4 入力トークン 227,164 出力トークン 20,029 推論トークン 60,991 応答時間（平均） 26.88s 応答時間（合計） 591.34s 応答時間（最大） 102.40s 不正解: 3 回答なし: 2 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.2 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#174#174	Qwen3.6 27Bmedium	7.2	Qwen	$1.021 ↑	107.79s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 62.3% 不安定なテスト 7 入力トークン 264,147 出力トークン 34,419 推論トークン 253,480 応答時間（平均） 107.79s 応答時間（合計） 2479.26s 応答時間（最大） 1085.11s 不正解: 5 回答なし: 3 無効なツール呼び出し: 2 余分な書式: 1 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 7.7 複合 : 6.7 データ解析と抽出 : 3.5 ドメイン特化 : 2.9 汎用知能 : 6.5 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#59#59	Qwen3.8 MAXlow	8.8	Qwen	$1.089 ↑	25.09s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 81.2% 不安定なテスト 3 入力トークン 262,495 出力トークン 7,787 推論トークン 86,149 応答時間（平均） 25.09s 応答時間（合計） 577.14s 応答時間（最大） 155.75s 不正解: 5 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.5 指示追従 : 10.0 パズル解決 : 9.9 ツール呼び出し : 10.0 雑学 : 3.0
#284#284	Claude Sonnet 5none	5.9	Anthropic	$1.095	8.60s
モデルカードを見る合計テスト数 23 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 40.6% 不安定なテスト 5 入力トークン 393,560 出力トークン 30,466 推論トークン 311 応答時間（平均） 8.60s 応答時間（合計） 197.73s 応答時間（最大） 64.73s 不正解: 9 余分な書式: 4 回答なし: 2 指示に従っていない: 1 エージェントタスク : 4.7 反AIトリック : 5.3 コーディング : 4.6 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.7 指示追従 : 6.4 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#46#46	Qwen3.8 Max (0902)medium	9.0	Qwen	$1.096	30.42s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 84.1% 不安定なテスト 2 入力トークン 268,540 出力トークン 7,499 推論トークン 85,499 応答時間（平均） 30.42s 応答時間（合計） 699.68s 応答時間（最大） 168.09s 不正解: 5 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#222#222	Claude Sonnet 5.5medium	6.5	Anthropic	$1.100	8.03s
モデルカードを見る合計テスト数 23 誤答テスト数 14 信頼性 10.0 試行ごとの合格率 40.6% 不安定なテスト 1 入力トークン 361,183 出力トークン 26,609 推論トークン 11,139 応答時間（平均） 8.03s 応答時間（合計） 184.80s 応答時間（最大） 51.18s 余分な書式: 8 指示に従っていない: 3 無効なツール呼び出し: 1 回答なし: 1 不正解: 1 エージェントタスク : 10.0 反AIトリック : 6.5 コーディング : 3.4 複合 : 8.5 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 5.1 指示追従 : 6.3 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#117#117	GPT-5.4 Minimedium	7.9	OpenAI	$1.102 ↑	29.94s
モデルカードを見る合計テスト数 23 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 69.6% 不安定なテスト 5 入力トークン 238,925 出力トークン 7,109 推論トークン 177,063 応答時間（平均） 29.94s 応答時間（合計） 688.57s 応答時間（最大） 138.75s 不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 8.6 コーディング : 8.4 複合 : 6.9 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 4.5 指示追従 : 9.8 パズル解決 : 7.8 ツール呼び出し : 4.7 雑学 : 3.0
#75#75	Qwen3.8 Max (0902)low	8.6	Qwen	$1.131	29.07s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 85.5% 不安定なテスト 3 入力トークン 298,682 出力トークン 8,374 推論トークン 80,549 応答時間（平均） 29.07s 応答時間（合計） 668.66s 応答時間（最大） 207.79s 不正解: 4 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#181#181	Qwen3.6 Max Previewmedium	7.0	Qwen	$1.132 ↓	66.52s
モデルカードを見る合計テスト数 22 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 79.7% 不安定なテスト 2 入力トークン 79,249 出力トークン 5,097 推論トークン 165,276 応答時間（平均） 66.52s 応答時間（合計） 1463.50s 応答時間（最大） 238.07s 不正解: 4 タイムアウト: 1 エージェントタスク : 0.0 反AIトリック : 10.0 コーディング : 8.8 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#114#114	Qwen3.5-27Bmedium	7.9	Qwen	$1.135	114.73s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 76.8% 不安定なテスト 6 入力トークン 288,919 出力トークン 17,484 推論トークン 617,804 応答時間（平均） 114.73s 応答時間（合計） 2638.74s 応答時間（最大） 1026.43s 不正解: 4 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 8.7 コーディング : 6.2 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#183#183	Kimi K2.7 Codemedium	7.0	Moonshot AI	$1.136 ↑	81.18s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 60.9% 不安定なテスト 5 入力トークン 245,179 出力トークン 62,697 推論トークン 196,621 応答時間（平均） 81.18s 応答時間（合計） 1785.87s 応答時間（最大） 365.80s 不正解: 8 タイムアウト: 2 API エラー: 1 指示に従っていない: 1 エージェントタスク : 5.0 反AIトリック : 7.3 コーディング : 7.8 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.7 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 5.9 ツール呼び出し : 3.0 雑学 : 3.0
#186#186	Qwen3.5-122B-A10Bmedium	7.0	Qwen	$1.152 ↓	66.96s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 5 入力トークン 251,695 出力トークン 49,415 推論トークン 472,775 応答時間（平均） 66.96s 応答時間（合計） 1539.99s 応答時間（最大） 519.30s 不正解: 5 無効なツール呼び出し: 2 タイムアウト: 2 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 6.0 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 3.4 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#73#73	Claude Sonnet 5.5high	8.6	Anthropic	$1.175	10.79s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 81.2% 不安定なテスト 5 入力トークン 345,687 出力トークン 13,550 推論トークン 34,743 応答時間（平均） 10.79s 応答時間（合計） 248.22s 応答時間（最大） 51.53s 不正解: 5 余分な書式: 1 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 8.2 データ解析と抽出 : 7.3 ドメイン特化 : 3.5 汎用知能 : 6.5 指示追従 : 9.9 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#35#35	Qwen3.8 MAXmedium	9.2	Qwen	$1.181 ↑	27.34s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 81.2% 不安定なテスト 1 入力トークン 276,512 出力トークン 8,152 推論トークン 96,444 応答時間（平均） 27.34s 応答時間（合計） 628.75s 応答時間（最大） 126.60s 不正解: 4 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#70#70	DeepSeek V4.1 Flashmax	8.6	DeepSeek	$1.204 ↑	61.58s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.4 試行ごとの合格率 69.6% 不安定なテスト 2 入力トークン 414,054 出力トークン 7,635 推論トークン 900,536 応答時間（平均） 61.58s 応答時間（合計） 1416.24s 応答時間（最大） 335.08s 不正解: 6 API エラー: 1 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 5.5 ツール呼び出し : 10.0 雑学 : 3.0
#214#214	GPT-5.5none	6.6	OpenAI	$1.212	4.75s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 56.5% 不安定なテスト 2 入力トークン 205,108 出力トークン 6,197 推論トークン 0 応答時間（平均） 4.75s 応答時間（合計） 109.31s 応答時間（最大） 57.53s 不正解: 11 エージェントタスク : 5.0 反AIトリック : 6.9 コーディング : 5.5 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.2 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#86#86	Inklinghigh	8.4	Thinkingmachines	$1.238 ↓	62.72s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 78.3% 不安定なテスト 3 入力トークン 240,395 出力トークン 7,169 推論トークン 242,073 応答時間（平均） 62.72s 応答時間（合計） 1442.48s 応答時間（最大） 327.51s 不正解: 4 無効なツール呼び出し: 2 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.5 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 6.9 ツール呼び出し : 3.0 雑学 : 3.0
#13#13	GPT-5.6 Sollow	9.6	OpenAI	$1.244	11.13s
モデルカードを見る合計テスト数 23 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 87.0% 不安定なテスト 2 入力トークン 191,653 出力トークン 5,473 推論トークン 17,084 応答時間（平均） 11.13s 応答時間（合計） 256.08s 応答時間（最大） 57.11s 不正解: 4 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 10.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow