AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-19 評価済みモデル数: 451

451/451

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#138#138	Claude Haiku 5.5medium	7.7	Anthropic	$0.063	7.71s
モデルカードを見る合計テスト数 23 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 7 入力トークン 298,334 出力トークン 10,328 推論トークン 55,846 応答時間（平均） 7.71s 応答時間（合計） 177.29s 応答時間（最大） 47.70s 不正解: 5 余分な書式: 2 指示に従っていない: 2 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 8.7 コーディング : 6.3 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 3.8 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#44#44	Muse Wonderminimal	9.1	Meta	$1.639	7.72s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 9.7 試行ごとの合格率 76.8% 不安定なテスト 2 入力トークン 238,532 出力トークン 9,812 推論トークン 24,412 応答時間（平均） 7.72s 応答時間（合計） 177.57s 応答時間（最大） 42.89s API エラー: 3 不正解: 3 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 3.0
#246#246	Mercury 2.5medium	6.4	Inception	$0.034	7.74s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 9.7 試行ごとの合格率 63.8% 不安定なテスト 5 入力トークン 317,982 出力トークン 3,918 推論トークン 135,028 応答時間（平均） 7.74s 応答時間（合計） 178.07s 応答時間（最大） 107.89s 不正解: 9 API エラー: 1 タイムアウト: 1 エージェントタスク : 4.7 反AIトリック : 10.0 コーディング : 5.0 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 4.4 指示追従 : 6.4 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#348#348	Apodex 1.1 Minidefault	5.1	Apodex	$0.000	7.79s
モデルカードを見る合計テスト数 23 誤答テスト数 20 信頼性 10.0 試行ごとの合格率 29.0% 不安定なテスト 8 入力トークン 465,127 出力トークン 72,309 推論トークン 0 応答時間（平均） 7.79s 応答時間（合計） 179.09s 応答時間（最大） 121.52s 不正解: 16 指示に従っていない: 2 無効なツール呼び出し: 2 エージェントタスク : 5.2 反AIトリック : 3.4 コーディング : 3.8 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.4 指示追従 : 4.9 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#334#334	Qwen3.6 Max Previewnone	5.3	Qwen	$0.228 ↓	7.82s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 9.9 試行ごとの合格率 53.6% 不安定なテスト 2 入力トークン 106,348 出力トークン 19,257 推論トークン 0 応答時間（平均） 7.82s 応答時間（合計） 172.04s 応答時間（最大） 102.62s 不正解: 11 エージェントタスク : 0.0 反AIトリック : 5.2 コーディング : 3.8 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.3 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#46#46	Gemini 3.5 Flashlow	9.0	Google	$0.752	7.85s
モデルカードを見る合計テスト数 23 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 85.5% 不安定なテスト 2 入力トークン 244,533 出力トークン 3,450 推論トークン 39,280 応答時間（平均） 7.85s 応答時間（合計） 180.45s 応答時間（最大） 53.74s 不正解: 3 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 7.8 複合 : 8.2 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#120#120	Qwen3.7 Maxnone	7.9	Qwen	$0.451 ↓	7.85s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 9.9 試行ごとの合格率 69.6% 不安定なテスト 0 入力トークン 243,553 出力トークン 20,670 推論トークン 0 応答時間（平均） 7.85s 応答時間（合計） 180.65s 応答時間（最大） 80.34s 不正解: 7 エージェントタスク : 10.0 反AIトリック : 6.5 コーディング : 5.5 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#227#227	Claude Sonnet 5.5medium	6.5	Anthropic	$1.100	8.03s
モデルカードを見る合計テスト数 23 誤答テスト数 14 信頼性 10.0 試行ごとの合格率 40.6% 不安定なテスト 1 入力トークン 361,183 出力トークン 26,609 推論トークン 11,139 応答時間（平均） 8.03s 応答時間（合計） 184.80s 応答時間（最大） 51.18s 余分な書式: 8 指示に従っていない: 3 無効なツール呼び出し: 1 回答なし: 1 不正解: 1 エージェントタスク : 10.0 反AIトリック : 6.5 コーディング : 3.4 複合 : 8.5 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 5.1 指示追従 : 6.3 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#310#310	Solar Pro 4none	5.6	Upstage	$0.022	8.14s
モデルカードを見る合計テスト数 23 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 31.9% 不安定なテスト 1 入力トークン 305,664 出力トークン 13,249 推論トークン 0 応答時間（平均） 8.14s 応答時間（合計） 187.23s 応答時間（最大） 69.17s 不正解: 14 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 5.0 反AIトリック : 4.8 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.0 指示追従 : 6.4 パズル解決 : 5.4 ツール呼び出し : 10.0 雑学 : 3.0
#18#18	Gemini 3.7 Flashmedium	9.5	Google	$0.278	8.16s
モデルカードを見る合計テスト数 23 誤答テスト数 2 信頼性 10.0 試行ごとの合格率 94.2% 不安定なテスト 1 入力トークン 202,347 出力トークン 6,660 推論トークン 68,002 応答時間（平均） 8.16s 応答時間（合計） 187.58s 応答時間（最大） 58.39s 不正解: 2 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#360#360	Ling 2.6 1tdefault	4.9	Inclusionai	$0.016 ↑	8.16s
モデルカードを見る合計テスト数 23 誤答テスト数 19 信頼性 10.0 試行ごとの合格率 17.4% 不安定なテスト 0 入力トークン 106,423 出力トークン 11,555 推論トークン 0 応答時間（平均） 8.16s 応答時間（合計） 163.24s 応答時間（最大） 25.72s 不正解: 12 API エラー: 4 指示に従っていない: 2 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 3.4 コーディング : 3.8 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 6.4 パズル解決 : 3.1 ツール呼び出し : 3.0 雑学 : 3.0
#346#346	KAT Coder AIR V2.5medium	5.1	Kwaipilot	$0.048	8.32s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 9.6 試行ごとの合格率 43.5% 不安定なテスト 3 入力トークン 51,369 出力トークン 8,008 推論トークン 58,568 応答時間（平均） 8.32s 応答時間（合計） 191.40s 応答時間（最大） 48.19s 不正解: 10 API エラー: 2 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1 エージェントタスク : 3.0 反AIトリック : 8.7 コーディング : 3.6 複合 : 6.5 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 10.0 パズル解決 : 3.6 ツール呼び出し : 10.0 雑学 : 3.0
#336#336	Qwen3.6 35B A3Bnone	5.3	Qwen	$0.105 ↑	8.43s
モデルカードを見る合計テスト数 23 誤答テスト数 19 信頼性 10.0 試行ごとの合格率 29.0% 不安定なテスト 6 入力トークン 272,479 出力トークン 40,677 推論トークン 23,104 応答時間（平均） 8.43s 応答時間（合計） 176.93s 応答時間（最大） 65.61s 不正解: 13 API エラー: 2 指示に従っていない: 2 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 5.2 反AIトリック : 3.6 コーディング : 5.5 複合 : 3.8 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.4 指示追従 : 6.2 パズル解決 : 3.2 ツール呼び出し : 3.0 雑学 : 3.0
#251#251	LongCat 2.0none	6.4	Meituan	$0.104	8.50s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 42.0% 不安定なテスト 3 入力トークン 276,199 出力トークン 17,473 推論トークン 0 応答時間（平均） 8.50s 応答時間（合計） 195.60s 応答時間（最大） 81.77s 不正解: 13 余分な書式: 1 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 4.8 コーディング : 5.5 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 6.5 パズル解決 : 4.0 ツール呼び出し : 10.0 雑学 : 3.0
#192#192	Gemini 3 Flash Previewlow	6.9	Google	$0.254	8.51s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 72.5% 不安定なテスト 2 入力トークン 251,677 出力トークン 11,196 推論トークン 31,204 応答時間（平均） 8.51s 応答時間（合計） 195.76s 応答時間（最大） 52.64s 不正解: 7 エージェントタスク : 5.0 反AIトリック : 10.0 コーディング : 5.8 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#292#292	Claude Sonnet 5none	5.9	Anthropic	$1.095	8.60s
モデルカードを見る合計テスト数 23 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 40.6% 不安定なテスト 5 入力トークン 393,560 出力トークン 30,466 推論トークン 311 応答時間（平均） 8.60s 応答時間（合計） 197.73s 応答時間（最大） 64.73s 不正解: 9 余分な書式: 4 回答なし: 2 指示に従っていない: 1 エージェントタスク : 4.7 反AIトリック : 5.3 コーディング : 4.6 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.7 指示追従 : 6.4 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#167#167	Gemini 3.5 Flash Litemedium	7.3	Google	$0.440	8.68s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 76.8% 不安定なテスト 7 入力トークン 388,307 出力トークン 10,412 推論トークン 118,802 応答時間（平均） 8.68s 応答時間（合計） 199.65s 応答時間（最大） 86.92s 不正解: 6 無効なツール呼び出し: 2 指示に従っていない: 1 エージェントタスク : 4.7 反AIトリック : 10.0 コーディング : 7.9 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 4.7 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 2.8
#70#70	GPT-6 Sollow	8.7	OpenAI	$0.477	8.72s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 87.0% 不安定なテスト 4 入力トークン 172,359 出力トークン 5,026 推論トークン 8,185 応答時間（平均） 8.72s 応答時間（合計） 200.61s 応答時間（最大） 48.43s 不正解: 5 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 6.2 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 4.7
#312#312	GLM 5none	5.6	Z.ai	$0.140 ↑	8.74s
モデルカードを見る合計テスト数 22 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 40.6% 不安定なテスト 1 入力トークン 190,675 出力トークン 5,577 推論トークン 0 応答時間（平均） 8.74s 応答時間（合計） 131.17s 応答時間（最大） 74.80s 不正解: 13 エージェントタスク : 5.0 反AIトリック : 4.8 コーディング : 4.0 複合 : 1.5 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#11#11	GPT-6.1 Solmedium	9.6	OpenAI	$0.530	8.90s
モデルカードを見る合計テスト数 23 誤答テスト数 2 信頼性 10.0 試行ごとの合格率 94.2% 不安定なテスト 1 入力トークン 172,860 出力トークン 5,172 推論トークン 13,179 応答時間（平均） 8.90s 応答時間（合計） 204.78s 応答時間（最大） 51.03s 不正解: 2 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 4.7
#103#103	GPT-5.6 Terramedium	8.2	OpenAI	$0.483 ↓	8.93s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 2 入力トークン 172,507 出力トークン 5,824 推論トークン 27,365 応答時間（平均） 8.93s 応答時間（合計） 205.39s 応答時間（最大） 54.74s 不正解: 8 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 6.1 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.5 指示追従 : 10.0 パズル解決 : 8.4 ツール呼び出し : 10.0 雑学 : 3.0
#205#205	GPT-6 Solnone	6.8	OpenAI	$0.551	9.02s
モデルカードを見る合計テスト数 23 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 63.8% 不安定なテスト 4 入力トークン 235,086 出力トークン 7,989 推論トークン 0 応答時間（平均） 9.02s 応答時間（合計） 207.45s 応答時間（最大） 57.02s 不正解: 10 エージェントタスク : 5.0 反AIトリック : 6.9 コーディング : 5.5 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 3.0
#274#274	Beam 1.0 501B A23Bhigh	6.1	Reflection	$0.674	9.03s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 59.4% 不安定なテスト 5 入力トークン 232,218 出力トークン 4,944 推論トークン 142,263 応答時間（平均） 9.03s 応答時間（合計） 207.67s 応答時間（最大） 36.04s 不正解: 7 API エラー: 3 指示に従っていない: 2 エージェントタスク : 3.0 反AIトリック : 8.8 コーディング : 8.4 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 5.1 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 3.0 雑学 : 3.0
#359#359	Gemini 3 PRO Previewmedium	4.9	Google	$0.385 ↑	9.05s
モデルカードを見る合計テスト数 21 誤答テスト数 7 信頼性該当なし試行ごとの合格率 60.9% 不安定なテスト 0 入力トークン 28,848 出力トークン 1,490 推論トークン 10,102 応答時間（平均） 9.05s 応答時間（合計） 90.53s 応答時間（最大） 26.24s API エラー: 4 不正解: 3 エージェントタスク : 0.0 反AIトリック : 10.0 コーディング : 3.0 複合 : 1.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#232#232	Beam 1.0 501B A23Bxhigh	6.5	Reflection	$0.688	9.18s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 63.8% 不安定なテスト 5 入力トークン 212,065 出力トークン 4,428 推論トークン 154,069 応答時間（平均） 9.18s 応答時間（合計） 211.12s 応答時間（最大） 44.64s 不正解: 8 API エラー: 3 エージェントタスク : 3.0 反AIトリック : 9.2 コーディング : 10.0 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 5.1 指示追従 : 9.8 パズル解決 : 5.8 ツール呼び出し : 3.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow