AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-09-04 評価済みモデル数: 316

316/316

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#181#181	Mimo V2 PROmedium	6.3	Xiaomi	$0.333 ↑	22.16s
モデルカードを見る合計テスト数 21 誤答テスト数 9 信頼性 9.6 試行ごとの合格率 69.7% 不安定なテスト 5 入力トークン 40,961 出力トークン 2,518 推論トークン 81,801 応答時間（平均） 22.16s 応答時間（合計） 443.22s 応答時間（最大） 136.29s 不正解: 5 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1 反AIトリック : 10.0 コーディング : 6.0 複合 : 2.3 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 6.4 ツール呼び出し : 10.0 雑学 : 3.0
#231#231	KAT-Coder-Air V2.5medium	5.6	Kwaipilot	$0.048	8.65s
モデルカードを見る合計テスト数 22 誤答テスト数 14 信頼性 9.6 試行ごとの合格率 45.5% 不安定なテスト 3 入力トークン 51,369 出力トークン 8,008 推論トークン 58,568 応答時間（平均） 8.65s 応答時間（合計） 190.35s 応答時間（最大） 48.19s 不正解: 10 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1 反AIトリック : 8.7 コーディング : 3.6 複合 : 6.5 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 10.0 パズル解決 : 3.6 ツール呼び出し : 10.0 雑学 : 3.0
#271#271	Ling-2.6-flashnone	4.9	Inclusionai	$0.002 ↑	10.71s
モデルカードを見る合計テスト数 22 誤答テスト数 16 信頼性 9.6 試行ごとの合格率 30.3% 不安定なテスト 2 入力トークン 114,384 出力トークン 14,903 推論トークン 0 応答時間（平均） 10.71s 応答時間（合計） 214.28s 応答時間（最大） 36.03s 不正解: 9 無効なツール呼び出し: 3 API エラー: 2 指示に従っていない: 2 反AIトリック : 6.8 コーディング : 5.3 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 4.0 指示追従 : 9.8 パズル解決 : 2.9 ツール呼び出し : 3.0 雑学 : 3.0
#307#307	Ling 3.0 Tinylow	3.8	Inclusionai	$0.000	66.16s
モデルカードを見る合計テスト数 22 誤答テスト数 18 信頼性 9.6 試行ごとの合格率 19.7% 不安定なテスト 1 入力トークン 99,662 出力トークン 146,555 推論トークン 732,977 応答時間（平均） 66.16s 応答時間（合計） 1389.33s 応答時間（最大） 252.08s 回答なし: 7 不正解: 5 指示に従っていない: 4 API エラー: 1 無効なツール呼び出し: 1 反AIトリック : 6.5 コーディング : 2.9 複合 : 3.0 データ解析と抽出 : 2.8 ドメイン特化 : 3.0 汎用知能 : 5.1 指示追従 : 6.6 パズル解決 : 3.0 ツール呼び出し : 10.0 雑学 : 3.0
#310#310	Ling 3.0 Tinymedium	3.8	Inclusionai	$0.000	68.08s
モデルカードを見る合計テスト数 22 誤答テスト数 18 信頼性 9.6 試行ごとの合格率 24.2% 不安定なテスト 3 入力トークン 103,898 出力トークン 148,304 推論トークン 774,972 応答時間（平均） 68.08s 応答時間（合計） 1429.66s 応答時間（最大） 262.20s 回答なし: 7 不正解: 5 指示に従っていない: 4 API エラー: 1 無効なツール呼び出し: 1 反AIトリック : 6.5 コーディング : 2.9 複合 : 3.0 データ解析と抽出 : 2.7 ドメイン特化 : 3.0 汎用知能 : 3.8 指示追従 : 6.8 パズル解決 : 3.6 ツール呼び出し : 10.0 雑学 : 3.0
#3🥉 #3	GPT-6 Astramax	9.9	OpenAI	$3.803	61.27s
モデルカードを見る合計テスト数 22 誤答テスト数 1 信頼性 9.5 試行ごとの合格率 95.5% 不安定なテスト 0 入力トークン 79,058 出力トークン 4,853 推論トークン 55,377 応答時間（平均） 61.27s 応答時間（合計） 1347.96s 応答時間（最大） 960.01s タイムアウト: 1 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#78#78	GLM 5.2medium	7.8	Z.ai	$0.224 ↓	23.28s
モデルカードを見る合計テスト数 21 誤答テスト数 6 信頼性 9.5 試行ごとの合格率 80.3% 不安定なテスト 4 入力トークン 37,199 出力トークン 12,261 推論トークン 49,500 応答時間（平均） 23.28s 応答時間（合計） 488.94s 応答時間（最大） 101.36s 不正解: 3 回答なし: 2 タイムアウト: 1 反AIトリック : 10.0 コーディング : 8.2 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#61#61	Qwen3.8 2.4T A95Blow	8.1	Qwen	$2.672	118.97s
モデルカードを見る合計テスト数 22 誤答テスト数 7 信頼性 9.4 試行ごとの合格率 72.7% 不安定なテスト 2 入力トークン 113,279 出力トークン 121,045 推論トークン 374,496 応答時間（平均） 118.97s 応答時間（合計） 2617.41s 応答時間（最大） 534.21s 不正解: 4 回答なし: 2 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 7.8 複合 : 8.2 データ解析と抽出 : 10.0 ドメイン特化 : 3.2 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#110#110	Qwen3.8 2.4T A95Bhigh	7.4	Qwen	$2.357	120.59s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 9.4 試行ごとの合格率 74.2% 不安定なテスト 4 入力トークン 108,931 出力トークン 112,801 推論トークン 343,227 応答時間（平均） 120.59s 応答時間（合計） 2653.05s 応答時間（最大） 532.28s 不正解: 3 指示に従っていない: 2 回答なし: 2 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 5.9 複合 : 6.9 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#272#272	Nemotron 3 Supernone	4.8	NVIDIA	$0.008 ↑	6.04s
モデルカードを見る合計テスト数 22 誤答テスト数 17 信頼性 9.2 試行ごとの合格率 27.3% 不安定なテスト 2 入力トークン 63,528 出力トークン 6,432 推論トークン 0 応答時間（平均） 6.04s 応答時間（合計） 132.96s 応答時間（最大） 20.00s 不正解: 15 指示に従っていない: 2 反AIトリック : 4.8 コーディング : 3.3 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 4.6 指示追従 : 6.3 パズル解決 : 5.5 ツール呼び出し : 4.7 雑学 : 3.0
#217#217	Nemotron 3 Supermedium	5.7	NVIDIA	$0.050 ↑	52.31s
モデルカードを見る合計テスト数 22 誤答テスト数 14 信頼性 9.1 試行ごとの合格率 40.9% 不安定なテスト 3 入力トークン 81,438 出力トークン 17,674 推論トークン 97,900 応答時間（平均） 52.31s 応答時間（合計） 1046.21s 応答時間（最大） 431.98s 不正解: 5 API エラー: 4 指示に従っていない: 3 回答なし: 1 タイムアウト: 1 反AIトリック : 8.3 コーディング : 3.1 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.1 指示追従 : 7.3 パズル解決 : 3.0 ツール呼び出し : 10.0 雑学 : 3.0
#71#71	Kimi K3max	7.9	Moonshot AI	$3.467	142.84s
モデルカードを見る合計テスト数 22 誤答テスト数 6 信頼性 9.0 試行ごとの合格率 77.3% 不安定なテスト 2 入力トークン 34,960 出力トークン 2,887 推論トークン 221,241 応答時間（平均） 142.84s 応答時間（合計） 2714.02s 応答時間（最大） 766.58s API エラー: 2 回答なし: 2 余分な書式: 1 タイムアウト: 1 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.5 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 3.0
#258#258	Granite 4.2 8Blow	5.1	IBM Granite	$0.012	54.36s
モデルカードを見る合計テスト数 22 誤答テスト数 15 信頼性 9.0 試行ごとの合格率 31.8% 不安定なテスト 0 入力トークン 74,721 出力トークン 9,205 推論トークン 18,723 応答時間（平均） 54.36s 応答時間（合計） 1195.97s 応答時間（最大） 566.80s 不正解: 10 タイムアウト: 3 指示に従っていない: 1 回答なし: 1 反AIトリック : 8.3 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 3.0 パズル解決 : 3.0 ツール呼び出し : 10.0 雑学 : 3.0
#138#138	Seed-2.0-Minimedium	7.0	Bytedance Seed	$0.116	93.10s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 8.7 試行ごとの合格率 57.6% 不安定なテスト 3 入力トークン 125,704 出力トークン 10,781 推論トークン 247,541 応答時間（平均） 93.10s 応答時間（合計） 1768.91s 応答時間（最大） 301.78s 不正解: 5 タイムアウト: 4 指示に従っていない: 1 回答なし: 1 反AIトリック : 6.6 コーディング : 5.5 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 5.1 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#254#254	Granite 4.2 8Bmedium	5.2	IBM Granite	$0.009	45.97s
モデルカードを見る合計テスト数 22 誤答テスト数 15 信頼性 8.7 試行ごとの合格率 34.9% 不安定なテスト 1 入力トークン 52,909 出力トークン 7,058 推論トークン 12,272 応答時間（平均） 45.97s 応答時間（合計） 1011.42s 応答時間（最大） 557.96s 不正解: 9 タイムアウト: 4 指示に従っていない: 1 回答なし: 1 反AIトリック : 8.4 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 3.8 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#263#263	North Mini Codenone	5.1	Cohere	$0.000	29.95s
モデルカードを見る合計テスト数 22 誤答テスト数 18 信頼性 8.7 試行ごとの合格率 18.2% 不安定なテスト 0 入力トークン 130,501 出力トークン 26,786 推論トークン 0 応答時間（平均） 29.95s 応答時間（合計） 658.83s 応答時間（最大） 159.85s 不正解: 12 余分な書式: 2 指示に従っていない: 2 無効なツール呼び出し: 2 反AIトリック : 3.0 コーディング : 3.9 複合 : 3.2 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 3.9 指示追従 : 6.5 パズル解決 : 3.5 ツール呼び出し : 9.5 雑学 : 3.0
#143#143	Seed-2.0-Codehigh	6.9	Bytedance Seed	$1.273	124.18s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 8.6 試行ごとの合格率 63.6% 不安定なテスト 5 入力トークン 81,970 出力トークン 7,186 推論トークン 403,389 応答時間（平均） 124.18s 応答時間（合計） 2732.03s 応答時間（最大） 675.30s API エラー: 5 不正解: 4 指示に従っていない: 1 回答なし: 1 反AIトリック : 8.3 コーディング : 6.2 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 4.6 指示追従 : 9.8 パズル解決 : 7.8 ツール呼び出し : 4.7 雑学 : 3.0
#248#248	Seed-2.0-Codenone	5.3	Bytedance Seed	$0.151	14.67s
モデルカードを見る合計テスト数 22 誤答テスト数 16 信頼性 8.6 試行ごとの合格率 36.4% 不安定なテスト 5 入力トークン 159,749 出力トークン 23,433 推論トークン 0 応答時間（平均） 14.67s 応答時間（合計） 322.71s 応答時間（最大） 132.84s 不正解: 11 余分な書式: 2 指示に従っていない: 2 回答なし: 1 反AIトリック : 3.0 コーディング : 3.6 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 5.0 指示追従 : 6.2 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#294#294	GLM 4.7 Flashmedium	4.3	Z.ai	$0.168	134.34s
モデルカードを見る合計テスト数 22 誤答テスト数 18 信頼性 8.6 試行ごとの合格率 31.8% 不安定なテスト 8 入力トークン 79,104 出力トークン 42,254 推論トークン 377,280 応答時間（平均） 134.34s 応答時間（合計） 2015.13s 応答時間（最大） 1539.97s 不正解: 9 回答なし: 3 指示に従っていない: 2 無効なツール呼び出し: 2 タイムアウト: 2 反AIトリック : 4.7 コーディング : 3.2 複合 : 2.9 データ解析と抽出 : 6.3 ドメイン特化 : 3.5 汎用知能 : 3.6 指示追従 : 6.2 パズル解決 : 2.9 ツール呼び出し : 10.0 雑学 : 3.0
#296#296	Granite 4.2 8Bnone	4.3	IBM Granite	$0.026	86.27s
モデルカードを見る合計テスト数 22 誤答テスト数 19 信頼性 8.6 試行ごとの合格率 16.7% 不安定なテスト 2 入力トークン 57,786 出力トークン 130,805 推論トークン 0 応答時間（平均） 86.27s 応答時間（合計） 1897.96s 応答時間（最大） 747.17s 不正解: 11 余分な書式: 4 タイムアウト: 3 指示に従っていない: 1 反AIトリック : 4.9 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 2.9 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 3.0 パズル解決 : 3.0 ツール呼び出し : 10.0 雑学 : 3.0
#86#86	Seed-2.0-Codelow	7.7	Bytedance Seed	$0.767	72.24s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 8.5 試行ごとの合格率 77.3% 不安定なテスト 6 入力トークン 85,657 出力トークン 8,142 推論トークン 233,167 応答時間（平均） 72.24s 応答時間（合計） 1589.31s 応答時間（最大） 485.92s 不正解: 6 API エラー: 2 指示に従っていない: 1 反AIトリック : 8.7 コーディング : 7.0 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 6.5 指示追従 : 9.8 パズル解決 : 9.9 ツール呼び出し : 10.0 雑学 : 3.0
#216#216	North Mini Codemedium	5.7	Cohere	$0.000	141.99s
モデルカードを見る合計テスト数 22 誤答テスト数 14 信頼性 8.5 試行ごとの合格率 43.9% 不安定なテスト 4 入力トークン 81,742 出力トークン 423,884 推論トークン 1,340,907 応答時間（平均） 141.99s 応答時間（合計） 3123.87s 応答時間（最大） 786.72s 不正解: 9 余分な書式: 2 API エラー: 1 無効なツール呼び出し: 1 タイムアウト: 1 反AIトリック : 8.4 コーディング : 4.5 複合 : 2.9 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.1 指示追従 : 9.8 パズル解決 : 3.3 ツール呼び出し : 10.0 雑学 : 3.0
#134#134	GLM 5.1medium	7.0	Z.ai	$0.727 ↓	58.80s
モデルカードを見る合計テスト数 22 誤答テスト数 10 信頼性 8.1 試行ごとの合格率 65.2% 不安定なテスト 4 入力トークン 82,592 出力トークン 16,089 推論トークン 199,800 応答時間（平均） 58.80s 応答時間（合計） 1234.72s 応答時間（最大） 308.75s 不正解: 4 回答なし: 2 タイムアウト: 2 API エラー: 1 余分な書式: 1 反AIトリック : 10.0 コーディング : 4.6 複合 : 9.8 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 6.4 パズル解決 : 8.2 ツール呼び出し : 3.0 雑学 : 3.0
#287#287	Granite 4.2 8Bhigh	4.6	IBM Granite	$0.084	235.89s
モデルカードを見る合計テスト数 22 誤答テスト数 18 信頼性 7.6 試行ごとの合格率 39.4% 不安定なテスト 10 入力トークン 43,278 出力トークン 181,083 推論トークン 431,132 応答時間（平均） 235.89s 応答時間（合計） 5189.64s 応答時間（最大） 685.87s タイムアウト: 10 不正解: 6 無効なツール呼び出し: 1 回答なし: 1 反AIトリック : 6.9 コーディング : 3.8 複合 : 5.0 データ解析と抽出 : 3.8 ドメイン特化 : 2.9 汎用知能 : 5.5 指示追従 : 6.4 パズル解決 : 2.9 ツール呼び出し : 10.0 雑学 : 3.0
#147#147	Seed-2.0-Codemedium	6.8	Bytedance Seed	$1.153	101.05s
モデルカードを見る合計テスト数 22 誤答テスト数 12 信頼性 7.3 試行ごとの合格率 63.6% 不安定なテスト 7 入力トークン 76,036 出力トークン 7,267 推論トークン 364,176 応答時間（平均） 101.05s 応答時間（合計） 2223.19s 応答時間（最大） 626.58s API エラー: 6 不正解: 4 余分な書式: 1 指示に従っていない: 1 反AIトリック : 6.9 コーディング : 8.9 複合 : 4.7 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 4.7 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium