AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-09-03 評価済みモデル数: 311

311/311

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#118#118	Muse Glimmer 30Bhigh	7.2	Meta	$0.430 ↓	66.70s
モデルカードを見る合計テスト数 22 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 8 入力トークン 103,494 出力トークン 100,589 推論トークン 270,217 応答時間（平均） 66.70s 応答時間（合計） 1467.39s 応答時間（最大） 451.90s 不正解: 7 指示に従っていない: 3 回答なし: 2 反AIトリック : 8.7 コーディング : 8.8 複合 : 6.4 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 5.3 指示追従 : 8.4 パズル解決 : 6.1 ツール呼び出し : 10.0 雑学 : 3.0
#10#10	GPT-5.6 Solhigh	9.4	OpenAI	$0.446 ↓	11.48s
モデルカードを見る合計テスト数 22 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 89.4% 不安定なテスト 3 入力トークン 79,258 出力トークン 4,855 推論トークン 23,853 応答時間（平均） 11.48s 応答時間（合計） 252.62s 応答時間（最大） 54.79s 不正解: 4 反AIトリック : 8.7 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 4.7
#106#106	Grok 4.6low	7.4	X AI	$0.449	14.55s
モデルカードを見る合計テスト数 22 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 69.7% 不安定なテスト 1 入力トークン 109,960 出力トークン 5,124 推論トークン 32,924 応答時間（平均） 14.55s 応答時間（合計） 320.17s 応答時間（最大） 26.46s 不正解: 7 反AIトリック : 10.0 コーディング : 5.5 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#28#28	Gemini 3.5 Flashlow	8.8	Google	$0.449	5.76s
モデルカードを見る合計テスト数 22 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 84.9% 不安定なテスト 2 入力トークン 87,826 出力トークン 2,239 推論トークン 32,956 応答時間（平均） 5.76s 応答時間（合計） 126.71s 応答時間（最大） 53.55s 不正解: 3 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 7.8 複合 : 8.2 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#154#154	GLM 5V Turbomedium	6.7	Z.ai	$0.457	23.08s
モデルカードを見る合計テスト数 21 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 6 入力トークン 44,615 出力トークン 2,347 推論トークン 98,415 応答時間（平均） 23.08s 応答時間（合計） 484.63s 応答時間（最大） 95.88s 不正解: 7 無効なツール呼び出し: 2 指示に従っていない: 1 反AIトリック : 7.2 コーディング : 6.0 複合 : 3.4 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 7.7 ツール呼び出し : 7.0 雑学 : 3.0
#94#94	Qwen3.5 Plus 2026-02-15medium	7.5	Qwen	$0.459 ↓	91.76s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 72.7% 不安定なテスト 5 入力トークン 113,569 出力トークン 9,823 推論トークン 264,886 応答時間（平均） 91.76s 応答時間（合計） 1376.42s 応答時間（最大） 304.85s 不正解: 4 タイムアウト: 2 API エラー: 1 無効なツール呼び出し: 1 反AIトリック : 8.2 コーディング : 6.6 複合 : 6.9 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.7 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#135#135	KAT-Coder-Pro V2.5medium	6.9	Kwaipilot	$0.478	24.87s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 8 入力トークン 87,916 出力トークン 7,213 推論トークン 132,162 応答時間（平均） 24.87s 応答時間（合計） 547.14s 応答時間（最大） 257.00s 不正解: 9 API エラー: 1 指示に従っていない: 1 反AIトリック : 8.2 コーディング : 7.8 複合 : 6.4 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 4.7 指示追従 : 9.9 パズル解決 : 5.9 ツール呼び出し : 10.0 雑学 : 3.0
#134#134	Kimi K2.5medium	7.0	Moonshot AI	$0.479 ↓	98.19s
モデルカードを見る合計テスト数 22 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 8 入力トークン 118,496 出力トークン 53,522 推論トークン 167,420 応答時間（平均） 98.19s 応答時間（合計） 1571.05s 応答時間（最大） 281.00s 不正解: 5 指示に従っていない: 2 回答なし: 2 タイムアウト: 2 無効なツール呼び出し: 1 反AIトリック : 7.3 コーディング : 6.1 複合 : 6.7 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.5 指示追従 : 10.0 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 3.0
#151#151	KAT-Coder-Pro V2.5none	6.7	Kwaipilot	$0.487	26.01s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 71.2% 不安定なテスト 8 入力トークン 98,508 出力トークン 139,572 推論トークン 0 応答時間（平均） 26.01s 応答時間（合計） 572.22s 応答時間（最大） 335.41s 不正解: 10 無効なツール呼び出し: 1 反AIトリック : 8.7 コーディング : 6.1 複合 : 4.1 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#83#83	DeepSeek V4 Prohigh	7.7	DeepSeek	$0.489 ↑	92.50s
モデルカードを見る合計テスト数 22 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 6 入力トークン 90,757 出力トークン 22,928 推論トークン 186,516 応答時間（平均） 92.50s 応答時間（合計） 2035.01s 応答時間（最大） 416.76s 不正解: 7 指示に従っていない: 2 API エラー: 1 回答なし: 1 タイムアウト: 1 反AIトリック : 5.7 コーディング : 6.3 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 7.8 パズル解決 : 6.9 ツール呼び出し : 9.8 雑学 : 3.0
#155#155	LongCat 2.0high	6.7	Meituan	$0.492	153.29s
モデルカードを見る合計テスト数 22 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 51.5% 不安定なテスト 4 入力トークン 93,411 出力トークン 30,470 推論トークン 356,172 応答時間（平均） 153.29s 応答時間（合計） 3372.36s 応答時間（最大） 941.66s 不正解: 7 指示に従っていない: 2 回答なし: 2 タイムアウト: 2 反AIトリック : 8.9 コーディング : 7.8 複合 : 10.0 データ解析と抽出 : 3.6 ドメイン特化 : 3.6 汎用知能 : 5.1 指示追従 : 6.5 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#68#68	Step 3.7 Flashmedium	7.9	Stepfun	$0.495	23.51s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 68.2% 不安定なテスト 3 入力トークン 114,191 出力トークン 409,709 推論トークン 0 応答時間（平均） 23.51s 応答時間（合計） 517.21s 応答時間（最大） 152.83s 不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1 反AIトリック : 8.7 コーディング : 8.8 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 9.8 パズル解決 : 5.7 ツール呼び出し : 10.0 雑学 : 3.0
#104#104	LongCat 2.0medium	7.4	Meituan	$0.499	143.55s
モデルカードを見る合計テスト数 22 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 59.1% 不安定なテスト 2 入力トークン 97,324 出力トークン 44,383 推論トークン 346,490 応答時間（平均） 143.55s 応答時間（合計） 3158.11s 応答時間（最大） 939.52s 不正解: 7 API エラー: 1 回答なし: 1 タイムアウト: 1 反AIトリック : 10.0 コーディング : 10.0 複合 : 7.3 データ解析と抽出 : 6.3 ドメイン特化 : 3.0 汎用知能 : 4.8 指示追従 : 6.5 パズル解決 : 5.4 ツール呼び出し : 10.0 雑学 : 3.0
#156#156	Claude Opus 4.7none	6.6	Anthropic	$0.505	3.02s
モデルカードを見る合計テスト数 19 誤答テスト数 3 信頼性 10.0 試行ごとの合格率 72.7% 不安定なテスト 0 入力トークン 69,576 出力トークン 6,265 推論トークン 0 応答時間（平均） 3.02s 応答時間（合計） 57.44s 応答時間（最大） 18.27s 不正解: 3 反AIトリック : 8.3 コーディング : 3.3 複合 : 4.8 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#117#117	KAT-Coder-Pro V2.5high	7.2	Kwaipilot	$0.506	22.11s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 6 入力トークン 106,085 出力トークン 9,071 推論トークン 135,288 応答時間（平均） 22.11s 応答時間（合計） 486.31s 応答時間（最大） 199.97s 不正解: 10 無効なツール呼び出し: 1 反AIトリック : 7.0 コーディング : 6.4 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.1 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#9#9	GPT-5.6 Solmedium	9.4	OpenAI	$0.508 ↓	12.63s
モデルカードを見る合計テスト数 22 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 90.9% 不安定なテスト 3 入力トークン 79,006 出力トークン 4,696 推論トークン 30,281 応答時間（平均） 12.63s 応答時間（合計） 277.88s 応答時間（最大） 79.40s 不正解: 4 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 4.7
#58#58	Muse Glimmer 30Bxhigh	8.1	Meta	$0.510 ↓	95.55s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 9.9 試行ごとの合格率 69.7% 不安定なテスト 4 入力トークン 110,930 出力トークン 116,373 推論トークン 330,471 応答時間（平均） 95.55s 応答時間（合計） 2102.12s 応答時間（最大） 576.79s 不正解: 4 回答なし: 3 指示に従っていない: 1 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.5 指示追従 : 8.4 パズル解決 : 7.8 ツール呼び出し : 10.0 雑学 : 3.0
#74#74	GPT-5.6 Terramedium	7.8	OpenAI	$0.523 ↓	6.85s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 69.7% 不安定なテスト 2 入力トークン 79,184 出力トークン 4,878 推論トークン 25,471 応答時間（平均） 6.85s 応答時間（合計） 150.65s 応答時間（最大） 41.68s 不正解: 8 反AIトリック : 8.3 コーディング : 6.1 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.5 指示追従 : 10.0 パズル解決 : 8.4 ツール呼び出し : 10.0 雑学 : 3.0
#93#93	GPT 5.3 Chatnone	7.5	OpenAI	$0.533	6.56s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 4 入力トークン 78,846 出力トークン 28,179 推論トークン 0 応答時間（平均） 6.56s 応答時間（合計） 137.77s 応答時間（最大） 18.33s 不正解: 6 指示に従っていない: 2 API エラー: 1 反AIトリック : 6.7 コーディング : 5.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.6 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#30#30	Gemini 3.5 Flash Litehigh	8.8	Google	$0.540	10.05s
モデルカードを見る合計テスト数 22 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 83.3% 不安定なテスト 2 入力トークン 93,046 出力トークン 5,884 推論トークン 198,741 応答時間（平均） 10.05s 応答時間（合計） 221.06s 応答時間（最大） 36.22s 不正解: 5 反AIトリック : 10.0 コーディング : 8.4 複合 : 9.9 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#130#130	GPT-5.5none	7.0	OpenAI	$0.544	2.35s
モデルカードを見る合計テスト数 22 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 59.1% 不安定なテスト 2 入力トークン 79,294 出力トークン 4,915 推論トークン 0 応答時間（平均） 2.35s 応答時間（合計） 51.78s 応答時間（最大） 12.24s 不正解: 10 反AIトリック : 6.9 コーディング : 5.5 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.2 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#300#300	Grok Build 0.1none	4.0	X AI	$0.547	28.69s
モデルカードを見る合計テスト数 19 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 43.9% 不安定なテスト 4 入力トークン 11,793 出力トークン 267,275 推論トークン 0 応答時間（平均） 28.69s 応答時間（合計） 459.00s 応答時間（最大） 138.35s 不正解: 7 API エラー: 3 指示に従っていない: 2 反AIトリック : 8.7 コーディング : 3.3 複合 : 1.5 データ解析と抽出 : 3.8 ドメイン特化 : 3.6 汎用知能 : 4.3 指示追従 : 9.8 パズル解決 : 6.4 ツール呼び出し : 3.0 雑学 : 3.0
#181#181	Claude Sonnet 5none	6.1	Anthropic	$0.548	6.05s
モデルカードを見る合計テスト数 22 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 40.9% 不安定なテスト 4 入力トークン 161,032 出力トークン 22,508 推論トークン 0 応答時間（平均） 6.05s 応答時間（合計） 132.99s 応答時間（最大） 33.39s 不正解: 8 余分な書式: 4 回答なし: 2 指示に従っていない: 1 反AIトリック : 5.3 コーディング : 4.6 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.7 指示追従 : 6.4 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#88#88	Nemotron 3 Ultramedium	7.6	NVIDIA	$0.567 ↕	33.62s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 9.8 試行ごとの合格率 66.7% 不安定なテスト 3 入力トークン 233,415 出力トークン 54,384 推論トークン 130,021 応答時間（平均） 33.62s 応答時間（合計） 739.59s 応答時間（最大） 392.56s 不正解: 7 API エラー: 1 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 8.4 複合 : 6.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 3.7 指示追従 : 9.8 パズル解決 : 5.5 ツール呼び出し : 10.0 雑学 : 3.0
#272#272	Trinity Large Thinkinghigh	4.8	Arcee AI	$0.592 ↓	75.86s
モデルカードを見る合計テスト数 22 誤答テスト数 17 信頼性 10.0 試行ごとの合格率 39.4% 不安定なテスト 8 入力トークン 101,776 出力トークン 276,367 推論トークン 656,252 応答時間（平均） 75.86s 応答時間（合計） 1668.93s 応答時間（最大） 510.21s 不正解: 10 指示に従っていない: 4 無効なツール呼び出し: 2 回答なし: 1 反AIトリック : 6.7 コーディング : 3.7 複合 : 3.0 データ解析と抽出 : 6.3 ドメイン特化 : 2.9 汎用知能 : 6.5 指示追従 : 6.3 パズル解決 : 4.7 ツール呼び出し : 10.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium GPT-5.6 SolmediumvsGPT-5.6 Solhigh GPT-5.6 SolhighvsGPT-5.5low GPT-5.5lowvsGrok 4.6high Grok 4.6highvsGemini 3.1 Pro Previewmedium