AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-09-03 評価済みモデル数: 311

311/311

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#161#161	Gemini 3.1 Flash Litelow	6.6	Google	$0.621	16.25s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 2 入力トークン 94,233 出力トークン 7,759 推論トークン 390,132 応答時間（平均） 16.25s 応答時間（合計） 357.39s 応答時間（最大） 318.02s 不正解: 8 無効なツール呼び出し: 1 反AIトリック : 7.3 コーディング : 5.5 複合 : 3.2 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#167#167	Hy3 previewmedium	6.5	Tencent	$0.049 ↕	16.28s
モデルカードを見る合計テスト数 21 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 0 入力トークン 27,030 出力トークン 73,544 推論トークン 0 応答時間（平均） 16.28s 応答時間（合計） 293.12s 応答時間（最大） 46.04s API エラー: 3 不正解: 3 指示に従っていない: 1 反AIトリック : 10.0 コーディング : 5.3 複合 : 5.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#86#86	GPT-5.6 Lunahigh	7.6	OpenAI	$0.179 ↓	16.49s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 69.7% 不安定なテスト 4 入力トークン 80,927 出力トークン 5,088 推論トークン 130,227 応答時間（平均） 16.49s 応答時間（合計） 362.78s 応答時間（最大） 111.09s 不正解: 8 反AIトリック : 8.3 コーディング : 5.5 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 9.9 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 3.0
#159#159	Gemini 3.1 Flash Lite Previewlow	6.6	Google	$0.646	16.67s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 0 入力トークン 110,196 出力トークン 14,717 推論トークン 397,462 応答時間（平均） 16.67s 応答時間（合計） 366.69s 応答時間（最大） 309.35s 不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1 反AIトリック : 8.3 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#1🥇 #1	Gemini 3.6 Flashhigh	9.9	Google	$0.699 ↓	16.81s
モデルカードを見る合計テスト数 22 誤答テスト数 1 信頼性 10.0 試行ごとの合格率 98.5% 不安定なテスト 1 入力トークン 71,470 出力トークン 3,276 推論トークン 168,709 応答時間（平均） 16.81s 応答時間（合計） 369.88s 応答時間（最大） 104.15s 不正解: 1 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 8.2 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#25#25	GPT-5.3-Codexmedium	8.9	OpenAI	$0.988	16.91s
モデルカードを見る合計テスト数 22 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 83.3% 不安定なテスト 4 入力トークン 81,187 出力トークン 6,258 推論トークン 54,116 応答時間（平均） 16.91s 応答時間（合計） 372.03s 応答時間（最大） 100.93s 不正解: 4 指示に従っていない: 2 反AIトリック : 8.7 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 4.6 指示追従 : 10.0 パズル解決 : 9.0 ツール呼び出し : 10.0 雑学 : 2.8
#308#308	Nemotron 3 Nano Omni 30b A3b Reasoningmedium	3.4	NVIDIA	$0.000	17.13s
モデルカードを見る合計テスト数 19 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 27.3% 不安定なテスト 5 入力トークン 11,661 出力トークン 48,491 推論トークン 180,695 応答時間（平均） 17.13s 応答時間（合計） 222.66s 応答時間（最大） 147.45s 不正解: 7 API エラー: 6 指示に従っていない: 1 回答なし: 1 反AIトリック : 6.4 コーディング : 1.1 複合 : 1.5 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 3.0 指示追従 : 7.3 パズル解決 : 2.9 ツール呼び出し : 3.0 雑学 : 3.0
#124#124	Step 3.7 Flashlow	7.1	Stepfun	$0.390	17.87s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 5 入力トークン 103,842 出力トークン 320,393 推論トークン 0 応答時間（平均） 17.87s 応答時間（合計） 393.04s 応答時間（最大） 124.75s 不正解: 9 無効なツール呼び出し: 1 回答なし: 1 反AIトリック : 8.7 コーディング : 8.2 複合 : 7.3 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 3.4 指示追従 : 9.8 パズル解決 : 5.5 ツール呼び出し : 10.0 雑学 : 3.0
#262#262	DeepSeek V3.2none	5.0	DeepSeek	$0.054 ↑	17.89s
モデルカードを見る合計テスト数 22 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 36.4% 不安定なテスト 5 入力トークン 135,831 出力トークン 42,099 推論トークン 0 応答時間（平均） 17.89s 応答時間（合計） 393.53s 応答時間（最大） 115.89s 不正解: 8 API エラー: 3 余分な書式: 2 無効なツール呼び出し: 2 指示に従っていない: 1 反AIトリック : 3.2 コーディング : 3.1 複合 : 4.8 データ解析と抽出 : 6.3 ドメイン特化 : 3.0 汎用知能 : 4.7 指示追従 : 10.0 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 3.0
#238#238	Kimi K2.5none	5.4	Moonshot AI	$0.101 ↓	18.03s
モデルカードを見る合計テスト数 22 誤答テスト数 17 信頼性 10.0 試行ごとの合格率 30.3% 不安定なテスト 4 入力トークン 89,320 出力トークン 26,643 推論トークン 0 応答時間（平均） 18.03s 応答時間（合計） 288.42s 応答時間（最大） 102.83s 不正解: 16 回答なし: 1 反AIトリック : 3.6 コーディング : 5.5 複合 : 2.8 データ解析と抽出 : 7.3 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 6.5 パズル解決 : 3.0 ツール呼び出し : 10.0 雑学 : 3.0
#123#123	Muse Glimmer 30Blow	7.1	Meta	$0.152 ↓	18.64s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 5 入力トークン 130,312 出力トークン 33,867 推論トークン 62,103 応答時間（平均） 18.64s 応答時間（合計） 410.18s 応答時間（最大） 234.92s 不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 1 回答なし: 1 反AIトリック : 8.7 コーディング : 8.1 複合 : 3.8 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 5.0 指示追従 : 8.4 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#256#256	Qwen3.5-9Bnone	5.1	Qwen	$0.021 ↑	19.19s
モデルカードを見る合計テスト数 22 誤答テスト数 18 信頼性 10.0 試行ごとの合格率 19.7% 不安定なテスト 1 入力トークン 144,416 出力トークン 37,484 推論トークン 0 応答時間（平均） 19.19s 応答時間（合計） 422.25s 応答時間（最大） 382.06s 不正解: 14 指示に従っていない: 2 無効なツール呼び出し: 2 反AIトリック : 3.1 コーディング : 3.9 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 4.4 指示追従 : 6.5 パズル解決 : 3.2 ツール呼び出し : 10.0 雑学 : 3.0
#217#217	Kimi K2.6none	5.7	Moonshot AI	$0.233 ↑	19.57s
モデルカードを見る合計テスト数 22 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 30.3% 不安定なテスト 2 入力トークン 116,983 出力トークン 30,249 推論トークン 0 応答時間（平均） 19.57s 応答時間（合計） 430.58s 応答時間（最大） 238.89s 不正解: 12 指示に従っていない: 3 回答なし: 1 反AIトリック : 4.6 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.4 指示追従 : 6.5 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#37#37	Muse Spark 1.2medium	8.6	Meta	$1.339	19.67s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 74.2% 不安定なテスト 4 入力トークン 123,680 出力トークン 7,222 推論トークン 271,442 応答時間（平均） 19.67s 応答時間（合計） 432.72s 応答時間（最大） 142.49s 指示に従っていない: 3 不正解: 3 余分な書式: 1 無効なツール呼び出し: 1 反AIトリック : 7.3 コーディング : 10.0 複合 : 8.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#6#6	Gemini 3 Flash Previewmedium	9.5	Google	$0.763	19.86s
モデルカードを見る合計テスト数 22 誤答テスト数 2 信頼性 10.0 試行ごとの合格率 93.9% 不安定なテスト 1 入力トークン 87,870 出力トークン 5,486 推論トークン 234,122 応答時間（平均） 19.86s 応答時間（合計） 436.88s 応答時間（最大） 117.26s 不正解: 2 反AIトリック : 10.0 コーディング : 8.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#177#177	MiMo-V2-Flashmedium	6.3	Xiaomi	$0.043 ↑	20.11s
モデルカードを見る合計テスト数 21 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 62.1% 不安定なテスト 3 入力トークン 40,111 出力トークン 12,476 推論トークン 125,039 応答時間（平均） 20.11s 応答時間（合計） 301.59s 応答時間（最大） 96.01s 不正解: 5 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1 反AIトリック : 8.1 コーディング : 6.0 複合 : 4.9 データ解析と抽出 : 6.5 ドメイン特化 : 5.9 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#110#110	KAT-Coder-Pro V2.5low	7.3	Kwaipilot	$0.400	20.20s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 68.2% 不安定なテスト 8 入力トークン 87,682 出力トークン 7,166 推論トークン 106,027 応答時間（平均） 20.20s 応答時間（合計） 444.35s 応答時間（最大） 209.15s 不正解: 10 API エラー: 1 反AIトリック : 6.9 コーディング : 7.8 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 4.1 指示追従 : 10.0 パズル解決 : 6.4 ツール呼び出し : 10.0 雑学 : 3.0
#13#13	Gemini 3.1 Pro Previewmedium	9.2	Google	$1.352	20.62s
モデルカードを見る合計テスト数 22 誤答テスト数 2 信頼性 10.0 試行ごとの合格率 90.9% 不安定なテスト 0 入力トークン 92,296 出力トークン 5,232 推論トークン 92,006 応答時間（平均） 20.62s 応答時間（合計） 329.94s 応答時間（最大） 88.68s 不正解: 2 反AIトリック : 10.0 コーディング : 7.9 複合 : 9.8 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#239#239	DeepSeek V4 Flash 0731none	5.4	DeepSeek	$0.011 ↓	20.72s
モデルカードを見る合計テスト数 22 誤答テスト数 18 信頼性 10.0 試行ごとの合格率 27.3% 不安定なテスト 4 入力トークン 94,566 出力トークン 25,426 推論トークン 0 応答時間（平均） 20.72s 応答時間（合計） 455.81s 応答時間（最大） 387.15s 不正解: 13 指示に従っていない: 2 無効なツール呼び出し: 2 余分な書式: 1 反AIトリック : 3.4 コーディング : 4.3 複合 : 3.7 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.4 指示追従 : 5.0 パズル解決 : 3.2 ツール呼び出し : 9.5 雑学 : 3.0
#184#184	gpt-oss-120bmedium	6.1	OpenAI	$0.020 ↓	20.81s
モデルカードを見る合計テスト数 22 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 50.0% 不安定なテスト 5 入力トークン 108,767 出力トークン 29,378 推論トークン 68,904 応答時間（平均） 20.81s 応答時間（合計） 332.88s 応答時間（最大） 68.16s 不正解: 9 指示に従っていない: 3 無効なツール呼び出し: 1 反AIトリック : 6.7 コーディング : 5.9 複合 : 6.5 データ解析と抽出 : 6.4 ドメイン特化 : 2.9 汎用知能 : 4.3 指示追従 : 9.9 パズル解決 : 5.3 ツール呼び出し : 9.8 雑学 : 3.0
#53#53	Gemini 2.5 Flashmedium	8.2	Google	$0.644	21.14s
モデルカードを見る合計テスト数 22 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 71.2% 不安定なテスト 1 入力トークン 132,507 出力トークン 12,739 推論トークン 228,626 応答時間（平均） 21.14s 応答時間（合計） 465.10s 応答時間（最大） 140.50s 不正解: 6 指示に従っていない: 1 反AIトリック : 8.4 コーディング : 7.8 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#307#307	gpt-oss-120bnone	3.7	OpenAI	$0.010 ↓	21.61s
モデルカードを見る合計テスト数 19 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 33.3% 不安定なテスト 2 入力トークン 9,081 出力トークン 51,664 推論トークン 0 応答時間（平均） 21.61s 応答時間（合計） 345.79s 応答時間（最大） 113.71s 不正解: 8 API エラー: 3 指示に従っていない: 2 反AIトリック : 6.5 コーディング : 1.5 複合 : 1.5 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 6.0 ツール呼び出し : 3.0 雑学 : 3.0
#41#41	Qwen3.8 Maxlow	8.6	Qwen	$0.702	21.83s
モデルカードを見る合計テスト数 22 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 80.3% 不安定なテスト 3 入力トークン 99,181 出力トークン 6,132 推論トークン 77,689 応答時間（平均） 21.83s 応答時間（合計） 480.37s 応答時間（最大） 155.75s 不正解: 5 指示に従っていない: 1 反AIトリック : 10.0 コーディング : 8.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.5 指示追従 : 10.0 パズル解決 : 9.9 ツール呼び出し : 10.0 雑学 : 3.0
#117#117	KAT-Coder-Pro V2.5high	7.2	Kwaipilot	$0.506	22.11s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 6 入力トークン 106,085 出力トークン 9,071 推論トークン 135,288 応答時間（平均） 22.11s 応答時間（合計） 486.31s 応答時間（最大） 199.97s 不正解: 10 無効なツール呼び出し: 1 反AIトリック : 7.0 コーディング : 6.4 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.1 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#176#176	Mimo V2 PROmedium	6.3	Xiaomi	$0.333 ↑	22.16s
モデルカードを見る合計テスト数 21 誤答テスト数 9 信頼性 9.6 試行ごとの合格率 69.7% 不安定なテスト 5 入力トークン 40,961 出力トークン 2,518 推論トークン 81,801 応答時間（平均） 22.16s 応答時間（合計） 443.22s 応答時間（最大） 136.29s 不正解: 5 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1 反AIトリック : 10.0 コーディング : 6.0 複合 : 2.3 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 6.4 ツール呼び出し : 10.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium GPT-5.6 SolmediumvsGPT-5.6 Solhigh GPT-5.6 SolhighvsGPT-5.5low GPT-5.5lowvsGrok 4.6high Grok 4.6highvsGemini 3.1 Pro Previewmedium