AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-01 評価済みモデル数: 382

382/382

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#232#232	Trinity Large Thinkingmedium	6.1	Arcee AI	$0.862	84.01s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 49.3% 不安定なテスト 7 入力トークン 319,352 出力トークン 158,447 推論トークン 875,524 応答時間（平均） 84.01s 応答時間（合計） 1932.24s 応答時間（最大） 525.14s 不正解: 9 指示に従っていない: 4 無効なツール呼び出し: 2 エージェントタスク : 6.1 反AIトリック : 6.8 コーディング : 7.5 複合 : 2.9 データ解析と抽出 : 6.3 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 4.4 パズル解決 : 5.2 ツール呼び出し : 10.0 雑学 : 3.0
#231#231	Gemini 3.5 Flashnone	6.1	Google	$1.752	14.13s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 68.1% 不安定なテスト 4 入力トークン 246,061 出力トークン 153,595 推論トークン 0 応答時間（平均） 14.13s 応答時間（合計） 268.55s 応答時間（最大） 85.26s API エラー: 4 不正解: 4 無効なツール呼び出し: 1 エージェントタスク : 2.8 反AIトリック : 10.0 コーディング : 8.8 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 2.8
#230#230	Claude Fable 5.1low	6.2	Anthropic	$3.395	11.40s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 55.1% 不安定なテスト 3 入力トークン 209,116 出力トークン 10,031 推論トークン 16,042 応答時間（平均） 11.40s 応答時間（合計） 262.14s 応答時間（最大） 34.77s 余分な書式: 4 不正解: 4 指示に従っていない: 3 API エラー: 1 エージェントタスク : 2.8 反AIトリック : 6.5 コーディング : 3.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 6.5 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#229#229	Gemini 3.1 Flash Lite Previewnone	6.2	Google	$0.090	3.60s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 55.1% 不安定なテスト 1 入力トークン 261,962 出力トークン 15,760 推論トークン 0 応答時間（平均） 3.60s 応答時間（合計） 82.91s 応答時間（最大） 48.59s 不正解: 8 指示に従っていない: 2 回答なし: 1 エージェントタスク : 5.0 反AIトリック : 7.5 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#228#228	DeepSeek V4 Flash 0731none	6.2	DeepSeek	$0.055 ↑	27.42s
モデルカードを見る合計テスト数 23 誤答テスト数 18 信頼性 10.0 試行ごとの合格率 30.4% 不安定なテスト 4 入力トークン 349,876 出力トークン 39,789 推論トークン 0 応答時間（平均） 27.42s 応答時間（合計） 630.70s 応答時間（最大） 387.15s 不正解: 13 指示に従っていない: 2 無効なツール呼び出し: 2 余分な書式: 1 エージェントタスク : 10.0 反AIトリック : 3.4 コーディング : 4.3 複合 : 3.7 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.4 指示追従 : 5.0 パズル解決 : 3.2 ツール呼び出し : 9.5 雑学 : 3.0
#227#227	GLM 5 Turbomedium	6.2	Z.ai	$0.323 ↑	23.00s
モデルカードを見る合計テスト数 21 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 68.1% 不安定なテスト 4 入力トークン 35,593 出力トークン 12,245 推論トークン 62,277 応答時間（平均） 23.00s 応答時間（合計） 482.97s 応答時間（最大） 194.23s 不正解: 4 指示に従っていない: 1 回答なし: 1 タイムアウト: 1 エージェントタスク : 0.0 反AIトリック : 10.0 コーディング : 8.2 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#226#226	KAT-Coder-Pro V2.5medium	6.2	Kwaipilot	$0.669 ↑	23.94s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 62.3% 不安定なテスト 8 入力トークン 87,916 出力トークン 7,213 推論トークン 132,162 応答時間（平均） 23.94s 応答時間（合計） 550.52s 応答時間（最大） 257.00s 不正解: 9 API エラー: 2 指示に従っていない: 1 エージェントタスク : 3.0 反AIトリック : 8.2 コーディング : 7.8 複合 : 6.4 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 4.7 指示追従 : 9.9 パズル解決 : 5.9 ツール呼び出し : 10.0 雑学 : 3.0
#225#225	Space Bunny Alphaxhigh	6.2	Stealth	$0.000	60.03s
モデルカードを見る合計テスト数 23 誤答テスト数 14 信頼性 10.0 試行ごとの合格率 55.1% 不安定なテスト 8 入力トークン 363,310 出力トークン 381,919 推論トークン 0 応答時間（平均） 60.03s 応答時間（合計） 1380.67s 応答時間（最大） 459.99s 不正解: 9 指示に従っていない: 2 回答なし: 2 無効なツール呼び出し: 1 エージェントタスク : 5.2 反AIトリック : 6.4 コーディング : 6.6 複合 : 3.2 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 5.0 指示追従 : 5.6 パズル解決 : 7.9 ツール呼び出し : 10.0 雑学 : 3.0
#223#223	DeepSeek V4 Flash 0423none	6.3	DeepSeek	$0.027 ↓	38.64s
モデルカードを見る合計テスト数 23 誤答テスト数 18 信頼性 10.0 試行ごとの合格率 30.4% 不安定なテスト 4 入力トークン 403,455 出力トークン 115,591 推論トークン 0 応答時間（平均） 38.64s 応答時間（合計） 888.69s 応答時間（最大） 247.27s 不正解: 13 余分な書式: 2 無効なツール呼び出し: 2 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 3.0 コーディング : 4.2 複合 : 4.6 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 4.2 指示追従 : 6.5 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#224#224	Grok 4.20medium	6.3	X AI	$1.246 ↓	36.73s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 58.0% 不安定なテスト 5 入力トークン 392,127 出力トークン 7,754 推論トークン 294,333 応答時間（平均） 36.73s 応答時間（合計） 844.68s 応答時間（最大） 199.66s 不正解: 7 余分な書式: 2 指示に従っていない: 2 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 8.2 コーディング : 6.3 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 3.9 指示追従 : 9.8 パズル解決 : 7.7 ツール呼び出し : 3.0 雑学 : 3.0
#222#222	Trinity Large Thinkinglow	6.3	Arcee AI	$0.918 ↑	95.16s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 47.8% 不安定なテスト 6 入力トークン 347,980 出力トークン 121,898 推論トークン 720,302 応答時間（平均） 95.16s 応答時間（合計） 2188.74s 応答時間（最大） 540.96s 不正解: 7 指示に従っていない: 3 API エラー: 2 無効なツール呼び出し: 2 回答なし: 1 エージェントタスク : 7.4 反AIトリック : 8.3 コーディング : 5.3 複合 : 5.2 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 10.0 指示追従 : 4.4 パズル解決 : 6.3 ツール呼び出し : 10.0 雑学 : 3.0
#221#221	DeepSeek V3.2medium	6.3	DeepSeek	$0.152 ↑	70.08s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 62.3% 不安定なテスト 7 入力トークン 306,662 出力トークン 17,819 推論トークン 125,341 応答時間（平均） 70.08s 応答時間（合計） 1611.86s 応答時間（最大） 376.10s 不正解: 6 API エラー: 2 タイムアウト: 2 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 8.2 コーディング : 6.0 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 3.4 指示追従 : 10.0 パズル解決 : 7.0 ツール呼び出し : 10.0 雑学 : 3.0
#220#220	Space Bunny Alphamedium	6.3	Stealth	$0.000	32.88s
モデルカードを見る合計テスト数 23 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 55.1% 不安定なテスト 5 入力トークン 267,840 出力トークン 192,115 推論トークン 0 応答時間（平均） 32.88s 応答時間（合計） 756.28s 応答時間（最大） 197.32s 不正解: 11 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 5.2 コーディング : 5.4 複合 : 3.8 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.4 指示追従 : 9.8 パズル解決 : 7.9 ツール呼び出し : 10.0 雑学 : 3.0
#219#219	Claude Opus 4.6medium	6.3	Anthropic	$2.961	32.23s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 60.9% 不安定なテスト 3 入力トークン 108,573 出力トークン 69,994 推論トークン 26,728 応答時間（平均） 32.23s 応答時間（合計） 515.65s 応答時間（最大） 151.51s 余分な書式: 4 不正解: 4 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 6.4 コーディング : 5.7 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#218#218	Qwen3.5 Plus 2026-02-15none	6.3	Qwen	$0.176	20.07s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 52.2% 不安定なテスト 3 入力トークン 346,064 出力トークン 53,060 推論トークン 0 応答時間（平均） 20.07s 応答時間（合計） 341.27s 応答時間（最大） 183.50s 不正解: 11 無効なツール呼び出し: 1 エージェントタスク : 5.2 反AIトリック : 4.8 コーディング : 4.3 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 4.4 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#217#217	Solar Pro 4high	6.3	Upstage	$0.077 ↑	128.91s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 60.9% 不安定なテスト 6 入力トークン 209,002 出力トークン 24,675 推論トークン 377,528 応答時間（平均） 128.91s 応答時間（合計） 2965.04s 応答時間（最大） 491.07s 不正解: 6 指示に従っていない: 3 API エラー: 1 余分な書式: 1 回答なし: 1 エージェントタスク : 2.8 反AIトリック : 8.7 コーディング : 5.7 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 5.5 指示追従 : 7.9 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#216#216	Gemini 3.1 Flash Litelow	6.3	Google	$0.717	19.02s
モデルカードを見る合計テスト数 23 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 60.9% 不安定なテスト 2 入力トークン 312,368 出力トークン 9,429 推論トークン 416,147 応答時間（平均） 19.02s 応答時間（合計） 437.38s 応答時間（最大） 318.02s 不正解: 9 無効なツール呼び出し: 1 エージェントタスク : 5.0 反AIトリック : 7.3 コーディング : 5.5 複合 : 3.2 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#215#215	Gemini 3.1 Flash Lite Previewlow	6.3	Google	$0.736	19.04s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 60.9% 不安定なテスト 0 入力トークン 309,715 出力トークン 16,170 推論トークン 422,721 応答時間（平均） 19.04s 応答時間（合計） 437.98s 応答時間（最大） 309.35s 不正解: 7 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 5.0 反AIトリック : 8.3 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#214#214	Gemini 3.5 Flash Litelow	6.3	Google	$0.183	4.79s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 66.7% 不安定なテスト 6 入力トークン 275,779 出力トークン 14,401 推論トークン 25,511 応答時間（平均） 4.79s 応答時間（合計） 110.24s 応答時間（最大） 53.91s 不正解: 9 指示に従っていない: 1 回答なし: 1 エージェントタスク : 5.0 反AIトリック : 9.0 コーディング : 4.3 複合 : 3.8 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 4.7
#213#213	Qwen3.6 27Bnone	6.3	Qwen	$0.147 ↓	12.71s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 47.8% 不安定なテスト 6 入力トークン 250,919 出力トークン 20,816 推論トークン 0 応答時間（平均） 12.71s 応答時間（合計） 292.29s 応答時間（最大） 156.31s 不正解: 11 指示に従っていない: 2 無効なツール呼び出し: 2 エージェントタスク : 10.0 反AIトリック : 3.8 コーディング : 5.5 複合 : 3.2 データ解析と抽出 : 7.3 ドメイン特化 : 7.7 汎用知能 : 5.2 指示追従 : 6.2 パズル解決 : 5.3 ツール呼び出し : 9.5 雑学 : 3.0
#212#212	Qwen3.5-35B-A3Bmedium	6.3	Qwen	$1.249 ↑	111.54s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 7 入力トークン 378,048 出力トークン 56,477 推論トークン 865,151 応答時間（平均） 111.54s 応答時間（合計） 2565.38s 応答時間（最大） 950.25s 回答なし: 3 タイムアウト: 3 不正解: 3 API エラー: 1 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 7.4 反AIトリック : 10.0 コーディング : 5.9 複合 : 3.8 データ解析と抽出 : 7.3 ドメイン特化 : 3.5 汎用知能 : 2.8 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#211#211	LongCat 2.0none	6.4	Meituan	$0.104	8.50s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 42.0% 不安定なテスト 3 入力トークン 276,199 出力トークン 17,473 推論トークン 0 応答時間（平均） 8.50s 応答時間（合計） 195.60s 応答時間（最大） 81.77s 不正解: 13 余分な書式: 1 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 4.8 コーディング : 5.5 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 6.5 パズル解決 : 4.0 ツール呼び出し : 10.0 雑学 : 3.0
#209#209	Dots 3 Note Previewhigh	6.4	Dots Studio	$0.000	70.48s
モデルカードを見る合計テスト数 23 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 59.4% 不安定なテスト 7 入力トークン 255,887 出力トークン 154,879 推論トークン 603,518 応答時間（平均） 70.48s 応答時間（合計） 1620.93s 応答時間（最大） 480.52s 不正解: 9 回答なし: 2 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 8.7 コーディング : 5.8 複合 : 6.9 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 3.4 指示追従 : 8.3 パズル解決 : 5.5 ツール呼び出し : 10.0 雑学 : 3.0
#210#210	Dots 3 Note Previewlow	6.4	Dots Studio	$0.000	66.13s
モデルカードを見る合計テスト数 23 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 58.0% 不安定なテスト 6 入力トークン 260,850 出力トークン 125,908 推論トークン 516,424 応答時間（平均） 66.13s 応答時間（合計） 1520.96s 応答時間（最大） 417.36s 不正解: 8 指示に従っていない: 2 回答なし: 2 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 5.9 複合 : 6.9 データ解析と抽出 : 7.3 ドメイン特化 : 3.6 汎用知能 : 4.0 指示追従 : 7.9 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 3.0
#208#208	MiMo-V2.5-Promedium	6.4	Xiaomi	$0.332 ↓	56.72s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 63.8% 不安定なテスト 7 入力トークン 253,462 出力トークン 40,269 推論トークン 185,716 応答時間（平均） 56.72s 応答時間（合計） 1304.54s 応答時間（最大） 333.34s 不正解: 4 余分な書式: 3 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 4.7 反AIトリック : 10.0 コーディング : 6.2 複合 : 6.9 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 5.5 指示追従 : 9.9 パズル解決 : 6.7 ツール呼び出し : 10.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow