AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-01 評価済みモデル数: 382

382/382

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#257#257	Dots 3 Note Previewmedium	5.7	Dots Studio	$0.000	70.32s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 58.0% 不安定なテスト 9 入力トークン 208,598 出力トークン 120,583 推論トークン 590,044 応答時間（平均） 70.32s 応答時間（合計） 1617.43s 応答時間（最大） 459.19s 不正解: 10 指示に従っていない: 2 回答なし: 2 余分な書式: 1 エージェントタスク : 4.7 反AIトリック : 8.7 コーディング : 4.2 複合 : 9.9 データ解析と抽出 : 4.5 ドメイン特化 : 3.6 汎用知能 : 3.8 指示追従 : 8.5 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 3.0
#256#256	Seed 2.1 Turbonone	5.7	Bytedance Seed	$0.182	9.65s
モデルカードを見る合計テスト数 23 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 52.2% 不安定なテスト 3 入力トークン 298,242 出力トークン 13,105 推論トークン 0 応答時間（平均） 9.65s 応答時間（合計） 221.91s 応答時間（最大） 71.45s 不正解: 12 回答なし: 1 エージェントタスク : 5.0 反AIトリック : 4.8 コーディング : 4.5 複合 : 3.8 データ解析と抽出 : 7.1 ドメイン特化 : 7.7 汎用知能 : 5.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#255#255	GPT-5.4 Mininone	5.7	OpenAI	$0.170	3.34s
モデルカードを見る合計テスト数 23 誤答テスト数 17 信頼性 10.0 試行ごとの合格率 30.4% 不安定なテスト 2 入力トークン 172,438 出力トークン 8,828 推論トークン 0 応答時間（平均） 3.34s 応答時間（合計） 76.84s 応答時間（最大） 41.98s 不正解: 14 指示に従っていない: 3 エージェントタスク : 5.0 反AIトリック : 3.1 コーディング : 5.5 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 4.8 指示追従 : 6.3 パズル解決 : 5.4 ツール呼び出し : 3.0 雑学 : 3.0
#254#254	GPT-5 Nanomedium	5.7	OpenAI	$0.159 ↑	56.55s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 53.6% 不安定なテスト 10 入力トークン 314,436 出力トークン 13,578 推論トークン 294,343 応答時間（平均） 56.55s 応答時間（合計） 961.32s 応答時間（最大） 227.89s 不正解: 11 指示に従っていない: 2 回答なし: 1 タイムアウト: 1 エージェントタスク : 4.7 反AIトリック : 6.5 コーディング : 7.0 複合 : 6.4 データ解析と抽出 : 3.7 ドメイン特化 : 3.4 汎用知能 : 4.1 指示追従 : 9.8 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 3.0
#253#253	Trinity Large Thinkinghigh	5.7	Arcee AI	$0.794 ↑	74.52s
モデルカードを見る合計テスト数 23 誤答テスト数 17 信頼性 10.0 試行ごとの合格率 42.0% 不安定なテスト 8 入力トークン 283,116 出力トークン 277,920 推論トークン 665,124 応答時間（平均） 74.52s 応答時間（合計） 1713.90s 応答時間（最大） 510.21s 不正解: 10 指示に従っていない: 4 無効なツール呼び出し: 2 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 6.7 コーディング : 3.7 複合 : 3.0 データ解析と抽出 : 6.3 ドメイン特化 : 2.9 汎用知能 : 6.5 指示追従 : 6.3 パズル解決 : 4.7 ツール呼び出し : 10.0 雑学 : 3.0
#252#252	Ring 2.6 1tmedium	5.7	Inclusionai	$0.102 ↑	65.52s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 56.5% 不安定なテスト 3 入力トークン 113,613 出力トークン 122,706 推論トークン 42,325 応答時間（平均） 65.52s 応答時間（合計） 1376.01s 応答時間（最大） 304.19s 不正解: 6 API エラー: 3 指示に従っていない: 2 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 10.0 コーディング : 5.3 複合 : 7.3 データ解析と抽出 : 6.5 ドメイン特化 : 3.6 汎用知能 : 4.1 指示追従 : 9.8 パズル解決 : 5.9 ツール呼び出し : 10.0 雑学 : 3.0
#251#251	Ling 3.0 Flashhigh	5.8	Inclusionai	$0.021 ↕	13.08s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 9.8 試行ごとの合格率 60.9% 不安定なテスト 4 入力トークン 132,044 出力トークン 92,135 推論トークン 207,321 応答時間（平均） 13.08s 応答時間（合計） 287.79s 応答時間（最大） 75.27s 不正解: 7 API エラー: 2 無効なツール呼び出し: 2 エージェントタスク : 3.0 反AIトリック : 10.0 コーディング : 6.7 複合 : 2.9 データ解析と抽出 : 7.3 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#250#250	DeepSeek V4.1 Flashnone	5.8	DeepSeek	$0.157 ↓	16.63s
モデルカードを見る合計テスト数 23 誤答テスト数 16 信頼性 9.7 試行ごとの合格率 36.2% 不安定なテスト 3 入力トークン 337,756 出力トークン 292,779 推論トークン 0 応答時間（平均） 16.63s 応答時間（合計） 382.53s 応答時間（最大） 247.66s 不正解: 11 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 7.4 反AIトリック : 3.7 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 7.7 汎用知能 : 5.5 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 3.0
#249#249	GPT-5.6 Terranone	5.8	OpenAI	$0.377 ↓	4.11s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 40.6% 不安定なテスト 3 入力トークン 213,564 出力トークン 7,381 推論トークン 0 応答時間（平均） 4.11s 応答時間（合計） 94.52s 応答時間（最大） 57.98s 不正解: 12 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 5.0 反AIトリック : 4.8 コーディング : 5.5 複合 : 2.9 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 8.5 パズル解決 : 5.3 ツール呼び出し : 9.6 雑学 : 3.0
#248#248	Qwen3.7 Flashnone	5.9	Qwen	$0.028	14.70s
モデルカードを見る合計テスト数 23 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 36.2% 不安定なテスト 3 入力トークン 410,787 出力トークン 117,742 推論トークン 0 応答時間（平均） 14.70s 応答時間（合計） 338.13s 応答時間（最大） 186.24s 不正解: 14 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 4.7 反AIトリック : 3.0 コーディング : 5.5 複合 : 3.8 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.3 パズル解決 : 3.7 ツール呼び出し : 10.0 雑学 : 3.0
#247#247	Nemotron 3 Ultranone	5.9	NVIDIA	$0.157 ↕	6.76s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 40.6% 不安定なテスト 2 入力トークン 275,381 出力トークン 11,544 推論トークン 0 応答時間（平均） 6.76s 応答時間（合計） 155.50s 応答時間（最大） 70.17s 不正解: 12 API エラー: 2 指示に従っていない: 1 エージェントタスク : 5.0 反AIトリック : 3.5 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 10.0 パズル解決 : 5.9 ツール呼び出し : 10.0 雑学 : 3.0
#246#246	Claude Sonnet 5none	5.9	Anthropic	$1.095	8.60s
モデルカードを見る合計テスト数 23 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 40.6% 不安定なテスト 5 入力トークン 393,560 出力トークン 30,777 推論トークン 0 応答時間（平均） 8.60s 応答時間（合計） 197.73s 応答時間（最大） 64.73s 不正解: 9 余分な書式: 4 回答なし: 2 指示に従っていない: 1 エージェントタスク : 4.7 反AIトリック : 5.3 コーディング : 4.6 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.7 指示追従 : 6.4 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#245#245	Qwen3.6 Flashnone	5.9	Qwen	$0.139 ↓	7.63s
モデルカードを見る合計テスト数 23 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 33.3% 不安定なテスト 1 入力トークン 388,929 出力トークン 57,714 推論トークン 0 応答時間（平均） 7.63s 応答時間（合計） 175.42s 応答時間（最大） 93.47s 不正解: 13 無効なツール呼び出し: 2 指示に従っていない: 1 エージェントタスク : 5.0 反AIトリック : 3.1 コーディング : 5.4 複合 : 3.8 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.3 パズル解決 : 3.5 ツール呼び出し : 10.0 雑学 : 3.0
#244#244	Gemini 3.1 Flash Litenone	5.9	Google	$0.069	3.58s
モデルカードを見る合計テスト数 23 誤答テスト数 14 信頼性 9.9 試行ごとの合格率 47.8% 不安定なテスト 4 入力トークン 202,069 出力トークン 11,961 推論トークン 0 応答時間（平均） 3.58s 応答時間（合計） 82.24s 応答時間（最大） 43.82s 不正解: 12 指示に従っていない: 1 回答なし: 1 エージェントタスク : 5.0 反AIトリック : 7.5 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 6.3 ツール呼び出し : 10.0 雑学 : 3.0
#243#243	gpt-oss-120bmedium	5.9	OpenAI	$0.030 ↓	31.58s
モデルカードを見る合計テスト数 23 誤答テスト数 14 信頼性 10.0 試行ごとの合格率 47.8% 不安定なテスト 5 入力トークン 285,293 出力トークン 29,565 推論トークン 89,266 応答時間（平均） 31.58s 応答時間（合計） 536.78s 応答時間（最大） 203.90s 不正解: 10 指示に従っていない: 3 無効なツール呼び出し: 1 エージェントタスク : 5.0 反AIトリック : 6.7 コーディング : 5.9 複合 : 6.5 データ解析と抽出 : 6.4 ドメイン特化 : 2.9 汎用知能 : 4.3 指示追従 : 9.9 パズル解決 : 5.3 ツール呼び出し : 9.8 雑学 : 3.0
#242#242	Gemini 3.1 Flash Liteminimal	5.9	Google	$0.080	3.95s
モデルカードを見る合計テスト数 23 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 49.3% 不安定なテスト 3 入力トークン 238,785 出力トークン 12,875 推論トークン 0 応答時間（平均） 3.95s 応答時間（合計） 90.76s 応答時間（最大） 50.03s 不正解: 9 指示に従っていない: 3 回答なし: 1 エージェントタスク : 5.0 反AIトリック : 8.3 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#240#240	Inkling Smallmedium	6.0	Thinkingmachines	$0.113 ↓	6.03s
モデルカードを見る合計テスト数 23 誤答テスト数 13 信頼性 10.0 試行ごとの合格率 50.7% 不安定なテスト 3 入力トークン 100,255 出力トークン 6,422 推論トークン 49,847 応答時間（平均） 6.03s 応答時間（合計） 138.65s 応答時間（最大） 17.26s 不正解: 6 指示に従っていない: 4 無効なツール呼び出し: 2 API エラー: 1 エージェントタスク : 3.0 反AIトリック : 10.0 コーディング : 7.8 複合 : 3.8 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 5.3 指示追従 : 8.5 パズル解決 : 5.8 ツール呼び出し : 3.0 雑学 : 3.0
#241#241	Seed-2.0-Litenone	6.0	Bytedance Seed	$0.114	7.49s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 39.1% 不安定なテスト 3 入力トークン 314,113 出力トークン 17,558 推論トークン 0 応答時間（平均） 7.49s 応答時間（合計） 172.19s 応答時間（最大） 75.99s 不正解: 14 回答なし: 1 エージェントタスク : 5.0 反AIトリック : 3.0 コーディング : 5.6 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 3.0
#239#239	MiMo-V2.6-Pronone	6.0	Xiaomi	$0.193	9.66s
モデルカードを見る合計テスト数 23 誤答テスト数 14 信頼性 10.0 試行ごとの合格率 43.5% 不安定なテスト 2 入力トークン 278,866 出力トークン 82,069 推論トークン 0 応答時間（平均） 9.66s 応答時間（合計） 222.07s 応答時間（最大） 106.86s 不正解: 10 余分な書式: 2 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 5.0 反AIトリック : 3.5 コーディング : 5.6 複合 : 2.9 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.1 指示追従 : 9.8 パズル解決 : 7.9 ツール呼び出し : 10.0 雑学 : 3.0
#238#238	GLM 5.3 FlashXlow	6.0	Z.ai	$0.157	9.69s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 63.8% 不安定なテスト 9 入力トークン 277,028 出力トークン 11,965 推論トークン 31,238 応答時間（平均） 9.69s 応答時間（合計） 222.83s 応答時間（最大） 77.99s 不正解: 10 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 4.7 反AIトリック : 8.2 コーディング : 5.5 複合 : 2.8 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 4.7 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#237#237	Claude Sonnet 4.6none	6.0	Anthropic	$0.661	7.67s
モデルカードを見る合計テスト数 22 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 55.1% 不安定なテスト 1 入力トークン 123,273 出力トークン 19,362 推論トークン 0 応答時間（平均） 7.67s 応答時間（合計） 122.78s 応答時間（最大） 51.18s 不正解: 5 余分な書式: 4 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 4.8 コーディング : 5.5 複合 : 9.8 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 6.1 指示追従 : 6.5 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#236#236	KAT-Coder-Pro V2.5none	6.1	Kwaipilot	$0.742 ↑	24.96s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 68.1% 不安定なテスト 8 入力トークン 98,508 出力トークン 139,572 推論トークン 0 応答時間（平均） 24.96s 応答時間（合計） 574.12s 応答時間（最大） 335.41s 不正解: 10 API エラー: 1 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 8.7 コーディング : 6.1 複合 : 4.1 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#235#235	Granite 4.2 8Bmedium	6.1	IBM Granite	$0.029	50.47s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 8.9 試行ごとの合格率 37.7% 不安定なテスト 1 入力トークン 259,708 出力トークン 16,567 推論トークン 33,580 応答時間（平均） 50.47s 応答時間（合計） 1160.91s 応答時間（最大） 557.96s 不正解: 9 タイムアウト: 4 指示に従っていない: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 8.4 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 3.8 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#234#234	Qwen3.5 Plus 2026-04-20none	6.1	Qwen	$0.216 ↓	18.49s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 9.8 試行ごとの合格率 44.9% 不安定なテスト 5 入力トークン 299,984 出力トークン 69,664 推論トークン 0 応答時間（平均） 18.49s 応答時間（合計） 425.33s 応答時間（最大） 206.05s 不正解: 12 指示に従っていない: 2 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 4.8 コーディング : 3.9 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.8 指示追従 : 6.2 パズル解決 : 6.7 ツール呼び出し : 10.0 雑学 : 3.0
#233#233	Inklingnone	6.1	Thinkingmachines	$0.299 ↓	5.30s
モデルカードを見る合計テスト数 23 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 31.9% 不安定なテスト 1 入力トークン 236,599 出力トークン 16,536 推論トークン 0 応答時間（平均） 5.30s 応答時間（合計） 121.91s 応答時間（最大） 48.02s 不正解: 13 余分な書式: 1 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 4.8 コーディング : 4.5 複合 : 2.9 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 6.3 パズル解決 : 5.6 ツール呼び出し : 3.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow