AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-01 評価済みモデル数: 382

382/382

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#76#76	GPT-5.6 Terrahigh	8.3	OpenAI	$0.698 ↓	13.62s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 69.6% 不安定なテスト 2 入力トークン 197,239 出力トークン 6,083 推論トークン 53,982 応答時間（平均） 13.62s 応答時間（合計） 313.21s 応答時間（最大） 91.49s 不正解: 7 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 7.6 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.1 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#77#77	Gemini 3.5 Flashhigh	8.3	Google	$2.737	18.59s
モデルカードを見る合計テスト数 23 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 85.5% 不安定なテスト 2 入力トークン 348,103 出力トークン 11,045 推論トークン 234,967 応答時間（平均） 18.59s 応答時間（合計） 427.52s 応答時間（最大） 145.92s 無効なツール呼び出し: 2 不正解: 2 エージェントタスク : 3.4 反AIトリック : 10.0 コーディング : 10.0 複合 : 8.2 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 9.8 雑学 : 10.0
#78#78	Kimi K3max	8.3	Moonshot AI	$2.447 ↓	139.41s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 9.3 試行ごとの合格率 78.3% 不安定なテスト 2 入力トークン 170,700 出力トークン 7,719 推論トークン 225,608 応答時間（平均） 139.41s 応答時間（合計） 2788.26s 応答時間（最大） 766.58s API エラー: 2 回答なし: 2 余分な書式: 1 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.5 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 3.0
#79#79	GPT-6 Lunamedium	8.3	OpenAI	$0.047	18.07s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 73.9% 不安定なテスト 3 入力トークン 203,193 出力トークン 5,751 推論トークン 47,410 応答時間（平均） 18.07s 応答時間（合計） 415.53s 応答時間（最大） 66.44s 不正解: 7 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 6.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 4.4 指示追従 : 9.8 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#80#80	Claude Opus 4.8medium	8.3	Anthropic	$3.490	16.72s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 82.6% 不安定なテスト 3 入力トークン 360,294 出力トークン 43,441 推論トークン 24,401 応答時間（平均） 16.72s 応答時間（合計） 384.66s 応答時間（最大） 99.37s 不正解: 5 回答なし: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 10.0 複合 : 9.9 データ解析と抽出 : 7.1 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#81#81	Qwen3.7 Plusmedium	8.3	Qwen	$0.415 ↓	59.73s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 76.8% 不安定なテスト 3 入力トークン 350,546 出力トークン 8,576 推論トークン 206,984 応答時間（平均） 59.73s 応答時間（合計） 1373.73s 応答時間（最大） 315.30s 不正解: 6 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 6.1 複合 : 8.2 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#82#82	Grok 4.5high	8.2	X AI	$2.687 ↑	72.50s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 82.6% 不安定なテスト 3 入力トークン 342,124 出力トークン 7,135 推論トークン 326,497 応答時間（平均） 72.50s 応答時間（合計） 1667.51s 応答時間（最大） 676.83s 不正解: 3 回答なし: 2 指示に従っていない: 1 エージェントタスク : 5.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 4.7 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#83#83	GLM 5.2medium	8.2	Z.ai	$0.417 ↓	26.88s
モデルカードを見る合計テスト数 22 誤答テスト数 6 信頼性 9.6 試行ごとの合格率 81.2% 不安定なテスト 4 入力トークン 227,164 出力トークン 20,029 推論トークン 60,991 応答時間（平均） 26.88s 応答時間（合計） 591.34s 応答時間（最大） 102.40s 不正解: 3 回答なし: 2 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.2 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#84#84	GPT-5.6 Terramedium	8.2	OpenAI	$0.483 ↓	8.93s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 2 入力トークン 172,507 出力トークン 5,824 推論トークン 27,365 応答時間（平均） 8.93s 応答時間（合計） 205.39s 応答時間（最大） 54.74s 不正解: 8 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 6.1 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.5 指示追従 : 10.0 パズル解決 : 8.4 ツール呼び出し : 10.0 雑学 : 3.0
#85#85	Seed-2.0-Litemedium	8.2	Bytedance Seed	$0.271	48.87s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 4 入力トークン 229,530 出力トークン 13,757 推論トークン 92,662 応答時間（平均） 48.87s 応答時間（合計） 1123.91s 応答時間（最大） 254.92s 不正解: 6 指示に従っていない: 2 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 8.0 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 6.7 指示追従 : 10.0 パズル解決 : 9.0 ツール呼び出し : 10.0 雑学 : 3.0
#86#86	Seed-2.0-Codelow	8.1	Bytedance Seed	$0.881	73.02s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 8.9 試行ごとの合格率 78.3% 不安定なテスト 6 入力トークン 237,604 出力トークン 9,617 推論トークン 244,190 応答時間（平均） 73.02s 応答時間（合計） 1679.49s 応答時間（最大） 485.92s 不正解: 7 API エラー: 1 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.7 コーディング : 7.0 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 6.5 指示追従 : 9.8 パズル解決 : 9.9 ツール呼び出し : 10.0 雑学 : 3.0
#87#87	DeepSeek V4 Pro 0423high	8.1	DeepSeek	$0.149 ↓	91.29s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 6 入力トークン 287,061 出力トークン 32,056 推論トークン 196,607 応答時間（平均） 91.29s 応答時間（合計） 2099.56s 応答時間（最大） 416.76s 不正解: 9 指示に従っていない: 2 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 5.7 コーディング : 6.3 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 7.8 パズル解決 : 6.9 ツール呼び出し : 9.8 雑学 : 3.0
#88#88	Claude Opus 4.7medium	8.1	Anthropic	$3.636	14.12s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 81.2% 不安定なテスト 2 入力トークン 437,293 出力トークン 29,102 推論トークン 28,876 応答時間（平均） 14.12s 応答時間（合計） 310.55s 応答時間（最大） 150.60s 不正解: 3 無効なツール呼び出し: 1 タイムアウト: 1 エージェントタスク : 5.2 反AIトリック : 8.3 コーディング : 7.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#89#89	DeepSeek V4 Flash 0423high	8.1	DeepSeek	$0.030 ↓	55.99s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 4 入力トークン 298,794 出力トークン 45,873 推論トークン 188,721 応答時間（平均） 55.99s 応答時間（合計） 1287.87s 応答時間（最大） 218.13s 不正解: 6 指示に従っていない: 2 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 7.8 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#90#90	DeepSeek V4.1 Flashlow	8.0	DeepSeek	$0.194 ↓	28.04s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.6 試行ごとの合格率 73.9% 不安定なテスト 4 入力トークン 266,849 出力トークン 8,284 推論トークン 363,263 応答時間（平均） 28.04s 応答時間（合計） 645.03s 応答時間（最大） 149.84s 不正解: 7 API エラー: 1 エージェントタスク : 6.1 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#91#91	GPT-5.6 Lunahigh	8.0	OpenAI	$0.118 ↓	18.39s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 4 入力トークン 197,896 出力トークン 6,211 推論トークン 133,184 応答時間（平均） 18.39s 応答時間（合計） 422.93s 応答時間（最大） 111.09s 不正解: 8 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 5.5 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 9.9 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 3.0
#92#92	Nemotron 3 Ultramedium	8.0	NVIDIA	$0.799 ↕	40.33s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 9.8 試行ごとの合格率 68.1% 不安定なテスト 3 入力トークン 482,754 出力トークン 62,455 推論トークン 141,067 応答時間（平均） 40.33s 応答時間（合計） 927.65s 応答時間（最大） 392.56s 不正解: 7 API エラー: 1 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.4 複合 : 6.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 3.7 指示追従 : 9.8 パズル解決 : 5.5 ツール呼び出し : 10.0 雑学 : 3.0
#93#93	GPT-5.4 Nanomedium	8.0	OpenAI	$0.235 ↑	15.95s
モデルカードを見る合計テスト数 23 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 66.7% 不安定なテスト 4 入力トークン 237,088 出力トークン 8,235 推論トークン 102,675 応答時間（平均） 15.95s 応答時間（合計） 366.93s 応答時間（最大） 94.06s 不正解: 8 指示に従っていない: 2 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 6.1 複合 : 9.9 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 4.5 指示追従 : 9.8 パズル解決 : 4.1 ツール呼び出し : 10.0 雑学 : 3.0
#94#94	Gemini 3.8 Flashmedium	8.0	Google	$0.769	16.64s
モデルカードを見る合計テスト数 23 誤答テスト数 4 信頼性 9.9 試行ごとの合格率 89.9% 不安定なテスト 3 入力トークン 187,331 出力トークン 7,555 推論トークン 159,931 応答時間（平均） 16.64s 応答時間（合計） 382.64s 応答時間（最大） 108.60s 不正解: 2 無効なツール呼び出し: 1 タイムアウト: 1 エージェントタスク : 2.8 反AIトリック : 10.0 コーディング : 8.0 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 8.2 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#95#95	GPT-5.6 Terralow	7.9	OpenAI	$0.435 ↓	7.58s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 75.4% 不安定なテスト 6 入力トークン 176,890 出力トークン 5,688 推論トークン 18,525 応答時間（平均） 7.58s 応答時間（合計） 174.39s 応答時間（最大） 54.57s 不正解: 8 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 6.6 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.8 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 4.7 雑学 : 3.0
#96#96	Qwen3.5-27Bmedium	7.9	Qwen	$1.135	114.73s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 76.8% 不安定なテスト 6 入力トークン 288,919 出力トークン 17,484 推論トークン 617,804 応答時間（平均） 114.73s 応答時間（合計） 2638.74s 応答時間（最大） 1026.43s 不正解: 4 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 8.7 コーディング : 6.2 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#97#97	GLM 5.3 FlashXmax	7.9	Z.ai	$0.623	43.97s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 78.3% 不安定なテスト 6 入力トークン 322,894 出力トークン 8,010 推論トークン 394,755 応答時間（平均） 43.97s 応答時間（合計） 1011.29s 応答時間（最大） 390.70s 無効なツール呼び出し: 2 回答なし: 2 不正解: 2 余分な書式: 1 指示に従っていない: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 8.2 複合 : 8.2 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#98#98	Claude Fable 5.1high	7.9	Anthropic	$3.471	13.30s
モデルカードを見る合計テスト数 23 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 85.5% 不安定なテスト 1 入力トークン 144,676 出力トークン 8,184 推論トークン 32,282 応答時間（平均） 13.30s 応答時間（合計） 305.83s 応答時間（最大） 40.17s 不正解: 3 API エラー: 1 エージェントタスク : 3.0 反AIトリック : 10.0 コーディング : 8.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#99#99	GPT-5.4 Minimedium	7.9	OpenAI	$1.102 ↑	29.94s
モデルカードを見る合計テスト数 23 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 69.6% 不安定なテスト 5 入力トークン 238,925 出力トークン 7,109 推論トークン 177,063 応答時間（平均） 29.94s 応答時間（合計） 688.57s 応答時間（最大） 138.75s 不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 8.6 コーディング : 8.4 複合 : 6.9 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 4.5 指示追従 : 9.8 パズル解決 : 7.8 ツール呼び出し : 4.7 雑学 : 3.0
#100#100	Qwen3.7 Maxnone	7.9	Qwen	$0.451 ↓	7.85s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 9.9 試行ごとの合格率 69.6% 不安定なテスト 0 入力トークン 243,553 出力トークン 20,670 推論トークン 0 応答時間（平均） 7.85s 応答時間（合計） 180.65s 応答時間（最大） 80.34s 不正解: 7 エージェントタスク : 10.0 反AIトリック : 6.5 コーディング : 5.5 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow