AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-17 評価済みモデル数: 442

442/442

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#172#172	GLM 5medium	7.2	Z.ai	$0.479 ↑	39.05s
モデルカードを見る合計テスト数 22 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 76.8% 不安定なテスト 5 入力トークン 212,440 出力トークン 22,922 推論トークン 115,335 応答時間（平均） 39.05s 応答時間（合計） 546.68s 応答時間（最大） 110.70s 不正解: 4 指示に従っていない: 1 回答なし: 1 タイムアウト: 1 エージェントタスク : 4.7 反AIトリック : 10.0 コーディング : 10.0 複合 : 5.0 データ解析と抽出 : 7.1 ドメイン特化 : 3.5 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#261#261	GLM 5 Turbomedium	6.2	Z.ai	$0.323 ↑	23.00s
モデルカードを見る合計テスト数 21 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 68.1% 不安定なテスト 4 入力トークン 35,593 出力トークン 12,245 推論トークン 62,277 応答時間（平均） 23.00s 応答時間（合計） 482.97s 応答時間（最大） 194.23s 不正解: 4 指示に従っていない: 1 回答なし: 1 タイムアウト: 1 エージェントタスク : 0.0 反AIトリック : 10.0 コーディング : 8.2 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#321#321	Hy3 previewmedium	5.3	Tencent	$0.049 ↕	16.28s
モデルカードを見る合計テスト数 21 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 60.9% 不安定なテスト 0 入力トークン 27,030 出力トークン 73,544 推論トークン 0 応答時間（平均） 16.28s 応答時間（合計） 293.12s 応答時間（最大） 46.04s API エラー: 3 不正解: 3 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 10.0 コーディング : 5.3 複合 : 5.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#350#350	Gemini 3 PRO Previewmedium	4.9	Google	$0.385 ↑	9.05s
モデルカードを見る合計テスト数 21 誤答テスト数 7 信頼性該当なし試行ごとの合格率 60.9% 不安定なテスト 0 入力トークン 28,848 出力トークン 1,490 推論トークン 10,102 応答時間（平均） 9.05s 応答時間（合計） 90.53s 応答時間（最大） 26.24s API エラー: 4 不正解: 3 エージェントタスク : 0.0 反AIトリック : 10.0 コーディング : 3.0 複合 : 1.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#54#54	Muse Spark 1.2high	8.9	Meta	$2.018	28.15s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.9 試行ごとの合格率 75.4% 不安定なテスト 5 入力トークン 277,967 出力トークン 9,240 推論トークン 383,606 応答時間（平均） 28.15s 応答時間（合計） 647.40s 応答時間（最大） 192.00s 不正解: 4 指示に従っていない: 3 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 7.1 コーディング : 10.0 複合 : 8.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#55#55	Muse Spark 1.2medium	8.9	Meta	$1.590	21.28s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 75.4% 不安定なテスト 4 入力トークン 292,604 出力トークン 9,569 推論トークン 278,408 応答時間（平均） 21.28s 応答時間（合計） 489.46s 応答時間（最大） 142.49s 指示に従っていない: 3 不正解: 3 余分な書式: 1 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 7.3 コーディング : 10.0 複合 : 8.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#58#58	Pareto 26.9default	8.9	Unbiased	$1.864	28.26s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 79.7% 不安定なテスト 6 入力トークン 218,199 出力トークン 175,696 推論トークン 0 応答時間（平均） 28.26s 応答時間（合計） 649.90s 応答時間（最大） 151.76s 不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 7.5 コーディング : 10.0 複合 : 8.2 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 6.5 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 2.8
#61#61	Muse Spark Openmedium	8.8	Meta	$1.260	77.44s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.8 試行ごとの合格率 78.3% 不安定なテスト 5 入力トークン 256,646 出力トークン 10,490 推論トークン 210,325 応答時間（平均） 77.44s 応答時間（合計） 1781.16s 応答時間（最大） 643.19s 不正解: 3 指示に従っていない: 2 余分な書式: 1 回答なし: 1 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 6.9 コーディング : 8.2 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 10.0 指示追従 : 7.3 パズル解決 : 8.4 ツール呼び出し : 10.0 雑学 : 3.0
#65#65	GPT-5.2medium	8.7	OpenAI	$1.558 ↑	31.29s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 73.9% 不安定なテスト 4 入力トークン 235,207 出力トークン 11,065 推論トークン 69,473 応答時間（平均） 31.29s 応答時間（合計） 531.98s 応答時間（最大） 116.86s 指示に従っていない: 3 不正解: 3 回答なし: 1 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 6.5 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 3.7 指示追従 : 9.9 パズル解決 : 7.5 ツール呼び出し : 4.7 雑学 : 3.0
#70#70	DeepSeek V4.1 Flashmax	8.6	DeepSeek	$1.204 ↑	61.58s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.4 試行ごとの合格率 69.6% 不安定なテスト 2 入力トークン 414,054 出力トークン 7,635 推論トークン 900,536 応答時間（平均） 61.58s 応答時間（合計） 1416.24s 応答時間（最大） 335.08s 不正解: 6 API エラー: 1 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 5.5 ツール呼び出し : 10.0 雑学 : 3.0
#81#81	Nemotron 3.5 Super VLhigh	8.4	NVIDIA	$0.349	49.88s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.9 試行ごとの合格率 82.6% 不安定なテスト 6 入力トークン 296,001 出力トークン 8,105 推論トークン 600,178 応答時間（平均） 49.88s 応答時間（合計） 1147.24s 応答時間（最大） 310.51s 不正解: 3 指示に従っていない: 2 回答なし: 2 API エラー: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.4 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 6.5 指示追従 : 8.5 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#88#88	DeepSeek V4 Flash 0731high	8.4	DeepSeek	$0.576 ↑	118.83s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 76.8% 不安定なテスト 5 入力トークン 281,863 出力トークン 24,535 推論トークン 507,976 応答時間（平均） 118.83s 応答時間（合計） 2733.01s 応答時間（最大） 600.61s 不正解: 5 指示に従っていない: 2 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 8.7 コーディング : 6.3 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#89#89	GLM 5.2high	8.4	Z.ai	$4.632 ↑	69.11s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 3 入力トークン 288,913 出力トークン 79,462 推論トークン 303,120 応答時間（平均） 69.11s 応答時間（合計） 1589.43s 応答時間（最大） 599.43s 不正解: 5 回答なし: 2 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 6.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.1 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#90#90	GPT-5.6 Terrahigh	8.3	OpenAI	$0.698 ↓	13.62s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 69.6% 不安定なテスト 2 入力トークン 197,239 出力トークン 6,083 推論トークン 53,982 応答時間（平均） 13.62s 応答時間（合計） 313.21s 応答時間（最大） 91.49s 不正解: 7 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 7.6 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.1 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#91#91	Claude Haiku 5.5high	8.3	Anthropic	$0.088	10.41s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 76.8% 不安定なテスト 4 入力トークン 346,451 出力トークン 10,136 推論トークン 95,504 応答時間（平均） 10.41s 応答時間（合計） 239.38s 応答時間（最大） 52.61s 不正解: 4 余分な書式: 2 指示に従っていない: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 6.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 5.9 ツール呼び出し : 10.0 雑学 : 3.0
#94#94	GPT-6 Lunamedium	8.3	OpenAI	$0.047	18.07s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 73.9% 不安定なテスト 3 入力トークン 203,193 出力トークン 5,751 推論トークン 47,410 応答時間（平均） 18.07s 応答時間（合計） 415.53s 応答時間（最大） 66.44s 不正解: 7 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 6.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 4.4 指示追従 : 9.8 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#96#96	Ling 3.1 Flashmedium	8.3	Inclusionai	$0.000	88.74s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.6 試行ごとの合格率 71.0% 不安定なテスト 3 入力トークン 369,495 出力トークン 172,852 推論トークン 476,002 応答時間（平均） 88.74s 応答時間（合計） 2041.10s 応答時間（最大） 567.88s 回答なし: 4 不正解: 3 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.6 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.3 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 2.8 雑学 : 3.0
#98#98	Gemini 4 Argonlow	8.2	Google	$0.438	5.72s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.8 試行ごとの合格率 79.7% 不安定なテスト 6 入力トークン 188,162 出力トークン 6,097 推論トークン 0 応答時間（平均） 5.72s 応答時間（合計） 131.67s 応答時間（最大） 60.87s 不正解: 5 API エラー: 2 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.7 コーディング : 10.0 複合 : 3.8 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 8.7 ツール呼び出し : 4.7 雑学 : 3.0
#101#101	GPT-5.6 Terramedium	8.2	OpenAI	$0.483 ↓	8.93s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 2 入力トークン 172,507 出力トークン 5,824 推論トークン 27,365 応答時間（平均） 8.93s 応答時間（合計） 205.39s 応答時間（最大） 54.74s 不正解: 8 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 6.1 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.5 指示追従 : 10.0 パズル解決 : 8.4 ツール呼び出し : 10.0 雑学 : 3.0
#107#107	DeepSeek V4.1 Flashlow	8.0	DeepSeek	$0.494 ↑	28.04s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.6 試行ごとの合格率 73.9% 不安定なテスト 4 入力トークン 266,849 出力トークン 8,284 推論トークン 363,263 応答時間（平均） 28.04s 応答時間（合計） 645.03s 応答時間（最大） 149.84s 不正解: 7 API エラー: 1 エージェントタスク : 6.1 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#108#108	GPT-5.6 Lunahigh	8.0	OpenAI	$0.118 ↓	18.39s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 4 入力トークン 197,896 出力トークン 6,211 推論トークン 133,184 応答時間（平均） 18.39s 応答時間（合計） 422.93s 応答時間（最大） 111.09s 不正解: 8 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 5.5 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 9.9 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 3.0
#112#112	Qwen3.8 Flash Nextlow	8.0	Qwen	~$0.045	23.66s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 79.7% 不安定なテスト 6 入力トークン 342,163 出力トークン 1,518 推論トークン 133,777 応答時間（平均） 23.66s 応答時間（合計） 544.16s 応答時間（最大） 166.72s 不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.9 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 4.7 指示追従 : 9.8 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#115#115	GLM 5.3 FlashXmax	7.9	Z.ai	$0.623	43.97s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 78.3% 不安定なテスト 6 入力トークン 322,894 出力トークン 8,010 推論トークン 394,755 応答時間（平均） 43.97s 応答時間（合計） 1011.29s 応答時間（最大） 390.70s 無効なツール呼び出し: 2 回答なし: 2 不正解: 2 余分な書式: 1 指示に従っていない: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 8.2 複合 : 8.2 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#120#120	Qwen3.8 2.4T A95Bhigh	7.9	Qwen	$2.949 ↑	120.88s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.6 試行ごとの合格率 75.4% 不安定なテスト 4 入力トークン 295,642 出力トークン 115,041 推論トークン 353,398 応答時間（平均） 120.88s 応答時間（合計） 2780.16s 応答時間（最大） 532.28s 不正解: 4 指示に従っていない: 2 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 5.9 複合 : 6.9 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#123#123	Ling 3.1 Flashhigh	7.9	Inclusionai	$0.000	87.39s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.8 試行ごとの合格率 69.6% 不安定なテスト 2 入力トークン 324,691 出力トークン 181,251 推論トークン 506,441 応答時間（平均） 87.39s 応答時間（合計） 2010.08s 応答時間（最大） 665.85s 回答なし: 4 不正解: 2 余分な書式: 1 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.2 複合 : 6.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 3.9 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 2.8 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow