AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-17 評価済みモデル数: 442

442/442

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#192#192	Gemma 4 31Bmedium	6.9	Google	$0.144 ↓	78.76s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 66.7% 不安定なテスト 3 入力トークン 251,164 出力トークン 36,112 推論トークン 241,203 応答時間（平均） 78.76s 応答時間（合計） 1653.96s 応答時間（最大） 437.40s 不正解: 4 API エラー: 2 無効なツール呼び出し: 1 回答なし: 1 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 4.3 複合 : 2.9 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 9.9 ツール呼び出し : 3.0 雑学 : 3.0
#203#203	Grok 4.7xhigh	6.7	X AI	$3.398	123.96s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 9.7 試行ごとの合格率 73.9% 不安定なテスト 6 入力トークン 310,049 出力トークン 6,094 推論トークン 566,221 応答時間（平均） 123.96s 応答時間（合計） 2851.07s 応答時間（最大） 775.64s 回答なし: 4 不正解: 3 API エラー: 1 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 8.7 コーディング : 5.3 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 4.7 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#220#220	Beam 1.0 501B A23Bmedium	6.6	Reflection	$0.499	6.27s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 2 入力トークン 202,937 出力トークン 4,328 推論トークン 94,193 応答時間（平均） 6.27s 応答時間（合計） 144.28s 応答時間（最大） 31.55s 不正解: 6 API エラー: 3 エージェントタスク : 3.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.7 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 3.0
#248#248	Gemini 3.1 Flash Lite Previewlow	6.3	Google	$0.736	19.04s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 60.9% 不安定なテスト 0 入力トークン 309,715 出力トークン 16,170 推論トークン 422,721 応答時間（平均） 19.04s 応答時間（合計） 437.98s 応答時間（最大） 309.35s 不正解: 7 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 5.0 反AIトリック : 8.3 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#265#265	Gemini 3.5 Flashnone	6.1	Google	$1.752	14.13s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 68.1% 不安定なテスト 4 入力トークン 246,061 出力トークン 3,828 推論トークン 149,767 応答時間（平均） 14.13s 応答時間（合計） 268.55s 応答時間（最大） 85.26s API エラー: 4 不正解: 4 無効なツール呼び出し: 1 エージェントタスク : 2.8 反AIトリック : 10.0 コーディング : 8.8 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 2.8
#236#236	Claude Sonnet 4.6medium	6.4	Anthropic	$2.126	28.08s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 62.3% 不安定なテスト 1 入力トークン 106,316 出力トークン 79,338 推論トークン 41,089 応答時間（平均） 28.08s 応答時間（合計） 421.15s 応答時間（最大） 140.96s 不正解: 4 余分な書式: 3 タイムアウト: 1 エージェントタスク : 0.0 反AIトリック : 6.5 コーディング : 5.7 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#54#54	Muse Spark 1.2high	8.9	Meta	$2.018	28.15s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.9 試行ごとの合格率 75.4% 不安定なテスト 5 入力トークン 277,967 出力トークン 9,240 推論トークン 383,606 応答時間（平均） 28.15s 応答時間（合計） 647.40s 応答時間（最大） 192.00s 不正解: 4 指示に従っていない: 3 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 7.1 コーディング : 10.0 複合 : 8.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#55#55	Muse Spark 1.2medium	8.9	Meta	$1.590	21.28s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 75.4% 不安定なテスト 4 入力トークン 292,604 出力トークン 9,569 推論トークン 278,408 応答時間（平均） 21.28s 応答時間（合計） 489.46s 応答時間（最大） 142.49s 指示に従っていない: 3 不正解: 3 余分な書式: 1 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 7.3 コーディング : 10.0 複合 : 8.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#58#58	Pareto 26.9default	8.9	Unbiased	$1.864	28.26s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 79.7% 不安定なテスト 6 入力トークン 218,199 出力トークン 175,696 推論トークン 0 応答時間（平均） 28.26s 応答時間（合計） 649.90s 応答時間（最大） 151.76s 不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 7.5 コーディング : 10.0 複合 : 8.2 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 6.5 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 2.8
#61#61	Muse Spark Openmedium	8.8	Meta	$1.260	77.44s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.8 試行ごとの合格率 78.3% 不安定なテスト 5 入力トークン 256,646 出力トークン 10,490 推論トークン 210,325 応答時間（平均） 77.44s 応答時間（合計） 1781.16s 応答時間（最大） 643.19s 不正解: 3 指示に従っていない: 2 余分な書式: 1 回答なし: 1 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 6.9 コーディング : 8.2 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 10.0 指示追従 : 7.3 パズル解決 : 8.4 ツール呼び出し : 10.0 雑学 : 3.0
#65#65	GPT-5.2medium	8.7	OpenAI	$1.558 ↑	31.29s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 73.9% 不安定なテスト 4 入力トークン 235,207 出力トークン 11,065 推論トークン 69,473 応答時間（平均） 31.29s 応答時間（合計） 531.98s 応答時間（最大） 116.86s 指示に従っていない: 3 不正解: 3 回答なし: 1 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 6.5 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 3.7 指示追従 : 9.9 パズル解決 : 7.5 ツール呼び出し : 4.7 雑学 : 3.0
#70#70	DeepSeek V4.1 Flashmax	8.6	DeepSeek	$1.204 ↑	61.58s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.4 試行ごとの合格率 69.6% 不安定なテスト 2 入力トークン 414,054 出力トークン 7,635 推論トークン 900,536 応答時間（平均） 61.58s 応答時間（合計） 1416.24s 応答時間（最大） 335.08s 不正解: 6 API エラー: 1 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 5.5 ツール呼び出し : 10.0 雑学 : 3.0
#81#81	Nemotron 3.5 Super VLhigh	8.4	NVIDIA	$0.349	49.88s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.9 試行ごとの合格率 82.6% 不安定なテスト 6 入力トークン 296,001 出力トークン 8,105 推論トークン 600,178 応答時間（平均） 49.88s 応答時間（合計） 1147.24s 応答時間（最大） 310.51s 不正解: 3 指示に従っていない: 2 回答なし: 2 API エラー: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.4 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 6.5 指示追従 : 8.5 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#88#88	DeepSeek V4 Flash 0731high	8.4	DeepSeek	$0.576 ↑	118.83s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 76.8% 不安定なテスト 5 入力トークン 281,863 出力トークン 24,535 推論トークン 507,976 応答時間（平均） 118.83s 応答時間（合計） 2733.01s 応答時間（最大） 600.61s 不正解: 5 指示に従っていない: 2 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 8.7 コーディング : 6.3 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#89#89	GLM 5.2high	8.4	Z.ai	$4.632 ↑	69.11s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 3 入力トークン 288,913 出力トークン 79,462 推論トークン 303,120 応答時間（平均） 69.11s 応答時間（合計） 1589.43s 応答時間（最大） 599.43s 不正解: 5 回答なし: 2 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 6.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.1 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#90#90	GPT-5.6 Terrahigh	8.3	OpenAI	$0.698 ↓	13.62s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 69.6% 不安定なテスト 2 入力トークン 197,239 出力トークン 6,083 推論トークン 53,982 応答時間（平均） 13.62s 応答時間（合計） 313.21s 応答時間（最大） 91.49s 不正解: 7 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 7.6 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.1 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#91#91	Claude Haiku 5.5high	8.3	Anthropic	$0.088	10.41s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 76.8% 不安定なテスト 4 入力トークン 346,451 出力トークン 10,136 推論トークン 95,504 応答時間（平均） 10.41s 応答時間（合計） 239.38s 応答時間（最大） 52.61s 不正解: 4 余分な書式: 2 指示に従っていない: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 6.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 5.9 ツール呼び出し : 10.0 雑学 : 3.0
#94#94	GPT-6 Lunamedium	8.3	OpenAI	$0.047	18.07s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 73.9% 不安定なテスト 3 入力トークン 203,193 出力トークン 5,751 推論トークン 47,410 応答時間（平均） 18.07s 応答時間（合計） 415.53s 応答時間（最大） 66.44s 不正解: 7 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 6.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 4.4 指示追従 : 9.8 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#96#96	Ling 3.1 Flashmedium	8.3	Inclusionai	$0.000	88.74s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.6 試行ごとの合格率 71.0% 不安定なテスト 3 入力トークン 369,495 出力トークン 172,852 推論トークン 476,002 応答時間（平均） 88.74s 応答時間（合計） 2041.10s 応答時間（最大） 567.88s 回答なし: 4 不正解: 3 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.6 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.3 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 2.8 雑学 : 3.0
#98#98	Gemini 4 Argonlow	8.2	Google	$0.438	5.72s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.8 試行ごとの合格率 79.7% 不安定なテスト 6 入力トークン 188,162 出力トークン 6,097 推論トークン 0 応答時間（平均） 5.72s 応答時間（合計） 131.67s 応答時間（最大） 60.87s 不正解: 5 API エラー: 2 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.7 コーディング : 10.0 複合 : 3.8 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 8.7 ツール呼び出し : 4.7 雑学 : 3.0
#101#101	GPT-5.6 Terramedium	8.2	OpenAI	$0.483 ↓	8.93s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 2 入力トークン 172,507 出力トークン 5,824 推論トークン 27,365 応答時間（平均） 8.93s 応答時間（合計） 205.39s 応答時間（最大） 54.74s 不正解: 8 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 6.1 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.5 指示追従 : 10.0 パズル解決 : 8.4 ツール呼び出し : 10.0 雑学 : 3.0
#107#107	DeepSeek V4.1 Flashlow	8.0	DeepSeek	$0.494 ↑	28.04s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.6 試行ごとの合格率 73.9% 不安定なテスト 4 入力トークン 266,849 出力トークン 8,284 推論トークン 363,263 応答時間（平均） 28.04s 応答時間（合計） 645.03s 応答時間（最大） 149.84s 不正解: 7 API エラー: 1 エージェントタスク : 6.1 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#108#108	GPT-5.6 Lunahigh	8.0	OpenAI	$0.118 ↓	18.39s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 4 入力トークン 197,896 出力トークン 6,211 推論トークン 133,184 応答時間（平均） 18.39s 応答時間（合計） 422.93s 応答時間（最大） 111.09s 不正解: 8 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 5.5 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 9.9 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 3.0
#112#112	Qwen3.8 Flash Nextlow	8.0	Qwen	~$0.045	23.66s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 79.7% 不安定なテスト 6 入力トークン 342,163 出力トークン 1,518 推論トークン 133,777 応答時間（平均） 23.66s 応答時間（合計） 544.16s 応答時間（最大） 166.72s 不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.9 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 4.7 指示追従 : 9.8 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#115#115	GLM 5.3 FlashXmax	7.9	Z.ai	$0.623	43.97s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 78.3% 不安定なテスト 6 入力トークン 322,894 出力トークン 8,010 推論トークン 394,755 応答時間（平均） 43.97s 応答時間（合計） 1011.29s 応答時間（最大） 390.70s 無効なツール呼び出し: 2 回答なし: 2 不正解: 2 余分な書式: 1 指示に従っていない: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 8.2 複合 : 8.2 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow