AI BENCHY

AIベンチマークリーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-04 評価済みモデル数: 163

163/163

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#142#142	Mistral Small 4none	4.9	Mistral	$0.007	630ms
モデルカードを見る合計テスト数 21 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 27.0% 不安定なテスト 1 入力トークン 37,309 出力トークン 2,201 推論トークン 0 応答時間（平均） 630ms 応答時間（合計） 13.22s 応答時間（最大） 1.72s 不正解: 15 指示に従っていない: 1 反AIトリック : 3.4 コーディング : 3.7 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 6.5 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#155#155	Mercury 2none	4.5	Inception	$0.011	653ms
モデルカードを見る合計テスト数 21 誤答テスト数 17 信頼性 10.0 試行ごとの合格率 23.8% 不安定なテスト 2 入力トークン 28,113 出力トークン 4,439 推論トークン 0 応答時間（平均） 653ms 応答時間（合計） 13.72s 応答時間（最大） 1.43s 不正解: 16 指示に従っていない: 1 反AIトリック : 3.0 コーディング : 3.4 複合 : 3.0 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 4.8 指示追従 : 6.5 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#163#163	Granite 4.1 8Bnone	4.0	IBM Granite	$0.003	728ms
モデルカードを見る合計テスト数 21 誤答テスト数 19 信頼性 10.0 試行ごとの合格率 9.5% 不安定なテスト 0 入力トークン 46,285 出力トークン 2,911 推論トークン 0 応答時間（平均） 728ms 応答時間（合計） 15.29s 応答時間（最大） 2.17s 不正解: 13 指示に従っていない: 4 余分な書式: 1 無効なツール呼び出し: 1 反AIトリック : 4.9 コーディング : 4.5 複合 : 3.0 データ解析と抽出 : 3.0 ドメイン特化 : 3.0 汎用知能 : 4.0 指示追従 : 3.6 パズル解決 : 3.2 ツール呼び出し : 10.0 雑学 : 3.0
#162#162	Nemotron 3 Nano Omni 30b A3b Reasoningnone	4.1	NVIDIA	$0.000	728ms
モデルカードを見る合計テスト数 19 誤答テスト数 17 信頼性 10.0 試行ごとの合格率 17.5% 不安定なテスト 2 入力トークン 11,661 出力トークン 1,302 推論トークン 0 応答時間（平均） 728ms 応答時間（合計） 9.47s 応答時間（最大） 2.21s 不正解: 9 API エラー: 6 指示に従っていない: 2 反AIトリック : 4.8 コーディング : 10.0 複合 : 3.0 データ解析と抽出 : 3.8 ドメイン特化 : 3.6 汎用知能 : 3.0 指示追従 : 4.8 パズル解決 : 3.0 ツール呼び出し : 3.0 雑学 : 3.0
#160#160	LFM2-24B-A2Bnone	4.2	Liquid	$0.001	782ms
モデルカードを見る合計テスト数 16 誤答テスト数 14 信頼性該当なし試行ごとの合格率 16.7% 不安定なテスト 1 入力トークン 10,771 出力トークン 1,173 推論トークン 0 応答時間（平均） 782ms 応答時間（合計） 10.94s 応答時間（最大） 3.15s 不正解: 9 API エラー: 4 指示に従っていない: 1 反AIトリック : 3.3 複合 : 3.0 データ解析と抽出 : 3.0 ドメイン特化 : 5.9 汎用知能 : 4.0 指示追従 : 6.3 パズル解決 : 3.8 ツール呼び出し : 3.0
#146#146	Laguna Xs.2none	4.8	Poolside	$0.000	806ms
モデルカードを見る合計テスト数 19 誤答テスト数 14 信頼性 10.0 試行ごとの合格率 26.3% 不安定なテスト 0 入力トークン 33,675 出力トークン 2,826 推論トークン 0 応答時間（平均） 806ms 応答時間（合計） 12.09s 応答時間（最大） 2.01s 不正解: 8 API エラー: 4 指示に従っていない: 1 無効なツール呼び出し: 1 反AIトリック : 3.0 コーディング : 2.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 3.0 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 3.0 雑学 : 3.0
#97#97	Gemini 2.5 Flashnone	6.2	Google	$0.016	875ms
モデルカードを見る合計テスト数 21 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 46.0% 不安定なテスト 1 入力トークン 35,926 出力トークン 1,770 推論トークン 0 応答時間（平均） 875ms 応答時間（合計） 18.37s 応答時間（最大） 4.39s 不正解: 12 反AIトリック : 3.0 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 5.0 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#90#90	Gemini 3.1 Flash Litenone	6.4	Google	$0.013	1.06s
モデルカードを見る合計テスト数 21 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 52.4% 不安定なテスト 4 入力トークン 36,710 出力トークン 2,484 推論トークン 0 応答時間（平均） 1.06s 応答時間（合計） 22.35s 応答時間（最大） 2.97s 不正解: 11 指示に従っていない: 1 反AIトリック : 7.5 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 6.3 ツール呼び出し : 10.0 雑学 : 3.0
#127#127	Grok 4.20none	5.4	X AI	$0.057 ↓	1.11s
モデルカードを見る合計テスト数 18 誤答テスト数 12 信頼性該当なし試行ごとの合格率 33.3% 不安定なテスト 0 入力トークン 41,313 出力トークン 1,923 推論トークン 0 応答時間（平均） 1.11s 応答時間（合計） 19.96s 応答時間（最大） 6.04s 不正解: 10 余分な書式: 1 無効なツール呼び出し: 1 反AIトリック : 4.8 コーディング : 3.4 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 4.8 指示追従 : 6.3 パズル解決 : 5.3 ツール呼び出し : 10.0
#144#144	GPT-5.4 Mininone	4.9	OpenAI	$0.038	1.13s
モデルカードを見る合計テスト数 21 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 30.2% 不安定なテスト 3 入力トークン 34,244 出力トークン 2,541 推論トークン 0 応答時間（平均） 1.13s 応答時間（合計） 23.82s 応答時間（最大） 2.52s 不正解: 13 指示に従っていない: 3 反AIトリック : 3.1 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 4.8 指示追従 : 6.3 パズル解決 : 5.4 ツール呼び出し : 3.0 雑学 : 3.0
#106#106	Grok 4.20 Betanone	5.8	X AI	$0.087 ↓	1.19s
モデルカードを見る合計テスト数 18 誤答テスト数 12 信頼性該当なし試行ごとの合格率 37.0% 不安定なテスト 1 入力トークン 40,597 出力トークン 1,657 推論トークン 0 応答時間（平均） 1.19s 応答時間（合計） 21.43s 応答時間（最大） 6.48s 不正解: 10 指示に従っていない: 1 無効なツール呼び出し: 1 反AIトリック : 4.0 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 6.3 パズル解決 : 7.7 ツール呼び出し : 10.0
#58#58	Gemini 3.1 Flash Lite Previewnone	7.2	Google	$0.018	1.21s
モデルカードを見る合計テスト数 21 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 60.3% 不安定なテスト 1 入力トークン 37,582 出力トークン 5,547 推論トークン 0 応答時間（平均） 1.21s 応答時間（合計） 25.45s 応答時間（最大） 3.39s 不正解: 7 指示に従っていない: 2 反AIトリック : 7.5 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#137#137	Elephant Alphanone	5.1	Openrouter	$0.000	1.22s
モデルカードを見る合計テスト数 21 誤答テスト数 16 信頼性該当なし試行ごとの合格率 27.0% 不安定なテスト 1 入力トークン 33,743 出力トークン 2,573 推論トークン 0 応答時間（平均） 1.22s 応答時間（合計） 22.03s 応答時間（最大） 3.81s 不正解: 9 API エラー: 3 指示に従っていない: 3 無効なツール呼び出し: 1 反AIトリック : 6.6 コーディング : 4.2 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 4.0 指示追従 : 9.8 パズル解決 : 4.2 ツール呼び出し : 3.0 雑学 : 3.0
#136#136	Elephant Alphamedium	5.1	Openrouter	$0.000	1.27s
モデルカードを見る合計テスト数 21 誤答テスト数 15 信頼性該当なし試行ごとの合格率 30.2% 不安定なテスト 1 入力トークン 33,744 出力トークン 2,596 推論トークン 0 応答時間（平均） 1.27s 応答時間（合計） 22.82s 応答時間（最大） 3.70s 不正解: 9 API エラー: 3 指示に従っていない: 2 無効なツール呼び出し: 1 反AIトリック : 6.6 コーディング : 3.7 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 4.3 指示追従 : 9.8 パズル解決 : 5.3 ツール呼び出し : 3.0 雑学 : 3.0
#34#34	Qwen3.7 Maxnone	7.7	Qwen	$0.054 ↓	1.30s
モデルカードを見る合計テスト数 21 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 66.7% 不安定なテスト 0 入力トークン 37,107 出力トークン 1,994 推論トークン 0 応答時間（平均） 1.30s 応答時間（合計） 27.21s 応答時間（最大） 3.92s 不正解: 7 反AIトリック : 6.5 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#87#87	Gemini 3.1 Flash Liteminimal	6.4	Google	$0.013	1.33s
モデルカードを見る合計テスト数 21 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 54.0% 不安定なテスト 3 入力トークン 36,973 出力トークン 2,487 推論トークン 0 応答時間（平均） 1.33s 応答時間（合計） 27.91s 応答時間（最大） 4.49s 不正解: 8 指示に従っていない: 3 反AIトリック : 8.3 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#125#125	GPT-5.4none	5.5	OpenAI	$0.122	1.42s
モデルカードを見る合計テスト数 21 誤答テスト数 14 信頼性 10.0 試行ごとの合格率 36.5% 不安定なテスト 2 入力トークン 34,212 出力トークン 2,417 推論トークン 0 応答時間（平均） 1.42s 応答時間（合計） 29.87s 応答時間（最大） 2.95s 不正解: 13 指示に従っていない: 1 反AIトリック : 3.2 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.4 指示追従 : 6.5 パズル解決 : 5.6 ツール呼び出し : 10.0 雑学 : 3.0
#148#148	GPT-5.4 Nanonone	4.7	OpenAI	$0.011	1.48s
モデルカードを見る合計テスト数 21 誤答テスト数 17 信頼性 10.0 試行ごとの合格率 30.2% 不安定なテスト 5 入力トークン 34,212 出力トークン 2,784 推論トークン 0 応答時間（平均） 1.48s 応答時間（合計） 31.01s 応答時間（最大） 4.47s 不正解: 15 指示に従っていない: 2 反AIトリック : 3.5 コーディング : 4.6 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 2.9 汎用知能 : 3.8 指示追従 : 6.3 パズル解決 : 5.4 ツール呼び出し : 10.0 雑学 : 3.0
#32#32	Gemini 3.5 Flashminimal	7.7	Google	$0.108	1.57s
モデルカードを見る合計テスト数 21 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 68.3% 不安定なテスト 1 入力トークン 39,847 出力トークン 5,277 推論トークン 0 応答時間（平均） 1.57s 応答時間（合計） 33.02s 応答時間（最大） 5.51s 不正解: 5 指示に従っていない: 1 無効なツール呼び出し: 1 反AIトリック : 6.5 コーディング : 5.6 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 10.0 汎用知能 : 10.0 指示追従 : 6.4 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#128#128	Qwen3.6 Flashnone	5.4	Qwen	$0.015 ↓	1.60s
モデルカードを見る合計テスト数 21 誤答テスト数 14 信頼性 10.0 試行ごとの合格率 33.3% 不安定なテスト 0 入力トークン 50,810 出力トークン 4,164 推論トークン 0 応答時間（平均） 1.60s 応答時間（合計） 33.59s 応答時間（最大） 4.60s 不正解: 12 指示に従っていない: 1 無効なツール呼び出し: 1 反AIトリック : 3.1 コーディング : 5.4 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.3 パズル解決 : 3.5 ツール呼び出し : 10.0 雑学 : 3.0
#157#157	Grok 4.1 Fastnone	4.4	X AI	$0.008 ↓	1.62s
モデルカードを見る合計テスト数 19 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 22.8% 不安定なテスト 3 入力トークン 36,608 出力トークン 1,723 推論トークン 0 応答時間（平均） 1.62s 応答時間（合計） 19.48s 応答時間（最大） 5.51s 不正解: 13 指示に従っていない: 3 反AIトリック : 3.2 コーディング : 5.3 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 4.4 指示追従 : 3.0 パズル解決 : 3.0 ツール呼び出し : 2.8 雑学 : 3.0
#48#48	Gemini 3 Flash Previewnone	7.4	Google	$0.025	1.65s
モデルカードを見る合計テスト数 21 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 66.7% 不安定なテスト 2 入力トークン 37,011 出力トークン 1,885 推論トークン 0 応答時間（平均） 1.65s 応答時間（合計） 23.07s 応答時間（最大） 3.56s 不正解: 8 反AIトリック : 8.3 コーディング : 5.5 複合 : 4.7 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 6.4 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#115#115	Qwen3.5-27Bnone	5.7	Qwen	$0.015 ↓	1.68s
モデルカードを見る合計テスト数 21 誤答テスト数 14 信頼性 10.0 試行ごとの合格率 38.1% 不安定なテスト 2 入力トークン 44,478 出力トークン 3,592 推論トークン 0 応答時間（平均） 1.68s 応答時間（合計） 35.25s 応答時間（最大） 9.39s 不正解: 12 指示に従っていない: 2 反AIトリック : 4.8 コーディング : 5.8 複合 : 2.8 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 6.3 パズル解決 : 6.7 ツール呼び出し : 10.0 雑学 : 3.0
#147#147	GPT-4o-mininone	4.8	OpenAI	$0.006	1.77s
モデルカードを見る合計テスト数 21 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 23.8% 不安定なテスト 0 入力トークン 31,518 出力トークン 1,982 推論トークン 0 応答時間（平均） 1.77s 応答時間（合計） 24.80s 応答時間（最大） 7.58s 不正解: 15 指示に従っていない: 1 反AIトリック : 4.8 コーディング : 3.2 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 4.0 指示追従 : 6.3 パズル解決 : 3.5 ツール呼び出し : 10.0 雑学 : 3.0
#123#123	MiMo-V2.5-Pronone	5.5	Xiaomi	$0.017 ↓	1.78s
モデルカードを見る合計テスト数 21 誤答テスト数 15 信頼性 10.0 試行ごとの合格率 39.7% 不安定なテスト 4 入力トークン 30,724 出力トークン 3,043 推論トークン 0 応答時間（平均） 1.78s 応答時間（合計） 37.42s 応答時間（最大） 8.32s 不正解: 11 指示に従っていない: 4 反AIトリック : 3.3 コーディング : 4.3 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 6.4 パズル解決 : 6.7 ツール呼び出し : 10.0 雑学 : 3.0
#61#61	Gemini 3.1 Flash Litelow	7.2	Google	$0.028	1.89s
モデルカードを見る合計テスト数 21 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 61.9% 不安定なテスト 2 入力トークン 36,892 出力トークン 2,732 推論トークン 9,260 応答時間（平均） 1.89s 応答時間（合計） 39.62s 応答時間（最大） 5.66s 不正解: 9 反AIトリック : 7.3 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#91#91	GPT-5.5none	6.4	OpenAI	$0.231	1.89s
モデルカードを見る合計テスト数 21 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 54.0% 不安定なテスト 3 入力トークン 34,212 出力トークン 1,971 推論トークン 0 応答時間（平均） 1.89s 応答時間（合計） 39.64s 応答時間（最大） 5.56s 不正解: 11 反AIトリック : 6.9 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 10.0 指示追従 : 6.2 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#154#154	Qwen3.5-9Bnone	4.6	Qwen	$0.003 ↓	1.89s
モデルカードを見る合計テスト数 21 誤答テスト数 17 信頼性 10.0 試行ごとの合格率 20.6% 不安定なテスト 1 入力トークン 48,041 出力トークン 3,952 推論トークン 0 応答時間（平均） 1.89s 応答時間（合計） 39.68s 応答時間（最大） 6.03s 不正解: 14 指示に従っていない: 2 無効なツール呼び出し: 1 反AIトリック : 3.1 コーディング : 3.9 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 4.4 指示追従 : 6.5 パズル解決 : 3.2 ツール呼び出し : 10.0 雑学 : 3.0
#143#143	MiMo-V2.5none	4.9	Xiaomi	$0.007 ↓	2.20s
モデルカードを見る合計テスト数 21 誤答テスト数 16 信頼性 10.0 試行ごとの合格率 27.0% 不安定なテスト 1 入力トークン 41,985 出力トークン 2,267 推論トークン 0 応答時間（平均） 2.20s 応答時間（合計） 46.21s 応答時間（最大） 6.86s 不正解: 14 余分な書式: 1 指示に従っていない: 1 反AIトリック : 3.5 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 4.4 指示追従 : 6.5 パズル解決 : 5.4 ツール呼び出し : 10.0 雑学 : 3.0
#81#81	Mercury 2medium	6.6	Inception	$0.058	2.24s
モデルカードを見る合計テスト数 21 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 54.0% 不安定なテスト 3 入力トークン 35,116 出力トークン 4,048 推論トークン 61,219 応答時間（平均） 2.24s 応答時間（合計） 44.72s 応答時間（最大） 14.63s 不正解: 8 指示に従っていない: 3 反AIトリック : 6.9 コーディング : 8.2 複合 : 10.0 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 4.8 指示追従 : 10.0 パズル解決 : 5.4 ツール呼び出し : 10.0 雑学 : 3.0

クイック比較

Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashlow Gemini 3 Flash PreviewmediumvsGemini 3.1 Pro Previewmedium Gemini 3 Flash PreviewmediumvsQwen3.7 Maxmedium Gemini 3 Flash PreviewmediumvsGPT-5.5low Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashmedium Gemini 3 Flash PreviewmediumvsNemotron 3 Ultra 550b A55bmedium無料で利用可能 Gemini 3.5 FlashhighvsGemini 3.5 Flashlow Gemini 3.5 FlashlowvsGemini 3.1 Pro Previewmedium Gemini 3.1 Pro PreviewmediumvsQwen3.7 Maxmedium Qwen3.7 MaxmediumvsGPT-5.5low GPT-5.5lowvsGemini 3.5 Flashmedium

AIベンチマーク リーダーボード

モデルを絞り込む

クイック比較

AIベンチマークリーダーボード