パズル解決 x 指示に従っていないランキング | AI BENCHY

パズル解決で指示に従っていないが起きやすいAIモデルを確認し、弱点を早く見つけられます。

表示モデル数

7

総失敗数

166

最も影響を受けたモデル

Minimax M3.1 Flash 2

失敗理由

不正解352 指示に従っていない166 API エラー35 余分な書式16 回答なし14 タイムアウト11

カテゴリ

パズル解決166 汎用知能142 指示追従77 反AIトリック52 コーディング50 ツール呼び出し13 エージェントタスク10 データ解析と抽出8 ドメイン特化3 複合1

157/157

順位	モデル	企業	指示に従っていない件数	カテゴリスコア	合計コスト	正解テスト	応答時間（平均）
#422	Grok Build 0.1 none	X AI	1	0.6	$0.547	1/3	9.55s
合計テスト数 3 誤答テスト数 2 合計コスト $0.547 応答時間（平均） 9.55s
#430	d1-ultra default	Liquid	1	0.2	$0.003	0/1	485ms
合計テスト数 1 誤答テスト数 1 合計コスト $0.003 応答時間（平均） 485ms
#431	Nemotron 3 Nano Omni 30b A3b Reasoning default	NVIDIA	1	0.3	$0.000	0/3	532ms
合計テスト数 3 誤答テスト数 3 合計コスト $0.000 応答時間（平均） 532ms
#433	Decider V1.2 default	Perplexity	1	0.2	$0.001	0/1	490ms
合計テスト数 1 誤答テスト数 1 合計コスト $0.001 応答時間（平均） 490ms
#436	GPT-6 Luna Decisions default	OpenAI	1	0.2	$0.005	0/1	414ms
合計テスト数 1 誤答テスト数 1 合計コスト $0.005 応答時間（平均） 414ms
#438	Jev 1.14 default	Typesafe	1	0.2	$0.003	0/1	270ms
合計テスト数 1 誤答テスト数 1 合計コスト $0.003 応答時間（平均） 270ms
#450	Nimble v3 9B default	Bespoke Labs	1	0.2	~$0.001	0/1	79ms
合計テスト数 1 誤答テスト数 1 合計コスト ~$0.001 応答時間（平均） 79ms

←

1 10 11

指示に従っていない件数上位モデル

指示に従っていない件数対スコア

応答時間（平均）上位モデル

推定無駄コスト上位モデル