汎用知能 x 指示に従っていないランキング

汎用知能で指示に従っていないが起きやすいAIモデルを確認し、弱点を早く見つけられます。

表示モデル数

総失敗数

142

最も影響を受けたモデル

Claude Sonnet 5.5 1

失敗理由

指示に従っていない142 不正解134 API エラー17 タイムアウト4

カテゴリ

パズル解決166 汎用知能142 指示追従77 反AIトリック52 コーディング50 ツール呼び出し13 エージェントタスク10 データ解析と抽出8 ドメイン特化3 複合1

142/142

順位	モデル	企業	指示に従っていない件数	カテゴリスコア	合計コスト	正解テスト	応答時間（平均）
#143	Qwen3.8 Flash Next medium	Qwen	1	0.5	~$0.047	0/1	7.29s
合計テスト数 1 誤答テスト数 1 合計コスト ~$0.047 応答時間（平均） 7.29s
#145	Qwen3.8 27B low	Qwen	1	0.5	~$0.089	0/1	5.37s
合計テスト数 1 誤答テスト数 1 合計コスト ~$0.089 応答時間（平均） 5.37s
#148	Seed-2.0-Mini medium	Bytedance Seed	1	0.5	$0.140	0/1	36.7s
合計テスト数 1 誤答テスト数 1 合計コスト $0.140 応答時間（平均） 36.7s
#154	Seed-2.0-Code medium	Bytedance Seed	1	0.5	$1.275	0/1	11.4s
合計テスト数 1 誤答テスト数 1 合計コスト $1.275 応答時間（平均） 11.4s
#155	GLM 5.3 FlashX high	Z.ai	1	0.6	$0.210	0/1	2.28s
合計テスト数 1 誤答テスト数 1 合計コスト $0.210 応答時間（平均） 2.28s
#161	GLM 5.3 Flash high	Z.ai	1	0.5	$0.056	0/1	3.33s
合計テスト数 1 誤答テスト数 1 合計コスト $0.056 応答時間（平均） 3.33s
#164	Gemini 2.5 Flash medium	Google	1	0.5	$0.680	0/1	4.86s
合計テスト数 1 誤答テスト数 1 合計コスト $0.680 応答時間（平均） 4.86s
#166	Qwen3.6 Plus medium	Qwen	1	0.5	$0.554	0/1	27.1s
合計テスト数 1 誤答テスト数 1 合計コスト $0.554 応答時間（平均） 27.1s
#167	Gemini 3.5 Flash Lite medium	Google	1	0.5	$0.440	0/1	2.97s
合計テスト数 1 誤答テスト数 1 合計コスト $0.440 応答時間（平均） 2.97s
#168	Qwen3.5-27B none	Qwen	1	0.5	$0.116	0/1	2.51s
合計テスト数 1 誤答テスト数 1 合計コスト $0.116 応答時間（平均） 2.51s
#170	Qwen3.8 27B medium	Qwen	1	0.5	~$0.073	0/1	9.20s
合計テスト数 1 誤答テスト数 1 合計コスト ~$0.073 応答時間（平均） 9.20s
#175	GLM 5 medium	Z.ai	1	0.6	$0.479	0/1	14.7s
合計テスト数 1 誤答テスト数 1 合計コスト $0.479 応答時間（平均） 14.7s
#177	Qwen3.6 27B medium	Qwen	1	0.6	$1.021	0/1	39.5s
合計テスト数 1 誤答テスト数 1 合計コスト $1.021 応答時間（平均） 39.5s
#179	Qwen3.8 Flash Next xhigh	Qwen	1	0.5	~$0.195	0/1	3.95s
合計テスト数 1 誤答テスト数 1 合計コスト ~$0.195 応答時間（平均） 3.95s
#180	GLM 5.3 FlashX medium	Z.ai	1	0.3	$0.114	0/1	1.79s
合計テスト数 1 誤答テスト数 1 合計コスト $0.114 応答時間（平均） 1.79s

モデルを絞り込む

指示に従っていない件数上位モデル

指示に従っていない件数対スコア

応答時間（平均）上位モデル

推定無駄コスト上位モデル

汎用知能: 指示に従っていない

モデルを絞り込む

指示に従っていない 件数 上位モデル

指示に従っていない 件数 対 スコア

応答時間（平均） 上位モデル

推定無駄コスト 上位モデルGPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 0.4752 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.046984.

指示に従っていない件数上位モデル

指示に従っていない件数対スコア

応答時間（平均）上位モデル

推定無駄コスト上位モデル