指示追従 x タイムアウトランキング

指示追従でタイムアウトが起きやすいAIモデルを確認し、弱点を早く見つけられます。

表示モデル数

総失敗数

最も影響を受けたモデル

失敗理由

不正解111 指示に従っていない73 API エラー25 余分な書式8 タイムアウト5 回答なし2

カテゴリ

ドメイン特化46 コーディング26 エージェントタスク11 パズル解決11 複合11 反AIトリック8 指示追従5 汎用知能4 データ解析と抽出2 雑学2

5/5

順位	モデル	企業	タイムアウト件数	カテゴリスコア	合計コスト	正解テスト	応答時間（平均）
#272	Granite 4.2 8B medium	IBM Granite	1	0.4	$0.029	0/2	36.9s
合計テスト数 2 誤答テスト数 2 合計コスト $0.029 応答時間（平均） 36.9s
#323	Granite 4.2 8B low	IBM Granite	1	0.3	$0.036	0/2	75.8s
合計テスト数 2 誤答テスト数 2 合計コスト $0.036 応答時間（平均） 75.8s
#326	Laguna XS 2.1 none	Poolside	1	0.4	$0.020	0/2	364ms
合計テスト数 2 誤答テスト数 2 合計コスト $0.020 応答時間（平均） 364ms
#362	Granite 4.2 8B high	IBM Granite	1	0.6	$0.111	1/2	87.5s
合計テスト数 2 誤答テスト数 1 合計コスト $0.111 応答時間（平均） 87.5s
#380	Granite 4.2 8B none	IBM Granite	1	0.3	$0.037	0/2	79.5s
合計テスト数 2 誤答テスト数 2 合計コスト $0.037 応答時間（平均） 79.5s

モデルを絞り込む