指示追従 x タイムアウトランキング

指示追従でタイムアウトが起きやすいAIモデルを確認し、弱点を早く見つけられます。

表示モデル数

総失敗数

最も影響を受けたモデル

失敗理由

不正解82 指示に従っていない48 余分な書式7 タイムアウト5 API エラー2 回答なし2

カテゴリ

ドメイン特化41 コーディング29 パズル解決11 複合9 反AIトリック6 指示追従5 汎用知能4 データ解析と抽出2 雑学1

5/5

順位	モデル	企業	タイムアウト件数	カテゴリスコア	合計コスト	正解テスト	応答時間（平均）
#242	Laguna XS 2.1 none	Poolside	1	3.8	$0.008	0/2	364ms
合計テスト数 2 誤答テスト数 2 合計コスト $0.008 応答時間（平均） 364ms
#249	Granite 4.2 8B medium	IBM Granite	1	3.8	$0.009	0/2	36.9s
合計テスト数 2 誤答テスト数 2 合計コスト $0.009 応答時間（平均） 36.9s
#253	Granite 4.2 8B low	IBM Granite	1	3.0	$0.012	0/2	75.8s
合計テスト数 2 誤答テスト数 2 合計コスト $0.012 応答時間（平均） 75.8s
#282	Granite 4.2 8B high	IBM Granite	1	6.4	$0.084	1/2	87.5s
合計テスト数 2 誤答テスト数 1 合計コスト $0.084 応答時間（平均） 87.5s
#291	Granite 4.2 8B none	IBM Granite	1	3.0	$0.026	0/2	79.5s
合計テスト数 2 誤答テスト数 2 合計コスト $0.026 応答時間（平均） 79.5s

モデルを絞り込む