| #339#339 |
Claude Sonnet 5none
|
5.9… |
Anthropic |
$1.095
…
|
8.60s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 余分な書式: 4 回答なし: 2 指示に従っていない: 1
応答時間(平均)8.60s
応答時間(最大)64.73s
応答時間(合計)197.73s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 40.6%
- 入力トークン
- 393,560
- 出力トークン
- 30,466
- 推論トークン
- 311
- 応答時間(平均)
- 8.60s
- 応答時間(合計)
- 197.73s
- 応答時間(最大)
- 64.73s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)64.73s
応答時間(最大)64.73s
応答時間(合計)64.73s
-
反AIトリック
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)3.60s
応答時間(最大)7.10s
応答時間(合計)14.39s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.67s
応答時間(最大)5.83s
応答時間(合計)11.02s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)31.43s
応答時間(最大)33.39s
応答時間(合計)62.86s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.01s
応答時間(最大)3.29s
応答時間(合計)6.02s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.32s
応答時間(最大)4.75s
応答時間(合計)9.96s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.81s
応答時間(最大)2.81s
応答時間(合計)2.81s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)2.58s
応答時間(最大)2.89s
応答時間(合計)5.17s
-
パズル解決
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)3.22s
応答時間(最大)3.65s
応答時間(合計)9.67s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.80s
応答時間(最大)6.80s
応答時間(合計)6.80s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)4.31s
応答時間(最大)4.31s
応答時間(合計)4.31s
|
| #338#338 |
Qwen3.6 Flashnone
|
5.9… |
Qwen |
$0.139
↓
…
|
7.63s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)7.63s
応答時間(最大)93.47s
応答時間(合計)175.42s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 33.3%
- 入力トークン
- 388,929
- 出力トークン
- 57,714
- 推論トークン
- 0
- 応答時間(平均)
- 7.63s
- 応答時間(合計)
- 175.42s
- 応答時間(最大)
- 93.47s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)93.47s
応答時間(最大)93.47s
応答時間(合計)93.47s
-
反AIトリック
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.63s
応答時間(最大)4.60s
応答時間(合計)6.51s
-
コーディング
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.79s
応答時間(最大)2.46s
応答時間(合計)5.36s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)26.50s
応答時間(最大)48.79s
応答時間(合計)53.01s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.13s
応答時間(最大)3.35s
応答時間(合計)4.26s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)963ms
応答時間(最大)1.89s
応答時間(合計)2.89s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)947ms
応答時間(最大)947ms
応答時間(合計)947ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.10s
応答時間(最大)1.36s
応答時間(合計)2.19s
-
パズル解決
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.21s
応答時間(最大)1.80s
応答時間(合計)3.64s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.49s
応答時間(最大)2.49s
応答時間(合計)2.49s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)649ms
応答時間(最大)649ms
応答時間(合計)649ms
|
| #337#337 |
Gemini 3.1 Flash Litenone
|
5.9… |
Google |
$0.069
…
|
3.58s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 指示に従っていない: 1 回答なし: 1
応答時間(平均)3.58s
応答時間(最大)43.82s
応答時間(合計)82.24s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 14
- 試行ごとの合格率
- 47.8%
- 入力トークン
- 202,069
- 出力トークン
- 11,961
- 推論トークン
- 0
- 応答時間(平均)
- 3.58s
- 応答時間(合計)
- 82.24s
- 応答時間(最大)
- 43.82s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)43.82s
応答時間(最大)43.82s
応答時間(合計)43.82s
-
反AIトリック
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.07s
応答時間(最大)1.91s
応答時間(合計)4.27s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)938ms
応答時間(最大)1.59s
応答時間(合計)2.81s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)9.49s
応答時間(最大)16.25s
応答時間(合計)18.98s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)843ms
応答時間(最大)907ms
応答時間(合計)1.69s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)701ms
応答時間(最大)814ms
応答時間(合計)2.10s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)992ms
応答時間(最大)992ms
応答時間(合計)992ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)859ms
応答時間(最大)975ms
応答時間(合計)1.72s
-
パズル解決
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)720ms
応答時間(最大)826ms
応答時間(合計)2.16s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.97s
応答時間(最大)2.97s
応答時間(合計)2.97s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)733ms
応答時間(最大)733ms
応答時間(合計)733ms
|
| #336#336 |
gpt-oss-120bmedium
|
5.9… |
OpenAI |
$0.030
↓
…
|
31.58s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)31.58s
応答時間(最大)203.90s
応答時間(合計)536.78s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 14
- 試行ごとの合格率
- 47.8%
- 入力トークン
- 285,293
- 出力トークン
- 29,565
- 推論トークン
- 89,266
- 応答時間(平均)
- 31.58s
- 応答時間(合計)
- 536.78s
- 応答時間(最大)
- 203.90s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)203.90s
応答時間(最大)203.90s
応答時間(合計)203.90s
-
反AIトリック
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)10.21s
応答時間(最大)19.76s
応答時間(合計)20.43s
-
コーディング
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)38.37s
応答時間(最大)68.16s
応答時間(合計)115.10s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)23.96s
応答時間(最大)31.18s
応答時間(合計)47.91s
-
データ解析と抽出
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.98s
応答時間(最大)1.98s
応答時間(合計)1.98s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)27.55s
応答時間(最大)50.92s
応答時間(合計)55.10s
-
汎用知能
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.90s
応答時間(最大)7.90s
応答時間(合計)7.90s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.63s
応答時間(最大)7.63s
応答時間(合計)7.63s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)21.71s
応答時間(最大)32.40s
応答時間(合計)43.41s
-
ツール呼び出し
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.91s
応答時間(最大)6.91s
応答時間(合計)6.91s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)26.51s
応答時間(最大)26.51s
応答時間(合計)26.51s
|
| #335#335 |
Gemini 3.1 Flash Liteminimal
|
5.9… |
Google |
$0.080
…
|
3.95s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 3 回答なし: 1
応答時間(平均)3.95s
応答時間(最大)50.03s
応答時間(合計)90.76s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 49.3%
- 入力トークン
- 238,785
- 出力トークン
- 12,875
- 推論トークン
- 0
- 応答時間(平均)
- 3.95s
- 応答時間(合計)
- 90.76s
- 応答時間(最大)
- 50.03s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)50.03s
応答時間(最大)50.03s
応答時間(合計)50.03s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.10s
応答時間(最大)1.65s
応答時間(合計)4.42s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)831ms
応答時間(最大)1.31s
応答時間(合計)2.49s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)7.75s
応答時間(最大)12.97s
応答時間(合計)15.50s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.04s
応答時間(最大)1.32s
応答時間(合計)2.07s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)972ms
応答時間(最大)1.16s
応答時間(合計)2.92s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)791ms
応答時間(最大)791ms
応答時間(合計)791ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)932ms
応答時間(最大)1.00s
応答時間(合計)1.86s
-
パズル解決
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2
応答時間(平均)2.15s
応答時間(最大)4.49s
応答時間(合計)6.45s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.51s
応答時間(最大)3.51s
応答時間(合計)3.51s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)724ms
応答時間(最大)724ms
応答時間(合計)724ms
|
| #333#333 |
Inkling Smallmedium
|
6.0… |
Thinkingmachines |
$0.113
↓
…
|
6.03s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 4 無効なツール呼び出し: 2 API エラー: 1
応答時間(平均)6.03s
応答時間(最大)17.26s
応答時間(合計)138.65s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 50.7%
- 入力トークン
- 100,255
- 出力トークン
- 6,422
- 推論トークン
- 49,847
- 応答時間(平均)
- 6.03s
- 応答時間(合計)
- 138.65s
- 応答時間(最大)
- 17.26s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)49ms
応答時間(最大)49ms
応答時間(合計)49ms
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.09s
応答時間(最大)10.33s
応答時間(合計)16.35s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.49s
応答時間(最大)17.26s
応答時間(合計)31.48s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)8.89s
応答時間(最大)12.00s
応答時間(合計)17.78s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.95s
応答時間(最大)5.78s
応答時間(合計)7.89s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)7.65s
応答時間(最大)14.20s
応答時間(合計)22.94s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.58s
応答時間(最大)2.58s
応答時間(合計)2.58s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.78s
応答時間(最大)3.98s
応答時間(合計)7.56s
-
パズル解決
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.24s
応答時間(最大)10.12s
応答時間(合計)15.71s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.12s
応答時間(最大)2.12s
応答時間(合計)2.12s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)14.19s
応答時間(最大)14.19s
応答時間(合計)14.19s
|
| #334#334 |
Seed-2.0-Litenone
|
6.0… |
Bytedance Seed |
$0.114
…
|
7.49s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 回答なし: 1
応答時間(平均)7.49s
応答時間(最大)75.99s
応答時間(合計)172.19s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 39.1%
- 入力トークン
- 314,113
- 出力トークン
- 17,558
- 推論トークン
- 0
- 応答時間(平均)
- 7.49s
- 応答時間(合計)
- 172.19s
- 応答時間(最大)
- 75.99s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)75.99s
応答時間(最大)75.99s
応答時間(合計)75.99s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.43s
応答時間(最大)6.70s
応答時間(合計)9.73s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.83s
応答時間(最大)4.61s
応答時間(合計)8.49s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)25.58s
応答時間(最大)44.58s
応答時間(合計)51.17s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.82s
応答時間(最大)1.97s
応答時間(合計)3.63s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.12s
応答時間(最大)1.53s
応答時間(合計)3.36s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.45s
応答時間(最大)3.45s
応答時間(合計)3.45s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.06s
応答時間(最大)1.09s
応答時間(合計)2.12s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.78s
応答時間(最大)5.20s
応答時間(合計)8.34s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.94s
応答時間(最大)3.94s
応答時間(合計)3.94s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.96s
応答時間(最大)1.96s
応答時間(合計)1.96s
|
| #332#332 |
MiMo-V2.6-Pronone
|
6.0… |
Xiaomi |
$0.193
…
|
9.66s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 余分な書式: 2 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)9.66s
応答時間(最大)106.86s
応答時間(合計)222.07s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 14
- 試行ごとの合格率
- 43.5%
- 入力トークン
- 278,866
- 出力トークン
- 82,069
- 推論トークン
- 0
- 応答時間(平均)
- 9.66s
- 応答時間(合計)
- 222.07s
- 応答時間(最大)
- 106.86s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)66.15s
応答時間(最大)66.15s
応答時間(合計)66.15s
-
反AIトリック
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.87s
応答時間(最大)5.31s
応答時間(合計)7.50s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2
応答時間(平均)3.69s
応答時間(最大)5.45s
応答時間(合計)11.08s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)7.78s
応答時間(最大)12.50s
応答時間(合計)15.56s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.05s
応答時間(最大)1.22s
応答時間(合計)2.11s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)791ms
応答時間(最大)860ms
応答時間(合計)2.37s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.40s
応答時間(最大)1.40s
応答時間(合計)1.40s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)803ms
応答時間(最大)870ms
応答時間(合計)1.61s
-
パズル解決
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.67s
応答時間(最大)2.31s
応答時間(合計)5.01s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.44s
応答時間(最大)2.44s
応答時間(合計)2.44s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)106.86s
応答時間(最大)106.86s
応答時間(合計)106.86s
|
| #330#330 |
Particle-1none
|
6.0… |
Particle AI |
$0.059
…
|
8.61s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 2 余分な書式: 1
応答時間(平均)8.61s
応答時間(最大)107.90s
応答時間(合計)198.13s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 34.8%
- 入力トークン
- 284,369
- 出力トークン
- 87,599
- 推論トークン
- 0
- 応答時間(平均)
- 8.61s
- 応答時間(合計)
- 198.13s
- 応答時間(最大)
- 107.90s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)49.30s
応答時間(最大)49.30s
応答時間(合計)49.30s
-
反AIトリック
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.86s
応答時間(最大)3.26s
応答時間(合計)7.45s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)36.78s
応答時間(最大)107.90s
応答時間(合計)110.35s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)7.48s
応答時間(最大)12.38s
応答時間(合計)14.96s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.00s
応答時間(最大)1.02s
応答時間(合計)2.00s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)759ms
応答時間(最大)1.01s
応答時間(合計)2.28s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.25s
応答時間(最大)1.25s
応答時間(合計)1.25s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.21s
応答時間(最大)1.31s
応答時間(合計)2.41s
-
パズル解決
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.15s
応答時間(最大)1.34s
応答時間(合計)3.46s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.68s
応答時間(最大)3.68s
応答時間(合計)3.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)994ms
応答時間(最大)994ms
応答時間(合計)994ms
|
| #331#331 |
GLM 5.3 FlashXlow
|
6.0… |
Z.ai |
$0.157
…
|
9.69s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)9.69s
応答時間(最大)77.99s
応答時間(合計)222.83s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 277,028
- 出力トークン
- 11,965
- 推論トークン
- 31,238
- 応答時間(平均)
- 9.69s
- 応答時間(合計)
- 222.83s
- 応答時間(最大)
- 77.99s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)77.99s
応答時間(最大)77.99s
応答時間(合計)77.99s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.56s
応答時間(最大)2.05s
応答時間(合計)6.26s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)5.45s
応答時間(最大)6.31s
応答時間(合計)16.36s
-
複合
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)42.40s
応答時間(最大)73.01s
応答時間(合計)84.79s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.59s
応答時間(最大)1.63s
応答時間(合計)3.17s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.87s
応答時間(最大)4.85s
応答時間(合計)11.62s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.07s
応答時間(最大)2.07s
応答時間(合計)2.07s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.34s
応答時間(最大)1.42s
応答時間(合計)2.69s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.89s
応答時間(最大)2.38s
応答時間(合計)5.68s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.52s
応答時間(最大)9.52s
応答時間(合計)9.52s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)2.69s
応答時間(最大)2.69s
応答時間(合計)2.69s
|
| #329#329 |
Claude Sonnet 4.6noneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.0… |
Anthropic |
$0.661
…
|
7.67s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 余分な書式: 4 指示に従っていない: 1
応答時間(平均)7.67s
応答時間(最大)51.18s
応答時間(合計)122.78s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 55.1%
- 入力トークン
- 123,273
- 出力トークン
- 19,362
- 推論トークン
- 0
- 応答時間(平均)
- 7.67s
- 応答時間(合計)
- 122.78s
- 応答時間(最大)
- 51.18s
-
エージェントタスク
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)2.94s
応答時間(最大)4.83s
応答時間(合計)5.88s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)5.19s
応答時間(最大)9.79s
応答時間(合計)15.56s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.51s
応答時間(最大)51.18s
応答時間(合計)75.03s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.43s
応答時間(最大)3.43s
応答時間(合計)3.43s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.27s
応答時間(最大)3.54s
応答時間(合計)4.54s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.56s
応答時間(最大)2.56s
応答時間(合計)2.56s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.96s
応答時間(最大)1.96s
応答時間(合計)1.96s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)2.53s
応答時間(最大)2.54s
応答時間(合計)5.06s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.11s
応答時間(最大)4.11s
応答時間(合計)4.11s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.67s
応答時間(最大)4.67s
応答時間(合計)4.67s
|
| #328#328 |
Apodex 1.1 Minimedium
|
6.0… |
Apodex |
$0.000
…
|
32.68s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 2 回答なし: 1
応答時間(平均)32.68s
応答時間(最大)115.57s
応答時間(合計)751.72s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 293,112
- 出力トークン
- 152,376
- 推論トークン
- 357,890
- 応答時間(平均)
- 32.68s
- 応答時間(合計)
- 751.72s
- 応答時間(最大)
- 115.57s
-
エージェントタスク
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)85.34s
応答時間(最大)85.34s
応答時間(合計)85.34s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.24s
応答時間(最大)19.73s
応答時間(合計)32.95s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)51.01s
応答時間(最大)82.35s
応答時間(合計)153.02s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)66.43s
応答時間(最大)115.57s
応答時間(合計)132.87s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.99s
応答時間(最大)19.83s
応答時間(合計)29.99s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)63.74s
応答時間(最大)105.49s
応答時間(合計)191.21s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)16.13s
応答時間(最大)16.13s
応答時間(合計)16.13s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)8.56s
応答時間(最大)12.29s
応答時間(合計)17.12s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)15.19s
応答時間(最大)25.27s
応答時間(合計)45.56s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.62s
応答時間(最大)4.62s
応答時間(合計)4.62s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)42.92s
応答時間(最大)42.92s
応答時間(合計)42.92s
|
| #327#327 |
KAT-Coder-Pro V2.5default
|
6.1… |
Kwaipilot |
$0.742
↑
…
|
24.96s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)24.96s
応答時間(最大)335.41s
応答時間(合計)574.12s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 98,508
- 出力トークン
- 8,088
- 推論トークン
- 131,484
- 応答時間(平均)
- 24.96s
- 応答時間(合計)
- 574.12s
- 応答時間(最大)
- 335.41s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.90s
応答時間(最大)1.90s
応答時間(合計)1.90s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.58s
応答時間(最大)7.94s
応答時間(合計)18.33s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)22.52s
応答時間(最大)30.63s
応答時間(合計)67.55s
-
複合
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)183.08s
応答時間(最大)335.41s
応答時間(合計)366.16s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.07s
応答時間(最大)5.35s
応答時間(合計)10.15s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)24.90s
応答時間(最大)53.57s
応答時間(合計)74.71s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.16s
応答時間(最大)5.16s
応答時間(合計)5.16s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.61s
応答時間(最大)2.82s
応答時間(合計)5.23s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.03s
応答時間(最大)4.12s
応答時間(合計)9.10s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.93s
応答時間(最大)5.93s
応答時間(合計)5.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.91s
応答時間(最大)9.91s
応答時間(合計)9.91s
|
| #326#326 |
Granite 4.2 8Bmedium
|
6.1… |
IBM Granite |
$0.029
…
|
50.47s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 タイムアウト: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)50.47s
応答時間(最大)557.96s
応答時間(合計)1160.91s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 37.7%
- 入力トークン
- 259,708
- 出力トークン
- 16,567
- 推論トークン
- 33,580
- 応答時間(平均)
- 50.47s
- 応答時間(合計)
- 1160.91s
- 応答時間(最大)
- 557.96s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)149.50s
応答時間(最大)149.50s
応答時間(合計)149.50s
-
反AIトリック
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.34s
応答時間(最大)35.62s
応答時間(合計)41.36s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)12.09s
応答時間(最大)21.31s
応答時間(合計)36.27s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)291.12s
応答時間(最大)557.96s
応答時間(合計)582.25s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.43s
応答時間(最大)2.31s
応答時間(合計)2.87s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)13.96s
応答時間(最大)40.61s
応答時間(合計)41.88s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)605ms
応答時間(最大)605ms
応答時間(合計)605ms
-
指示追従
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)36.86s
応答時間(最大)72.47s
応答時間(合計)73.73s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)75.99s
応答時間(最大)116.19s
応答時間(合計)227.96s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.28s
応答時間(最大)2.28s
応答時間(合計)2.28s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.24s
応答時間(最大)2.24s
応答時間(合計)2.24s
|
| #325#325 |
Step 5 Previewmedium
|
6.1… |
Stepfun |
$4.136
…
|
136.10s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 6 不正解: 3 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)136.10s
応答時間(最大)438.09s
応答時間(合計)3130.27s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 53.6%
- 入力トークン
- 261,842
- 出力トークン
- 1,434,621
- 推論トークン
- 0
- 応答時間(平均)
- 136.10s
- 応答時間(合計)
- 3130.27s
- 応答時間(最大)
- 438.09s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)95.77s
応答時間(最大)95.77s
応答時間(合計)95.77s
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)12.58s
応答時間(最大)36.18s
応答時間(合計)50.32s
-
コーディング
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 指示に従っていない: 1
応答時間(平均)363.90s
応答時間(最大)369.01s
応答時間(合計)1091.69s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)124.99s
応答時間(最大)231.73s
応答時間(合計)249.98s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.10s
応答時間(最大)5.14s
応答時間(合計)8.20s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 3
応答時間(平均)323.23s
応答時間(最大)438.09s
応答時間(合計)969.70s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)34.82s
応答時間(最大)34.82s
応答時間(合計)34.82s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.23s
応答時間(最大)4.40s
応答時間(合計)8.46s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)59.88s
応答時間(最大)173.78s
応答時間(合計)179.64s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.84s
応答時間(最大)3.84s
応答時間(合計)3.84s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)437.86s
応答時間(最大)437.86s
応答時間(合計)437.86s
|
| #324#324 |
Qwen3.5 Plus 2026-04-20none
|
6.1… |
Qwen |
$0.216
↓
…
|
18.49s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)18.49s
応答時間(最大)206.05s
応答時間(合計)425.33s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 44.9%
- 入力トークン
- 299,984
- 出力トークン
- 69,664
- 推論トークン
- 0
- 応答時間(平均)
- 18.49s
- 応答時間(合計)
- 425.33s
- 応答時間(最大)
- 206.05s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)137.10s
応答時間(最大)137.10s
応答時間(合計)137.10s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.88s
応答時間(最大)4.81s
応答時間(合計)7.53s
-
コーディング
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.69s
応答時間(最大)3.20s
応答時間(合計)5.06s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)109.69s
応答時間(最大)206.05s
応答時間(合計)219.37s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.82s
応答時間(最大)3.86s
応答時間(合計)5.65s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.06s
応答時間(最大)1.71s
応答時間(合計)3.19s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.41s
応答時間(最大)1.41s
応答時間(合計)1.41s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.17s
応答時間(最大)1.33s
応答時間(合計)2.35s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.97s
応答時間(最大)3.43s
応答時間(合計)5.91s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.42s
応答時間(最大)4.42s
応答時間(合計)4.42s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.34s
応答時間(最大)33.34s
応答時間(合計)33.34s
|
| #322#322 |
Apodex 1.1 Minilow
|
6.1… |
Apodex |
$0.000
…
|
33.68s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)33.68s
応答時間(最大)163.05s
応答時間(合計)774.73s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 321,894
- 出力トークン
- 139,334
- 推論トークン
- 369,481
- 応答時間(平均)
- 33.68s
- 応答時間(合計)
- 774.73s
- 応答時間(最大)
- 163.05s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)104.17s
応答時間(最大)104.17s
応答時間(合計)104.17s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.10s
応答時間(最大)16.08s
応答時間(合計)36.41s
-
コーディング
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)48.81s
応答時間(最大)82.28s
応答時間(合計)146.43s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)95.23s
応答時間(最大)163.05s
応答時間(合計)190.45s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.02s
応答時間(最大)14.00s
応答時間(合計)26.05s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)50.19s
応答時間(最大)55.30s
応答時間(合計)150.57s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)18.02s
応答時間(最大)18.02s
応答時間(合計)18.02s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.71s
応答時間(最大)10.23s
応答時間(合計)15.42s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.60s
応答時間(最大)16.54s
応答時間(合計)28.79s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.75s
応答時間(最大)3.75s
応答時間(合計)3.75s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)54.67s
応答時間(最大)54.67s
応答時間(合計)54.67s
|
| #323#323 |
Inklingnone
|
6.1… |
Thinkingmachines |
$0.292
↓
…
|
5.30s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 余分な書式: 1 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)5.30s
応答時間(最大)48.02s
応答時間(合計)121.91s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 31.9%
- 入力トークン
- 236,599
- 出力トークン
- 11,561
- 推論トークン
- 4,975
- 応答時間(平均)
- 5.30s
- 応答時間(合計)
- 121.91s
- 応答時間(最大)
- 48.02s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)45.64s
応答時間(最大)45.64s
応答時間(合計)45.64s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.43s
応答時間(最大)2.89s
応答時間(合計)5.72s
-
コーディング
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.01s
応答時間(最大)2.25s
応答時間(合計)3.02s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)25.74s
応答時間(最大)48.02s
応答時間(合計)51.48s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.14s
応答時間(最大)1.33s
応答時間(合計)2.27s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.18s
応答時間(最大)2.66s
応答時間(合計)3.54s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)859ms
応答時間(最大)859ms
応答時間(合計)859ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.72s
応答時間(最大)2.59s
応答時間(合計)3.43s
-
パズル解決
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)931ms
応答時間(最大)1.40s
応答時間(合計)2.79s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.50s
応答時間(最大)2.50s
応答時間(合計)2.50s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)670ms
応答時間(最大)670ms
応答時間(合計)670ms
|
| #321#321 |
Trinity Large Thinkingmedium
|
6.1… |
Arcee AI |
$0.862
…
|
84.01s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 4 無効なツール呼び出し: 2
応答時間(平均)84.01s
応答時間(最大)525.14s
応答時間(合計)1932.24s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 49.3%
- 入力トークン
- 319,352
- 出力トークン
- 158,447
- 推論トークン
- 875,524
- 応答時間(平均)
- 84.01s
- 応答時間(合計)
- 1932.24s
- 応答時間(最大)
- 525.14s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)52.50s
応答時間(最大)52.50s
応答時間(合計)52.50s
-
反AIトリック
: 6.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)5.11s
応答時間(最大)7.44s
応答時間(合計)20.43s
-
コーディング
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)179.02s
応答時間(最大)204.02s
応答時間(合計)537.06s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)382.70s
応答時間(最大)525.14s
応答時間(合計)765.39s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)16.38s
応答時間(最大)25.39s
応答時間(合計)32.75s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)124.17s
応答時間(最大)185.24s
応答時間(合計)372.50s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)32.22s
応答時間(最大)32.22s
応答時間(合計)32.22s
-
指示追従
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)3.99s
応答時間(最大)4.44s
応答時間(合計)7.98s
-
パズル解決
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)2.90s
応答時間(最大)4.88s
応答時間(合計)8.71s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.26s
応答時間(最大)5.26s
応答時間(合計)5.26s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)97.44s
応答時間(最大)97.44s
応答時間(合計)97.44s
|
| #320#320 |
Beam 1.0 501B A23Bhigh
|
6.1… |
Reflection |
$0.674
…
|
9.03s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 3 指示に従っていない: 2
応答時間(平均)9.03s
応答時間(最大)36.04s
応答時間(合計)207.67s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 59.4%
- 入力トークン
- 232,218
- 出力トークン
- 4,944
- 推論トークン
- 142,263
- 応答時間(平均)
- 9.03s
- 応答時間(合計)
- 207.67s
- 応答時間(最大)
- 36.04s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.55s
応答時間(最大)33.55s
応答時間(合計)33.55s
-
反AIトリック
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.36s
応答時間(最大)2.48s
応答時間(合計)5.43s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)21.05s
応答時間(最大)36.04s
応答時間(合計)63.15s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)2.68s
応答時間(最大)3.80s
応答時間(合計)5.36s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.66s
応答時間(最大)2.18s
応答時間(合計)3.32s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)20.70s
応答時間(最大)32.05s
応答時間(合計)62.11s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.94s
応答時間(最大)1.94s
応答時間(合計)1.94s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.27s
応答時間(最大)1.60s
応答時間(合計)2.55s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.02s
応答時間(最大)6.66s
応答時間(合計)12.06s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.82s
応答時間(最大)1.82s
応答時間(合計)1.82s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)16.40s
応答時間(最大)16.40s
応答時間(合計)16.40s
|
| #319#319 |
Gemini 3.5 Flashnone
|
6.1… |
Google |
$1.752
…
|
14.13s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 4 不正解: 4 無効なツール呼び出し: 1
応答時間(平均)14.13s
応答時間(最大)85.26s
応答時間(合計)268.55s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 246,061
- 出力トークン
- 3,828
- 推論トークン
- 149,767
- 応答時間(平均)
- 14.13s
- 応答時間(合計)
- 268.55s
- 応答時間(最大)
- 85.26s
-
エージェントタスク
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)85.26s
応答時間(最大)85.26s
応答時間(合計)85.26s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.53s
応答時間(最大)3.43s
応答時間(合計)10.12s
-
コーディング
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)34.69s
応答時間(最大)64.36s
応答時間(合計)104.06s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)8.10s
応答時間(最大)8.10s
応答時間(合計)8.10s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)12.18s
応答時間(最大)14.00s
応答時間(合計)36.54s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.46s
応答時間(最大)3.46s
応答時間(合計)3.46s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.38s
応答時間(最大)3.40s
応答時間(合計)6.76s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.13s
応答時間(最大)3.33s
応答時間(合計)9.39s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.87s
応答時間(最大)4.87s
応答時間(合計)4.87s
|
| #318#318 |
Claude Fable 5.1low
|
6.2… |
Anthropic |
$3.395
…
|
11.40s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 4 不正解: 4 指示に従っていない: 3 API エラー: 1
応答時間(平均)11.40s
応答時間(最大)34.77s
応答時間(合計)262.14s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 55.1%
- 入力トークン
- 209,116
- 出力トークン
- 10,031
- 推論トークン
- 16,042
- 応答時間(平均)
- 11.40s
- 応答時間(合計)
- 262.14s
- 応答時間(最大)
- 34.77s
-
エージェントタスク
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)34.77s
応答時間(最大)34.77s
応答時間(合計)34.77s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2
応答時間(平均)4.54s
応答時間(最大)4.91s
応答時間(合計)18.16s
-
コーディング
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 余分な書式: 1
応答時間(平均)6.75s
応答時間(最大)7.70s
応答時間(合計)20.24s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)29.40s
応答時間(最大)33.10s
応答時間(合計)58.80s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.71s
応答時間(最大)4.86s
応答時間(合計)9.43s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)19.30s
応答時間(最大)19.72s
応答時間(合計)57.90s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.62s
応答時間(最大)5.62s
応答時間(合計)5.62s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)5.24s
応答時間(最大)5.70s
応答時間(合計)10.49s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.78s
応答時間(最大)5.07s
応答時間(合計)14.33s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.22s
応答時間(最大)13.22s
応答時間(合計)13.22s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)19.18s
応答時間(最大)19.18s
応答時間(合計)19.18s
|
| #317#317 |
Gemini 3.1 Flash Lite Previewnone
|
6.2… |
Google |
$0.090
…
|
3.60s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 2 回答なし: 1
応答時間(平均)3.60s
応答時間(最大)48.59s
応答時間(合計)82.91s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 55.1%
- 入力トークン
- 261,962
- 出力トークン
- 12,799
- 推論トークン
- 2,961
- 応答時間(平均)
- 3.60s
- 応答時間(合計)
- 82.91s
- 応答時間(最大)
- 48.59s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)48.59s
応答時間(最大)48.59s
応答時間(合計)48.59s
-
反AIトリック
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.04s
応答時間(最大)1.47s
応答時間(合計)4.17s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)967ms
応答時間(最大)1.47s
応答時間(合計)2.90s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)6.23s
応答時間(最大)9.27s
応答時間(合計)12.46s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.22s
応答時間(最大)1.33s
応答時間(合計)2.44s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)811ms
応答時間(最大)1.12s
応答時間(合計)2.43s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)741ms
応答時間(最大)741ms
応答時間(合計)741ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.14s
応答時間(合計)2.27s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)900ms
応答時間(最大)962ms
応答時間(合計)2.70s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.39s
応答時間(最大)3.39s
応答時間(合計)3.39s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)814ms
応答時間(最大)814ms
応答時間(合計)814ms
|
| #316#316 |
DeepSeek V4 Flash 0731none
|
6.2… |
DeepSeek |
$0.053
↑
…
|
27.42s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 2 無効なツール呼び出し: 2 余分な書式: 1
応答時間(平均)27.42s
応答時間(最大)387.15s
応答時間(合計)630.70s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 18
- 試行ごとの合格率
- 30.4%
- 入力トークン
- 349,876
- 出力トークン
- 39,789
- 推論トークン
- 0
- 応答時間(平均)
- 27.42s
- 応答時間(合計)
- 630.70s
- 応答時間(最大)
- 387.15s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)174.89s
応答時間(最大)174.89s
応答時間(合計)174.89s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1
応答時間(平均)4.19s
応答時間(最大)6.04s
応答時間(合計)16.76s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.72s
応答時間(最大)3.55s
応答時間(合計)5.16s
-
複合
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)202.44s
応答時間(最大)387.15s
応答時間(合計)404.87s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.37s
応答時間(最大)2.66s
応答時間(合計)4.75s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.17s
応答時間(最大)1.66s
応答時間(合計)3.50s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.22s
応答時間(最大)3.22s
応答時間(合計)3.22s
-
指示追従
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.42s
応答時間(最大)1.62s
応答時間(合計)2.84s
-
パズル解決
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)2.74s
応答時間(最大)3.54s
応答時間(合計)8.23s
-
ツール呼び出し
: 9.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.61s
応答時間(最大)4.61s
応答時間(合計)4.61s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.85s
応答時間(最大)1.85s
応答時間(合計)1.85s
|
| #315#315 |
GLM 5 Turbomediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.2… |
Z.ai |
$0.323
↑
…
|
23.00s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)23.00s
応答時間(最大)194.23s
応答時間(合計)482.97s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 7
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 35,593
- 出力トークン
- 12,245
- 推論トークン
- 62,277
- 応答時間(平均)
- 23.00s
- 応答時間(合計)
- 482.97s
- 応答時間(最大)
- 194.23s
-
エージェントタスク
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.82s
応答時間(最大)7.69s
応答時間(合計)19.26s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)45.90s
応答時間(最大)95.57s
応答時間(合計)137.71s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.88s
応答時間(最大)13.88s
応答時間(合計)13.88s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.19s
応答時間(最大)6.42s
応答時間(合計)12.38s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)71.07s
応答時間(最大)194.23s
応答時間(合計)213.22s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.05s
応答時間(最大)10.05s
応答時間(合計)10.05s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.38s
応答時間(最大)5.70s
応答時間(合計)10.77s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.23s
応答時間(最大)7.26s
応答時間(合計)15.69s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.84s
応答時間(最大)9.84s
応答時間(合計)9.84s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)40.17s
応答時間(最大)40.17s
応答時間(合計)40.17s
|