| #301#301 |
Gemini 3.1 Flash Lite Previewlow
|
6.3… |
Google |
$0.736
…
|
19.04s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)19.04s
応答時間(最大)309.35s
応答時間(合計)437.98s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 309,715
- 出力トークン
- 16,170
- 推論トークン
- 422,721
- 応答時間(平均)
- 19.04s
- 応答時間(合計)
- 437.98s
- 応答時間(最大)
- 309.35s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)71.29s
応答時間(最大)71.29s
応答時間(合計)71.29s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.12s
応答時間(最大)3.18s
応答時間(合計)8.50s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.39s
応答時間(最大)2.20s
応答時間(合計)4.16s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)160.63s
応答時間(最大)309.35s
応答時間(合計)321.26s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.00s
応答時間(最大)3.74s
応答時間(合計)5.99s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.10s
応答時間(最大)3.51s
応答時間(合計)6.29s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.54s
応答時間(最大)1.54s
応答時間(合計)1.54s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.49s
応答時間(最大)1.66s
応答時間(合計)2.99s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.69s
応答時間(最大)1.89s
応答時間(合計)5.08s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.54s
応答時間(最大)9.54s
応答時間(合計)9.54s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.35s
応答時間(最大)1.35s
応答時間(合計)1.35s
|
| #302#302 |
Minimax M3.1 Flashmedium
|
6.3… |
Minimax |
$0.000
…
|
19.52s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 3 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)19.52s
応答時間(最大)181.80s
応答時間(合計)449.04s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 55.1%
- 入力トークン
- 363,168
- 出力トークン
- 10,380
- 推論トークン
- 132,146
- 応答時間(平均)
- 19.52s
- 応答時間(合計)
- 449.04s
- 応答時間(最大)
- 181.80s
-
エージェントタスク
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)67.78s
応答時間(最大)67.78s
応答時間(合計)67.78s
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.89s
応答時間(最大)6.87s
応答時間(合計)11.57s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)9.40s
応答時間(最大)9.64s
応答時間(合計)28.20s
-
複合
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)94.29s
応答時間(最大)181.80s
応答時間(合計)188.58s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)864ms
応答時間(最大)1.62s
応答時間(合計)1.73s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)31.93s
応答時間(最大)45.27s
応答時間(合計)95.79s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.77s
応答時間(最大)3.77s
応答時間(合計)3.77s
-
指示追従
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.72s
応答時間(最大)1.92s
応答時間(合計)3.44s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.18s
応答時間(最大)9.02s
応答時間(合計)12.54s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.13s
応答時間(最大)3.13s
応答時間(合計)3.13s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)32.53s
応答時間(最大)32.53s
応答時間(合計)32.53s
|
| #303#303 |
Gemini 3.1 Flash Litelow
|
6.3… |
Google |
$0.717
…
|
19.02s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 無効なツール呼び出し: 1
応答時間(平均)19.02s
応答時間(最大)318.02s
応答時間(合計)437.38s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 312,368
- 出力トークン
- 9,429
- 推論トークン
- 416,147
- 応答時間(平均)
- 19.02s
- 応答時間(合計)
- 437.38s
- 応答時間(最大)
- 318.02s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)79.99s
応答時間(最大)79.99s
応答時間(合計)79.99s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.84s
応答時間(最大)3.08s
応答時間(合計)7.37s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.53s
応答時間(最大)1.97s
応答時間(合計)4.58s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)161.25s
応答時間(最大)318.02s
応答時間(合計)322.50s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.44s
応答時間(最大)1.51s
応答時間(合計)2.89s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.44s
応答時間(最大)1.63s
応答時間(合計)4.32s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.37s
応答時間(最大)1.37s
応答時間(合計)1.37s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.52s
応答時間(最大)1.68s
応答時間(合計)3.04s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.40s
応答時間(最大)1.41s
応答時間(合計)4.20s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.66s
応答時間(最大)5.66s
応答時間(合計)5.66s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.46s
応答時間(最大)1.46s
応答時間(合計)1.46s
|
| #304#304 |
Solar Pro 4high
|
6.3… |
Upstage |
$0.077
↑
…
|
128.91s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 3 API エラー: 1 余分な書式: 1 回答なし: 1
応答時間(平均)128.91s
応答時間(最大)491.07s
応答時間(合計)2965.04s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 209,002
- 出力トークン
- 24,675
- 推論トークン
- 377,528
- 応答時間(平均)
- 128.91s
- 応答時間(合計)
- 2965.04s
- 応答時間(最大)
- 491.07s
-
エージェントタスク
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)312.27s
応答時間(最大)312.27s
応答時間(合計)312.27s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)58.83s
応答時間(最大)90.66s
応答時間(合計)235.34s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)244.73s
応答時間(最大)404.04s
応答時間(合計)734.20s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)167.40s
応答時間(最大)276.53s
応答時間(合計)334.80s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)62.46s
応答時間(最大)76.58s
応答時間(合計)124.93s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)280.84s
応答時間(最大)491.07s
応答時間(合計)842.52s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)42.22s
応答時間(最大)42.22s
応答時間(合計)42.22s
-
指示追従
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)41.51s
応答時間(最大)59.98s
応答時間(合計)83.02s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)55.22s
応答時間(最大)83.57s
応答時間(合計)165.66s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.96s
応答時間(最大)8.96s
応答時間(合計)8.96s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)81.13s
応答時間(最大)81.13s
応答時間(合計)81.13s
|
| #305#305 |
Qwen3.5 Plus 2026-02-15none
|
6.3… |
Qwen |
$0.176
…
|
20.07s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 無効なツール呼び出し: 1
応答時間(平均)20.07s
応答時間(最大)183.50s
応答時間(合計)341.27s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 52.2%
- 入力トークン
- 346,064
- 出力トークン
- 53,060
- 推論トークン
- 0
- 応答時間(平均)
- 20.07s
- 応答時間(合計)
- 341.27s
- 応答時間(最大)
- 183.50s
-
エージェントタスク
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)183.50s
応答時間(最大)183.50s
応答時間(合計)183.50s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.91s
応答時間(最大)2.74s
応答時間(合計)3.82s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.05s
応答時間(最大)3.63s
応答時間(合計)6.15s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)64.83s
応答時間(最大)123.00s
応答時間(合計)129.66s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.89s
応答時間(最大)1.89s
応答時間(合計)1.89s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.24s
応答時間(最大)1.44s
応答時間(合計)2.48s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.26s
応答時間(最大)2.26s
応答時間(合計)2.26s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.67s
応答時間(最大)1.67s
応答時間(合計)1.67s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.71s
応答時間(最大)3.29s
応答時間(合計)5.41s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.33s
応答時間(最大)3.33s
応答時間(合計)3.33s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.11s
応答時間(最大)1.11s
応答時間(合計)1.11s
|
| #306#306 |
Ling 3.1 Flashlow
|
6.3… |
Inclusionai |
$0.000
…
|
85.22s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 4 指示に従っていない: 3 不正解: 2 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)85.22s
応答時間(最大)432.81s
応答時間(合計)1960.12s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 271,890
- 出力トークン
- 190,841
- 推論トークン
- 513,329
- 応答時間(平均)
- 85.22s
- 応答時間(合計)
- 1960.12s
- 応答時間(最大)
- 432.81s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)101.51s
応答時間(最大)101.51s
応答時間(合計)101.51s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.16s
応答時間(最大)7.51s
応答時間(合計)16.65s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1
応答時間(平均)107.30s
応答時間(最大)131.23s
応答時間(合計)321.90s
-
複合
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)235.14s
応答時間(最大)432.81s
応答時間(合計)470.27s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.83s
応答時間(最大)31.39s
応答時間(合計)43.66s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 3
応答時間(平均)274.59s
応答時間(最大)324.96s
応答時間(合計)823.77s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)11.47s
応答時間(最大)11.47s
応答時間(合計)11.47s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.82s
応答時間(最大)4.55s
応答時間(合計)7.63s
-
パズル解決
: 8.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)32.80s
応答時間(最大)87.50s
応答時間(合計)98.40s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.17s
応答時間(最大)24.17s
応答時間(合計)24.17s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)40.69s
応答時間(最大)40.69s
応答時間(合計)40.69s
|
| #307#307 |
Claude Opus 4.6mediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.3… |
Anthropic |
$2.961
…
|
32.23s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 4 不正解: 4 指示に従っていない: 1
応答時間(平均)32.23s
応答時間(最大)151.51s
応答時間(合計)515.65s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 108,573
- 出力トークン
- 69,994
- 推論トークン
- 26,728
- 応答時間(平均)
- 32.23s
- 応答時間(合計)
- 515.65s
- 応答時間(最大)
- 151.51s
-
エージェントタスク
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2
応答時間(平均)7.45s
応答時間(最大)11.88s
応答時間(合計)14.90s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1
応答時間(平均)30.10s
応答時間(最大)35.63s
応答時間(合計)90.31s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)114.08s
応答時間(最大)151.51s
応答時間(合計)228.16s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.37s
応答時間(最大)7.37s
応答時間(合計)7.37s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)42.53s
応答時間(最大)83.40s
応答時間(合計)85.06s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.04s
応答時間(最大)5.04s
応答時間(合計)5.04s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)2.43s
応答時間(合計)2.43s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.71s
応答時間(最大)4.75s
応答時間(合計)9.41s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.73s
応答時間(最大)9.73s
応答時間(合計)9.73s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)63.24s
応答時間(最大)63.24s
応答時間(合計)63.24s
|
| #308#308 |
Space Bunny Alphamedium
|
6.3… |
Stealth |
$0.000
…
|
32.88s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)32.88s
応答時間(最大)197.32s
応答時間(合計)756.28s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 55.1%
- 入力トークン
- 267,840
- 出力トークン
- 192,115
- 推論トークン
- 0
- 応答時間(平均)
- 32.88s
- 応答時間(合計)
- 756.28s
- 応答時間(最大)
- 197.32s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)153.11s
応答時間(最大)153.11s
応答時間(合計)153.11s
-
反AIトリック
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.29s
応答時間(最大)5.84s
応答時間(合計)9.14s
-
コーディング
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)6.82s
応答時間(最大)9.64s
応答時間(合計)20.45s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)17.04s
応答時間(最大)27.04s
応答時間(合計)34.08s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.10s
応答時間(最大)2.37s
応答時間(合計)4.21s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)105.63s
応答時間(最大)150.77s
応答時間(合計)316.89s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.44s
応答時間(最大)4.44s
応答時間(合計)4.44s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.75s
応答時間(最大)1.79s
応答時間(合計)3.50s
-
パズル解決
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.42s
応答時間(最大)7.04s
応答時間(合計)10.27s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.88s
応答時間(最大)2.88s
応答時間(合計)2.88s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)197.32s
応答時間(最大)197.32s
応答時間(合計)197.32s
|
| #309#309 |
DeepSeek V3.2medium
|
6.3… |
DeepSeek |
$0.152
↑
…
|
70.08s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 2 タイムアウト: 2 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)70.08s
応答時間(最大)376.10s
応答時間(合計)1611.86s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 62.3%
- 入力トークン
- 306,662
- 出力トークン
- 17,819
- 推論トークン
- 125,341
- 応答時間(平均)
- 70.08s
- 応答時間(合計)
- 1611.86s
- 応答時間(最大)
- 376.10s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)106.33s
応答時間(最大)106.33s
応答時間(合計)106.33s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)24.23s
応答時間(最大)29.86s
応答時間(合計)96.93s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)248.68s
応答時間(最大)376.10s
応答時間(合計)746.04s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)79.92s
応答時間(最大)93.11s
応答時間(合計)159.83s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)36.09s
応答時間(最大)39.12s
応答時間(合計)72.18s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)22.94s
応答時間(最大)30.66s
応答時間(合計)68.82s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)58.29s
応答時間(最大)58.29s
応答時間(合計)58.29s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)35.78s
応答時間(最大)47.30s
応答時間(合計)71.56s
-
パズル解決
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)37.69s
応答時間(最大)59.22s
応答時間(合計)113.08s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.81s
応答時間(最大)34.81s
応答時間(合計)34.81s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)83.99s
応答時間(最大)83.99s
応答時間(合計)83.99s
|
| #310#310 |
Trinity Large Thinkinglow
|
6.3… |
Arcee AI |
$0.918
↑
…
|
95.16s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 3 API エラー: 2 無効なツール呼び出し: 2 回答なし: 1
応答時間(平均)95.16s
応答時間(最大)540.96s
応答時間(合計)2188.74s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 47.8%
- 入力トークン
- 347,980
- 出力トークン
- 121,898
- 推論トークン
- 720,302
- 応答時間(平均)
- 95.16s
- 応答時間(合計)
- 2188.74s
- 応答時間(最大)
- 540.96s
-
エージェントタスク
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)63.23s
応答時間(最大)63.23s
応答時間(合計)63.23s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.70s
応答時間(最大)10.16s
応答時間(合計)22.82s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)344.45s
応答時間(最大)531.83s
応答時間(合計)1033.35s
-
複合
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)291.02s
応答時間(最大)540.96s
応答時間(合計)582.05s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)14.30s
応答時間(最大)21.07s
応答時間(合計)28.60s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)140.26s
応答時間(最大)307.46s
応答時間(合計)420.77s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.65s
応答時間(最大)12.65s
応答時間(合計)12.65s
-
指示追従
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)4.07s
応答時間(最大)4.47s
応答時間(合計)8.14s
-
パズル解決
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)3.28s
応答時間(最大)6.54s
応答時間(合計)9.85s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.19s
応答時間(最大)5.19s
応答時間(合計)5.19s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.10s
応答時間(最大)2.10s
応答時間(合計)2.10s
|
| #311#311 |
DeepSeek V4 Flash 0423none
|
6.3… |
DeepSeek |
$0.149
↑
…
|
38.64s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 余分な書式: 2 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)38.64s
応答時間(最大)247.27s
応答時間(合計)888.69s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 18
- 試行ごとの合格率
- 30.4%
- 入力トークン
- 403,455
- 出力トークン
- 100,227
- 推論トークン
- 15,364
- 応答時間(平均)
- 38.64s
- 応答時間(合計)
- 888.69s
- 応答時間(最大)
- 247.27s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)92.87s
応答時間(最大)92.87s
応答時間(合計)92.87s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)20.18s
応答時間(最大)26.54s
応答時間(合計)80.73s
-
コーディング
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)17.13s
応答時間(最大)24.90s
応答時間(合計)51.40s
-
複合
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)179.61s
応答時間(最大)247.27s
応答時間(合計)359.23s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.79s
応答時間(最大)23.85s
応答時間(合計)47.57s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)15.31s
応答時間(最大)27.66s
応答時間(合計)45.92s
-
汎用知能
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)23.74s
応答時間(最大)23.74s
応答時間(合計)23.74s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)17.54s
応答時間(最大)18.51s
応答時間(合計)35.08s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1 不正解: 1
応答時間(平均)23.72s
応答時間(最大)29.24s
応答時間(合計)71.16s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)77.93s
応答時間(最大)77.93s
応答時間(合計)77.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.07s
応答時間(最大)3.07s
応答時間(合計)3.07s
|
| #312#312 |
Grok 4.20medium
|
6.3… |
X AI |
$1.246
↓
…
|
36.73s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 余分な書式: 2 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)36.73s
応答時間(最大)199.66s
応答時間(合計)844.68s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 58.0%
- 入力トークン
- 392,127
- 出力トークン
- 7,754
- 推論トークン
- 294,333
- 応答時間(平均)
- 36.73s
- 応答時間(合計)
- 844.68s
- 応答時間(最大)
- 199.66s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)128.32s
応答時間(最大)128.32s
応答時間(合計)128.32s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.95s
応答時間(最大)5.68s
応答時間(合計)15.80s
-
コーディング
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)109.93s
応答時間(最大)199.66s
応答時間(合計)329.79s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)42.25s
応答時間(最大)67.09s
応答時間(合計)84.49s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.17s
応答時間(最大)5.02s
応答時間(合計)8.34s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)49.71s
応答時間(最大)94.92s
応答時間(合計)149.12s
-
汎用知能
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)24.48s
応答時間(最大)24.48s
応答時間(合計)24.48s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.26s
応答時間(最大)4.46s
応答時間(合計)8.52s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.22s
応答時間(最大)11.63s
応答時間(合計)18.66s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)13.68s
応答時間(最大)13.68s
応答時間(合計)13.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)63.48s
応答時間(最大)63.48s
応答時間(合計)63.48s
|
| #313#313 |
Space Bunny Alphaxhigh
|
6.2… |
Stealth |
$0.000
…
|
60.03s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 2 回答なし: 2 無効なツール呼び出し: 1
応答時間(平均)60.03s
応答時間(最大)459.99s
応答時間(合計)1380.67s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 14
- 試行ごとの合格率
- 55.1%
- 入力トークン
- 363,310
- 出力トークン
- 381,919
- 推論トークン
- 0
- 応答時間(平均)
- 60.03s
- 応答時間(合計)
- 1380.67s
- 応答時間(最大)
- 459.99s
-
エージェントタスク
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)159.12s
応答時間(最大)159.12s
応答時間(合計)159.12s
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.02s
応答時間(最大)8.00s
応答時間(合計)12.10s
-
コーディング
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)10.64s
応答時間(最大)16.31s
応答時間(合計)31.92s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)37.06s
応答時間(最大)62.06s
応答時間(合計)74.13s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.94s
応答時間(最大)2.05s
応答時間(合計)3.88s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)234.13s
応答時間(最大)459.99s
応答時間(合計)702.38s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.74s
応答時間(最大)4.74s
応答時間(合計)4.74s
-
指示追従
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.22s
応答時間(最大)2.26s
応答時間(合計)4.43s
-
パズル解決
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.45s
応答時間(最大)11.18s
応答時間(合計)16.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.83s
応答時間(最大)3.83s
応答時間(合計)3.83s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)367.80s
応答時間(最大)367.80s
応答時間(合計)367.80s
|
| #314#314 |
KAT-Coder-Pro V2.5medium
|
6.2… |
Kwaipilot |
$0.669
↑
…
|
23.94s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 2 指示に従っていない: 1
応答時間(平均)23.94s
応答時間(最大)257.00s
応答時間(合計)550.52s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 62.3%
- 入力トークン
- 87,916
- 出力トークン
- 7,213
- 推論トークン
- 132,162
- 応答時間(平均)
- 23.94s
- 応答時間(合計)
- 550.52s
- 応答時間(最大)
- 257.00s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)3.38s
応答時間(最大)3.38s
応答時間(合計)3.38s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.90s
応答時間(最大)6.99s
応答時間(合計)15.61s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.10s
応答時間(最大)71.91s
応答時間(合計)99.31s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)135.75s
応答時間(最大)257.00s
応答時間(合計)271.50s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.70s
応答時間(最大)5.34s
応答時間(合計)9.39s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)35.11s
応答時間(最大)81.45s
応答時間(合計)105.33s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.35s
応答時間(最大)2.35s
応答時間(合計)2.35s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.58s
応答時間(最大)2.93s
応答時間(合計)5.16s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.20s
応答時間(最大)3.85s
応答時間(合計)9.60s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.02s
応答時間(最大)19.02s
応答時間(合計)19.02s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.87s
応答時間(最大)9.87s
応答時間(合計)9.87s
|
| #315#315 |
GLM 5 Turbomediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.2… |
Z.ai |
$0.323
↑
…
|
23.00s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)23.00s
応答時間(最大)194.23s
応答時間(合計)482.97s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 7
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 35,593
- 出力トークン
- 12,245
- 推論トークン
- 62,277
- 応答時間(平均)
- 23.00s
- 応答時間(合計)
- 482.97s
- 応答時間(最大)
- 194.23s
-
エージェントタスク
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.82s
応答時間(最大)7.69s
応答時間(合計)19.26s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)45.90s
応答時間(最大)95.57s
応答時間(合計)137.71s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.88s
応答時間(最大)13.88s
応答時間(合計)13.88s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.19s
応答時間(最大)6.42s
応答時間(合計)12.38s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)71.07s
応答時間(最大)194.23s
応答時間(合計)213.22s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.05s
応答時間(最大)10.05s
応答時間(合計)10.05s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.38s
応答時間(最大)5.70s
応答時間(合計)10.77s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.23s
応答時間(最大)7.26s
応答時間(合計)15.69s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.84s
応答時間(最大)9.84s
応答時間(合計)9.84s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)40.17s
応答時間(最大)40.17s
応答時間(合計)40.17s
|
| #316#316 |
DeepSeek V4 Flash 0731none
|
6.2… |
DeepSeek |
$0.053
↑
…
|
27.42s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 2 無効なツール呼び出し: 2 余分な書式: 1
応答時間(平均)27.42s
応答時間(最大)387.15s
応答時間(合計)630.70s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 18
- 試行ごとの合格率
- 30.4%
- 入力トークン
- 349,876
- 出力トークン
- 39,789
- 推論トークン
- 0
- 応答時間(平均)
- 27.42s
- 応答時間(合計)
- 630.70s
- 応答時間(最大)
- 387.15s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)174.89s
応答時間(最大)174.89s
応答時間(合計)174.89s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1
応答時間(平均)4.19s
応答時間(最大)6.04s
応答時間(合計)16.76s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.72s
応答時間(最大)3.55s
応答時間(合計)5.16s
-
複合
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)202.44s
応答時間(最大)387.15s
応答時間(合計)404.87s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.37s
応答時間(最大)2.66s
応答時間(合計)4.75s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.17s
応答時間(最大)1.66s
応答時間(合計)3.50s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.22s
応答時間(最大)3.22s
応答時間(合計)3.22s
-
指示追従
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.42s
応答時間(最大)1.62s
応答時間(合計)2.84s
-
パズル解決
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)2.74s
応答時間(最大)3.54s
応答時間(合計)8.23s
-
ツール呼び出し
: 9.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.61s
応答時間(最大)4.61s
応答時間(合計)4.61s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.85s
応答時間(最大)1.85s
応答時間(合計)1.85s
|
| #317#317 |
Gemini 3.1 Flash Lite Previewnone
|
6.2… |
Google |
$0.090
…
|
3.60s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 2 回答なし: 1
応答時間(平均)3.60s
応答時間(最大)48.59s
応答時間(合計)82.91s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 55.1%
- 入力トークン
- 261,962
- 出力トークン
- 12,799
- 推論トークン
- 2,961
- 応答時間(平均)
- 3.60s
- 応答時間(合計)
- 82.91s
- 応答時間(最大)
- 48.59s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)48.59s
応答時間(最大)48.59s
応答時間(合計)48.59s
-
反AIトリック
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.04s
応答時間(最大)1.47s
応答時間(合計)4.17s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)967ms
応答時間(最大)1.47s
応答時間(合計)2.90s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)6.23s
応答時間(最大)9.27s
応答時間(合計)12.46s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.22s
応答時間(最大)1.33s
応答時間(合計)2.44s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)811ms
応答時間(最大)1.12s
応答時間(合計)2.43s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)741ms
応答時間(最大)741ms
応答時間(合計)741ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.14s
応答時間(合計)2.27s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)900ms
応答時間(最大)962ms
応答時間(合計)2.70s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.39s
応答時間(最大)3.39s
応答時間(合計)3.39s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)814ms
応答時間(最大)814ms
応答時間(合計)814ms
|
| #318#318 |
Claude Fable 5.1low
|
6.2… |
Anthropic |
$3.395
…
|
11.40s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 4 不正解: 4 指示に従っていない: 3 API エラー: 1
応答時間(平均)11.40s
応答時間(最大)34.77s
応答時間(合計)262.14s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 55.1%
- 入力トークン
- 209,116
- 出力トークン
- 10,031
- 推論トークン
- 16,042
- 応答時間(平均)
- 11.40s
- 応答時間(合計)
- 262.14s
- 応答時間(最大)
- 34.77s
-
エージェントタスク
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)34.77s
応答時間(最大)34.77s
応答時間(合計)34.77s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2
応答時間(平均)4.54s
応答時間(最大)4.91s
応答時間(合計)18.16s
-
コーディング
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 余分な書式: 1
応答時間(平均)6.75s
応答時間(最大)7.70s
応答時間(合計)20.24s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)29.40s
応答時間(最大)33.10s
応答時間(合計)58.80s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.71s
応答時間(最大)4.86s
応答時間(合計)9.43s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)19.30s
応答時間(最大)19.72s
応答時間(合計)57.90s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.62s
応答時間(最大)5.62s
応答時間(合計)5.62s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)5.24s
応答時間(最大)5.70s
応答時間(合計)10.49s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.78s
応答時間(最大)5.07s
応答時間(合計)14.33s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.22s
応答時間(最大)13.22s
応答時間(合計)13.22s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)19.18s
応答時間(最大)19.18s
応答時間(合計)19.18s
|
| #319#319 |
Gemini 3.5 Flashnone
|
6.1… |
Google |
$1.752
…
|
14.13s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 4 不正解: 4 無効なツール呼び出し: 1
応答時間(平均)14.13s
応答時間(最大)85.26s
応答時間(合計)268.55s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 246,061
- 出力トークン
- 3,828
- 推論トークン
- 149,767
- 応答時間(平均)
- 14.13s
- 応答時間(合計)
- 268.55s
- 応答時間(最大)
- 85.26s
-
エージェントタスク
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)85.26s
応答時間(最大)85.26s
応答時間(合計)85.26s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.53s
応答時間(最大)3.43s
応答時間(合計)10.12s
-
コーディング
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)34.69s
応答時間(最大)64.36s
応答時間(合計)104.06s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)8.10s
応答時間(最大)8.10s
応答時間(合計)8.10s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)12.18s
応答時間(最大)14.00s
応答時間(合計)36.54s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.46s
応答時間(最大)3.46s
応答時間(合計)3.46s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.38s
応答時間(最大)3.40s
応答時間(合計)6.76s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.13s
応答時間(最大)3.33s
応答時間(合計)9.39s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.87s
応答時間(最大)4.87s
応答時間(合計)4.87s
|
| #320#320 |
Beam 1.0 501B A23Bhigh
|
6.1… |
Reflection |
$0.674
…
|
9.03s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 3 指示に従っていない: 2
応答時間(平均)9.03s
応答時間(最大)36.04s
応答時間(合計)207.67s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 59.4%
- 入力トークン
- 232,218
- 出力トークン
- 4,944
- 推論トークン
- 142,263
- 応答時間(平均)
- 9.03s
- 応答時間(合計)
- 207.67s
- 応答時間(最大)
- 36.04s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.55s
応答時間(最大)33.55s
応答時間(合計)33.55s
-
反AIトリック
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.36s
応答時間(最大)2.48s
応答時間(合計)5.43s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)21.05s
応答時間(最大)36.04s
応答時間(合計)63.15s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)2.68s
応答時間(最大)3.80s
応答時間(合計)5.36s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.66s
応答時間(最大)2.18s
応答時間(合計)3.32s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)20.70s
応答時間(最大)32.05s
応答時間(合計)62.11s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.94s
応答時間(最大)1.94s
応答時間(合計)1.94s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.27s
応答時間(最大)1.60s
応答時間(合計)2.55s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.02s
応答時間(最大)6.66s
応答時間(合計)12.06s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.82s
応答時間(最大)1.82s
応答時間(合計)1.82s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)16.40s
応答時間(最大)16.40s
応答時間(合計)16.40s
|
| #321#321 |
Trinity Large Thinkingmedium
|
6.1… |
Arcee AI |
$0.862
…
|
84.01s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 4 無効なツール呼び出し: 2
応答時間(平均)84.01s
応答時間(最大)525.14s
応答時間(合計)1932.24s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 49.3%
- 入力トークン
- 319,352
- 出力トークン
- 158,447
- 推論トークン
- 875,524
- 応答時間(平均)
- 84.01s
- 応答時間(合計)
- 1932.24s
- 応答時間(最大)
- 525.14s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)52.50s
応答時間(最大)52.50s
応答時間(合計)52.50s
-
反AIトリック
: 6.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)5.11s
応答時間(最大)7.44s
応答時間(合計)20.43s
-
コーディング
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)179.02s
応答時間(最大)204.02s
応答時間(合計)537.06s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)382.70s
応答時間(最大)525.14s
応答時間(合計)765.39s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)16.38s
応答時間(最大)25.39s
応答時間(合計)32.75s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)124.17s
応答時間(最大)185.24s
応答時間(合計)372.50s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)32.22s
応答時間(最大)32.22s
応答時間(合計)32.22s
-
指示追従
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)3.99s
応答時間(最大)4.44s
応答時間(合計)7.98s
-
パズル解決
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)2.90s
応答時間(最大)4.88s
応答時間(合計)8.71s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.26s
応答時間(最大)5.26s
応答時間(合計)5.26s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)97.44s
応答時間(最大)97.44s
応答時間(合計)97.44s
|
| #322#322 |
Apodex 1.1 Minilow
|
6.1… |
Apodex |
$0.000
…
|
33.68s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)33.68s
応答時間(最大)163.05s
応答時間(合計)774.73s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 321,894
- 出力トークン
- 139,334
- 推論トークン
- 369,481
- 応答時間(平均)
- 33.68s
- 応答時間(合計)
- 774.73s
- 応答時間(最大)
- 163.05s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)104.17s
応答時間(最大)104.17s
応答時間(合計)104.17s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.10s
応答時間(最大)16.08s
応答時間(合計)36.41s
-
コーディング
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)48.81s
応答時間(最大)82.28s
応答時間(合計)146.43s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)95.23s
応答時間(最大)163.05s
応答時間(合計)190.45s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.02s
応答時間(最大)14.00s
応答時間(合計)26.05s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)50.19s
応答時間(最大)55.30s
応答時間(合計)150.57s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)18.02s
応答時間(最大)18.02s
応答時間(合計)18.02s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.71s
応答時間(最大)10.23s
応答時間(合計)15.42s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.60s
応答時間(最大)16.54s
応答時間(合計)28.79s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.75s
応答時間(最大)3.75s
応答時間(合計)3.75s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)54.67s
応答時間(最大)54.67s
応答時間(合計)54.67s
|
| #323#323 |
Inklingnone
|
6.1… |
Thinkingmachines |
$0.292
↓
…
|
5.30s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 余分な書式: 1 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)5.30s
応答時間(最大)48.02s
応答時間(合計)121.91s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 31.9%
- 入力トークン
- 236,599
- 出力トークン
- 11,561
- 推論トークン
- 4,975
- 応答時間(平均)
- 5.30s
- 応答時間(合計)
- 121.91s
- 応答時間(最大)
- 48.02s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)45.64s
応答時間(最大)45.64s
応答時間(合計)45.64s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.43s
応答時間(最大)2.89s
応答時間(合計)5.72s
-
コーディング
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.01s
応答時間(最大)2.25s
応答時間(合計)3.02s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)25.74s
応答時間(最大)48.02s
応答時間(合計)51.48s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.14s
応答時間(最大)1.33s
応答時間(合計)2.27s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.18s
応答時間(最大)2.66s
応答時間(合計)3.54s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)859ms
応答時間(最大)859ms
応答時間(合計)859ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.72s
応答時間(最大)2.59s
応答時間(合計)3.43s
-
パズル解決
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)931ms
応答時間(最大)1.40s
応答時間(合計)2.79s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.50s
応答時間(最大)2.50s
応答時間(合計)2.50s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)670ms
応答時間(最大)670ms
応答時間(合計)670ms
|
| #324#324 |
Qwen3.5 Plus 2026-04-20none
|
6.1… |
Qwen |
$0.216
↓
…
|
18.49s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)18.49s
応答時間(最大)206.05s
応答時間(合計)425.33s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 44.9%
- 入力トークン
- 299,984
- 出力トークン
- 69,664
- 推論トークン
- 0
- 応答時間(平均)
- 18.49s
- 応答時間(合計)
- 425.33s
- 応答時間(最大)
- 206.05s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)137.10s
応答時間(最大)137.10s
応答時間(合計)137.10s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.88s
応答時間(最大)4.81s
応答時間(合計)7.53s
-
コーディング
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.69s
応答時間(最大)3.20s
応答時間(合計)5.06s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)109.69s
応答時間(最大)206.05s
応答時間(合計)219.37s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.82s
応答時間(最大)3.86s
応答時間(合計)5.65s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.06s
応答時間(最大)1.71s
応答時間(合計)3.19s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.41s
応答時間(最大)1.41s
応答時間(合計)1.41s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.17s
応答時間(最大)1.33s
応答時間(合計)2.35s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.97s
応答時間(最大)3.43s
応答時間(合計)5.91s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.42s
応答時間(最大)4.42s
応答時間(合計)4.42s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.34s
応答時間(最大)33.34s
応答時間(合計)33.34s
|
| #325#325 |
Step 5 Previewmedium
|
6.1… |
Stepfun |
$4.136
…
|
136.10s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 6 不正解: 3 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)136.10s
応答時間(最大)438.09s
応答時間(合計)3130.27s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 53.6%
- 入力トークン
- 261,842
- 出力トークン
- 1,434,621
- 推論トークン
- 0
- 応答時間(平均)
- 136.10s
- 応答時間(合計)
- 3130.27s
- 応答時間(最大)
- 438.09s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)95.77s
応答時間(最大)95.77s
応答時間(合計)95.77s
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)12.58s
応答時間(最大)36.18s
応答時間(合計)50.32s
-
コーディング
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 指示に従っていない: 1
応答時間(平均)363.90s
応答時間(最大)369.01s
応答時間(合計)1091.69s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)124.99s
応答時間(最大)231.73s
応答時間(合計)249.98s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.10s
応答時間(最大)5.14s
応答時間(合計)8.20s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 3
応答時間(平均)323.23s
応答時間(最大)438.09s
応答時間(合計)969.70s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)34.82s
応答時間(最大)34.82s
応答時間(合計)34.82s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.23s
応答時間(最大)4.40s
応答時間(合計)8.46s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)59.88s
応答時間(最大)173.78s
応答時間(合計)179.64s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.84s
応答時間(最大)3.84s
応答時間(合計)3.84s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)437.86s
応答時間(最大)437.86s
応答時間(合計)437.86s
|