| #137#137 |
KAT-Coder-Pro V2.5none
|
6.7… |
Kwaipilot |
$0.487
…
|
26.01s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 無効なツール呼び出し: 1
応答時間(平均)26.01s
応答時間(最大)335.41s
応答時間(合計)572.22s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 71.2%
- 入力トークン
- 98,508
- 出力トークン
- 139,572
- 推論トークン
- 0
- 応答時間(平均)
- 26.01s
- 応答時間(合計)
- 572.22s
- 応答時間(最大)
- 335.41s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.58s
応答時間(最大)7.94s
応答時間(合計)18.33s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)22.52s
応答時間(最大)30.63s
応答時間(合計)67.55s
-
複合
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)183.08s
応答時間(最大)335.41s
応答時間(合計)366.16s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.07s
応答時間(最大)5.35s
応答時間(合計)10.15s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)24.90s
応答時間(最大)53.57s
応答時間(合計)74.71s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.16s
応答時間(最大)5.16s
応答時間(合計)5.16s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.61s
応答時間(最大)2.82s
応答時間(合計)5.23s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.03s
応答時間(最大)4.12s
応答時間(合計)9.10s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.93s
応答時間(最大)5.93s
応答時間(合計)5.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.91s
応答時間(最大)9.91s
応答時間(合計)9.91s
|
| #136#136 |
GLM 5.2none
|
6.7… |
Z.ai |
$0.078
↓
…
|
9.65s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)9.65s
応答時間(最大)79.65s
応答時間(合計)212.38s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 112,458
- 出力トークン
- 14,344
- 推論トークン
- 0
- 応答時間(平均)
- 9.65s
- 応答時間(合計)
- 212.38s
- 応答時間(最大)
- 79.65s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.70s
応答時間(最大)5.66s
応答時間(合計)14.80s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)7.55s
応答時間(最大)12.77s
応答時間(合計)22.66s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)50.17s
応答時間(最大)79.65s
応答時間(合計)100.33s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.17s
応答時間(最大)11.71s
応答時間(合計)14.35s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.35s
応答時間(最大)7.33s
応答時間(合計)19.05s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.42s
応答時間(最大)4.42s
応答時間(合計)4.42s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.84s
応答時間(最大)4.88s
応答時間(合計)7.68s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.31s
応答時間(最大)3.63s
応答時間(合計)9.92s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.76s
応答時間(最大)15.76s
応答時間(合計)15.76s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.41s
応答時間(最大)3.41s
応答時間(合計)3.41s
|
| #135#135 |
Gemma 4 26B A4Bmedium
|
6.8… |
Google |
$0.111
↑
…
|
104.93s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 タイムアウト: 2 不正解: 2 無効なツール呼び出し: 1
応答時間(平均)104.93s
応答時間(最大)912.19s
応答時間(合計)2203.52s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 7
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 77,528
- 出力トークン
- 26,048
- 推論トークン
- 227,598
- 応答時間(平均)
- 104.93s
- 応答時間(合計)
- 2203.52s
- 応答時間(最大)
- 912.19s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.20s
応答時間(最大)9.64s
応答時間(合計)24.78s
-
コーディング
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 タイムアウト: 1
応答時間(平均)272.54s
応答時間(最大)369.32s
応答時間(合計)817.61s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)492.87s
応答時間(最大)912.19s
応答時間(合計)985.73s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.51s
応答時間(最大)20.57s
応答時間(合計)33.02s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)35.14s
応答時間(最大)43.28s
応答時間(合計)70.28s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)29.76s
応答時間(最大)29.76s
応答時間(合計)29.76s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.54s
応答時間(最大)21.25s
応答時間(合計)35.08s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.79s
応答時間(最大)6.85s
応答時間(合計)17.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.01s
応答時間(最大)9.01s
応答時間(合計)9.01s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)180.87s
応答時間(最大)180.87s
応答時間(合計)180.87s
|
| #134#134 |
Gemini 3 Flash Previewnone
|
6.8… |
Google |
$0.085
…
|
2.82s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 回答なし: 1
応答時間(平均)2.82s
応答時間(最大)21.19s
応答時間(合計)45.05s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 104,217
- 出力トークン
- 10,710
- 推論トークン
- 0
- 応答時間(平均)
- 2.82s
- 応答時間(合計)
- 45.05s
- 応答時間(最大)
- 21.19s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.25s
応答時間(最大)1.59s
応答時間(合計)2.49s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.80s
応答時間(最大)2.79s
応答時間(合計)5.40s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)12.38s
応答時間(最大)21.19s
応答時間(合計)24.75s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.41s
応答時間(最大)1.41s
応答時間(合計)1.41s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)879ms
応答時間(最大)963ms
応答時間(合計)1.76s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.13s
応答時間(合計)1.13s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.58s
応答時間(最大)1.58s
応答時間(合計)1.58s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.05s
応答時間(最大)1.06s
応答時間(合計)2.11s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.35s
応答時間(最大)3.35s
応答時間(合計)3.35s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.07s
応答時間(最大)1.07s
応答時間(合計)1.07s
|
| #133#133 |
MiMo-V2.5-Promedium
|
6.8… |
Xiaomi |
$0.221
↓
…
|
48.68s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 3 不正解: 3 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)48.68s
応答時間(最大)333.34s
応答時間(合計)1071.02s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 139,892
- 出力トークン
- 15,569
- 推論トークン
- 169,897
- 応答時間(平均)
- 48.68s
- 応答時間(合計)
- 1071.02s
- 応答時間(最大)
- 333.34s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.26s
応答時間(最大)6.38s
応答時間(合計)13.06s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 余分な書式: 1
応答時間(平均)92.07s
応答時間(最大)130.77s
応答時間(合計)276.20s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)125.45s
応答時間(最大)197.54s
応答時間(合計)250.89s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.81s
応答時間(最大)20.29s
応答時間(合計)37.61s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 回答なし: 1
応答時間(平均)146.15s
応答時間(最大)333.34s
応答時間(合計)438.44s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.02s
応答時間(最大)4.02s
応答時間(合計)4.02s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.77s
応答時間(最大)3.21s
応答時間(合計)5.54s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.31s
応答時間(最大)9.12s
応答時間(合計)15.94s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.87s
応答時間(最大)16.87s
応答時間(合計)16.87s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.46s
応答時間(最大)12.46s
応答時間(合計)12.46s
|
| #132#132 |
DeepSeek V4 Pronone
|
6.8… |
DeepSeek |
$0.256
↑
…
|
11.71s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)11.71s
応答時間(最大)119.44s
応答時間(合計)257.67s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 47.0%
- 入力トークン
- 148,078
- 出力トークン
- 35,547
- 推論トークン
- 0
- 応答時間(平均)
- 11.71s
- 応答時間(合計)
- 257.67s
- 応答時間(最大)
- 119.44s
-
反AIトリック
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)4.02s
応答時間(最大)5.11s
応答時間(合計)16.10s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)13.38s
応答時間(最大)30.09s
応答時間(合計)40.15s
-
複合
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)71.59s
応答時間(最大)119.44s
応答時間(合計)143.18s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.61s
応答時間(最大)6.06s
応答時間(合計)9.23s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.91s
応答時間(最大)7.90s
応答時間(合計)14.73s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.05s
応答時間(最大)2.05s
応答時間(合計)2.05s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.12s
応答時間(最大)4.37s
応答時間(合計)8.24s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.61s
応答時間(最大)5.19s
応答時間(合計)10.83s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.40s
応答時間(最大)7.40s
応答時間(合計)7.40s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.76s
応答時間(最大)5.76s
応答時間(合計)5.76s
|
| #131#131 |
Solar Pro 4medium
|
6.8… |
Upstage |
$0.047
…
|
127.64s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 API エラー: 1 余分な書式: 1 回答なし: 1
応答時間(平均)127.64s
応答時間(最大)519.91s
応答時間(合計)2808.09s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 62.1%
- 入力トークン
- 87,902
- 出力トークン
- 30,743
- 推論トークン
- 335,668
- 応答時間(平均)
- 127.64s
- 応答時間(合計)
- 2808.09s
- 応答時間(最大)
- 519.91s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)53.37s
応答時間(最大)74.40s
応答時間(合計)213.47s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)310.39s
応答時間(最大)518.33s
応答時間(合計)931.17s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)294.82s
応答時間(最大)519.91s
応答時間(合計)589.65s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)43.08s
応答時間(最大)47.23s
応答時間(合計)86.16s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)201.85s
応答時間(最大)333.26s
応答時間(合計)605.54s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)48.00s
応答時間(最大)48.00s
応答時間(合計)48.00s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.08s
応答時間(最大)56.63s
応答時間(合計)80.15s
-
パズル解決
: 9.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)45.83s
応答時間(最大)74.11s
応答時間(合計)137.48s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.86s
応答時間(最大)7.86s
応答時間(合計)7.86s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)108.62s
応答時間(最大)108.62s
応答時間(合計)108.62s
|
| #130#130 |
Solar Pro 4low
|
6.8… |
Upstage |
$0.044
…
|
136.11s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 API エラー: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)136.11s
応答時間(最大)640.89s
応答時間(合計)2994.49s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 90,556
- 出力トークン
- 6,153
- 推論トークン
- 332,220
- 応答時間(平均)
- 136.11s
- 応答時間(合計)
- 2994.49s
- 応答時間(最大)
- 640.89s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)40.16s
応答時間(最大)75.92s
応答時間(合計)160.66s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)259.63s
応答時間(最大)429.18s
応答時間(合計)778.90s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)358.12s
応答時間(最大)640.89s
応答時間(合計)716.24s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)62.38s
応答時間(最大)70.74s
応答時間(合計)124.76s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)279.04s
応答時間(最大)538.60s
応答時間(合計)837.12s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)61.21s
応答時間(最大)61.21s
応答時間(合計)61.21s
-
指示追従
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)56.42s
応答時間(最大)90.80s
応答時間(合計)112.84s
-
パズル解決
: 9.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)42.14s
応答時間(最大)60.06s
応答時間(合計)126.43s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.12s
応答時間(最大)7.12s
応答時間(合計)7.12s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)69.22s
応答時間(最大)69.22s
応答時間(合計)69.22s
|
| #129#129 |
Seed-2.0-Codemedium
|
6.8… |
Bytedance Seed |
$1.153
…
|
101.05s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 6 不正解: 4 余分な書式: 1 指示に従っていない: 1
応答時間(平均)101.05s
応答時間(最大)626.58s
応答時間(合計)2223.19s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 76,036
- 出力トークン
- 7,267
- 推論トークン
- 364,176
- 応答時間(平均)
- 101.05s
- 応答時間(合計)
- 2223.19s
- 応答時間(最大)
- 626.58s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)45.98s
応答時間(最大)130.73s
応答時間(合計)183.93s
-
コーディング
: 8.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)89.94s
応答時間(最大)105.48s
応答時間(合計)269.82s
-
複合
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)102.33s
応答時間(最大)177.88s
応答時間(合計)204.66s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)18.78s
応答時間(最大)27.01s
応答時間(合計)37.56s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)429.77s
応答時間(最大)626.58s
応答時間(合計)1289.31s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)11.41s
応答時間(最大)11.41s
応答時間(合計)11.41s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.34s
応答時間(最大)15.43s
応答時間(合計)20.67s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)34.30s
応答時間(最大)46.61s
応答時間(合計)102.91s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)36.36s
応答時間(最大)36.36s
応答時間(合計)36.36s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)66.56s
応答時間(最大)66.56s
応答時間(合計)66.56s
|
| #128#128 |
Step 3.7 Flashhigh
|
6.8… |
Stepfun |
$1.229
…
|
70.10s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 回答なし: 3 無効なツール呼び出し: 1
応答時間(平均)70.10s
応答時間(最大)364.99s
応答時間(合計)1542.14s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 98,700
- 出力トークン
- 1,050,900
- 推論トークン
- 0
- 応答時間(平均)
- 70.10s
- 応答時間(合計)
- 1542.14s
- 応答時間(最大)
- 364.99s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.40s
応答時間(最大)45.73s
応答時間(合計)53.58s
-
コーディング
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 不正解: 1
応答時間(平均)206.21s
応答時間(最大)364.99s
応答時間(合計)618.64s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)41.23s
応答時間(最大)69.44s
応答時間(合計)82.45s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.72s
応答時間(最大)24.97s
応答時間(合計)29.43s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)189.35s
応答時間(最大)261.94s
応答時間(合計)568.04s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.17s
応答時間(最大)4.17s
応答時間(合計)4.17s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.52s
応答時間(最大)1.89s
応答時間(合計)3.03s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)10.22s
応答時間(最大)23.65s
応答時間(合計)30.66s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.79s
応答時間(最大)2.79s
応答時間(合計)2.79s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)149.34s
応答時間(最大)149.34s
応答時間(合計)149.34s
|
| #127#127 |
Qwen3.6 Flashmedium
|
6.8… |
Qwen |
$0.741
↓
…
|
44.97s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)44.97s
応答時間(最大)578.13s
応答時間(合計)989.32s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 129,050
- 出力トークン
- 20,026
- 推論トークン
- 616,923
- 応答時間(平均)
- 44.97s
- 応答時間(合計)
- 989.32s
- 応答時間(最大)
- 578.13s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.10s
応答時間(最大)9.60s
応答時間(合計)24.39s
-
コーディング
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)42.85s
応答時間(最大)78.01s
応答時間(合計)128.55s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)299.21s
応答時間(最大)578.13s
応答時間(合計)598.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.65s
応答時間(最大)10.35s
応答時間(合計)19.31s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)16.98s
応答時間(最大)26.85s
応答時間(合計)50.95s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.88s
応答時間(最大)9.88s
応答時間(合計)9.88s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.05s
応答時間(最大)6.94s
応答時間(合計)12.10s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.29s
応答時間(最大)8.18s
応答時間(合計)18.87s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.00s
応答時間(最大)4.00s
応答時間(合計)4.00s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)122.87s
応答時間(最大)122.87s
応答時間(合計)122.87s
|
| #126#126 |
Gemini 3.5 Flashnone
|
6.9… |
Google |
$1.093
…
|
10.18s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 4 不正解: 4
応答時間(平均)10.18s
応答時間(最大)64.36s
応答時間(合計)183.29s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 13,852
- 出力トークン
- 119,100
- 推論トークン
- 0
- 応答時間(平均)
- 10.18s
- 応答時間(合計)
- 183.29s
- 応答時間(最大)
- 64.36s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.53s
応答時間(最大)3.43s
応答時間(合計)10.12s
-
コーディング
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)34.69s
応答時間(最大)64.36s
応答時間(合計)104.06s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)8.10s
応答時間(最大)8.10s
応答時間(合計)8.10s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)12.18s
応答時間(最大)14.00s
応答時間(合計)36.54s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.46s
応答時間(最大)3.46s
応答時間(合計)3.46s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.38s
応答時間(最大)3.40s
応答時間(合計)6.76s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.13s
応答時間(最大)3.33s
応答時間(合計)9.39s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.87s
応答時間(最大)4.87s
応答時間(合計)4.87s
|
| #125#125 |
Seed-2.0-Codehigh
|
6.9… |
Bytedance Seed |
$1.273
…
|
124.18s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 5 不正解: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)124.18s
応答時間(最大)675.30s
応答時間(合計)2732.03s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 81,970
- 出力トークン
- 7,186
- 推論トークン
- 403,389
- 応答時間(平均)
- 124.18s
- 応答時間(合計)
- 2732.03s
- 応答時間(最大)
- 675.30s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)35.07s
応答時間(最大)82.43s
応答時間(合計)140.28s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 指示に従っていない: 1
応答時間(平均)266.74s
応答時間(最大)443.32s
応答時間(合計)800.23s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)144.87s
応答時間(最大)236.85s
応答時間(合計)289.75s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.28s
応答時間(最大)34.05s
応答時間(合計)48.55s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)419.73s
応答時間(最大)675.30s
応答時間(合計)1259.19s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)36.45s
応答時間(最大)36.45s
応答時間(合計)36.45s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.26s
応答時間(最大)19.26s
応答時間(合計)22.53s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)15.91s
応答時間(最大)17.11s
応答時間(合計)47.73s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)35.09s
応答時間(最大)35.09s
応答時間(合計)35.09s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)52.23s
応答時間(最大)52.23s
応答時間(合計)52.23s
|
| #124#124 |
Qwen3.7 Flashmedium
|
6.9… |
Qwen |
$0.065
…
|
47.38s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)47.38s
応答時間(最大)593.64s
応答時間(合計)1042.43s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 114,477
- 出力トークン
- 12,786
- 推論トークン
- 457,290
- 応答時間(平均)
- 47.38s
- 応答時間(合計)
- 1042.43s
- 応答時間(最大)
- 593.64s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.56s
応答時間(最大)13.35s
応答時間(合計)38.24s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)46.78s
応答時間(最大)66.13s
応答時間(合計)140.34s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)314.17s
応答時間(最大)593.64s
応答時間(合計)628.34s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.42s
応答時間(最大)15.63s
応答時間(合計)30.85s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)38.02s
応答時間(最大)50.61s
応答時間(合計)114.07s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.18s
応答時間(最大)10.18s
応答時間(合計)10.18s
-
指示追従
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)9.27s
応答時間(最大)10.40s
応答時間(合計)18.54s
-
パズル解決
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)8.30s
応答時間(最大)10.90s
応答時間(合計)24.90s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.80s
応答時間(最大)7.80s
応答時間(合計)7.80s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)29.17s
応答時間(最大)29.17s
応答時間(合計)29.17s
|
| #123#123 |
KAT-Coder-Pro V2.5medium
|
6.9… |
Kwaipilot |
$0.478
…
|
24.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 1 指示に従っていない: 1
応答時間(平均)24.87s
応答時間(最大)257.00s
応答時間(合計)547.14s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 87,916
- 出力トークン
- 7,213
- 推論トークン
- 132,162
- 応答時間(平均)
- 24.87s
- 応答時間(合計)
- 547.14s
- 応答時間(最大)
- 257.00s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.90s
応答時間(最大)6.99s
応答時間(合計)15.61s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.10s
応答時間(最大)71.91s
応答時間(合計)99.31s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)135.75s
応答時間(最大)257.00s
応答時間(合計)271.50s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.70s
応答時間(最大)5.34s
応答時間(合計)9.39s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)35.11s
応答時間(最大)81.45s
応答時間(合計)105.33s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.35s
応答時間(最大)2.35s
応答時間(合計)2.35s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.58s
応答時間(最大)2.93s
応答時間(合計)5.16s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.20s
応答時間(最大)3.85s
応答時間(合計)9.60s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.02s
応答時間(最大)19.02s
応答時間(合計)19.02s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.87s
応答時間(最大)9.87s
応答時間(合計)9.87s
|
| #122#122 |
Kimi K2.5medium
|
7.0… |
Moonshot AI |
$0.607
↑
…
|
98.19s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 回答なし: 2 タイムアウト: 2 無効なツール呼び出し: 1
応答時間(平均)98.19s
応答時間(最大)281.00s
応答時間(合計)1571.05s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 118,496
- 出力トークン
- 53,522
- 推論トークン
- 167,420
- 応答時間(平均)
- 98.19s
- 応答時間(合計)
- 1571.05s
- 応答時間(最大)
- 281.00s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)51.38s
応答時間(最大)85.28s
応答時間(合計)102.75s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)217.49s
応答時間(最大)281.00s
応答時間(合計)652.48s
-
複合
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)89.19s
応答時間(最大)107.01s
応答時間(合計)178.38s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)49.78s
応答時間(最大)49.78s
応答時間(合計)49.78s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)111.65s
応答時間(最大)137.29s
応答時間(合計)223.30s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)69.73s
応答時間(最大)69.73s
応答時間(合計)69.73s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)92.47s
応答時間(最大)92.47s
応答時間(合計)92.47s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)43.23s
応答時間(最大)82.75s
応答時間(合計)86.47s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)31.74s
応答時間(最大)31.74s
応答時間(合計)31.74s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)83.95s
応答時間(最大)83.95s
応答時間(合計)83.95s
|
| #121#121 |
Seed-2.0-Minimedium
|
7.0… |
Bytedance Seed |
$0.116
…
|
93.10s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 タイムアウト: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)93.10s
応答時間(最大)301.78s
応答時間(合計)1768.91s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 57.6%
- 入力トークン
- 125,704
- 出力トークン
- 10,781
- 推論トークン
- 247,541
- 応答時間(平均)
- 93.10s
- 応答時間(合計)
- 1768.91s
- 応答時間(最大)
- 301.78s
-
反AIトリック
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)74.75s
応答時間(最大)182.10s
応答時間(合計)298.98s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)220.48s
応答時間(最大)243.66s
応答時間(合計)440.97s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)282.30s
応答時間(最大)301.78s
応答時間(合計)564.61s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.27s
応答時間(最大)27.52s
応答時間(合計)48.54s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)103.41s
応答時間(最大)103.41s
応答時間(合計)103.41s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)36.65s
応答時間(最大)36.65s
応答時間(合計)36.65s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.47s
応答時間(最大)19.46s
応答時間(合計)34.93s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.79s
応答時間(最大)50.78s
応答時間(合計)95.38s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)88.68s
応答時間(最大)88.68s
応答時間(合計)88.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)56.76s
応答時間(最大)56.76s
応答時間(合計)56.76s
|
| #120#120 |
Grok 4.20medium
|
7.0… |
X AI |
$0.805
↓
…
|
32.56s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 余分な書式: 2 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)32.56s
応答時間(最大)199.66s
応答時間(合計)716.36s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 102,986
- 出力トークン
- 5,860
- 推論トークン
- 264,399
- 応答時間(平均)
- 32.56s
- 応答時間(合計)
- 716.36s
- 応答時間(最大)
- 199.66s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.95s
応答時間(最大)5.68s
応答時間(合計)15.80s
-
コーディング
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)109.93s
応答時間(最大)199.66s
応答時間(合計)329.79s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)42.25s
応答時間(最大)67.09s
応答時間(合計)84.49s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.17s
応答時間(最大)5.02s
応答時間(合計)8.34s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)49.71s
応答時間(最大)94.92s
応答時間(合計)149.12s
-
汎用知能
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)24.48s
応答時間(最大)24.48s
応答時間(合計)24.48s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.26s
応答時間(最大)4.46s
応答時間(合計)8.52s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.22s
応答時間(最大)11.63s
応答時間(合計)18.66s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)13.68s
応答時間(最大)13.68s
応答時間(合計)13.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)63.48s
応答時間(最大)63.48s
応答時間(合計)63.48s
|
| #119#119 |
Mercury 2medium
|
7.0… |
Inception |
$0.094
…
|
2.95s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)2.95s
応答時間(最大)14.63s
応答時間(合計)61.89s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 110,515
- 出力トークン
- 10,325
- 推論トークン
- 77,229
- 応答時間(平均)
- 2.95s
- 応答時間(合計)
- 61.89s
- 応答時間(最大)
- 14.63s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.12s
応答時間(最大)2.46s
応答時間(合計)4.49s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.04s
応答時間(最大)3.06s
応答時間(合計)6.11s
-
複合
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)7.84s
応答時間(最大)12.40s
応答時間(合計)15.69s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.11s
応答時間(最大)1.47s
応答時間(合計)2.21s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)8.06s
応答時間(最大)14.63s
応答時間(合計)24.19s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)821ms
応答時間(最大)821ms
応答時間(合計)821ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.07s
応答時間(最大)1.07s
応答時間(合計)1.07s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)949ms
応答時間(最大)1.18s
応答時間(合計)2.85s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.89s
応答時間(最大)1.89s
応答時間(合計)1.89s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.58s
応答時間(最大)2.58s
応答時間(合計)2.58s
|
| #118#118 |
GPT-5.5none
|
7.0… |
OpenAI |
$0.544
…
|
2.35s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10
応答時間(平均)2.35s
応答時間(最大)12.24s
応答時間(合計)51.78s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 59.1%
- 入力トークン
- 79,294
- 出力トークン
- 4,915
- 推論トークン
- 0
- 応答時間(平均)
- 2.35s
- 応答時間(合計)
- 51.78s
- 応答時間(最大)
- 12.24s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.31s
応答時間(最大)2.08s
応答時間(合計)5.25s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.35s
応答時間(最大)2.05s
応答時間(合計)4.05s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.90s
応答時間(最大)12.24s
応答時間(合計)17.80s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.18s
応答時間(最大)1.24s
応答時間(合計)2.37s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.27s
応答時間(最大)1.39s
応答時間(合計)3.82s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.41s
応答時間(最大)3.41s
応答時間(合計)3.41s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.15s
応答時間(最大)1.19s
応答時間(合計)2.31s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.29s
応答時間(最大)1.56s
応答時間(合計)3.87s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.90s
応答時間(最大)3.90s
応答時間(合計)3.90s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.01s
応答時間(最大)5.01s
応答時間(合計)5.01s
|
| #117#117 |
GLM 5.1medium
|
7.0… |
Z.ai |
$0.727
↓
…
|
58.80s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 回答なし: 2 タイムアウト: 2 API エラー: 1 余分な書式: 1
応答時間(平均)58.80s
応答時間(最大)308.75s
応答時間(合計)1234.72s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 82,592
- 出力トークン
- 16,089
- 推論トークン
- 199,800
- 応答時間(平均)
- 58.80s
- 応答時間(合計)
- 1234.72s
- 応答時間(最大)
- 308.75s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.31s
応答時間(最大)14.20s
応答時間(合計)33.24s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)109.63s
応答時間(最大)172.60s
応答時間(合計)328.90s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)175.93s
応答時間(最大)308.75s
応答時間(合計)351.86s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.33s
応答時間(最大)9.40s
応答時間(合計)18.66s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1 不正解: 1
応答時間(平均)113.95s
応答時間(最大)280.46s
応答時間(合計)341.86s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.95s
応答時間(最大)20.95s
応答時間(合計)20.95s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.47s
応答時間(最大)10.16s
応答時間(合計)14.94s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.64s
応答時間(最大)46.04s
応答時間(合計)94.91s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)29.40s
応答時間(最大)29.40s
応答時間(合計)29.40s
|
| #116#116 |
DeepSeek V3.2medium
|
7.0… |
DeepSeek |
$0.078
↑
…
|
68.43s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 API エラー: 2 タイムアウト: 2 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)68.43s
応答時間(最大)376.10s
応答時間(合計)1505.53s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 101,056
- 出力トークン
- 11,832
- 推論トークン
- 116,955
- 応答時間(平均)
- 68.43s
- 応答時間(合計)
- 1505.53s
- 応答時間(最大)
- 376.10s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)24.23s
応答時間(最大)29.86s
応答時間(合計)96.93s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)248.68s
応答時間(最大)376.10s
応答時間(合計)746.04s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)79.92s
応答時間(最大)93.11s
応答時間(合計)159.83s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)36.09s
応答時間(最大)39.12s
応答時間(合計)72.18s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)22.94s
応答時間(最大)30.66s
応答時間(合計)68.82s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)58.29s
応答時間(最大)58.29s
応答時間(合計)58.29s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)35.78s
応答時間(最大)47.30s
応答時間(合計)71.56s
-
パズル解決
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)37.69s
応答時間(最大)59.22s
応答時間(合計)113.08s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.81s
応答時間(最大)34.81s
応答時間(合計)34.81s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)83.99s
応答時間(最大)83.99s
応答時間(合計)83.99s
|
| #115#115 |
GPT-5.6 Solnone
|
7.0… |
OpenAI |
$0.524
…
|
2.17s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 1
応答時間(平均)2.17s
応答時間(最大)12.81s
応答時間(合計)47.66s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 78,602
- 出力トークン
- 4,357
- 推論トークン
- 0
- 応答時間(平均)
- 2.17s
- 応答時間(合計)
- 47.66s
- 応答時間(最大)
- 12.81s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.27s
応答時間(最大)2.37s
応答時間(合計)5.09s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.39s
応答時間(最大)2.12s
応答時間(合計)4.16s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.37s
応答時間(最大)12.81s
応答時間(合計)16.74s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.53s
応答時間(最大)1.63s
応答時間(合計)3.05s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.44s
応答時間(最大)1.70s
応答時間(合計)4.31s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.52s
応答時間(最大)1.52s
応答時間(合計)1.52s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.33s
応答時間(最大)1.38s
応答時間(合計)2.66s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.49s
応答時間(最大)2.05s
応答時間(合計)4.47s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.70s
応答時間(最大)3.70s
応答時間(合計)3.70s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.95s
応答時間(最大)1.95s
応答時間(合計)1.95s
|
| #114#114 |
Grok 4.3medium
|
7.0… |
X AI |
$0.741
…
|
44.21s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 余分な書式: 1 回答なし: 1
応答時間(平均)44.21s
応答時間(最大)216.69s
応答時間(合計)972.64s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 140,244
- 出力トークン
- 13,739
- 推論トークン
- 212,165
- 応答時間(平均)
- 44.21s
- 応答時間(合計)
- 972.64s
- 応答時間(最大)
- 216.69s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.83s
応答時間(最大)11.20s
応答時間(合計)35.31s
-
コーディング
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)41.23s
応答時間(最大)64.81s
応答時間(合計)123.69s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)55.07s
応答時間(最大)63.99s
応答時間(合計)110.13s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.97s
応答時間(最大)26.99s
応答時間(合計)37.93s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)158.01s
応答時間(最大)216.69s
応答時間(合計)474.02s
-
汎用知能
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)24.70s
応答時間(最大)24.70s
応答時間(合計)24.70s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.58s
応答時間(最大)31.48s
応答時間(合計)37.15s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)22.52s
応答時間(最大)51.75s
応答時間(合計)67.57s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.66s
応答時間(最大)17.66s
応答時間(合計)17.66s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)44.47s
応答時間(最大)44.47s
応答時間(合計)44.47s
|
| #113#113 |
Solar Pro 4high
|
7.1… |
Upstage |
$0.046
…
|
120.58s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 3 API エラー: 1 余分な書式: 1 回答なし: 1
応答時間(平均)120.58s
応答時間(最大)491.07s
応答時間(合計)2652.77s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 62.1%
- 入力トークン
- 79,740
- 出力トークン
- 23,357
- 推論トークン
- 339,837
- 応答時間(平均)
- 120.58s
- 応答時間(合計)
- 2652.77s
- 応答時間(最大)
- 491.07s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)58.83s
応答時間(最大)90.66s
応答時間(合計)235.34s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)244.73s
応答時間(最大)404.04s
応答時間(合計)734.20s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)167.40s
応答時間(最大)276.53s
応答時間(合計)334.80s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)62.46s
応答時間(最大)76.58s
応答時間(合計)124.93s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)280.84s
応答時間(最大)491.07s
応答時間(合計)842.52s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)42.22s
応答時間(最大)42.22s
応答時間(合計)42.22s
-
指示追従
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)41.51s
応答時間(最大)59.98s
応答時間(合計)83.02s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)55.22s
応答時間(最大)83.57s
応答時間(合計)165.66s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.96s
応答時間(最大)8.96s
応答時間(合計)8.96s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)81.13s
応答時間(最大)81.13s
応答時間(合計)81.13s
|
| #112#112 |
Step 3.7 Flashlow
|
7.1… |
Stepfun |
$0.390
…
|
17.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)17.87s
応答時間(最大)124.75s
応答時間(合計)393.04s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 103,842
- 出力トークン
- 320,393
- 推論トークン
- 0
- 応答時間(平均)
- 17.87s
- 応答時間(合計)
- 393.04s
- 応答時間(最大)
- 124.75s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.02s
応答時間(最大)12.52s
応答時間(合計)16.10s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.46s
応答時間(最大)12.69s
応答時間(合計)28.38s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)66.18s
応答時間(最大)124.39s
応答時間(合計)132.37s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.29s
応答時間(最大)3.15s
応答時間(合計)4.58s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)22.65s
応答時間(最大)45.52s
応答時間(合計)67.95s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.00s
応答時間(最大)7.00s
応答時間(合計)7.00s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.58s
応答時間(最大)1.80s
応答時間(合計)3.16s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.84s
応答時間(最大)3.42s
応答時間(合計)5.52s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.25s
応答時間(最大)3.25s
応答時間(合計)3.25s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)124.75s
応答時間(最大)124.75s
応答時間(合計)124.75s
|
| #111#111 |
Muse Glimmer 30Blow
|
7.1… |
Meta |
$0.187
…
|
18.64s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)18.64s
応答時間(最大)234.92s
応答時間(合計)410.18s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 130,312
- 出力トークン
- 33,867
- 推論トークン
- 62,103
- 応答時間(平均)
- 18.64s
- 応答時間(合計)
- 410.18s
- 応答時間(最大)
- 234.92s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.57s
応答時間(最大)5.96s
応答時間(合計)14.27s
-
コーディング
: 8.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)16.52s
応答時間(最大)21.60s
応答時間(合計)49.55s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)131.97s
応答時間(最大)234.92s
応答時間(合計)263.94s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.17s
応答時間(最大)4.56s
応答時間(合計)8.34s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)11.48s
応答時間(最大)22.96s
応答時間(合計)34.44s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.50s
応答時間(最大)2.50s
応答時間(合計)2.50s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.60s
応答時間(最大)3.76s
応答時間(合計)7.20s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.06s
応答時間(最大)7.57s
応答時間(合計)15.18s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.04s
応答時間(最大)5.04s
応答時間(合計)5.04s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.71s
応答時間(最大)9.71s
応答時間(合計)9.71s
|
| #110#110 |
Qwen3.5-122B-A10Bmedium
|
7.1… |
Qwen |
$1.207
↑
…
|
65.67s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 タイムアウト: 2 無効なツール呼び出し: 1
応答時間(平均)65.67s
応答時間(最大)519.30s
応答時間(合計)1444.68s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 71.2%
- 入力トークン
- 124,780
- 出力トークン
- 47,694
- 推論トークン
- 439,825
- 応答時間(平均)
- 65.67s
- 応答時間(合計)
- 1444.68s
- 応答時間(最大)
- 519.30s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.75s
応答時間(最大)18.03s
応答時間(合計)39.01s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)114.48s
応答時間(最大)168.16s
応答時間(合計)343.44s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)313.55s
応答時間(最大)519.30s
応答時間(合計)627.09s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.41s
応答時間(最大)29.79s
応答時間(合計)46.83s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)74.43s
応答時間(最大)119.29s
応答時間(合計)223.29s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)34.11s
応答時間(最大)34.11s
応答時間(合計)34.11s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.88s
応答時間(最大)15.44s
応答時間(合計)19.76s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.89s
応答時間(最大)31.99s
応答時間(合計)53.68s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.60s
応答時間(最大)4.60s
応答時間(合計)4.60s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)52.87s
応答時間(最大)52.87s
応答時間(合計)52.87s
|
| #109#109 |
Muse Glimmer 30Bmedium
|
7.2… |
Meta |
$0.280
…
|
30.64s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 1 回答なし: 1
応答時間(平均)30.64s
応答時間(最大)181.08s
応答時間(合計)674.01s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 116,513
- 出力トークン
- 33,065
- 推論トークン
- 135,009
- 応答時間(平均)
- 30.64s
- 応答時間(合計)
- 674.01s
- 応答時間(最大)
- 181.08s
-
反AIトリック
: 9.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.36s
応答時間(最大)12.64s
応答時間(合計)29.44s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.67s
応答時間(最大)43.94s
応答時間(合計)101.00s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)76.48s
応答時間(最大)106.02s
応答時間(合計)152.97s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.20s
応答時間(最大)9.97s
応答時間(合計)14.40s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)44.62s
応答時間(最大)102.94s
応答時間(合計)133.85s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.16s
応答時間(最大)5.16s
応答時間(合計)5.16s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.34s
応答時間(最大)6.25s
応答時間(合計)10.69s
-
パズル解決
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)64.73s
応答時間(最大)181.08s
応答時間(合計)194.18s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.64s
応答時間(最大)5.64s
応答時間(合計)5.64s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)26.69s
応答時間(最大)26.69s
応答時間(合計)26.69s
|
| #108#108 |
Qwen3.7 Flashlow
|
7.2… |
Qwen |
$0.043
…
|
38.05s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 3 API エラー: 1
応答時間(平均)38.05s
応答時間(最大)394.54s
応答時間(合計)837.05s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 92,191
- 出力トークン
- 14,286
- 推論トークン
- 289,733
- 応答時間(平均)
- 38.05s
- 応答時間(合計)
- 837.05s
- 応答時間(最大)
- 394.54s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.29s
応答時間(最大)17.58s
応答時間(合計)41.18s
-
コーディング
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)42.36s
応答時間(最大)61.83s
応答時間(合計)127.09s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)217.77s
応答時間(最大)394.54s
応答時間(合計)435.53s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.44s
応答時間(最大)17.97s
応答時間(合計)30.88s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)37.60s
応答時間(最大)49.39s
応答時間(合計)112.81s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)14.37s
応答時間(最大)14.37s
応答時間(合計)14.37s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.88s
応答時間(最大)11.25s
応答時間(合計)19.75s
-
パズル解決
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)9.79s
応答時間(最大)14.36s
応答時間(合計)29.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.66s
応答時間(最大)7.66s
応答時間(合計)7.66s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.42s
応答時間(最大)18.42s
応答時間(合計)18.42s
|