| #121#121 |
Seed-2.0-Minimedium
|
7.0… |
Bytedance Seed |
$0.116
…
|
93.10s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 タイムアウト: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)93.10s
応答時間(最大)301.78s
応答時間(合計)1768.91s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 57.6%
- 入力トークン
- 125,704
- 出力トークン
- 10,781
- 推論トークン
- 247,541
- 応答時間(平均)
- 93.10s
- 応答時間(合計)
- 1768.91s
- 応答時間(最大)
- 301.78s
-
反AIトリック
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)74.75s
応答時間(最大)182.10s
応答時間(合計)298.98s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)220.48s
応答時間(最大)243.66s
応答時間(合計)440.97s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)282.30s
応答時間(最大)301.78s
応答時間(合計)564.61s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.27s
応答時間(最大)27.52s
応答時間(合計)48.54s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)103.41s
応答時間(最大)103.41s
応答時間(合計)103.41s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)36.65s
応答時間(最大)36.65s
応答時間(合計)36.65s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.47s
応答時間(最大)19.46s
応答時間(合計)34.93s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.79s
応答時間(最大)50.78s
応答時間(合計)95.38s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)88.68s
応答時間(最大)88.68s
応答時間(合計)88.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)56.76s
応答時間(最大)56.76s
応答時間(合計)56.76s
|
| #122#122 |
Kimi K2.5medium
|
7.0… |
Moonshot AI |
$0.607
↑
…
|
98.19s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 回答なし: 2 タイムアウト: 2 無効なツール呼び出し: 1
応答時間(平均)98.19s
応答時間(最大)281.00s
応答時間(合計)1571.05s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 118,496
- 出力トークン
- 53,522
- 推論トークン
- 167,420
- 応答時間(平均)
- 98.19s
- 応答時間(合計)
- 1571.05s
- 応答時間(最大)
- 281.00s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)51.38s
応答時間(最大)85.28s
応答時間(合計)102.75s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)217.49s
応答時間(最大)281.00s
応答時間(合計)652.48s
-
複合
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)89.19s
応答時間(最大)107.01s
応答時間(合計)178.38s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)49.78s
応答時間(最大)49.78s
応答時間(合計)49.78s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)111.65s
応答時間(最大)137.29s
応答時間(合計)223.30s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)69.73s
応答時間(最大)69.73s
応答時間(合計)69.73s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)92.47s
応答時間(最大)92.47s
応答時間(合計)92.47s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)43.23s
応答時間(最大)82.75s
応答時間(合計)86.47s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)31.74s
応答時間(最大)31.74s
応答時間(合計)31.74s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)83.95s
応答時間(最大)83.95s
応答時間(合計)83.95s
|
| #123#123 |
KAT-Coder-Pro V2.5medium
|
6.9… |
Kwaipilot |
$0.478
…
|
24.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 1 指示に従っていない: 1
応答時間(平均)24.87s
応答時間(最大)257.00s
応答時間(合計)547.14s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 87,916
- 出力トークン
- 7,213
- 推論トークン
- 132,162
- 応答時間(平均)
- 24.87s
- 応答時間(合計)
- 547.14s
- 応答時間(最大)
- 257.00s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.90s
応答時間(最大)6.99s
応答時間(合計)15.61s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.10s
応答時間(最大)71.91s
応答時間(合計)99.31s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)135.75s
応答時間(最大)257.00s
応答時間(合計)271.50s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.70s
応答時間(最大)5.34s
応答時間(合計)9.39s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)35.11s
応答時間(最大)81.45s
応答時間(合計)105.33s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.35s
応答時間(最大)2.35s
応答時間(合計)2.35s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.58s
応答時間(最大)2.93s
応答時間(合計)5.16s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.20s
応答時間(最大)3.85s
応答時間(合計)9.60s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.02s
応答時間(最大)19.02s
応答時間(合計)19.02s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.87s
応答時間(最大)9.87s
応答時間(合計)9.87s
|
| #124#124 |
Qwen3.7 Flashmedium
|
6.9… |
Qwen |
$0.065
…
|
47.38s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)47.38s
応答時間(最大)593.64s
応答時間(合計)1042.43s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 114,477
- 出力トークン
- 12,786
- 推論トークン
- 457,290
- 応答時間(平均)
- 47.38s
- 応答時間(合計)
- 1042.43s
- 応答時間(最大)
- 593.64s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.56s
応答時間(最大)13.35s
応答時間(合計)38.24s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)46.78s
応答時間(最大)66.13s
応答時間(合計)140.34s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)314.17s
応答時間(最大)593.64s
応答時間(合計)628.34s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.42s
応答時間(最大)15.63s
応答時間(合計)30.85s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)38.02s
応答時間(最大)50.61s
応答時間(合計)114.07s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.18s
応答時間(最大)10.18s
応答時間(合計)10.18s
-
指示追従
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)9.27s
応答時間(最大)10.40s
応答時間(合計)18.54s
-
パズル解決
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)8.30s
応答時間(最大)10.90s
応答時間(合計)24.90s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.80s
応答時間(最大)7.80s
応答時間(合計)7.80s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)29.17s
応答時間(最大)29.17s
応答時間(合計)29.17s
|
| #125#125 |
Seed-2.0-Codehigh
|
6.9… |
Bytedance Seed |
$1.273
…
|
124.18s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 5 不正解: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)124.18s
応答時間(最大)675.30s
応答時間(合計)2732.03s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 81,970
- 出力トークン
- 7,186
- 推論トークン
- 403,389
- 応答時間(平均)
- 124.18s
- 応答時間(合計)
- 2732.03s
- 応答時間(最大)
- 675.30s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)35.07s
応答時間(最大)82.43s
応答時間(合計)140.28s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 指示に従っていない: 1
応答時間(平均)266.74s
応答時間(最大)443.32s
応答時間(合計)800.23s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)144.87s
応答時間(最大)236.85s
応答時間(合計)289.75s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.28s
応答時間(最大)34.05s
応答時間(合計)48.55s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)419.73s
応答時間(最大)675.30s
応答時間(合計)1259.19s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)36.45s
応答時間(最大)36.45s
応答時間(合計)36.45s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.26s
応答時間(最大)19.26s
応答時間(合計)22.53s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)15.91s
応答時間(最大)17.11s
応答時間(合計)47.73s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)35.09s
応答時間(最大)35.09s
応答時間(合計)35.09s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)52.23s
応答時間(最大)52.23s
応答時間(合計)52.23s
|
| #126#126 |
Gemini 3.5 Flashnone
|
6.9… |
Google |
$1.093
…
|
10.18s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 4 不正解: 4
応答時間(平均)10.18s
応答時間(最大)64.36s
応答時間(合計)183.29s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 13,852
- 出力トークン
- 119,100
- 推論トークン
- 0
- 応答時間(平均)
- 10.18s
- 応答時間(合計)
- 183.29s
- 応答時間(最大)
- 64.36s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.53s
応答時間(最大)3.43s
応答時間(合計)10.12s
-
コーディング
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)34.69s
応答時間(最大)64.36s
応答時間(合計)104.06s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)8.10s
応答時間(最大)8.10s
応答時間(合計)8.10s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)12.18s
応答時間(最大)14.00s
応答時間(合計)36.54s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.46s
応答時間(最大)3.46s
応答時間(合計)3.46s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.38s
応答時間(最大)3.40s
応答時間(合計)6.76s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.13s
応答時間(最大)3.33s
応答時間(合計)9.39s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.87s
応答時間(最大)4.87s
応答時間(合計)4.87s
|
| #127#127 |
Qwen3.6 Flashmedium
|
6.8… |
Qwen |
$0.741
↓
…
|
44.97s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)44.97s
応答時間(最大)578.13s
応答時間(合計)989.32s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 129,050
- 出力トークン
- 20,026
- 推論トークン
- 616,923
- 応答時間(平均)
- 44.97s
- 応答時間(合計)
- 989.32s
- 応答時間(最大)
- 578.13s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.10s
応答時間(最大)9.60s
応答時間(合計)24.39s
-
コーディング
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)42.85s
応答時間(最大)78.01s
応答時間(合計)128.55s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)299.21s
応答時間(最大)578.13s
応答時間(合計)598.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.65s
応答時間(最大)10.35s
応答時間(合計)19.31s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)16.98s
応答時間(最大)26.85s
応答時間(合計)50.95s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.88s
応答時間(最大)9.88s
応答時間(合計)9.88s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.05s
応答時間(最大)6.94s
応答時間(合計)12.10s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.29s
応答時間(最大)8.18s
応答時間(合計)18.87s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.00s
応答時間(最大)4.00s
応答時間(合計)4.00s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)122.87s
応答時間(最大)122.87s
応答時間(合計)122.87s
|
| #128#128 |
Step 3.7 Flashhigh
|
6.8… |
Stepfun |
$1.229
…
|
70.10s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 回答なし: 3 無効なツール呼び出し: 1
応答時間(平均)70.10s
応答時間(最大)364.99s
応答時間(合計)1542.14s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 98,700
- 出力トークン
- 1,050,900
- 推論トークン
- 0
- 応答時間(平均)
- 70.10s
- 応答時間(合計)
- 1542.14s
- 応答時間(最大)
- 364.99s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.40s
応答時間(最大)45.73s
応答時間(合計)53.58s
-
コーディング
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 不正解: 1
応答時間(平均)206.21s
応答時間(最大)364.99s
応答時間(合計)618.64s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)41.23s
応答時間(最大)69.44s
応答時間(合計)82.45s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.72s
応答時間(最大)24.97s
応答時間(合計)29.43s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)189.35s
応答時間(最大)261.94s
応答時間(合計)568.04s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.17s
応答時間(最大)4.17s
応答時間(合計)4.17s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.52s
応答時間(最大)1.89s
応答時間(合計)3.03s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)10.22s
応答時間(最大)23.65s
応答時間(合計)30.66s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.79s
応答時間(最大)2.79s
応答時間(合計)2.79s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)149.34s
応答時間(最大)149.34s
応答時間(合計)149.34s
|
| #129#129 |
Seed-2.0-Codemedium
|
6.8… |
Bytedance Seed |
$1.153
…
|
101.05s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 6 不正解: 4 余分な書式: 1 指示に従っていない: 1
応答時間(平均)101.05s
応答時間(最大)626.58s
応答時間(合計)2223.19s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 76,036
- 出力トークン
- 7,267
- 推論トークン
- 364,176
- 応答時間(平均)
- 101.05s
- 応答時間(合計)
- 2223.19s
- 応答時間(最大)
- 626.58s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)45.98s
応答時間(最大)130.73s
応答時間(合計)183.93s
-
コーディング
: 8.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)89.94s
応答時間(最大)105.48s
応答時間(合計)269.82s
-
複合
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)102.33s
応答時間(最大)177.88s
応答時間(合計)204.66s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)18.78s
応答時間(最大)27.01s
応答時間(合計)37.56s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)429.77s
応答時間(最大)626.58s
応答時間(合計)1289.31s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)11.41s
応答時間(最大)11.41s
応答時間(合計)11.41s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.34s
応答時間(最大)15.43s
応答時間(合計)20.67s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)34.30s
応答時間(最大)46.61s
応答時間(合計)102.91s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)36.36s
応答時間(最大)36.36s
応答時間(合計)36.36s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)66.56s
応答時間(最大)66.56s
応答時間(合計)66.56s
|
| #130#130 |
Solar Pro 4low
|
6.8… |
Upstage |
$0.044
…
|
136.11s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 API エラー: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)136.11s
応答時間(最大)640.89s
応答時間(合計)2994.49s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 90,556
- 出力トークン
- 6,153
- 推論トークン
- 332,220
- 応答時間(平均)
- 136.11s
- 応答時間(合計)
- 2994.49s
- 応答時間(最大)
- 640.89s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)40.16s
応答時間(最大)75.92s
応答時間(合計)160.66s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)259.63s
応答時間(最大)429.18s
応答時間(合計)778.90s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)358.12s
応答時間(最大)640.89s
応答時間(合計)716.24s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)62.38s
応答時間(最大)70.74s
応答時間(合計)124.76s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)279.04s
応答時間(最大)538.60s
応答時間(合計)837.12s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)61.21s
応答時間(最大)61.21s
応答時間(合計)61.21s
-
指示追従
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)56.42s
応答時間(最大)90.80s
応答時間(合計)112.84s
-
パズル解決
: 9.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)42.14s
応答時間(最大)60.06s
応答時間(合計)126.43s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.12s
応答時間(最大)7.12s
応答時間(合計)7.12s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)69.22s
応答時間(最大)69.22s
応答時間(合計)69.22s
|
| #131#131 |
Solar Pro 4medium
|
6.8… |
Upstage |
$0.047
…
|
127.64s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 API エラー: 1 余分な書式: 1 回答なし: 1
応答時間(平均)127.64s
応答時間(最大)519.91s
応答時間(合計)2808.09s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 62.1%
- 入力トークン
- 87,902
- 出力トークン
- 30,743
- 推論トークン
- 335,668
- 応答時間(平均)
- 127.64s
- 応答時間(合計)
- 2808.09s
- 応答時間(最大)
- 519.91s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)53.37s
応答時間(最大)74.40s
応答時間(合計)213.47s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)310.39s
応答時間(最大)518.33s
応答時間(合計)931.17s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)294.82s
応答時間(最大)519.91s
応答時間(合計)589.65s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)43.08s
応答時間(最大)47.23s
応答時間(合計)86.16s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)201.85s
応答時間(最大)333.26s
応答時間(合計)605.54s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)48.00s
応答時間(最大)48.00s
応答時間(合計)48.00s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.08s
応答時間(最大)56.63s
応答時間(合計)80.15s
-
パズル解決
: 9.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)45.83s
応答時間(最大)74.11s
応答時間(合計)137.48s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.86s
応答時間(最大)7.86s
応答時間(合計)7.86s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)108.62s
応答時間(最大)108.62s
応答時間(合計)108.62s
|
| #132#132 |
DeepSeek V4 Pronone
|
6.8… |
DeepSeek |
$0.256
↑
…
|
11.71s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)11.71s
応答時間(最大)119.44s
応答時間(合計)257.67s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 47.0%
- 入力トークン
- 148,078
- 出力トークン
- 35,547
- 推論トークン
- 0
- 応答時間(平均)
- 11.71s
- 応答時間(合計)
- 257.67s
- 応答時間(最大)
- 119.44s
-
反AIトリック
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)4.02s
応答時間(最大)5.11s
応答時間(合計)16.10s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)13.38s
応答時間(最大)30.09s
応答時間(合計)40.15s
-
複合
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)71.59s
応答時間(最大)119.44s
応答時間(合計)143.18s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.61s
応答時間(最大)6.06s
応答時間(合計)9.23s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.91s
応答時間(最大)7.90s
応答時間(合計)14.73s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.05s
応答時間(最大)2.05s
応答時間(合計)2.05s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.12s
応答時間(最大)4.37s
応答時間(合計)8.24s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.61s
応答時間(最大)5.19s
応答時間(合計)10.83s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.40s
応答時間(最大)7.40s
応答時間(合計)7.40s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.76s
応答時間(最大)5.76s
応答時間(合計)5.76s
|
| #133#133 |
MiMo-V2.5-Promedium
|
6.8… |
Xiaomi |
$0.221
↓
…
|
48.68s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 3 不正解: 3 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)48.68s
応答時間(最大)333.34s
応答時間(合計)1071.02s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 139,892
- 出力トークン
- 15,569
- 推論トークン
- 169,897
- 応答時間(平均)
- 48.68s
- 応答時間(合計)
- 1071.02s
- 応答時間(最大)
- 333.34s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.26s
応答時間(最大)6.38s
応答時間(合計)13.06s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 余分な書式: 1
応答時間(平均)92.07s
応答時間(最大)130.77s
応答時間(合計)276.20s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)125.45s
応答時間(最大)197.54s
応答時間(合計)250.89s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.81s
応答時間(最大)20.29s
応答時間(合計)37.61s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 回答なし: 1
応答時間(平均)146.15s
応答時間(最大)333.34s
応答時間(合計)438.44s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.02s
応答時間(最大)4.02s
応答時間(合計)4.02s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.77s
応答時間(最大)3.21s
応答時間(合計)5.54s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.31s
応答時間(最大)9.12s
応答時間(合計)15.94s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.87s
応答時間(最大)16.87s
応答時間(合計)16.87s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.46s
応答時間(最大)12.46s
応答時間(合計)12.46s
|
| #134#134 |
Gemini 3 Flash Previewnone
|
6.8… |
Google |
$0.085
…
|
2.82s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 回答なし: 1
応答時間(平均)2.82s
応答時間(最大)21.19s
応答時間(合計)45.05s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 104,217
- 出力トークン
- 10,710
- 推論トークン
- 0
- 応答時間(平均)
- 2.82s
- 応答時間(合計)
- 45.05s
- 応答時間(最大)
- 21.19s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.25s
応答時間(最大)1.59s
応答時間(合計)2.49s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.80s
応答時間(最大)2.79s
応答時間(合計)5.40s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)12.38s
応答時間(最大)21.19s
応答時間(合計)24.75s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.41s
応答時間(最大)1.41s
応答時間(合計)1.41s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)879ms
応答時間(最大)963ms
応答時間(合計)1.76s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.13s
応答時間(合計)1.13s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.58s
応答時間(最大)1.58s
応答時間(合計)1.58s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.05s
応答時間(最大)1.06s
応答時間(合計)2.11s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.35s
応答時間(最大)3.35s
応答時間(合計)3.35s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.07s
応答時間(最大)1.07s
応答時間(合計)1.07s
|
| #135#135 |
Gemma 4 26B A4Bmedium
|
6.8… |
Google |
$0.111
↑
…
|
104.93s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 タイムアウト: 2 不正解: 2 無効なツール呼び出し: 1
応答時間(平均)104.93s
応答時間(最大)912.19s
応答時間(合計)2203.52s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 7
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 77,528
- 出力トークン
- 26,048
- 推論トークン
- 227,598
- 応答時間(平均)
- 104.93s
- 応答時間(合計)
- 2203.52s
- 応答時間(最大)
- 912.19s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.20s
応答時間(最大)9.64s
応答時間(合計)24.78s
-
コーディング
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 タイムアウト: 1
応答時間(平均)272.54s
応答時間(最大)369.32s
応答時間(合計)817.61s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)492.87s
応答時間(最大)912.19s
応答時間(合計)985.73s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.51s
応答時間(最大)20.57s
応答時間(合計)33.02s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)35.14s
応答時間(最大)43.28s
応答時間(合計)70.28s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)29.76s
応答時間(最大)29.76s
応答時間(合計)29.76s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.54s
応答時間(最大)21.25s
応答時間(合計)35.08s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.79s
応答時間(最大)6.85s
応答時間(合計)17.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.01s
応答時間(最大)9.01s
応答時間(合計)9.01s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)180.87s
応答時間(最大)180.87s
応答時間(合計)180.87s
|
| #136#136 |
GLM 5.2none
|
6.7… |
Z.ai |
$0.078
↓
…
|
9.65s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)9.65s
応答時間(最大)79.65s
応答時間(合計)212.38s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 112,458
- 出力トークン
- 14,344
- 推論トークン
- 0
- 応答時間(平均)
- 9.65s
- 応答時間(合計)
- 212.38s
- 応答時間(最大)
- 79.65s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.70s
応答時間(最大)5.66s
応答時間(合計)14.80s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)7.55s
応答時間(最大)12.77s
応答時間(合計)22.66s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)50.17s
応答時間(最大)79.65s
応答時間(合計)100.33s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.17s
応答時間(最大)11.71s
応答時間(合計)14.35s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.35s
応答時間(最大)7.33s
応答時間(合計)19.05s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.42s
応答時間(最大)4.42s
応答時間(合計)4.42s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.84s
応答時間(最大)4.88s
応答時間(合計)7.68s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.31s
応答時間(最大)3.63s
応答時間(合計)9.92s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.76s
応答時間(最大)15.76s
応答時間(合計)15.76s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.41s
応答時間(最大)3.41s
応答時間(合計)3.41s
|
| #137#137 |
KAT-Coder-Pro V2.5none
|
6.7… |
Kwaipilot |
$0.487
…
|
26.01s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 無効なツール呼び出し: 1
応答時間(平均)26.01s
応答時間(最大)335.41s
応答時間(合計)572.22s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 71.2%
- 入力トークン
- 98,508
- 出力トークン
- 139,572
- 推論トークン
- 0
- 応答時間(平均)
- 26.01s
- 応答時間(合計)
- 572.22s
- 応答時間(最大)
- 335.41s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.58s
応答時間(最大)7.94s
応答時間(合計)18.33s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)22.52s
応答時間(最大)30.63s
応答時間(合計)67.55s
-
複合
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)183.08s
応答時間(最大)335.41s
応答時間(合計)366.16s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.07s
応答時間(最大)5.35s
応答時間(合計)10.15s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)24.90s
応答時間(最大)53.57s
応答時間(合計)74.71s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.16s
応答時間(最大)5.16s
応答時間(合計)5.16s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.61s
応答時間(最大)2.82s
応答時間(合計)5.23s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.03s
応答時間(最大)4.12s
応答時間(合計)9.10s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.93s
応答時間(最大)5.93s
応答時間(合計)5.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.91s
応答時間(最大)9.91s
応答時間(合計)9.91s
|
| #138#138 |
LongCat 2.0low
|
6.7… |
Meituan |
$0.412
…
|
113.61s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 2 指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)113.61s
応答時間(最大)560.39s
応答時間(合計)2499.46s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 54.6%
- 入力トークン
- 90,870
- 出力トークン
- 5,676
- 推論トークン
- 314,918
- 応答時間(平均)
- 113.61s
- 応答時間(合計)
- 2499.46s
- 応答時間(最大)
- 560.39s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.04s
応答時間(最大)17.24s
応答時間(合計)36.14s
-
コーディング
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)479.30s
応答時間(最大)560.39s
応答時間(合計)1437.91s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)130.21s
応答時間(最大)197.80s
応答時間(合計)260.43s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)10.77s
応答時間(最大)18.66s
応答時間(合計)21.54s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 タイムアウト: 1 不正解: 1
応答時間(平均)183.63s
応答時間(最大)443.12s
応答時間(合計)550.90s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)22.45s
応答時間(最大)22.45s
応答時間(合計)22.45s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.39s
応答時間(最大)6.65s
応答時間(合計)12.78s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)8.15s
応答時間(最大)12.04s
応答時間(合計)24.45s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.81s
応答時間(最大)10.81s
応答時間(合計)10.81s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)122.07s
応答時間(最大)122.07s
応答時間(合計)122.07s
|
| #139#139 |
Gemini 3.5 Flashminimal
|
6.7… |
Google |
$0.300
…
|
2.65s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)2.65s
応答時間(最大)25.26s
応答時間(合計)58.21s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 100,762
- 出力トークン
- 16,454
- 推論トークン
- 0
- 応答時間(平均)
- 2.65s
- 応答時間(合計)
- 58.21s
- 応答時間(最大)
- 25.26s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)892ms
応答時間(最大)1.38s
応答時間(合計)3.57s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.75s
応答時間(最大)5.51s
応答時間(合計)8.26s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)14.41s
応答時間(最大)25.26s
応答時間(合計)28.81s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.66s
応答時間(最大)2.11s
応答時間(合計)3.32s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)879ms
応答時間(最大)985ms
応答時間(合計)2.64s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)922ms
応答時間(最大)922ms
応答時間(合計)922ms
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)893ms
応答時間(最大)964ms
応答時間(合計)1.79s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.45s
応答時間(最大)2.30s
応答時間(合計)4.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.79s
応答時間(最大)2.79s
応答時間(合計)2.79s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.76s
応答時間(最大)1.76s
応答時間(合計)1.76s
|
| #140#140 |
GLM 5V Turbomediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.7… |
Z.ai |
$0.457
…
|
23.08s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)23.08s
応答時間(最大)95.88s
応答時間(合計)484.63s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 10
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 44,615
- 出力トークン
- 2,347
- 推論トークン
- 98,415
- 応答時間(平均)
- 23.08s
- 応答時間(合計)
- 484.63s
- 応答時間(最大)
- 95.88s
-
反AIトリック
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)10.76s
応答時間(最大)14.40s
応答時間(合計)43.02s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)63.38s
応答時間(最大)95.88s
応答時間(合計)190.15s
-
複合
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)15.06s
応答時間(最大)15.06s
応答時間(合計)15.06s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.60s
応答時間(最大)9.92s
応答時間(合計)19.19s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)38.15s
応答時間(最大)67.08s
応答時間(合計)114.45s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.09s
応答時間(最大)11.09s
応答時間(合計)11.09s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.74s
応答時間(最大)5.23s
応答時間(合計)7.47s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.24s
応答時間(最大)16.95s
応答時間(合計)30.72s
-
ツール呼び出し
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)12.53s
応答時間(最大)12.53s
応答時間(合計)12.53s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)40.96s
応答時間(最大)40.96s
応答時間(合計)40.96s
|
| #141#141 |
LongCat 2.0high
|
6.7… |
Meituan |
$0.492
…
|
153.29s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 2 回答なし: 2 タイムアウト: 2
応答時間(平均)153.29s
応答時間(最大)941.66s
応答時間(合計)3372.36s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 51.5%
- 入力トークン
- 93,411
- 出力トークン
- 30,470
- 推論トークン
- 356,172
- 応答時間(平均)
- 153.29s
- 応答時間(合計)
- 3372.36s
- 応答時間(最大)
- 941.66s
-
反AIトリック
: 8.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.76s
応答時間(最大)11.40s
応答時間(合計)31.04s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)505.33s
応答時間(最大)656.90s
応答時間(合計)1515.99s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)167.13s
応答時間(最大)226.90s
応答時間(合計)334.26s
-
データ解析と抽出
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)10.98s
応答時間(最大)19.00s
応答時間(合計)21.97s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)433.73s
応答時間(最大)941.66s
応答時間(合計)1301.18s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.00s
応答時間(最大)17.00s
応答時間(合計)17.00s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.96s
応答時間(最大)7.82s
応答時間(合計)13.92s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)9.18s
応答時間(最大)13.76s
応答時間(合計)27.55s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.02s
応答時間(最大)10.02s
応答時間(合計)10.02s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)99.44s
応答時間(最大)99.44s
応答時間(合計)99.44s
|
| #142#142 |
Claude Opus 4.7noneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.6… |
Anthropic |
$0.505
…
|
3.02s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.02s
応答時間(最大)18.27s
応答時間(合計)57.44s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 3
- 試行ごとの合格率
- 72.7%
- 入力トークン
- 69,576
- 出力トークン
- 6,265
- 推論トークン
- 0
- 応答時間(平均)
- 3.02s
- 応答時間(合計)
- 57.44s
- 応答時間(最大)
- 18.27s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.12s
応答時間(最大)3.75s
応答時間(合計)8.50s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.84s
応答時間(最大)2.84s
応答時間(合計)2.84s
-
複合
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.27s
応答時間(最大)18.27s
応答時間(合計)18.27s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.15s
応答時間(最大)2.33s
応答時間(合計)4.29s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.19s
応答時間(最大)1.40s
応答時間(合計)3.58s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.47s
応答時間(最大)3.47s
応答時間(合計)3.47s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.46s
応答時間(最大)1.68s
応答時間(合計)2.91s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.46s
応答時間(最大)3.72s
応答時間(合計)7.38s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.74s
応答時間(最大)4.74s
応答時間(合計)4.74s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.46s
応答時間(最大)1.46s
応答時間(合計)1.46s
|
| #143#143 |
Gemini 3.5 Flash Litelow
|
6.6… |
Google |
$0.138
…
|
2.56s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 1 回答なし: 1
応答時間(平均)2.56s
応答時間(最大)15.14s
応答時間(合計)56.32s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 139,165
- 出力トークン
- 12,899
- 推論トークン
- 25,511
- 応答時間(平均)
- 2.56s
- 応答時間(合計)
- 56.32s
- 応答時間(最大)
- 15.14s
-
反AIトリック
: 9.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.69s
応答時間(最大)2.03s
応答時間(合計)6.75s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)917ms
応答時間(最大)1.11s
応答時間(合計)2.75s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)11.00s
応答時間(最大)15.14s
応答時間(合計)22.01s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)859ms
応答時間(最大)1.22s
応答時間(合計)1.72s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.55s
応答時間(最大)5.12s
応答時間(合計)10.66s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.34s
応答時間(最大)2.34s
応答時間(合計)2.34s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.75s
応答時間(最大)1.77s
応答時間(合計)3.50s
-
パズル解決
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.19s
応答時間(最大)2.07s
応答時間(合計)3.56s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.39s
応答時間(最大)1.39s
応答時間(合計)1.39s
-
雑学
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.65s
応答時間(最大)1.65s
応答時間(合計)1.65s
|
| #144#144 |
Qwen3.5-27Bnone
|
6.6… |
Qwen |
$0.058
↓
…
|
4.77s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 2
応答時間(平均)4.77s
応答時間(最大)69.46s
応答時間(合計)105.00s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 102,325
- 出力トークン
- 24,323
- 推論トークン
- 0
- 応答時間(平均)
- 4.77s
- 応答時間(合計)
- 105.00s
- 応答時間(最大)
- 69.46s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)788ms
応答時間(最大)1.34s
応答時間(合計)3.15s
-
コーディング
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.80s
応答時間(最大)2.51s
応答時間(合計)5.40s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)39.43s
応答時間(最大)69.46s
応答時間(合計)78.86s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.43s
応答時間(最大)1.45s
応答時間(合計)2.86s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)634ms
応答時間(最大)784ms
応答時間(合計)1.90s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.51s
応答時間(最大)2.51s
応答時間(合計)2.51s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.03s
応答時間(最大)1.40s
応答時間(合計)2.06s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.38s
応答時間(最大)2.24s
応答時間(合計)4.13s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.54s
応答時間(最大)3.54s
応答時間(合計)3.54s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)599ms
応答時間(最大)599ms
応答時間(合計)599ms
|
| #145#145 |
Gemini 3.1 Flash Lite Previewlow
|
6.6… |
Google |
$0.646
…
|
16.67s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)16.67s
応答時間(最大)309.35s
応答時間(合計)366.69s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 110,196
- 出力トークン
- 14,717
- 推論トークン
- 397,462
- 応答時間(平均)
- 16.67s
- 応答時間(合計)
- 366.69s
- 応答時間(最大)
- 309.35s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.12s
応答時間(最大)3.18s
応答時間(合計)8.50s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.39s
応答時間(最大)2.20s
応答時間(合計)4.16s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)160.63s
応答時間(最大)309.35s
応答時間(合計)321.26s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.00s
応答時間(最大)3.74s
応答時間(合計)5.99s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.10s
応答時間(最大)3.51s
応答時間(合計)6.29s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.54s
応答時間(最大)1.54s
応答時間(合計)1.54s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.49s
応答時間(最大)1.66s
応答時間(合計)2.99s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.69s
応答時間(最大)1.89s
応答時間(合計)5.08s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.54s
応答時間(最大)9.54s
応答時間(合計)9.54s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.35s
応答時間(最大)1.35s
応答時間(合計)1.35s
|
| #146#146 |
Inkling Smallmedium
|
6.6… |
Thinkingmachines |
$0.113
↓
…
|
6.30s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 4 無効なツール呼び出し: 2
応答時間(平均)6.30s
応答時間(最大)17.26s
応答時間(合計)138.60s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 100,255
- 出力トークン
- 6,422
- 推論トークン
- 49,847
- 応答時間(平均)
- 6.30s
- 応答時間(合計)
- 138.60s
- 応答時間(最大)
- 17.26s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.09s
応答時間(最大)10.33s
応答時間(合計)16.35s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.49s
応答時間(最大)17.26s
応答時間(合計)31.48s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)8.89s
応答時間(最大)12.00s
応答時間(合計)17.78s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.95s
応答時間(最大)5.78s
応答時間(合計)7.89s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)7.65s
応答時間(最大)14.20s
応答時間(合計)22.94s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.58s
応答時間(最大)2.58s
応答時間(合計)2.58s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.78s
応答時間(最大)3.98s
応答時間(合計)7.56s
-
パズル解決
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.24s
応答時間(最大)10.12s
応答時間(合計)15.71s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.12s
応答時間(最大)2.12s
応答時間(合計)2.12s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)14.19s
応答時間(最大)14.19s
応答時間(合計)14.19s
|
| #147#147 |
Gemini 3.1 Flash Litelow
|
6.6… |
Google |
$0.621
…
|
16.25s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 無効なツール呼び出し: 1
応答時間(平均)16.25s
応答時間(最大)318.02s
応答時間(合計)357.39s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 94,233
- 出力トークン
- 7,759
- 推論トークン
- 390,132
- 応答時間(平均)
- 16.25s
- 応答時間(合計)
- 357.39s
- 応答時間(最大)
- 318.02s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.84s
応答時間(最大)3.08s
応答時間(合計)7.37s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.53s
応答時間(最大)1.97s
応答時間(合計)4.58s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)161.25s
応答時間(最大)318.02s
応答時間(合計)322.50s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.44s
応答時間(最大)1.51s
応答時間(合計)2.89s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.44s
応答時間(最大)1.63s
応答時間(合計)4.32s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.37s
応答時間(最大)1.37s
応答時間(合計)1.37s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.52s
応答時間(最大)1.68s
応答時間(合計)3.04s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.40s
応答時間(最大)1.41s
応答時間(合計)4.20s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.66s
応答時間(最大)5.66s
応答時間(合計)5.66s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.46s
応答時間(最大)1.46s
応答時間(合計)1.46s
|
| #148#148 |
Qwen3.6 35B A3Bmedium
|
6.6… |
Qwen |
$0.750
↑
…
|
58.49s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 API エラー: 2 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)58.49s
応答時間(最大)817.57s
応答時間(合計)1169.83s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 57.6%
- 入力トークン
- 85,148
- 出力トークン
- 61,736
- 推論トークン
- 681,556
- 応答時間(平均)
- 58.49s
- 応答時間(合計)
- 1169.83s
- 応答時間(最大)
- 817.57s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.02s
応答時間(最大)8.79s
応答時間(合計)24.07s
-
コーディング
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)50.55s
応答時間(最大)86.11s
応答時間(合計)151.65s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)817.57s
応答時間(最大)817.57s
応答時間(合計)817.57s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.99s
応答時間(最大)13.75s
応答時間(合計)25.99s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)25.39s
応答時間(最大)45.02s
応答時間(合計)76.16s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)8.66s
応答時間(最大)8.66s
応答時間(合計)8.66s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.50s
応答時間(最大)10.22s
応答時間(合計)15.00s
-
パズル解決
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.95s
応答時間(最大)8.42s
応答時間(合計)17.84s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)32.90s
応答時間(最大)32.90s
応答時間(合計)32.90s
|
| #149#149 |
Qwen3.5 Plus 2026-02-15none
|
6.6… |
Qwen |
$0.073
↓
…
|
9.86s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11
応答時間(平均)9.86s
応答時間(最大)123.00s
応答時間(合計)157.77s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 102,655
- 出力トークン
- 29,370
- 推論トークン
- 0
- 応答時間(平均)
- 9.86s
- 応答時間(合計)
- 157.77s
- 応答時間(最大)
- 123.00s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.91s
応答時間(最大)2.74s
応答時間(合計)3.82s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.05s
応答時間(最大)3.63s
応答時間(合計)6.15s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)64.83s
応答時間(最大)123.00s
応答時間(合計)129.66s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.89s
応答時間(最大)1.89s
応答時間(合計)1.89s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.24s
応答時間(最大)1.44s
応答時間(合計)2.48s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.26s
応答時間(最大)2.26s
応答時間(合計)2.26s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.67s
応答時間(最大)1.67s
応答時間(合計)1.67s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.71s
応答時間(最大)3.29s
応答時間(合計)5.41s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.33s
応答時間(最大)3.33s
応答時間(合計)3.33s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.11s
応答時間(最大)1.11s
応答時間(合計)1.11s
|
| #150#150 |
Qwen3.6 27Bmedium
|
6.5… |
Qwen |
$1.045
↑
…
|
106.06s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 回答なし: 3 無効なツール呼び出し: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)106.06s
応答時間(最大)1085.11s
応答時間(合計)2333.36s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 106,176
- 出力トークン
- 33,013
- 推論トークン
- 239,560
- 応答時間(平均)
- 106.06s
- 応答時間(合計)
- 2333.36s
- 応答時間(最大)
- 1085.11s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.62s
応答時間(最大)18.61s
応答時間(合計)50.50s
-
コーディング
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)142.99s
応答時間(最大)168.22s
応答時間(合計)428.96s
-
複合
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)584.09s
応答時間(最大)1085.11s
応答時間(合計)1168.18s
-
データ解析と抽出
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2
応答時間(平均)37.30s
応答時間(最大)54.01s
応答時間(合計)74.60s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)71.47s
応答時間(最大)101.55s
応答時間(合計)214.40s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)39.53s
応答時間(最大)39.53s
応答時間(合計)39.53s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.96s
応答時間(最大)47.48s
応答時間(合計)75.92s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)61.14s
応答時間(最大)97.76s
応答時間(合計)183.42s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.88s
応答時間(最大)16.88s
応答時間(合計)16.88s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)80.99s
応答時間(最大)80.99s
応答時間(合計)80.99s
|