| #176#176 |
GPT-6 Lunahigh
|
7.7… |
OpenAI |
$0.074
…
|
20.37s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)20.37s
応答時間(最大)106.93s
応答時間(合計)468.52s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 73.9%
- 入力トークン
- 229,986
- 出力トークン
- 6,037
- 推論トークン
- 95,550
- 応答時間(平均)
- 20.37s
- 応答時間(合計)
- 468.52s
- 応答時間(最大)
- 106.93s
-
エージェントタスク
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)82.78s
応答時間(最大)82.78s
応答時間(合計)82.78s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.64s
応答時間(最大)3.26s
応答時間(合計)10.56s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.69s
応答時間(最大)33.57s
応答時間(合計)74.07s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.53s
応答時間(最大)28.77s
応答時間(合計)43.07s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.50s
応答時間(最大)27.15s
応答時間(合計)48.99s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)51.14s
応答時間(最大)106.93s
応答時間(合計)153.41s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.40s
応答時間(最大)17.40s
応答時間(合計)17.40s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.92s
応答時間(最大)2.04s
応答時間(合計)3.84s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.51s
応答時間(最大)13.60s
応答時間(合計)22.53s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.96s
応答時間(最大)6.96s
応答時間(合計)6.96s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.90s
応答時間(最大)4.90s
応答時間(合計)4.90s
|
| #177#177 |
Muse Glimmer 30Bhigh
|
7.7… |
Meta |
$0.506
↓
…
|
69.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 3 回答なし: 2
応答時間(平均)69.87s
応答時間(最大)451.90s
応答時間(合計)1607.12s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 281,859
- 出力トークン
- 102,526
- 推論トークン
- 286,217
- 応答時間(平均)
- 69.87s
- 応答時間(合計)
- 1607.12s
- 応答時間(最大)
- 451.90s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)139.73s
応答時間(最大)139.73s
応答時間(合計)139.73s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.18s
応答時間(最大)27.66s
応答時間(合計)52.71s
-
コーディング
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)95.97s
応答時間(最大)127.91s
応答時間(合計)287.92s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)115.38s
応答時間(最大)161.28s
応答時間(合計)230.76s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)14.89s
応答時間(最大)16.84s
応答時間(合計)29.77s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)182.58s
応答時間(最大)451.90s
応答時間(合計)547.75s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.36s
応答時間(最大)6.36s
応答時間(合計)6.36s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)8.62s
応答時間(最大)8.74s
応答時間(合計)17.23s
-
パズル解決
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)64.76s
応答時間(最大)173.50s
応答時間(合計)194.28s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.41s
応答時間(最大)6.41s
応答時間(合計)6.41s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)94.20s
応答時間(最大)94.20s
応答時間(合計)94.20s
|
| #178#178 |
Nemotron 3.5 Super VLmedium
|
7.7… |
NVIDIA |
$0.437
…
|
84.94s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 回答なし: 3 API エラー: 1 指示に従っていない: 1
応答時間(平均)84.94s
応答時間(最大)527.47s
応答時間(合計)1953.70s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 72.5%
- 入力トークン
- 269,143
- 出力トークン
- 6,833
- 推論トークン
- 785,200
- 応答時間(平均)
- 84.94s
- 応答時間(合計)
- 1953.70s
- 応答時間(最大)
- 527.47s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)113.57s
応答時間(最大)113.57s
応答時間(合計)113.57s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.94s
応答時間(最大)13.09s
応答時間(合計)23.78s
-
コーディング
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2
応答時間(平均)278.59s
応答時間(最大)527.47s
応答時間(合計)835.78s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)112.20s
応答時間(最大)162.41s
応答時間(合計)224.40s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.69s
応答時間(最大)7.91s
応答時間(合計)13.38s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)196.68s
応答時間(最大)270.29s
応答時間(合計)590.03s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.72s
応答時間(最大)12.72s
応答時間(合計)12.72s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.34s
応答時間(最大)4.66s
応答時間(合計)8.68s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)11.82s
応答時間(最大)28.85s
応答時間(合計)35.47s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)36.33s
応答時間(最大)36.33s
応答時間(合計)36.33s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)59.55s
応答時間(最大)59.55s
応答時間(合計)59.55s
|
| #179#179 |
Claude Haiku 5.5medium
|
7.7… |
Anthropic |
$0.063
…
|
7.71s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 余分な書式: 2 指示に従っていない: 2 回答なし: 1
応答時間(平均)7.71s
応答時間(最大)47.70s
応答時間(合計)177.29s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 71.0%
- 入力トークン
- 298,334
- 出力トークン
- 10,328
- 推論トークン
- 55,846
- 応答時間(平均)
- 7.71s
- 応答時間(合計)
- 177.29s
- 応答時間(最大)
- 47.70s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)47.70s
応答時間(最大)47.70s
応答時間(合計)47.70s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.36s
応答時間(最大)3.39s
応答時間(合計)9.44s
-
コーディング
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)7.16s
応答時間(最大)8.94s
応答時間(合計)21.47s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)20.29s
応答時間(最大)26.07s
応答時間(合計)40.58s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.43s
応答時間(最大)3.56s
応答時間(合計)6.87s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)7.96s
応答時間(最大)9.19s
応答時間(合計)23.89s
-
汎用知能
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.17s
応答時間(最大)5.17s
応答時間(合計)5.17s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.01s
応答時間(最大)3.29s
応答時間(合計)6.02s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.67s
応答時間(最大)3.28s
応答時間(合計)8.01s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.02s
応答時間(最大)5.02s
応答時間(合計)5.02s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)3.12s
応答時間(最大)3.12s
応答時間(合計)3.12s
|
| #180#180 |
Qwen3.5 Plus 2026-04-20medium
|
7.7… |
Qwen |
$0.435
↓
…
|
54.06s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 タイムアウト: 1
応答時間(平均)54.06s
応答時間(最大)203.01s
応答時間(合計)1189.36s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 176,539
- 出力トークン
- 4,419
- 推論トークン
- 195,929
- 応答時間(平均)
- 54.06s
- 応答時間(合計)
- 1189.36s
- 応答時間(最大)
- 203.01s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)203.01s
応答時間(最大)203.01s
応答時間(合計)203.01s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.84s
応答時間(最大)15.11s
応答時間(合計)43.36s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)125.25s
応答時間(最大)189.38s
応答時間(合計)375.76s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)92.41s
応答時間(最大)92.41s
応答時間(合計)92.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)38.32s
応答時間(最大)41.70s
応答時間(合計)76.63s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)57.36s
応答時間(最大)90.70s
応答時間(合計)172.08s
-
汎用知能
: 4.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.30s
応答時間(最大)25.30s
応答時間(合計)25.30s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.25s
応答時間(最大)21.65s
応答時間(合計)40.50s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.67s
応答時間(最大)24.83s
応答時間(合計)53.02s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.72s
応答時間(最大)14.72s
応答時間(合計)14.72s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)92.57s
応答時間(最大)92.57s
応答時間(合計)92.57s
|
| #181#181 |
Qwen3.7 Flashlow
|
7.7… |
Qwen |
$0.071
↑
…
|
41.03s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 3 API エラー: 1
応答時間(平均)41.03s
応答時間(最大)394.54s
応答時間(合計)943.75s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 318,058
- 出力トークン
- 16,035
- 推論トークン
- 315,072
- 応答時間(平均)
- 41.03s
- 応答時間(合計)
- 943.75s
- 応答時間(最大)
- 394.54s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)106.71s
応答時間(最大)106.71s
応答時間(合計)106.71s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.29s
応答時間(最大)17.58s
応答時間(合計)41.18s
-
コーディング
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)42.36s
応答時間(最大)61.83s
応答時間(合計)127.09s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)217.77s
応答時間(最大)394.54s
応答時間(合計)435.53s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.44s
応答時間(最大)17.97s
応答時間(合計)30.88s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)37.60s
応答時間(最大)49.39s
応答時間(合計)112.81s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)14.37s
応答時間(最大)14.37s
応答時間(合計)14.37s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.88s
応答時間(最大)11.25s
応答時間(合計)19.75s
-
パズル解決
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)9.79s
応答時間(最大)14.36s
応答時間(合計)29.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.66s
応答時間(最大)7.66s
応答時間(合計)7.66s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.42s
応答時間(最大)18.42s
応答時間(合計)18.42s
|
| #182#182 |
Muse Glimmer 30Bmedium
|
7.7… |
Meta |
$0.288
↓
…
|
33.97s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 1 回答なし: 1
応答時間(平均)33.97s
応答時間(最大)181.08s
応答時間(合計)781.36s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 269,497
- 出力トークン
- 34,935
- 推論トークン
- 145,752
- 応答時間(平均)
- 33.97s
- 応答時間(合計)
- 781.36s
- 応答時間(最大)
- 181.08s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)107.36s
応答時間(最大)107.36s
応答時間(合計)107.36s
-
反AIトリック
: 9.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.36s
応答時間(最大)12.64s
応答時間(合計)29.44s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.67s
応答時間(最大)43.94s
応答時間(合計)101.00s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)76.48s
応答時間(最大)106.02s
応答時間(合計)152.97s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.20s
応答時間(最大)9.97s
応答時間(合計)14.40s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)44.62s
応答時間(最大)102.94s
応答時間(合計)133.85s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.16s
応答時間(最大)5.16s
応答時間(合計)5.16s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.34s
応答時間(最大)6.25s
応答時間(合計)10.69s
-
パズル解決
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)64.73s
応答時間(最大)181.08s
応答時間(合計)194.18s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.64s
応答時間(最大)5.64s
応答時間(合計)5.64s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)26.69s
応答時間(最大)26.69s
応答時間(合計)26.69s
|
| #183#183 |
Muse Wonderxhigh
|
7.7… |
Meta |
$4.012
…
|
34.40s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 6 不正解: 3
応答時間(平均)34.40s
応答時間(最大)236.64s
応答時間(合計)791.16s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 93,060
- 出力トークン
- 10,305
- 推論トークン
- 171,683
- 応答時間(平均)
- 34.40s
- 応答時間(合計)
- 791.16s
- 応答時間(最大)
- 236.64s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)525ms
応答時間(最大)525ms
応答時間(合計)525ms
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)6.04s
応答時間(最大)13.58s
応答時間(合計)24.14s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.90s
応答時間(最大)52.61s
応答時間(合計)122.71s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)51.45s
応答時間(最大)55.44s
応答時間(合計)102.90s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.90s
応答時間(最大)9.31s
応答時間(合計)13.80s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)150.71s
応答時間(最大)236.64s
応答時間(合計)452.14s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.77s
応答時間(最大)5.77s
応答時間(合計)5.77s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)2.64s
応答時間(最大)4.79s
応答時間(合計)5.27s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)3.53s
応答時間(最大)9.25s
応答時間(合計)10.58s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.97s
応答時間(最大)27.97s
応答時間(合計)27.97s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.37s
応答時間(最大)25.37s
応答時間(合計)25.37s
|
| #184#184 |
Qwen3.8 Flash Nextmedium候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。 qwen3.8-flash-next-iq3_s · IQ3_S · Strata 0.1.39 · NVIDIA GeForce RTX 3090.
|
7.6… |
Qwen |
~$0.047
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 0.4752 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.046984.
|
24.79s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 1 回答なし: 1
応答時間(平均)24.79s
応答時間(最大)159.62s
応答時間(合計)570.26s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 75.4%
- 入力トークン
- 278,792
- 出力トークン
- 1,695
- 推論トークン
- 142,270
- 応答時間(平均)
- 24.79s
- 応答時間(合計)
- 570.26s
- 応答時間(最大)
- 159.62s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)159.62s
応答時間(最大)159.62s
応答時間(合計)159.62s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.81s
応答時間(最大)2.74s
応答時間(合計)7.24s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)45.53s
応答時間(最大)98.91s
応答時間(合計)136.59s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)76.72s
応答時間(最大)116.08s
応答時間(合計)153.43s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.65s
応答時間(最大)7.50s
応答時間(合計)13.31s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)17.29s
応答時間(最大)18.55s
応答時間(合計)51.86s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.29s
応答時間(最大)7.29s
応答時間(合計)7.29s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.04s
応答時間(最大)2.85s
応答時間(合計)4.09s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.23s
応答時間(最大)2.98s
応答時間(合計)6.69s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.75s
応答時間(最大)5.75s
応答時間(合計)5.75s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.39s
応答時間(最大)24.39s
応答時間(合計)24.39s
|
| #185#185 |
GPT-6 Lunalow
|
7.6… |
OpenAI |
$0.033
…
|
23.23s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 2 指示に従っていない: 1 回答なし: 1
応答時間(平均)23.23s
応答時間(最大)89.37s
応答時間(合計)534.22s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 195,928
- 出力トークン
- 5,728
- 推論トークン
- 19,152
- 応答時間(平均)
- 23.23s
- 応答時間(合計)
- 534.22s
- 応答時間(最大)
- 89.37s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)51.03s
応答時間(最大)51.03s
応答時間(合計)51.03s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)11.00s
応答時間(最大)21.96s
応答時間(合計)44.00s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)15.39s
応答時間(最大)23.64s
応答時間(合計)46.16s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)49.77s
応答時間(最大)89.37s
応答時間(合計)99.54s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.94s
応答時間(最大)17.89s
応答時間(合計)19.89s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)18.09s
応答時間(最大)27.87s
応答時間(合計)54.28s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.46s
応答時間(最大)1.46s
応答時間(合計)1.46s
-
指示追従
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)17.38s
応答時間(最大)17.50s
応答時間(合計)34.76s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)27.45s
応答時間(最大)30.30s
応答時間(合計)82.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)71.65s
応答時間(最大)71.65s
応答時間(合計)71.65s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)29.10s
応答時間(最大)29.10s
応答時間(合計)29.10s
|
| #186#186 |
Qwen3.8 27Blow候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。 qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
|
7.6… |
Qwen |
~$0.089
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 0.8932 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.088310.
|
46.60s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 回答なし: 2 指示に従っていない: 1
応答時間(平均)46.60s
応答時間(最大)376.04s
応答時間(合計)1071.83s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 315,290
- 出力トークン
- 1,607
- 推論トークン
- 207,536
- 応答時間(平均)
- 46.60s
- 応答時間(合計)
- 1071.83s
- 応答時間(最大)
- 376.04s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)211.32s
応答時間(最大)211.32s
応答時間(合計)211.32s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.02s
応答時間(最大)5.68s
応答時間(合計)12.07s
-
コーディング
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)140.92s
応答時間(最大)376.04s
応答時間(合計)422.75s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)90.63s
応答時間(最大)143.71s
応答時間(合計)181.27s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.03s
応答時間(最大)9.09s
応答時間(合計)16.06s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)60.78s
応答時間(最大)120.94s
応答時間(合計)182.34s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.37s
応答時間(最大)5.37s
応答時間(合計)5.37s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)2.87s
応答時間(合計)4.86s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.91s
応答時間(最大)8.81s
応答時間(合計)14.74s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.42s
応答時間(最大)8.42s
応答時間(合計)8.42s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)12.64s
応答時間(最大)12.64s
応答時間(合計)12.64s
|
| #187#187 |
Space Bunny Alphahigh
|
7.5… |
Stealth |
$0.000
…
|
29.38s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10
応答時間(平均)29.38s
応答時間(最大)234.56s
応答時間(合計)675.79s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 302,228
- 出力トークン
- 181,271
- 推論トークン
- 0
- 応答時間(平均)
- 29.38s
- 応答時間(合計)
- 675.79s
- 応答時間(最大)
- 234.56s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)73.43s
応答時間(最大)73.43s
応答時間(合計)73.43s
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.48s
応答時間(最大)7.38s
応答時間(合計)13.91s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.29s
応答時間(最大)10.90s
応答時間(合計)24.86s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)19.30s
応答時間(最大)33.65s
応答時間(合計)38.60s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.91s
応答時間(最大)2.40s
応答時間(合計)3.82s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)85.05s
応答時間(最大)133.95s
応答時間(合計)255.16s
-
汎用知能
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.75s
応答時間(最大)4.75s
応答時間(合計)4.75s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.04s
応答時間(最大)2.33s
応答時間(合計)4.08s
-
パズル解決
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.43s
応答時間(最大)14.39s
応答時間(合計)19.28s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.34s
応答時間(最大)3.34s
応答時間(合計)3.34s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)234.56s
応答時間(最大)234.56s
応答時間(合計)234.56s
|
| #188#188 |
GLM 5.1medium
|
7.5… |
Z.ai |
$1.546
↑
…
|
66.38s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 タイムアウト: 2 API エラー: 1 余分な書式: 1 回答なし: 1
応答時間(平均)66.38s
応答時間(最大)308.75s
応答時間(合計)1460.31s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 331,577
- 出力トークン
- 17,919
- 推論トークン
- 230,789
- 応答時間(平均)
- 66.38s
- 応答時間(合計)
- 1460.31s
- 応答時間(最大)
- 308.75s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)225.59s
応答時間(最大)225.59s
応答時間(合計)225.59s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.31s
応答時間(最大)14.20s
応答時間(合計)33.24s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1 不正解: 1
応答時間(平均)109.63s
応答時間(最大)172.60s
応答時間(合計)328.90s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)175.93s
応答時間(最大)308.75s
応答時間(合計)351.86s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.33s
応答時間(最大)9.40s
応答時間(合計)18.66s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1 不正解: 1
応答時間(平均)113.95s
応答時間(最大)280.46s
応答時間(合計)341.86s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.95s
応答時間(最大)20.95s
応答時間(合計)20.95s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.47s
応答時間(最大)10.16s
応答時間(合計)14.94s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.64s
応答時間(最大)46.04s
応答時間(合計)94.91s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)29.40s
応答時間(最大)29.40s
応答時間(合計)29.40s
|
| #189#189 |
Seed-2.0-Minimedium
|
7.5… |
Bytedance Seed |
$0.140
…
|
91.67s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 タイムアウト: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)91.67s
応答時間(最大)301.78s
応答時間(合計)1833.43s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 59.4%
- 入力トークン
- 313,368
- 出力トークン
- 12,289
- 推論トークン
- 259,270
- 応答時間(平均)
- 91.67s
- 応答時間(合計)
- 1833.43s
- 応答時間(最大)
- 301.78s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)64.52s
応答時間(最大)64.52s
応答時間(合計)64.52s
-
反AIトリック
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)74.75s
応答時間(最大)182.10s
応答時間(合計)298.98s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)220.48s
応答時間(最大)243.66s
応答時間(合計)440.97s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)282.30s
応答時間(最大)301.78s
応答時間(合計)564.61s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.27s
応答時間(最大)27.52s
応答時間(合計)48.54s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)103.41s
応答時間(最大)103.41s
応答時間(合計)103.41s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)36.65s
応答時間(最大)36.65s
応答時間(合計)36.65s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.47s
応答時間(最大)19.46s
応答時間(合計)34.93s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.79s
応答時間(最大)50.78s
応答時間(合計)95.38s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)88.68s
応答時間(最大)88.68s
応答時間(合計)88.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)56.76s
応答時間(最大)56.76s
応答時間(合計)56.76s
|
| #190#190 |
Mistral Large 4high
|
7.5… |
Mistral |
$1.391
…
|
263.69s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 回答なし: 2 タイムアウト: 1
応答時間(平均)263.69s
応答時間(最大)1727.29s
応答時間(合計)6064.89s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 230,895
- 出力トークン
- 161,281
- 推論トークン
- 510,655
- 応答時間(平均)
- 263.69s
- 応答時間(合計)
- 6064.89s
- 応答時間(最大)
- 1727.29s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)85.76s
応答時間(最大)85.76s
応答時間(合計)85.76s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)14.97s
応答時間(最大)39.34s
応答時間(合計)59.87s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)1277.83s
応答時間(最大)1727.29s
応答時間(合計)3833.49s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)391.89s
応答時間(最大)707.01s
応答時間(合計)783.78s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.99s
応答時間(最大)36.31s
応答時間(合計)69.98s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)289.43s
応答時間(最大)392.05s
応答時間(合計)868.29s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)41.23s
応答時間(最大)41.23s
応答時間(合計)41.23s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)21.99s
応答時間(最大)36.55s
応答時間(合計)43.97s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)55.18s
応答時間(最大)76.48s
応答時間(合計)165.54s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.21s
応答時間(最大)24.21s
応答時間(合計)24.21s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)88.77s
応答時間(最大)88.77s
応答時間(合計)88.77s
|
| #191#191 |
Seed-2.0-Codehigh
|
7.5… |
Bytedance Seed |
$1.448
…
|
124.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 3 指示に従っていない: 1 回答なし: 1
応答時間(平均)124.87s
応答時間(最大)675.30s
応答時間(合計)2871.96s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 297,321
- 出力トークン
- 8,997
- 推論トークン
- 423,853
- 応答時間(平均)
- 124.87s
- 応答時間(合計)
- 2871.96s
- 応答時間(最大)
- 675.30s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)139.94s
応答時間(最大)139.94s
応答時間(合計)139.94s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)35.07s
応答時間(最大)82.43s
応答時間(合計)140.28s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)266.74s
応答時間(最大)443.32s
応答時間(合計)800.23s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)144.87s
応答時間(最大)236.85s
応答時間(合計)289.75s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.28s
応答時間(最大)34.05s
応答時間(合計)48.55s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)419.73s
応答時間(最大)675.30s
応答時間(合計)1259.19s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)36.45s
応答時間(最大)36.45s
応答時間(合計)36.45s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.26s
応答時間(最大)19.26s
応答時間(合計)22.53s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)15.91s
応答時間(最大)17.11s
応答時間(合計)47.73s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)35.09s
応答時間(最大)35.09s
応答時間(合計)35.09s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)52.23s
応答時間(最大)52.23s
応答時間(合計)52.23s
|
| #192#192 |
GPT-5.6 Lunamedium
|
7.4… |
OpenAI |
$0.065
↓
…
|
9.64s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 無効なツール呼び出し: 1
応答時間(平均)9.64s
応答時間(最大)58.09s
応答時間(合計)221.62s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 62.3%
- 入力トークン
- 212,780
- 出力トークン
- 6,849
- 推論トークン
- 41,137
- 応答時間(平均)
- 9.64s
- 応答時間(合計)
- 221.62s
- 応答時間(最大)
- 58.09s
-
エージェントタスク
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)58.09s
応答時間(最大)58.09s
応答時間(合計)58.09s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.52s
応答時間(最大)3.90s
応答時間(合計)10.08s
-
コーディング
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)10.38s
応答時間(最大)17.15s
応答時間(合計)31.15s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.59s
応答時間(最大)19.65s
応答時間(合計)29.17s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.95s
応答時間(最大)2.42s
応答時間(合計)3.89s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)18.45s
応答時間(最大)29.85s
応答時間(合計)55.36s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.34s
応答時間(最大)4.34s
応答時間(合計)4.34s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.38s
応答時間(最大)3.43s
応答時間(合計)4.77s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.04s
応答時間(最大)6.14s
応答時間(合計)12.12s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.02s
応答時間(最大)6.02s
応答時間(合計)6.02s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.64s
応答時間(最大)6.64s
応答時間(合計)6.64s
|
| #193#193 |
Qwen3.6 Flashmedium
|
7.4… |
Qwen |
$0.783
↓
…
|
45.45s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)45.45s
応答時間(最大)578.13s
応答時間(合計)1045.45s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 258,760
- 出力トークン
- 22,221
- 推論トークン
- 630,059
- 応答時間(平均)
- 45.45s
- 応答時間(合計)
- 1045.45s
- 応答時間(最大)
- 578.13s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)56.13s
応答時間(最大)56.13s
応答時間(合計)56.13s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.10s
応答時間(最大)9.60s
応答時間(合計)24.39s
-
コーディング
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)42.85s
応答時間(最大)78.01s
応答時間(合計)128.55s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)299.21s
応答時間(最大)578.13s
応答時間(合計)598.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.65s
応答時間(最大)10.35s
応答時間(合計)19.31s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)16.98s
応答時間(最大)26.85s
応答時間(合計)50.95s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.88s
応答時間(最大)9.88s
応答時間(合計)9.88s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.05s
応答時間(最大)6.94s
応答時間(合計)12.10s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.29s
応答時間(最大)8.18s
応答時間(合計)18.87s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.00s
応答時間(最大)4.00s
応答時間(合計)4.00s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)122.87s
応答時間(最大)122.87s
応答時間(合計)122.87s
|
| #194#194 |
DeepSeek V4 Flash 0731low
|
7.4… |
DeepSeek |
$0.306
↑
…
|
88.15s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 1 回答なし: 1
応答時間(平均)88.15s
応答時間(最大)438.65s
応答時間(合計)2027.36s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 71.0%
- 入力トークン
- 231,356
- 出力トークン
- 43,054
- 推論トークン
- 370,981
- 応答時間(平均)
- 88.15s
- 応答時間(合計)
- 2027.36s
- 応答時間(最大)
- 438.65s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)321.18s
応答時間(最大)321.18s
応答時間(合計)321.18s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.08s
応答時間(最大)24.45s
応答時間(合計)40.32s
-
コーディング
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)163.31s
応答時間(最大)438.65s
応答時間(合計)489.94s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)54.25s
応答時間(最大)73.69s
応答時間(合計)108.49s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.35s
応答時間(最大)5.29s
応答時間(合計)8.71s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)255.51s
応答時間(最大)411.82s
応答時間(合計)766.52s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.63s
応答時間(最大)7.63s
応答時間(合計)7.63s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.01s
応答時間(最大)3.92s
応答時間(合計)6.03s
-
パズル解決
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.08s
応答時間(最大)12.40s
応答時間(合計)27.25s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.44s
応答時間(最大)4.44s
応答時間(合計)4.44s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)246.86s
応答時間(最大)246.86s
応答時間(合計)246.86s
|
| #195#195 |
Seed-2.0-Codemedium
|
7.4… |
Bytedance Seed |
$1.275
…
|
100.65s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 4 余分な書式: 1 指示に従っていない: 1
応答時間(平均)100.65s
応答時間(最大)626.58s
応答時間(合計)2314.88s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 244,499
- 出力トークン
- 8,744
- 推論トークン
- 375,349
- 応答時間(平均)
- 100.65s
- 応答時間(合計)
- 2314.88s
- 応答時間(最大)
- 626.58s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)91.69s
応答時間(最大)91.69s
応答時間(合計)91.69s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)45.98s
応答時間(最大)130.73s
応答時間(合計)183.93s
-
コーディング
: 8.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)89.94s
応答時間(最大)105.48s
応答時間(合計)269.82s
-
複合
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)102.33s
応答時間(最大)177.88s
応答時間(合計)204.66s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.78s
応答時間(最大)27.01s
応答時間(合計)37.56s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)429.77s
応答時間(最大)626.58s
応答時間(合計)1289.31s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)11.41s
応答時間(最大)11.41s
応答時間(合計)11.41s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.34s
応答時間(最大)15.43s
応答時間(合計)20.67s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)34.30s
応答時間(最大)46.61s
応答時間(合計)102.91s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)36.36s
応答時間(最大)36.36s
応答時間(合計)36.36s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)66.56s
応答時間(最大)66.56s
応答時間(合計)66.56s
|
| #196#196 |
GLM 5.3 FlashXhigh
|
7.4… |
Z.ai |
$0.210
…
|
14.94s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 余分な書式: 1 指示に従っていない: 1
応答時間(平均)14.94s
応答時間(最大)91.16s
応答時間(合計)343.65s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 69.6%
- 入力トークン
- 235,914
- 出力トークン
- 8,147
- 推論トークン
- 89,581
- 応答時間(平均)
- 14.94s
- 応答時間(合計)
- 343.65s
- 応答時間(最大)
- 91.16s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)78.03s
応答時間(最大)78.03s
応答時間(合計)78.03s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.98s
応答時間(最大)3.35s
応答時間(合計)7.91s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.06s
応答時間(最大)12.27s
応答時間(合計)24.18s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)27.73s
応答時間(最大)42.33s
応答時間(合計)55.46s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)1.82s
応答時間(最大)1.82s
応答時間(合計)3.63s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)50.04s
応答時間(最大)91.16s
応答時間(合計)150.11s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.28s
応答時間(最大)2.28s
応答時間(合計)2.28s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.72s
応答時間(最大)1.73s
応答時間(合計)3.44s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.06s
応答時間(最大)2.41s
応答時間(合計)6.19s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.09s
応答時間(最大)7.09s
応答時間(合計)7.09s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.34s
応答時間(最大)5.34s
応答時間(合計)5.34s
|
| #197#197 |
Grok 4.7low
|
7.4… |
X AI |
$1.933
…
|
63.19s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 回答なし: 2 指示に従っていない: 1
応答時間(平均)63.19s
応答時間(最大)389.63s
応答時間(合計)1453.28s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 73.9%
- 入力トークン
- 365,119
- 出力トークン
- 8,118
- 推論トークン
- 247,211
- 応答時間(平均)
- 63.19s
- 応答時間(合計)
- 1453.28s
- 応答時間(最大)
- 389.63s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)154.86s
応答時間(最大)154.86s
応答時間(合計)154.86s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.92s
応答時間(最大)17.26s
応答時間(合計)39.66s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)189.08s
応答時間(最大)389.63s
応答時間(合計)567.25s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)31.17s
応答時間(最大)53.19s
応答時間(合計)62.34s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.88s
応答時間(最大)5.26s
応答時間(合計)9.75s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)159.09s
応答時間(最大)322.55s
応答時間(合計)477.28s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)11.32s
応答時間(最大)11.32s
応答時間(合計)11.32s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.19s
応答時間(最大)7.27s
応答時間(合計)12.38s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.45s
応答時間(最大)16.64s
応答時間(合計)37.34s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.26s
応答時間(最大)4.26s
応答時間(合計)4.26s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)76.84s
応答時間(最大)76.84s
応答時間(合計)76.84s
|
| #198#198 |
Inkling Smallhigh
|
7.4… |
Thinkingmachines |
$0.398
↓
…
|
29.10s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 API エラー: 1
応答時間(平均)29.10s
応答時間(最大)122.60s
応答時間(合計)669.40s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 85,669
- 出力トークン
- 6,092
- 推論トークン
- 292,801
- 応答時間(平均)
- 29.10s
- 応答時間(合計)
- 669.40s
- 応答時間(最大)
- 122.60s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)23ms
応答時間(最大)23ms
応答時間(合計)23ms
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.30s
応答時間(最大)16.98s
応答時間(合計)25.21s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)93.23s
応答時間(最大)122.60s
応答時間(合計)279.68s
-
複合
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.41s
応答時間(最大)63.47s
応答時間(合計)80.83s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.99s
応答時間(最大)5.95s
応答時間(合計)7.98s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)56.28s
応答時間(最大)101.41s
応答時間(合計)168.83s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.62s
応答時間(最大)3.62s
応答時間(合計)3.62s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.94s
応答時間(最大)4.92s
応答時間(合計)7.88s
-
パズル解決
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)14.39s
応答時間(最大)25.40s
応答時間(合計)43.18s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.91s
応答時間(最大)2.91s
応答時間(合計)2.91s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)49.27s
応答時間(最大)49.27s
応答時間(合計)49.27s
|
| #199#199 |
DeepSeek V4 Pro 0423none
|
7.4… |
DeepSeek |
$0.083
↓
…
|
14.05s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)14.05s
応答時間(最大)119.44s
応答時間(合計)323.17s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 49.3%
- 入力トークン
- 304,186
- 出力トークン
- 40,118
- 推論トークン
- 5,886
- 応答時間(平均)
- 14.05s
- 応答時間(合計)
- 323.17s
- 応答時間(最大)
- 119.44s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)65.50s
応答時間(最大)65.50s
応答時間(合計)65.50s
-
反AIトリック
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)4.02s
応答時間(最大)5.11s
応答時間(合計)16.10s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)13.38s
応答時間(最大)30.09s
応答時間(合計)40.15s
-
複合
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)71.59s
応答時間(最大)119.44s
応答時間(合計)143.18s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.61s
応答時間(最大)6.06s
応答時間(合計)9.23s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.91s
応答時間(最大)7.90s
応答時間(合計)14.73s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.05s
応答時間(最大)2.05s
応答時間(合計)2.05s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.12s
応答時間(最大)4.37s
応答時間(合計)8.24s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.61s
応答時間(最大)5.19s
応答時間(合計)10.83s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.40s
応答時間(最大)7.40s
応答時間(合計)7.40s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.76s
応答時間(最大)5.76s
応答時間(合計)5.76s
|
| #200#200 |
Inklingmedium
|
7.4… |
Thinkingmachines |
$0.527
↓
…
|
16.98s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 無効なツール呼び出し: 2 回答なし: 1
応答時間(平均)16.98s
応答時間(最大)85.12s
応答時間(合計)390.45s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 75.4%
- 入力トークン
- 257,138
- 出力トークン
- 13,830
- 推論トークン
- 55,775
- 応答時間(平均)
- 16.98s
- 応答時間(合計)
- 390.45s
- 応答時間(最大)
- 85.12s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)45.93s
応答時間(最大)45.93s
応答時間(合計)45.93s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.49s
応答時間(最大)15.22s
応答時間(合計)25.95s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.20s
応答時間(最大)46.41s
応答時間(合計)75.61s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)41.15s
応答時間(最大)74.33s
応答時間(合計)82.31s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.60s
応答時間(最大)3.75s
応答時間(合計)7.20s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)31.59s
応答時間(最大)85.12s
応答時間(合計)94.77s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.65s
応答時間(最大)4.65s
応答時間(合計)4.65s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.17s
応答時間(最大)7.52s
応答時間(合計)12.34s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.18s
応答時間(最大)8.14s
応答時間(合計)15.53s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)4.48s
応答時間(最大)4.48s
応答時間(合計)4.48s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)21.69s
応答時間(最大)21.69s
応答時間(合計)21.69s
|