| #77#77 |
GLM 5 Turbomediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
7.6… |
Z.ai |
$0.323
↑
…
|
23.00s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)23.00s
応答時間(最大)194.23s
応答時間(合計)482.97s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 7
- 試行ごとの合格率
- 71.2%
- 入力トークン
- 35,593
- 出力トークン
- 12,245
- 推論トークン
- 62,277
- 応答時間(平均)
- 23.00s
- 応答時間(合計)
- 482.97s
- 応答時間(最大)
- 194.23s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.82s
応答時間(最大)7.69s
応答時間(合計)19.26s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)45.90s
応答時間(最大)95.57s
応答時間(合計)137.71s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.88s
応答時間(最大)13.88s
応答時間(合計)13.88s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.19s
応答時間(最大)6.42s
応答時間(合計)12.38s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)71.07s
応答時間(最大)194.23s
応答時間(合計)213.22s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.05s
応答時間(最大)10.05s
応答時間(合計)10.05s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.38s
応答時間(最大)5.70s
応答時間(合計)10.77s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.23s
応答時間(最大)7.26s
応答時間(合計)15.69s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.84s
応答時間(最大)9.84s
応答時間(合計)9.84s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)40.17s
応答時間(最大)40.17s
応答時間(合計)40.17s
|
| #76#76 |
DeepSeek V4 Flash 0423high
|
7.6… |
DeepSeek |
$0.031
↓
…
|
51.81s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)51.81s
応答時間(最大)218.13s
応答時間(合計)1139.75s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 108,480
- 出力トークン
- 37,229
- 推論トークン
- 174,081
- 応答時間(平均)
- 51.81s
- 応答時間(合計)
- 1139.75s
- 応答時間(最大)
- 218.13s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)28.51s
応答時間(最大)39.73s
応答時間(合計)114.05s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)50.60s
応答時間(最大)62.48s
応答時間(合計)151.79s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)104.10s
応答時間(最大)131.63s
応答時間(合計)208.20s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.03s
応答時間(最大)30.49s
応答時間(合計)56.07s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)115.42s
応答時間(最大)218.13s
応答時間(合計)346.26s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)25.15s
応答時間(最大)25.15s
応答時間(合計)25.15s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.36s
応答時間(最大)19.53s
応答時間(合計)30.73s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)26.11s
応答時間(最大)32.37s
応答時間(合計)78.32s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)74.73s
応答時間(最大)74.73s
応答時間(合計)74.73s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)54.46s
応答時間(最大)54.46s
応答時間(合計)54.46s
|
| #75#75 |
DeepSeek V4 Prohigh
|
7.7… |
DeepSeek |
$0.555
↑
…
|
92.50s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 2 API エラー: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)92.50s
応答時間(最大)416.76s
応答時間(合計)2035.01s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 90,757
- 出力トークン
- 22,928
- 推論トークン
- 186,516
- 応答時間(平均)
- 92.50s
- 応答時間(合計)
- 2035.01s
- 応答時間(最大)
- 416.76s
-
反AIトリック
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)25.70s
応答時間(最大)48.19s
応答時間(合計)102.80s
-
コーディング
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 タイムアウト: 1
応答時間(平均)243.00s
応答時間(最大)416.76s
応答時間(合計)729.00s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)78.99s
応答時間(最大)119.80s
応答時間(合計)157.97s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)25.03s
応答時間(最大)27.49s
応答時間(合計)50.06s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)249.47s
応答時間(最大)387.23s
応答時間(合計)748.42s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.83s
応答時間(最大)8.83s
応答時間(合計)8.83s
-
指示追従
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)8.73s
応答時間(最大)9.53s
応答時間(合計)17.45s
-
パズル解決
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)56.85s
応答時間(最大)146.68s
応答時間(合計)170.55s
-
ツール呼び出し
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.92s
応答時間(最大)15.92s
応答時間(合計)15.92s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)34.01s
応答時間(最大)34.01s
応答時間(合計)34.01s
|
| #74#74 |
Claude Opus 4.6medium
|
7.7… |
Anthropic |
$2.961
…
|
32.23s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 4 不正解: 4 指示に従っていない: 1
応答時間(平均)32.23s
応答時間(最大)151.51s
応答時間(合計)515.65s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 108,573
- 出力トークン
- 69,994
- 推論トークン
- 26,728
- 応答時間(平均)
- 32.23s
- 応答時間(合計)
- 515.65s
- 応答時間(最大)
- 151.51s
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2
応答時間(平均)7.45s
応答時間(最大)11.88s
応答時間(合計)14.90s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1
応答時間(平均)30.10s
応答時間(最大)35.63s
応答時間(合計)90.31s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)114.08s
応答時間(最大)151.51s
応答時間(合計)228.16s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.37s
応答時間(最大)7.37s
応答時間(合計)7.37s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)42.53s
応答時間(最大)83.40s
応答時間(合計)85.06s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.04s
応答時間(最大)5.04s
応答時間(合計)5.04s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)2.43s
応答時間(合計)2.43s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.71s
応答時間(最大)4.75s
応答時間(合計)9.41s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.73s
応答時間(最大)9.73s
応答時間(合計)9.73s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)63.24s
応答時間(最大)63.24s
応答時間(合計)63.24s
|
| #73#73 |
Seed-2.0-Codelow
|
7.7… |
Bytedance Seed |
$0.767
…
|
72.24s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 2 指示に従っていない: 1
応答時間(平均)72.24s
応答時間(最大)485.92s
応答時間(合計)1589.31s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 77.3%
- 入力トークン
- 85,657
- 出力トークン
- 8,142
- 推論トークン
- 233,167
- 応答時間(平均)
- 72.24s
- 応答時間(合計)
- 1589.31s
- 応答時間(最大)
- 485.92s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)39.56s
応答時間(最大)120.09s
応答時間(合計)158.26s
-
コーディング
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)109.70s
応答時間(最大)141.71s
応答時間(合計)329.11s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)99.12s
応答時間(最大)173.03s
応答時間(合計)198.23s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.88s
応答時間(最大)30.28s
応答時間(合計)49.75s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)238.45s
応答時間(最大)485.92s
応答時間(合計)715.34s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)11.14s
応答時間(最大)11.14s
応答時間(合計)11.14s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.20s
応答時間(最大)21.22s
応答時間(合計)24.41s
-
パズル解決
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.50s
応答時間(最大)20.68s
応答時間(合計)37.50s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)55.56s
応答時間(最大)55.56s
応答時間(合計)55.56s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.02s
応答時間(最大)10.02s
応答時間(合計)10.02s
|
| #72#72 |
GLM 5medium63/66 回 (目標: テストごとに 3 回)
|
7.7… |
Z.ai |
$0.228
↓
…
|
33.54s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)33.54s
応答時間(最大)99.85s
応答時間(合計)435.99s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 6
- 試行ごとの合格率
- 78.8%
- 入力トークン
- 35,224
- 出力トークン
- 21,570
- 推論トークン
- 102,996
- 応答時間(平均)
- 33.54s
- 応答時間(合計)
- 435.99s
- 応答時間(最大)
- 99.85s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.66s
応答時間(最大)25.06s
応答時間(合計)47.32s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)74.30s
応答時間(最大)99.85s
応答時間(合計)222.91s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.96s
応答時間(最大)28.96s
応答時間(合計)28.96s
-
データ解析と抽出
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)8.90s
応答時間(最大)8.90s
応答時間(合計)8.90s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)14.69s
応答時間(最大)14.69s
応答時間(合計)14.69s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.25s
応答時間(最大)7.25s
応答時間(合計)7.25s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.33s
応答時間(最大)16.34s
応答時間(合計)22.66s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.93s
応答時間(最大)15.93s
応答時間(合計)15.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)67.37s
応答時間(最大)67.37s
応答時間(合計)67.37s
|
| #71#71 |
Qwen3.7 Flashhigh
|
7.8… |
Qwen |
$0.052
…
|
41.37s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)41.37s
応答時間(最大)431.47s
応答時間(合計)910.11s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 71.2%
- 入力トークン
- 116,331
- 出力トークン
- 12,330
- 推論トークン
- 357,920
- 応答時間(平均)
- 41.37s
- 応答時間(合計)
- 910.11s
- 応答時間(最大)
- 431.47s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.21s
応答時間(最大)15.82s
応答時間(合計)40.82s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)58.84s
応答時間(最大)69.05s
応答時間(合計)176.53s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)231.97s
応答時間(最大)431.47s
応答時間(合計)463.94s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.10s
応答時間(最大)26.73s
応答時間(合計)40.19s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)34.43s
応答時間(最大)56.51s
応答時間(合計)103.29s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.73s
応答時間(最大)10.73s
応答時間(合計)10.73s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.41s
応答時間(最大)10.36s
応答時間(合計)18.82s
-
パズル解決
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)10.79s
応答時間(最大)16.74s
応答時間(合計)32.37s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.72s
応答時間(最大)5.72s
応答時間(合計)5.72s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.70s
応答時間(最大)17.70s
応答時間(合計)17.70s
|
| #70#70 |
Claude Opus 4.8low
|
7.8… |
Anthropic |
$2.089
…
|
12.88s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 余分な書式: 1 回答なし: 1
応答時間(平均)12.88s
応答時間(最大)127.97s
応答時間(合計)283.32s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 6
- 試行ごとの合格率
- 80.3%
- 入力トークン
- 156,522
- 出力トークン
- 43,056
- 推論トークン
- 9,181
- 応答時間(平均)
- 12.88s
- 応答時間(合計)
- 283.32s
- 応答時間(最大)
- 127.97s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.30s
応答時間(最大)4.34s
応答時間(合計)13.18s
-
コーディング
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)7.58s
応答時間(最大)12.19s
応答時間(合計)22.74s
-
複合
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)36.87s
応答時間(最大)52.90s
応答時間(合計)73.74s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.27s
応答時間(最大)2.50s
応答時間(合計)4.54s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)46.54s
応答時間(最大)127.97s
応答時間(合計)139.63s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.55s
応答時間(最大)2.55s
応答時間(合計)2.55s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.78s
応答時間(最大)3.78s
応答時間(合計)5.56s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.01s
応答時間(最大)3.31s
応答時間(合計)9.04s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.85s
応答時間(最大)6.85s
応答時間(合計)6.85s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)5.48s
応答時間(最大)5.48s
応答時間(合計)5.48s
|
| #69#69 |
Seed-2.0-Litemedium
|
7.8… |
Bytedance Seed |
$0.236
…
|
47.94s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 回答なし: 1
応答時間(平均)47.94s
応答時間(最大)254.92s
応答時間(合計)1054.57s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 129,906
- 出力トークン
- 12,530
- 推論トークン
- 88,766
- 応答時間(平均)
- 47.94s
- 応答時間(合計)
- 1054.57s
- 応答時間(最大)
- 254.92s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.99s
応答時間(最大)48.33s
応答時間(合計)71.98s
-
コーディング
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)156.74s
応答時間(最大)254.92s
応答時間(合計)470.22s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)58.52s
応答時間(最大)79.36s
応答時間(合計)117.04s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.07s
応答時間(最大)12.19s
応答時間(合計)18.14s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)84.35s
応答時間(最大)168.71s
応答時間(合計)253.05s
-
汎用知能
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)18.25s
応答時間(最大)18.25s
応答時間(合計)18.25s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.26s
応答時間(最大)9.02s
応答時間(合計)14.52s
-
パズル解決
: 9.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.23s
応答時間(最大)11.54s
応答時間(合計)30.68s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.38s
応答時間(最大)12.38s
応答時間(合計)12.38s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)48.32s
応答時間(最大)48.32s
応答時間(合計)48.32s
|
| #68#68 |
Qwen3.8 27Bmedium候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。
|
7.8… |
Qwen |
~$0.058
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 0.5784 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.057183.
|
33.05s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)33.05s
応答時間(最大)214.63s
応答時間(合計)694.04s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 98,266
- 出力トークン
- 1,861
- 推論トークン
- 134,301
- 応答時間(平均)
- 33.05s
- 応答時間(合計)
- 694.04s
- 応答時間(最大)
- 214.63s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.93s
応答時間(最大)5.18s
応答時間(合計)11.70s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.50s
応答時間(最大)72.14s
応答時間(合計)121.51s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)124.48s
応答時間(最大)214.63s
応答時間(合計)248.96s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.76s
応答時間(最大)10.36s
応答時間(合計)17.53s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)76.98s
応答時間(最大)144.07s
応答時間(合計)230.93s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.20s
応答時間(最大)9.20s
応答時間(合計)9.20s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.54s
応答時間(最大)2.67s
応答時間(合計)5.07s
-
パズル解決
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)12.62s
応答時間(最大)29.62s
応答時間(合計)37.85s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)11.29s
応答時間(最大)11.29s
応答時間(合計)11.29s
|
| #67#67 |
Claude Sonnet 4.6medium
|
7.8… |
Anthropic |
$2.126
…
|
28.08s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 余分な書式: 3 タイムアウト: 1
応答時間(平均)28.08s
応答時間(最大)140.96s
応答時間(合計)421.15s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 106,316
- 出力トークン
- 79,338
- 推論トークン
- 41,089
- 応答時間(平均)
- 28.08s
- 応答時間(合計)
- 421.15s
- 応答時間(最大)
- 140.96s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)2.98s
応答時間(最大)4.95s
応答時間(合計)5.97s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)33.29s
応答時間(最大)35.76s
応答時間(合計)99.86s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)93.65s
応答時間(最大)140.96s
応答時間(合計)187.31s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.90s
応答時間(最大)13.90s
応答時間(合計)13.90s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1 不正解: 1
応答時間(平均)58.37s
応答時間(最大)58.37s
応答時間(合計)58.37s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.94s
応答時間(最大)4.94s
応答時間(合計)4.94s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.61s
応答時間(最大)2.61s
応答時間(合計)2.61s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.31s
応答時間(最大)6.24s
応答時間(合計)10.62s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.48s
応答時間(最大)7.48s
応答時間(合計)7.48s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)30.09s
応答時間(最大)30.09s
応答時間(合計)30.09s
|
| #66#66 |
GPT-5.6 Terramedium
|
7.8… |
OpenAI |
$0.262
↓
…
|
6.85s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8
応答時間(平均)6.85s
応答時間(最大)41.68s
応答時間(合計)150.65s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 79,184
- 出力トークン
- 4,878
- 推論トークン
- 25,471
- 応答時間(平均)
- 6.85s
- 応答時間(合計)
- 150.65s
- 応答時間(最大)
- 41.68s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.22s
応答時間(最大)3.03s
応答時間(合計)8.87s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)7.19s
応答時間(最大)9.73s
応答時間(合計)21.57s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.10s
応答時間(最大)15.93s
応答時間(合計)22.19s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)872ms
応答時間(最大)920ms
応答時間(合計)1.74s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)21.52s
応答時間(最大)41.68s
応答時間(合計)64.57s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.37s
応答時間(最大)2.37s
応答時間(合計)2.37s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.43s
応答時間(最大)1.84s
応答時間(合計)2.87s
-
パズル解決
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.78s
応答時間(最大)6.96s
応答時間(合計)11.33s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.09s
応答時間(最大)5.09s
応答時間(合計)5.09s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.05s
応答時間(最大)10.05s
応答時間(合計)10.05s
|
| #64#64 |
Gemini 3.5 Flash Litemedium
|
7.8… |
Google |
$0.272
…
|
5.12s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)5.12s
応答時間(最大)26.41s
応答時間(合計)112.73s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 78.8%
- 入力トークン
- 103,916
- 出力トークン
- 8,892
- 推論トークン
- 87,343
- 応答時間(平均)
- 5.12s
- 応答時間(合計)
- 112.73s
- 応答時間(最大)
- 26.41s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.11s
応答時間(最大)2.84s
応答時間(合計)8.43s
-
コーディング
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.96s
応答時間(最大)15.08s
応答時間(合計)29.87s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)17.87s
応答時間(最大)26.41s
応答時間(合計)35.73s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.11s
応答時間(最大)2.63s
応答時間(合計)4.21s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)5.34s
応答時間(最大)7.83s
応答時間(合計)16.02s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.97s
応答時間(最大)2.97s
応答時間(合計)2.97s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.72s
応答時間(最大)1.78s
応答時間(合計)3.43s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.82s
応答時間(最大)2.25s
応答時間(合計)5.47s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.84s
応答時間(最大)2.84s
応答時間(合計)2.84s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.75s
応答時間(最大)3.75s
応答時間(合計)3.75s
|
| #65#65 |
GLM 5.2medium63/66 回 (目標: テストごとに 3 回)
|
7.8… |
Z.ai |
$0.114
↓
…
|
23.28s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 回答なし: 2 タイムアウト: 1
応答時間(平均)23.28s
応答時間(最大)101.36s
応答時間(合計)488.94s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 6
- 試行ごとの合格率
- 80.3%
- 入力トークン
- 37,199
- 出力トークン
- 12,261
- 推論トークン
- 49,500
- 応答時間(平均)
- 23.28s
- 応答時間(合計)
- 488.94s
- 応答時間(最大)
- 101.36s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.89s
応答時間(最大)7.10s
応答時間(合計)23.56s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)40.96s
応答時間(最大)60.28s
応答時間(合計)122.88s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)51.96s
応答時間(最大)51.96s
応答時間(合計)51.96s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.44s
応答時間(最大)16.02s
応答時間(合計)26.88s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1 不正解: 1
応答時間(平均)45.47s
応答時間(最大)101.36s
応答時間(合計)136.40s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.39s
応答時間(最大)17.39s
応答時間(合計)17.39s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.90s
応答時間(最大)10.13s
応答時間(合計)15.80s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.13s
応答時間(最大)25.90s
応答時間(合計)39.40s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.41s
応答時間(最大)20.41s
応答時間(合計)20.41s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)34.25s
応答時間(最大)34.25s
応答時間(合計)34.25s
|
| #63#63 |
Qwen3.6 Plusmedium
|
7.8… |
Qwen |
$0.418
↑
…
|
45.52s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 API エラー: 1 指示に従っていない: 1
応答時間(平均)45.52s
応答時間(最大)291.55s
応答時間(合計)955.94s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 7
- 試行ごとの合格率
- 71.2%
- 入力トークン
- 97,698
- 出力トークン
- 6,417
- 推論トークン
- 191,215
- 応答時間(平均)
- 45.52s
- 応答時間(合計)
- 955.94s
- 応答時間(最大)
- 291.55s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.90s
応答時間(最大)19.37s
応答時間(合計)39.60s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)153.12s
応答時間(最大)201.68s
応答時間(合計)306.23s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)163.25s
応答時間(最大)291.55s
応答時間(合計)326.50s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.95s
応答時間(最大)15.40s
応答時間(合計)29.90s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)46.39s
応答時間(最大)79.81s
応答時間(合計)139.18s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)27.05s
応答時間(最大)27.05s
応答時間(合計)27.05s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.54s
応答時間(最大)11.67s
応答時間(合計)15.07s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.34s
応答時間(最大)7.52s
応答時間(合計)19.03s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.87s
応答時間(最大)5.87s
応答時間(合計)5.87s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)47.51s
応答時間(最大)47.51s
応答時間(合計)47.51s
|
| #62#62 |
Qwen3.7 Plusmedium
|
7.9… |
Qwen |
$0.277
↓
…
|
53.51s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)53.51s
応答時間(最大)315.30s
応答時間(合計)1177.25s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 7
- 試行ごとの合格率
- 75.8%
- 入力トークン
- 115,242
- 出力トークン
- 6,163
- 推論トークン
- 181,174
- 応答時間(平均)
- 53.51s
- 応答時間(合計)
- 1177.25s
- 応答時間(最大)
- 315.30s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.58s
応答時間(最大)12.75s
応答時間(合計)34.33s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)108.60s
応答時間(最大)178.04s
応答時間(合計)325.79s
-
複合
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)190.27s
応答時間(最大)315.30s
応答時間(合計)380.54s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.75s
応答時間(最大)23.18s
応答時間(合計)43.49s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)60.05s
応答時間(最大)88.89s
応答時間(合計)180.15s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)25.48s
応答時間(最大)25.48s
応答時間(合計)25.48s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.13s
応答時間(最大)17.18s
応答時間(合計)32.26s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.38s
応答時間(最大)19.42s
応答時間(合計)49.14s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.02s
応答時間(最大)15.02s
応答時間(合計)15.02s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)91.07s
応答時間(最大)91.07s
応答時間(合計)91.07s
|
| #61#61 |
Qwen3.8 27Blow候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。
|
7.9… |
Qwen |
~$0.071
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 0.7171 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.070898.
|
39.11s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 回答なし: 2 指示に従っていない: 1
応答時間(平均)39.11s
応答時間(最大)376.04s
応答時間(合計)860.51s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 7
- 試行ごとの合格率
- 68.2%
- 入力トークン
- 99,705
- 出力トークン
- 1,545
- 推論トークン
- 167,784
- 応答時間(平均)
- 39.11s
- 応答時間(合計)
- 860.51s
- 応答時間(最大)
- 376.04s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.02s
応答時間(最大)5.68s
応答時間(合計)12.07s
-
コーディング
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)140.92s
応答時間(最大)376.04s
応答時間(合計)422.75s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)90.63s
応答時間(最大)143.71s
応答時間(合計)181.27s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.03s
応答時間(最大)9.09s
応答時間(合計)16.06s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)60.78s
応答時間(最大)120.94s
応答時間(合計)182.34s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.37s
応答時間(最大)5.37s
応答時間(合計)5.37s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)2.87s
応答時間(合計)4.86s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.91s
応答時間(最大)8.81s
応答時間(合計)14.74s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.42s
応答時間(最大)8.42s
応答時間(合計)8.42s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)12.64s
応答時間(最大)12.64s
応答時間(合計)12.64s
|
| #60#60 |
Step 3.7 Flashmedium
|
7.9… |
Stepfun |
$0.495
…
|
23.51s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)23.51s
応答時間(最大)152.83s
応答時間(合計)517.21s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 68.2%
- 入力トークン
- 114,191
- 出力トークン
- 409,709
- 推論トークン
- 0
- 応答時間(平均)
- 23.51s
- 応答時間(合計)
- 517.21s
- 応答時間(最大)
- 152.83s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.65s
応答時間(最大)35.08s
応答時間(合計)38.62s
-
コーディング
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)27.42s
応答時間(最大)60.98s
応答時間(合計)82.26s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)80.94s
応答時間(最大)152.83s
応答時間(合計)161.89s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.75s
応答時間(最大)3.35s
応答時間(合計)5.49s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)27.26s
応答時間(最大)34.06s
応答時間(合計)81.77s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.85s
応答時間(最大)6.85s
応答時間(合計)6.85s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.83s
応答時間(最大)2.21s
応答時間(合計)3.65s
-
パズル解決
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)6.19s
応答時間(最大)12.51s
応答時間(合計)18.56s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.16s
応答時間(最大)4.16s
応答時間(合計)4.16s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)113.98s
応答時間(最大)113.98s
応答時間(合計)113.98s
|
| #59#59 |
GPT-5.2 Chatnone
|
7.9… |
OpenAI |
$0.594
…
|
7.73s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 1 指示に従っていない: 1 回答なし: 1
応答時間(平均)7.73s
応答時間(最大)38.52s
応答時間(合計)162.40s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 101,104
- 出力トークン
- 29,742
- 推論トークン
- 0
- 応答時間(平均)
- 7.73s
- 応答時間(合計)
- 162.40s
- 応答時間(最大)
- 38.52s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.40s
応答時間(最大)4.78s
応答時間(合計)13.59s
-
コーディング
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.82s
応答時間(最大)13.35s
応答時間(合計)29.45s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)13.91s
応答時間(最大)18.70s
応答時間(合計)27.82s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.05s
応答時間(最大)3.33s
応答時間(合計)6.10s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)23.67s
応答時間(最大)38.52s
応答時間(合計)47.34s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.20s
応答時間(最大)3.20s
応答時間(合計)3.20s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.51s
応答時間(最大)6.55s
応答時間(合計)11.02s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.10s
応答時間(最大)5.04s
応答時間(合計)12.31s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.68s
応答時間(最大)4.68s
応答時間(合計)4.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.89s
応答時間(最大)6.89s
応答時間(合計)6.89s
|
| #58#58 |
Kimi K3max
|
7.9… |
Moonshot AI |
$3.467
…
|
142.84s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2 回答なし: 2 余分な書式: 1 タイムアウト: 1
応答時間(平均)142.84s
応答時間(最大)766.58s
応答時間(合計)2714.02s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 6
- 試行ごとの合格率
- 77.3%
- 入力トークン
- 34,960
- 出力トークン
- 2,887
- 推論トークン
- 221,241
- 応答時間(平均)
- 142.84s
- 応答時間(合計)
- 2714.02s
- 応答時間(最大)
- 766.58s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.24s
応答時間(最大)15.21s
応答時間(合計)40.97s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)325.79s
応答時間(最大)589.43s
応答時間(合計)977.36s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)223.03s
応答時間(最大)223.03s
応答時間(合計)223.03s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)16.72s
応答時間(最大)18.73s
応答時間(合計)33.44s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)683.62s
応答時間(最大)766.58s
応答時間(合計)1367.25s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.91s
応答時間(最大)14.91s
応答時間(合計)14.91s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.66s
応答時間(最大)7.99s
応答時間(合計)15.33s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.36s
応答時間(最大)12.30s
応答時間(合計)22.07s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)19.67s
応答時間(最大)19.67s
応答時間(合計)19.67s
|
| #57#57 |
GPT-5.6 Terrahigh
|
8.0… |
OpenAI |
$0.418
↓
…
|
11.22s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 無効なツール呼び出し: 1
応答時間(平均)11.22s
応答時間(最大)91.49s
応答時間(合計)246.77s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 68.2%
- 入力トークン
- 81,056
- 出力トークン
- 5,055
- 推論トークン
- 51,033
- 応答時間(平均)
- 11.22s
- 応答時間(合計)
- 246.77s
- 応答時間(最大)
- 91.49s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.54s
応答時間(最大)3.19s
応答時間(合計)10.15s
-
コーディング
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.14s
応答時間(最大)15.19s
応答時間(合計)27.43s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)13.72s
応答時間(最大)20.49s
応答時間(合計)27.43s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)938ms
応答時間(最大)1.01s
応答時間(合計)1.88s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)42.65s
応答時間(最大)91.49s
応答時間(合計)127.94s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.03s
応答時間(最大)3.03s
応答時間(合計)3.03s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.14s
応答時間(最大)2.48s
応答時間(合計)4.28s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.45s
応答時間(最大)10.40s
応答時間(合計)16.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.97s
応答時間(最大)4.97s
応答時間(合計)4.97s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)23.30s
応答時間(最大)23.30s
応答時間(合計)23.30s
|
| #56#56 |
Inklingmedium
|
8.0… |
Thinkingmachines |
$0.377
↓
…
|
15.66s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)15.66s
応答時間(最大)85.12s
応答時間(合計)344.52s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 7
- 試行ごとの合格率
- 75.8%
- 入力トークン
- 124,062
- 出力トークン
- 12,190
- 推論トークン
- 51,652
- 応答時間(平均)
- 15.66s
- 応答時間(合計)
- 344.52s
- 応答時間(最大)
- 85.12s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)6.49s
応答時間(最大)15.22s
応答時間(合計)25.95s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.20s
応答時間(最大)46.41s
応答時間(合計)75.61s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)41.15s
応答時間(最大)74.33s
応答時間(合計)82.31s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.60s
応答時間(最大)3.75s
応答時間(合計)7.20s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)31.59s
応答時間(最大)85.12s
応答時間(合計)94.77s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.65s
応答時間(最大)4.65s
応答時間(合計)4.65s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.17s
応答時間(最大)7.52s
応答時間(合計)12.34s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.18s
応答時間(最大)8.14s
応答時間(合計)15.53s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)4.48s
応答時間(最大)4.48s
応答時間(合計)4.48s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)21.69s
応答時間(最大)21.69s
応答時間(合計)21.69s
|
| #55#55 |
GLM 5.2high
|
8.0… |
Z.ai |
$0.603
↓
…
|
69.86s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 3 回答なし: 2 不正解: 2 指示に従っていない: 1
応答時間(平均)69.86s
応答時間(最大)599.43s
応答時間(合計)1536.98s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 83,822
- 出力トークン
- 72,040
- 推論トークン
- 292,615
- 応答時間(平均)
- 69.86s
- 応答時間(合計)
- 1536.98s
- 応答時間(最大)
- 599.43s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.80s
応答時間(最大)7.00s
応答時間(合計)23.18s
-
コーディング
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2
応答時間(平均)73.03s
応答時間(最大)129.73s
応答時間(合計)219.09s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)321.47s
応答時間(最大)599.43s
応答時間(合計)642.94s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.81s
応答時間(最大)9.80s
応答時間(合計)11.62s
-
ドメイン特化
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 タイムアウト: 1
応答時間(平均)126.85s
応答時間(最大)180.69s
応答時間(合計)380.54s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.90s
応答時間(最大)12.90s
応答時間(合計)12.90s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.26s
応答時間(最大)5.88s
応答時間(合計)8.52s
-
パズル解決
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)33.71s
応答時間(最大)76.21s
応答時間(合計)101.13s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.25s
応答時間(最大)9.25s
応答時間(合計)9.25s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)127.82s
応答時間(最大)127.82s
応答時間(合計)127.82s
|
| #54#54 |
DeepSeek V4 Flash 0731high
|
8.0… |
DeepSeek |
$0.134
…
|
114.94s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 2 API エラー: 1 回答なし: 1
応答時間(平均)114.94s
応答時間(最大)600.61s
応答時間(合計)2528.65s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 75.8%
- 入力トークン
- 96,702
- 出力トークン
- 16,966
- 推論トークン
- 496,341
- 応答時間(平均)
- 114.94s
- 応答時間(合計)
- 2528.65s
- 応答時間(最大)
- 600.61s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.62s
応答時間(最大)39.34s
応答時間(合計)54.50s
-
コーディング
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 指示に従っていない: 1
応答時間(平均)252.67s
応答時間(最大)396.09s
応答時間(合計)758.02s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)87.10s
応答時間(最大)131.57s
応答時間(合計)174.19s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.65s
応答時間(最大)4.40s
応答時間(合計)7.30s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)458.65s
応答時間(最大)600.61s
応答時間(合計)1375.95s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.64s
応答時間(最大)5.64s
応答時間(合計)5.64s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.46s
応答時間(最大)4.55s
応答時間(合計)8.91s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.36s
応答時間(最大)12.00s
応答時間(合計)28.09s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.42s
応答時間(最大)5.42s
応答時間(合計)5.42s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)110.63s
応答時間(最大)110.63s
応答時間(合計)110.63s
|
| #53#53 |
DeepSeek V4 Flash 0731low
|
8.0… |
DeepSeek |
$0.072
…
|
77.55s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 1 回答なし: 1
応答時間(平均)77.55s
応答時間(最大)438.65s
応答時間(合計)1706.18s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 71.2%
- 入力トークン
- 93,345
- 出力トークン
- 35,723
- 推論トークン
- 350,266
- 応答時間(平均)
- 77.55s
- 応答時間(合計)
- 1706.18s
- 応答時間(最大)
- 438.65s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.08s
応答時間(最大)24.45s
応答時間(合計)40.32s
-
コーディング
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)163.31s
応答時間(最大)438.65s
応答時間(合計)489.94s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)54.25s
応答時間(最大)73.69s
応答時間(合計)108.49s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.35s
応答時間(最大)5.29s
応答時間(合計)8.71s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)255.51s
応答時間(最大)411.82s
応答時間(合計)766.52s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.63s
応答時間(最大)7.63s
応答時間(合計)7.63s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.01s
応答時間(最大)3.92s
応答時間(合計)6.03s
-
パズル解決
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.08s
応答時間(最大)12.40s
応答時間(合計)27.25s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.44s
応答時間(最大)4.44s
応答時間(合計)4.44s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)246.86s
応答時間(最大)246.86s
応答時間(合計)246.86s
|
| #52#52 |
Muse Spark 1.1high64/66 回 (目標: テストごとに 3 回)
|
8.0… |
Meta |
$1.709
…
|
30.84s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 2 無効なツール呼び出し: 2 API エラー: 1 余分な書式: 1 回答なし: 1
応答時間(平均)30.84s
応答時間(最大)196.03s
応答時間(合計)647.67s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 68.2%
- 入力トークン
- 129,003
- 出力トークン
- 8,340
- 推論トークン
- 355,649
- 応答時間(平均)
- 30.84s
- 応答時間(合計)
- 647.67s
- 応答時間(最大)
- 196.03s
-
反AIトリック
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)8.60s
応答時間(最大)15.63s
応答時間(合計)34.39s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)22.92s
応答時間(最大)27.22s
応答時間(合計)68.75s
-
複合
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)70.25s
応答時間(最大)78.10s
応答時間(合計)140.51s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.40s
応答時間(最大)10.84s
応答時間(合計)16.81s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 余分な書式: 1 不正解: 1
応答時間(平均)60.59s
応答時間(最大)67.02s
応答時間(合計)121.18s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.73s
応答時間(最大)7.73s
応答時間(合計)7.73s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.81s
応答時間(最大)9.13s
応答時間(合計)15.62s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)69.96s
応答時間(最大)196.03s
応答時間(合計)209.89s
-
ツール呼び出し
: 9.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.88s
応答時間(最大)9.88s
応答時間(合計)9.88s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)22.93s
応答時間(最大)22.93s
応答時間(合計)22.93s
|
| #51#51 |
Inklinghigh
|
8.0… |
Thinkingmachines |
$1.041
↓
…
|
62.57s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)62.57s
応答時間(最大)327.51s
応答時間(合計)1376.46s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 7
- 試行ごとの合格率
- 77.3%
- 入力トークン
- 86,755
- 出力トークン
- 6,057
- 推論トークン
- 230,570
- 応答時間(平均)
- 62.57s
- 応答時間(合計)
- 1376.46s
- 応答時間(最大)
- 327.51s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.68s
応答時間(最大)26.90s
応答時間(合計)50.73s
-
コーディング
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)148.36s
応答時間(最大)327.51s
応答時間(合計)445.07s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)63.78s
応答時間(最大)103.34s
応答時間(合計)127.56s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.19s
応答時間(最大)11.82s
応答時間(合計)16.38s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)174.68s
応答時間(最大)325.98s
応答時間(合計)524.04s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.53s
応答時間(最大)6.53s
応答時間(合計)6.53s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.00s
応答時間(最大)7.33s
応答時間(合計)14.01s
-
パズル解決
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)10.69s
応答時間(最大)12.94s
応答時間(合計)32.06s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)6.52s
応答時間(最大)6.52s
応答時間(合計)6.52s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)153.57s
応答時間(最大)153.57s
応答時間(合計)153.57s
|
| #50#50 |
Muse Glimmer 30Bxhigh
|
8.1… |
Meta |
$0.635
…
|
95.55s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 回答なし: 3 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)95.55s
応答時間(最大)576.79s
応答時間(合計)2102.12s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 110,930
- 出力トークン
- 116,373
- 推論トークン
- 330,471
- 応答時間(平均)
- 95.55s
- 応答時間(合計)
- 2102.12s
- 応答時間(最大)
- 576.79s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.01s
応答時間(最大)33.19s
応答時間(合計)52.06s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)105.91s
応答時間(最大)159.45s
応答時間(合計)317.72s
-
複合
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)272.74s
応答時間(最大)467.25s
応答時間(合計)545.49s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.84s
応答時間(最大)23.87s
応答時間(合計)39.68s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)142.55s
応答時間(最大)292.27s
応答時間(合計)427.66s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.41s
応答時間(最大)7.41s
応答時間(合計)7.41s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)8.90s
応答時間(最大)9.09s
応答時間(合計)17.81s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)199.67s
応答時間(最大)576.79s
応答時間(合計)599.00s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.08s
応答時間(最大)8.08s
応答時間(合計)8.08s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)87.23s
応答時間(最大)87.23s
応答時間(合計)87.23s
|
| #49#49 |
GPT-5 Minimedium
|
8.1… |
OpenAI |
$0.241
…
|
27.64s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 3 回答なし: 1 タイムアウト: 1
応答時間(平均)27.64s
応答時間(最大)111.48s
応答時間(合計)608.02s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 98,383
- 出力トークン
- 14,409
- 推論トークン
- 93,610
- 応答時間(平均)
- 27.64s
- 応答時間(合計)
- 608.02s
- 応答時間(最大)
- 111.48s
-
反AIトリック
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)13.86s
応答時間(最大)26.00s
応答時間(合計)55.45s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.63s
応答時間(最大)38.31s
応答時間(合計)82.89s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)99.82s
応答時間(最大)111.48s
応答時間(合計)199.63s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.58s
応答時間(最大)13.87s
応答時間(合計)25.16s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)44.66s
応答時間(最大)82.55s
応答時間(合計)133.99s
-
汎用知能
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)13.50s
応答時間(最大)13.50s
応答時間(合計)13.50s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.59s
応答時間(最大)13.66s
応答時間(合計)23.18s
-
パズル解決
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)15.20s
応答時間(最大)18.90s
応答時間(合計)45.59s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.64s
応答時間(最大)18.64s
応答時間(合計)18.64s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.99s
応答時間(最大)9.99s
応答時間(合計)9.99s
|
| #48#48 |
Qwen3.8 2.4T A95Blow
|
8.1… |
Qwen |
$2.672
…
|
118.97s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 回答なし: 2 無効なツール呼び出し: 1
応答時間(平均)118.97s
応答時間(最大)534.21s
応答時間(合計)2617.41s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 7
- 試行ごとの合格率
- 72.7%
- 入力トークン
- 113,279
- 出力トークン
- 121,045
- 推論トークン
- 374,496
- 応答時間(平均)
- 118.97s
- 応答時間(合計)
- 2617.41s
- 応答時間(最大)
- 534.21s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)22.04s
応答時間(最大)42.15s
応答時間(合計)88.14s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)172.53s
応答時間(最大)384.94s
応答時間(合計)517.59s
-
複合
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)231.85s
応答時間(最大)331.16s
応答時間(合計)463.69s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)22.27s
応答時間(最大)37.21s
応答時間(合計)44.54s
-
ドメイン特化
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)287.65s
応答時間(最大)534.21s
応答時間(合計)862.96s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)22.97s
応答時間(最大)22.97s
応答時間(合計)22.97s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.54s
応答時間(最大)28.63s
応答時間(合計)39.07s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)43.37s
応答時間(最大)96.64s
応答時間(合計)130.12s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)25.88s
応答時間(最大)25.88s
応答時間(合計)25.88s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)422.46s
応答時間(最大)422.46s
応答時間(合計)422.46s
|