| #167#167 |
KAT-Coder-Air V2.5low
|
5.4… |
Kwaipilot |
$0.041
…
|
10.09s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 余分な書式: 4 API エラー: 2 指示に従っていない: 2
応答時間(平均)10.09s
応答時間(最大)86.23s
応答時間(合計)222.03s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 15
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 61,085
- 出力トークン
- 5,905
- 推論トークン
- 46,990
- 応答時間(平均)
- 10.09s
- 応答時間(合計)
- 222.03s
- 応答時間(最大)
- 86.23s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.50s
応答時間(最大)5.89s
応答時間(合計)13.99s
-
コーディング
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)11.06s
応答時間(最大)14.01s
応答時間(合計)33.18s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)55.86s
応答時間(最大)86.23s
応答時間(合計)111.72s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.82s
応答時間(最大)3.26s
応答時間(合計)5.64s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 API エラー: 1
応答時間(平均)4.99s
応答時間(最大)8.65s
応答時間(合計)14.97s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.11s
応答時間(最大)10.11s
応答時間(合計)10.11s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.64s
応答時間(最大)2.19s
応答時間(合計)3.28s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.57s
応答時間(最大)1.86s
応答時間(合計)4.71s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.47s
応答時間(最大)4.47s
応答時間(合計)4.47s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)19.98s
応答時間(最大)19.98s
応答時間(合計)19.98s
|
| #169#169 |
Laguna S 2.1high
|
5.4… |
Poolside |
$0.127
…
|
111.61s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 無効なツール呼び出し: 2 回答なし: 2 API エラー: 1 余分な書式: 1 指示に従っていない: 1
応答時間(平均)111.61s
応答時間(最大)1190.11s
応答時間(合計)2455.39s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 208,931
- 出力トークン
- 175,588
- 推論トークン
- 409,276
- 応答時間(平均)
- 111.61s
- 応答時間(合計)
- 2455.39s
- 応答時間(最大)
- 1190.11s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 回答なし: 1
応答時間(平均)52.20s
応答時間(最大)207.32s
応答時間(合計)208.79s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 回答なし: 1
応答時間(平均)271.42s
応答時間(最大)423.72s
応答時間(合計)814.25s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)702.26s
応答時間(最大)1190.11s
応答時間(合計)1404.52s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.96s
応答時間(最大)3.41s
応答時間(合計)3.91s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.56s
応答時間(最大)6.82s
応答時間(合計)7.68s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)855ms
応答時間(最大)855ms
応答時間(合計)855ms
-
指示追従
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)453ms
応答時間(最大)492ms
応答時間(合計)905ms
-
パズル解決
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)1.62s
応答時間(最大)3.81s
応答時間(合計)4.87s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.69s
応答時間(最大)2.69s
応答時間(合計)2.69s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.94s
応答時間(最大)6.94s
応答時間(合計)6.94s
|
| #174#174 |
Inklingnone
|
5.2… |
Thinkingmachines |
$0.147
…
|
3.50s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 余分な書式: 1 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)3.50s
応答時間(最大)48.02s
応答時間(合計)77.09s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 28.8%
- 入力トークン
- 104,111
- 出力トークン
- 10,551
- 推論トークン
- 0
- 応答時間(平均)
- 3.50s
- 応答時間(合計)
- 77.09s
- 応答時間(最大)
- 48.02s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.43s
応答時間(最大)2.89s
応答時間(合計)5.72s
-
コーディング
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.01s
応答時間(最大)2.25s
応答時間(合計)3.02s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)25.74s
応答時間(最大)48.02s
応答時間(合計)51.48s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.14s
応答時間(最大)1.33s
応答時間(合計)2.27s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.45s
応答時間(最大)2.66s
応答時間(合計)4.35s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)859ms
応答時間(最大)859ms
応答時間(合計)859ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.72s
応答時間(最大)2.59s
応答時間(合計)3.43s
-
パズル解決
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)931ms
応答時間(最大)1.40s
応答時間(合計)2.79s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.50s
応答時間(最大)2.50s
応答時間(合計)2.50s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)670ms
応答時間(最大)670ms
応答時間(合計)670ms
|
| #183#183 |
Laguna S 2.1low
|
5.0… |
Poolside |
$0.091
…
|
85.35s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 API エラー: 1 余分な書式: 1 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)85.35s
応答時間(最大)814.73s
応答時間(合計)1877.64s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 19
- 試行ごとの合格率
- 25.8%
- 入力トークン
- 118,746
- 出力トークン
- 67,823
- 推論トークン
- 383,885
- 応答時間(平均)
- 85.35s
- 応答時間(合計)
- 1877.64s
- 応答時間(最大)
- 814.73s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 API エラー: 1
応答時間(平均)80.66s
応答時間(最大)321.43s
応答時間(合計)322.64s
-
コーディング
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)167.51s
応答時間(最大)270.36s
応答時間(合計)502.52s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)412.50s
応答時間(最大)814.73s
応答時間(合計)824.99s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.76s
応答時間(最大)4.89s
応答時間(合計)5.51s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.51s
応答時間(最大)6.68s
応答時間(合計)7.54s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)650ms
応答時間(最大)650ms
応答時間(合計)650ms
-
指示追従
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)423ms
応答時間(最大)435ms
応答時間(合計)845ms
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)2.70s
応答時間(最大)6.77s
応答時間(合計)8.10s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.36s
応答時間(最大)2.36s
応答時間(合計)2.36s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)202.49s
応答時間(最大)202.49s
応答時間(合計)202.49s
|
| #32#32 |
Inklinghigh
|
8.0… |
Thinkingmachines |
$1.006
…
|
64.16s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)64.16s
応答時間(最大)327.51s
応答時間(合計)1411.59s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 7
- 試行ごとの合格率
- 77.3%
- 入力トークン
- 86,746
- 出力トークン
- 6,055
- 推論トークン
- 220,791
- 応答時間(平均)
- 64.16s
- 応答時間(合計)
- 1411.59s
- 応答時間(最大)
- 327.51s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.68s
応答時間(最大)26.90s
応答時間(合計)50.73s
-
コーディング
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)148.36s
応答時間(最大)327.51s
応答時間(合計)445.07s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)63.78s
応答時間(最大)103.34s
応答時間(合計)127.56s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.19s
応答時間(最大)11.82s
応答時間(合計)16.38s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)186.39s
応答時間(最大)325.98s
応答時間(合計)559.17s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.53s
応答時間(最大)6.53s
応答時間(合計)6.53s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.00s
応答時間(最大)7.33s
応答時間(合計)14.01s
-
パズル解決
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)10.69s
応答時間(最大)12.94s
応答時間(合計)32.06s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)6.52s
応答時間(最大)6.52s
応答時間(合計)6.52s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)153.57s
応答時間(最大)153.57s
応答時間(合計)153.57s
|
| #36#36 |
Inklingmedium
|
8.0… |
Thinkingmachines |
$0.391
…
|
16.21s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)16.21s
応答時間(最大)85.12s
応答時間(合計)356.54s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 7
- 試行ごとの合格率
- 78.8%
- 入力トークン
- 124,053
- 出力トークン
- 12,189
- 推論トークン
- 53,597
- 応答時間(平均)
- 16.21s
- 応答時間(合計)
- 356.54s
- 応答時間(最大)
- 85.12s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)6.49s
応答時間(最大)15.22s
応答時間(合計)25.95s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.20s
応答時間(最大)46.41s
応答時間(合計)75.61s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)41.15s
応答時間(最大)74.33s
応答時間(合計)82.31s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.60s
応答時間(最大)3.75s
応答時間(合計)7.20s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)35.60s
応答時間(最大)85.12s
応答時間(合計)106.79s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.65s
応答時間(最大)4.65s
応答時間(合計)4.65s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.17s
応答時間(最大)7.52s
応答時間(合計)12.34s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.18s
応答時間(最大)8.14s
応答時間(合計)15.53s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)4.48s
応答時間(最大)4.48s
応答時間(合計)4.48s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)21.69s
応答時間(最大)21.69s
応答時間(合計)21.69s
|
| #55#55 |
Nemotron 3 Ultramedium
|
7.5… |
NVIDIA |
$0.504
↕
…
|
32.21s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)32.21s
応答時間(最大)392.56s
応答時間(合計)708.65s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 68.2%
- 入力トークン
- 233,488
- 出力トークン
- 57,916
- 推論トークン
- 128,062
- 応答時間(平均)
- 32.21s
- 応答時間(合計)
- 708.65s
- 応答時間(最大)
- 392.56s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.62s
応答時間(最大)16.86s
応答時間(合計)34.49s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)26.53s
応答時間(最大)31.91s
応答時間(合計)79.58s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)218.25s
応答時間(最大)392.56s
応答時間(合計)436.49s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.68s
応答時間(最大)7.94s
応答時間(合計)11.36s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)24.90s
応答時間(最大)34.96s
応答時間(合計)74.71s
-
汎用知能
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)2.52s
応答時間(最大)2.52s
応答時間(合計)2.52s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.35s
応答時間(最大)9.38s
応答時間(合計)12.69s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.54s
応答時間(最大)6.03s
応答時間(合計)10.62s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.72s
応答時間(最大)7.72s
応答時間(合計)7.72s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)38.47s
応答時間(最大)38.47s
応答時間(合計)38.47s
|
| #64#64 |
LongCat 2.0medium
|
7.4… |
Meituan |
$0.478
…
|
136.64s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)136.64s
応答時間(最大)939.52s
応答時間(合計)3006.01s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 97,315
- 出力トークン
- 44,384
- 推論トークン
- 329,012
- 応答時間(平均)
- 136.64s
- 応答時間(合計)
- 3006.01s
- 応答時間(最大)
- 939.52s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.65s
応答時間(最大)13.92s
応答時間(合計)38.61s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)455.00s
応答時間(最大)493.86s
応答時間(合計)1364.99s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)151.04s
応答時間(最大)195.58s
応答時間(合計)302.08s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)10.63s
応答時間(最大)18.16s
応答時間(合計)21.27s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)339.86s
応答時間(最大)939.52s
応答時間(合計)1019.57s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)16.35s
応答時間(最大)16.35s
応答時間(合計)16.35s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.38s
応答時間(最大)8.27s
応答時間(合計)14.75s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.84s
応答時間(最大)14.18s
応答時間(合計)26.51s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.67s
応答時間(最大)10.67s
応答時間(合計)10.67s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)191.19s
応答時間(最大)191.19s
応答時間(合計)191.19s
|
| #166#166 |
Laguna S 2.1medium
|
5.4… |
Poolside |
$0.059
…
|
58.43s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 無効なツール呼び出し: 2 回答なし: 2 指示に従っていない: 1
応答時間(平均)58.43s
応答時間(最大)560.31s
応答時間(合計)1285.48s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 25.8%
- 入力トークン
- 86,641
- 出力トークン
- 97,298
- 推論トークン
- 242,297
- 応答時間(平均)
- 58.43s
- 応答時間(合計)
- 1285.48s
- 応答時間(最大)
- 560.31s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 回答なし: 1
応答時間(平均)51.82s
応答時間(最大)205.67s
応答時間(合計)207.27s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)158.98s
応答時間(最大)441.13s
応答時間(合計)476.95s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)284.71s
応答時間(最大)560.31s
応答時間(合計)569.43s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.42s
応答時間(最大)4.25s
応答時間(合計)4.84s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.75s
応答時間(最大)7.28s
応答時間(合計)8.25s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)739ms
応答時間(最大)739ms
応答時間(合計)739ms
-
指示追従
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)400ms
応答時間(最大)411ms
応答時間(合計)799ms
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.62s
応答時間(最大)6.83s
応答時間(合計)7.86s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.24s
応答時間(最大)2.24s
応答時間(合計)2.24s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.11s
応答時間(最大)7.11s
応答時間(合計)7.11s
|
| #204#204 |
Laguna M.1noneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.4… |
Poolside |
$0.009
↕
…
|
2.89s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 API エラー: 4 無効なツール呼び出し: 1
応答時間(平均)2.89s
応答時間(最大)15.42s
応答時間(合計)43.28s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 15
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 38,147
- 出力トークン
- 2,054
- 推論トークン
- 0
- 応答時間(平均)
- 2.89s
- 応答時間(合計)
- 43.28s
- 応答時間(最大)
- 15.42s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 API エラー: 1
応答時間(平均)705ms
応答時間(最大)975ms
応答時間(合計)2.12s
-
コーディング
: 2.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.93s
応答時間(最大)2.93s
応答時間(合計)2.93s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)4.32s
応答時間(最大)4.32s
応答時間(合計)4.32s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.37s
応答時間(最大)5.76s
応答時間(合計)6.73s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)5.50s
応答時間(最大)15.42s
応答時間(合計)16.50s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)683ms
応答時間(最大)691ms
応答時間(合計)1.37s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)891ms
応答時間(最大)1.21s
応答時間(合計)1.78s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.54s
応答時間(最大)7.54s
応答時間(合計)7.54s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #51#51 |
MiniMax M3medium
|
7.6… |
Minimax |
$0.286
…
|
74.98s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 3 不正解: 3 指示に従っていない: 2 余分な書式: 1 回答なし: 1
応答時間(平均)74.98s
応答時間(最大)431.03s
応答時間(合計)1574.56s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 121,990
- 出力トークン
- 77,916
- 推論トークン
- 173,553
- 応答時間(平均)
- 74.98s
- 応答時間(合計)
- 1574.56s
- 応答時間(最大)
- 431.03s
-
反AIトリック
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)14.95s
応答時間(最大)44.99s
応答時間(合計)59.78s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1
応答時間(平均)144.74s
応答時間(最大)218.40s
応答時間(合計)434.22s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)138.24s
応答時間(最大)211.18s
応答時間(合計)276.48s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.92s
応答時間(最大)16.89s
応答時間(合計)29.85s
-
ドメイン特化
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2
応答時間(平均)233.13s
応答時間(最大)431.03s
応答時間(合計)466.26s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)33.25s
応答時間(最大)33.25s
応答時間(合計)33.25s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.14s
応答時間(最大)6.80s
応答時間(合計)12.27s
-
パズル解決
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)49.91s
応答時間(最大)128.09s
応答時間(合計)149.74s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.91s
応答時間(最大)11.91s
応答時間(合計)11.91s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)100.80s
応答時間(最大)100.80s
応答時間(合計)100.80s
|
| #74#74 |
Qwen3.5 Plus 2026-04-20medium
|
7.2… |
Qwen |
$0.317
↓
…
|
46.36s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 タイムアウト: 1
応答時間(平均)46.36s
応答時間(最大)189.38s
応答時間(合計)973.57s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 42,097
- 出力トークン
- 2,280
- 推論トークン
- 166,613
- 応答時間(平均)
- 46.36s
- 応答時間(合計)
- 973.57s
- 応答時間(最大)
- 189.38s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.84s
応答時間(最大)15.11s
応答時間(合計)43.36s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)125.25s
応答時間(最大)189.38s
応答時間(合計)375.76s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)92.41s
応答時間(最大)92.41s
応答時間(合計)92.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)38.32s
応答時間(最大)41.70s
応答時間(合計)76.63s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)53.10s
応答時間(最大)90.70s
応答時間(合計)159.30s
-
汎用知能
: 4.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.30s
応答時間(最大)25.30s
応答時間(合計)25.30s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.25s
応答時間(最大)21.65s
応答時間(合計)40.50s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.67s
応答時間(最大)24.83s
応答時間(合計)53.02s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.72s
応答時間(最大)14.72s
応答時間(合計)14.72s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)92.57s
応答時間(最大)92.57s
応答時間(合計)92.57s
|
| #96#96 |
LongCat 2.0low
|
6.7… |
Meituan |
$0.391
…
|
100.31s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 API エラー: 1 指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)100.31s
応答時間(最大)560.39s
応答時間(合計)2206.82s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 90,909
- 出力トークン
- 5,679
- 推論トークン
- 297,369
- 応答時間(平均)
- 100.31s
- 応答時間(合計)
- 2206.82s
- 応答時間(最大)
- 560.39s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.04s
応答時間(最大)17.24s
応答時間(合計)36.14s
-
コーディング
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)479.30s
応答時間(最大)560.39s
応答時間(合計)1437.91s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)130.21s
応答時間(最大)197.80s
応答時間(合計)260.43s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)10.77s
応答時間(最大)18.66s
応答時間(合計)21.54s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)86.08s
応答時間(最大)150.48s
応答時間(合計)258.25s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)22.45s
応答時間(最大)22.45s
応答時間(合計)22.45s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.39s
応答時間(最大)6.65s
応答時間(合計)12.78s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)8.15s
応答時間(最大)12.04s
応答時間(合計)24.45s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.81s
応答時間(最大)10.81s
応答時間(合計)10.81s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)122.07s
応答時間(最大)122.07s
応答時間(合計)122.07s
|
| #116#116 |
Mimo V2 PROmediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.3… |
Xiaomi |
$0.333
↑
…
|
22.16s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1
応答時間(平均)22.16s
応答時間(最大)136.29s
応答時間(合計)443.22s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 9
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 40,961
- 出力トークン
- 2,518
- 推論トークン
- 81,801
- 応答時間(平均)
- 22.16s
- 応答時間(合計)
- 443.22s
- 応答時間(最大)
- 136.29s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.86s
応答時間(最大)3.92s
応答時間(合計)11.45s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)94.21s
応答時間(最大)136.29s
応答時間(合計)188.41s
-
複合
: 2.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)64.71s
応答時間(最大)64.71s
応答時間(合計)64.71s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.20s
応答時間(最大)17.44s
応答時間(合計)34.40s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)8.82s
応答時間(最大)14.48s
応答時間(合計)26.47s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.92s
応答時間(最大)4.92s
応答時間(合計)4.92s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.36s
応答時間(最大)4.35s
応答時間(合計)6.72s
-
パズル解決
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1
応答時間(平均)5.08s
応答時間(最大)6.41s
応答時間(合計)15.23s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.19s
応答時間(最大)8.19s
応答時間(合計)8.19s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)82.71s
応答時間(最大)82.71s
応答時間(合計)82.71s
|
| #42#42 |
GLM 5.2medium
|
7.8… |
Z.ai |
$0.183
↓
…
|
23.28s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 回答なし: 2 タイムアウト: 1
応答時間(平均)23.28s
応答時間(最大)101.36s
応答時間(合計)488.94s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 6
- 試行ごとの合格率
- 80.3%
- 入力トークン
- 37,199
- 出力トークン
- 12,261
- 推論トークン
- 49,500
- 応答時間(平均)
- 23.28s
- 応答時間(合計)
- 488.94s
- 応答時間(最大)
- 101.36s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.89s
応答時間(最大)7.10s
応答時間(合計)23.56s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)40.96s
応答時間(最大)60.28s
応答時間(合計)122.88s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)51.96s
応答時間(最大)51.96s
応答時間(合計)51.96s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.44s
応答時間(最大)16.02s
応答時間(合計)26.88s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1 不正解: 1
応答時間(平均)45.47s
応答時間(最大)101.36s
応答時間(合計)136.40s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.39s
応答時間(最大)17.39s
応答時間(合計)17.39s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.90s
応答時間(最大)10.13s
応答時間(合計)15.80s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.13s
応答時間(最大)25.90s
応答時間(合計)39.40s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.41s
応答時間(最大)20.41s
応答時間(合計)20.41s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)34.25s
応答時間(最大)34.25s
応答時間(合計)34.25s
|
| #72#72 |
Kimi K2.6medium
|
7.2… |
Moonshot AI |
$1.036
↓
…
|
109.98s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 3 不正解: 3 指示に従っていない: 2 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)109.98s
応答時間(最大)876.20s
応答時間(合計)2309.56s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 68,902
- 出力トークン
- 111,680
- 推論トークン
- 279,860
- 応答時間(平均)
- 109.98s
- 応答時間(合計)
- 2309.56s
- 応答時間(最大)
- 876.20s
-
反AIトリック
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)11.59s
応答時間(最大)23.94s
応答時間(合計)46.37s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)214.42s
応答時間(最大)406.78s
応答時間(合計)643.25s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)458.58s
応答時間(最大)876.20s
応答時間(合計)917.16s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.38s
応答時間(最大)22.88s
応答時間(合計)40.76s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2
応答時間(平均)202.38s
応答時間(最大)215.85s
応答時間(合計)404.76s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.83s
応答時間(最大)17.83s
応答時間(合計)17.83s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.53s
応答時間(最大)19.15s
応答時間(合計)25.06s
-
パズル解決
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)25.06s
応答時間(最大)56.89s
応答時間(合計)75.19s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.92s
応答時間(最大)8.92s
応答時間(合計)8.92s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)130.27s
応答時間(最大)130.27s
応答時間(合計)130.27s
|
| #100#100 |
Gemma 4 26B A4Bmedium
|
6.6… |
Google |
$0.096
↑
…
|
103.83s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 回答なし: 2 タイムアウト: 2 無効なツール呼び出し: 1
応答時間(平均)103.83s
応答時間(最大)912.19s
応答時間(合計)2180.47s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 77,550
- 出力トークン
- 28,036
- 推論トークン
- 219,491
- 応答時間(平均)
- 103.83s
- 応答時間(合計)
- 2180.47s
- 応答時間(最大)
- 912.19s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.20s
応答時間(最大)9.64s
応答時間(合計)24.78s
-
コーディング
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 タイムアウト: 1
応答時間(平均)272.54s
応答時間(最大)369.32s
応答時間(合計)817.61s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)492.87s
応答時間(最大)912.19s
応答時間(合計)985.73s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.51s
応答時間(最大)20.57s
応答時間(合計)33.02s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)23.62s
応答時間(最大)27.00s
応答時間(合計)47.23s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)29.76s
応答時間(最大)29.76s
応答時間(合計)29.76s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.54s
応答時間(最大)21.25s
応答時間(合計)35.08s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.79s
応答時間(最大)6.85s
応答時間(合計)17.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.01s
応答時間(最大)9.01s
応答時間(合計)9.01s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)180.87s
応答時間(最大)180.87s
応答時間(合計)180.87s
|
| #102#102 |
LongCat 2.0high
|
6.6… |
Meituan |
$0.469
…
|
148.73s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 タイムアウト: 3 指示に従っていない: 2 回答なし: 2
応答時間(平均)148.73s
応答時間(最大)941.66s
応答時間(合計)3272.00s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 93,357
- 出力トークン
- 30,466
- 推論トークン
- 336,325
- 応答時間(平均)
- 148.73s
- 応答時間(合計)
- 3272.00s
- 応答時間(最大)
- 941.66s
-
反AIトリック
: 8.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.76s
応答時間(最大)11.40s
応答時間(合計)31.04s
-
コーディング
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)505.33s
応答時間(最大)656.90s
応答時間(合計)1515.99s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)167.13s
応答時間(最大)226.90s
応答時間(合計)334.26s
-
データ解析と抽出
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)10.98s
応答時間(最大)19.00s
応答時間(合計)21.97s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)400.28s
応答時間(最大)941.66s
応答時間(合計)1200.83s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.00s
応答時間(最大)17.00s
応答時間(合計)17.00s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.96s
応答時間(最大)7.82s
応答時間(合計)13.92s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)9.18s
応答時間(最大)13.76s
応答時間(合計)27.55s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.02s
応答時間(最大)10.02s
応答時間(合計)10.02s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)99.44s
応答時間(最大)99.44s
応答時間(合計)99.44s
|
| #114#114 |
Ling 3.0 Flashhigh
|
6.4… |
Inclusionai |
$0.000
…
|
13.32s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 無効なツール呼び出し: 2
応答時間(平均)13.32s
応答時間(最大)75.27s
応答時間(合計)292.99s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 132,224
- 出力トークン
- 92,393
- 推論トークン
- 211,994
- 応答時間(平均)
- 13.32s
- 応答時間(合計)
- 292.99s
- 応答時間(最大)
- 75.27s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.26s
応答時間(最大)10.43s
応答時間(合計)17.02s
-
コーディング
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)14.85s
応答時間(最大)23.25s
応答時間(合計)44.56s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)50.41s
応答時間(最大)75.27s
応答時間(合計)100.82s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.15s
応答時間(最大)11.16s
応答時間(合計)14.31s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)21.94s
応答時間(最大)40.12s
応答時間(合計)65.81s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.98s
応答時間(最大)2.98s
応答時間(合計)2.98s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.85s
応答時間(最大)1.99s
応答時間(合計)3.70s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.33s
応答時間(最大)6.40s
応答時間(合計)12.98s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.47s
応答時間(最大)6.47s
応答時間(合計)6.47s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.35s
応答時間(最大)24.35s
応答時間(合計)24.35s
|
| #137#137 |
Step 3.5 Flashmedium
|
6.0… |
Stepfun |
$0.108
↑
…
|
174.22s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 3 API エラー: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)174.22s
応答時間(最大)1597.85s
応答時間(合計)2613.32s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 10
- 試行ごとの合格率
- 51.5%
- 入力トークン
- 65,707
- 出力トークン
- 108,561
- 推論トークン
- 293,993
- 応答時間(平均)
- 174.22s
- 応答時間(合計)
- 2613.32s
- 応答時間(最大)
- 1597.85s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.57s
応答時間(最大)110.43s
応答時間(合計)121.72s
-
コーディング
: 2.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)258.38s
応答時間(最大)453.94s
応答時間(合計)516.77s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)813.71s
応答時間(最大)1597.85s
応答時間(合計)1627.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.01s
応答時間(最大)15.01s
応答時間(合計)15.01s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)170.45s
応答時間(最大)170.45s
応答時間(合計)170.45s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)22.39s
応答時間(最大)22.39s
応答時間(合計)22.39s
-
指示追従
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.78s
応答時間(最大)4.78s
応答時間(合計)4.78s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)7.22s
応答時間(最大)10.60s
応答時間(合計)14.44s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.91s
応答時間(最大)11.91s
応答時間(合計)11.91s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)108.45s
応答時間(最大)108.45s
応答時間(合計)108.45s
|
| #37#37 |
Kimi K3max
|
8.0… |
Moonshot AI |
$3.112
…
|
122.48s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2 タイムアウト: 2 余分な書式: 1 回答なし: 1
応答時間(平均)122.48s
応答時間(最大)766.58s
応答時間(合計)2327.06s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 6
- 試行ごとの合格率
- 75.8%
- 入力トークン
- 34,916
- 出力トークン
- 2,910
- 推論トークン
- 197,529
- 応答時間(平均)
- 122.48s
- 応答時間(合計)
- 2327.06s
- 応答時間(最大)
- 766.58s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.24s
応答時間(最大)15.21s
応答時間(合計)40.97s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)325.79s
応答時間(最大)589.43s
応答時間(合計)977.36s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)223.03s
応答時間(最大)223.03s
応答時間(合計)223.03s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)16.72s
応答時間(最大)18.73s
応答時間(合計)33.44s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2
応答時間(平均)490.14s
応答時間(最大)766.58s
応答時間(合計)980.28s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.91s
応答時間(最大)14.91s
応答時間(合計)14.91s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.66s
応答時間(最大)7.99s
応答時間(合計)15.33s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.36s
応答時間(最大)12.30s
応答時間(合計)22.07s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)19.67s
応答時間(最大)19.67s
応答時間(合計)19.67s
|
| #147#147 |
Nemotron 3 Supermedium
|
5.7… |
NVIDIA |
$0.055
↑
…
|
51.99s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 API エラー: 4 指示に従っていない: 3 回答なし: 1 タイムアウト: 1
応答時間(平均)51.99s
応答時間(最大)431.98s
応答時間(合計)1039.89s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 14
- 試行ごとの合格率
- 40.9%
- 入力トークン
- 81,429
- 出力トークン
- 18,371
- 推論トークン
- 98,853
- 応答時間(平均)
- 51.99s
- 応答時間(合計)
- 1039.89s
- 応答時間(最大)
- 431.98s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)7.85s
応答時間(最大)22.30s
応答時間(合計)31.40s
-
コーディング
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 3
応答時間(平均)147.32s
応答時間(最大)232.25s
応答時間(合計)294.64s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)259.89s
応答時間(最大)431.98s
応答時間(合計)519.77s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.16s
応答時間(最大)20.65s
応答時間(合計)36.33s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)16.19s
応答時間(最大)21.56s
応答時間(合計)32.39s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.91s
応答時間(最大)6.91s
応答時間(合計)6.91s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.97s
応答時間(最大)11.23s
応答時間(合計)13.95s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)3.15s
応答時間(最大)4.52s
応答時間(合計)9.45s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)39.75s
応答時間(最大)39.75s
応答時間(合計)39.75s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)55.32s
応答時間(最大)55.32s
応答時間(合計)55.32s
|
| #181#181 |
North Mini Codenone
|
5.1… |
Cohere |
$0.000
…
|
29.95s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 余分な書式: 2 指示に従っていない: 2 無効なツール呼び出し: 2
応答時間(平均)29.95s
応答時間(最大)159.85s
応答時間(合計)658.82s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 18.2%
- 入力トークン
- 130,492
- 出力トークン
- 26,786
- 推論トークン
- 0
- 応答時間(平均)
- 29.95s
- 応答時間(合計)
- 658.82s
- 応答時間(最大)
- 159.85s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 2
応答時間(平均)22.48s
応答時間(最大)51.34s
応答時間(合計)89.90s
-
コーディング
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)21.96s
応答時間(最大)44.81s
応答時間(合計)65.89s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)96.20s
応答時間(最大)159.85s
応答時間(合計)192.40s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.00s
応答時間(最大)42.87s
応答時間(合計)55.99s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)14.73s
応答時間(最大)32.97s
応答時間(合計)44.19s
-
汎用知能
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)34.77s
応答時間(最大)34.77s
応答時間(合計)34.77s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)30.68s
応答時間(最大)37.37s
応答時間(合計)61.35s
-
パズル解決
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)24.43s
応答時間(最大)48.56s
応答時間(合計)73.30s
-
ツール呼び出し
: 9.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.64s
応答時間(最大)3.64s
応答時間(合計)3.64s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)37.37s
応答時間(最大)37.37s
応答時間(合計)37.37s
|
| #144#144 |
North Mini Codemedium
|
5.9… |
Cohere |
$0.000
…
|
137.11s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 余分な書式: 2 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)137.11s
応答時間(最大)786.72s
応答時間(合計)3016.42s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 48.5%
- 入力トークン
- 81,813
- 出力トークン
- 424,772
- 推論トークン
- 1,342,029
- 応答時間(平均)
- 137.11s
- 応答時間(合計)
- 3016.42s
- 応答時間(最大)
- 786.72s
-
反AIトリック
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)64.79s
応答時間(最大)230.24s
応答時間(合計)259.15s
-
コーディング
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)320.43s
応答時間(最大)357.05s
応答時間(合計)961.28s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)554.89s
応答時間(最大)786.72s
応答時間(合計)1109.78s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.06s
応答時間(最大)26.90s
応答時間(合計)48.13s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)71.37s
応答時間(最大)195.94s
応答時間(合計)214.11s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.08s
応答時間(最大)25.08s
応答時間(合計)25.08s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.43s
応答時間(最大)28.25s
応答時間(合計)30.85s
-
パズル解決
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)19.70s
応答時間(最大)36.03s
応答時間(合計)59.10s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.93s
応答時間(最大)3.93s
応答時間(合計)3.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)305.02s
応答時間(最大)305.02s
応答時間(合計)305.02s
|
| #84#84 |
Seed-2.0-Minimedium
|
7.0… |
Bytedance Seed |
$0.101
…
|
92.53s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 5 不正解: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)92.53s
応答時間(最大)301.78s
応答時間(合計)1665.50s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 57.6%
- 入力トークン
- 125,467
- 出力トークン
- 10,778
- 推論トークン
- 209,856
- 応答時間(平均)
- 92.53s
- 応答時間(合計)
- 1665.50s
- 応答時間(最大)
- 301.78s
-
反AIトリック
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)74.75s
応答時間(最大)182.10s
応答時間(合計)298.98s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)220.48s
応答時間(最大)243.66s
応答時間(合計)440.97s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)282.30s
応答時間(最大)301.78s
応答時間(合計)564.61s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.27s
応答時間(最大)27.52s
応答時間(合計)48.54s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 3
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)36.65s
応答時間(最大)36.65s
応答時間(合計)36.65s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.47s
応答時間(最大)19.46s
応答時間(合計)34.93s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.79s
応答時間(最大)50.78s
応答時間(合計)95.38s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)88.68s
応答時間(最大)88.68s
応答時間(合計)88.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)56.76s
応答時間(最大)56.76s
応答時間(合計)56.76s
|
| #188#188 |
Nemotron 3 Supernone
|
4.9… |
NVIDIA |
$0.008
↑
…
|
5.97s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 2
応答時間(平均)5.97s
応答時間(最大)20.00s
応答時間(合計)131.31s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 30.3%
- 入力トークン
- 63,519
- 出力トークン
- 6,434
- 推論トークン
- 0
- 応答時間(平均)
- 5.97s
- 応答時間(合計)
- 131.31s
- 応答時間(最大)
- 20.00s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.46s
応答時間(最大)9.94s
応答時間(合計)17.83s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.64s
応答時間(最大)3.05s
応答時間(合計)7.92s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)18.22s
応答時間(最大)20.00s
応答時間(合計)36.45s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.92s
応答時間(最大)13.23s
応答時間(合計)15.84s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)6.23s
応答時間(最大)14.38s
応答時間(合計)18.70s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)950ms
応答時間(最大)950ms
応答時間(合計)950ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)804ms
応答時間(最大)921ms
応答時間(合計)1.61s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.36s
応答時間(最大)3.27s
応答時間(合計)7.07s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)16.00s
応答時間(最大)16.00s
応答時間(合計)16.00s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.94s
応答時間(最大)8.94s
応答時間(合計)8.94s
|
| #78#78 |
GLM 5.1medium
|
7.1… |
Z.ai |
$0.535
↓
…
|
46.77s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 タイムアウト: 2 API エラー: 1 余分な書式: 1 回答なし: 1
応答時間(平均)46.77s
応答時間(最大)308.75s
応答時間(合計)982.16s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 82,623
- 出力トークン
- 16,089
- 推論トークン
- 136,463
- 応答時間(平均)
- 46.77s
- 応答時間(合計)
- 982.16s
- 応答時間(最大)
- 308.75s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.31s
応答時間(最大)14.20s
応答時間(合計)33.24s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)109.63s
応答時間(最大)172.60s
応答時間(合計)328.90s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)175.93s
応答時間(最大)308.75s
応答時間(合計)351.86s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.33s
応答時間(最大)9.40s
応答時間(合計)18.66s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)29.77s
応答時間(最大)32.22s
応答時間(合計)89.30s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.95s
応答時間(最大)20.95s
応答時間(合計)20.95s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.47s
応答時間(最大)10.16s
応答時間(合計)14.94s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.64s
応答時間(最大)46.04s
応答時間(合計)94.91s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)29.40s
応答時間(最大)29.40s
応答時間(合計)29.40s
|
| #206#206 |
GLM 4.7 Flashmedium
|
4.3… |
Z.ai |
$0.166
…
|
142.59s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 回答なし: 3 指示に従っていない: 2 無効なツール呼び出し: 2 タイムアウト: 2
応答時間(平均)142.59s
応答時間(最大)1539.97s
応答時間(合計)1996.21s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 31.8%
- 入力トークン
- 79,051
- 出力トークン
- 43,754
- 推論トークン
- 374,109
- 応答時間(平均)
- 142.59s
- 応答時間(合計)
- 1996.21s
- 応答時間(最大)
- 1539.97s
-
反AIトリック
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)14.95s
応答時間(最大)27.09s
応答時間(合計)29.90s
-
コーディング
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 回答なし: 1
応答時間(平均)55.33s
応答時間(最大)89.40s
応答時間(合計)110.66s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)802.77s
応答時間(最大)1539.97s
応答時間(合計)1605.54s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)1.51s
応答時間(最大)1.51s
応答時間(合計)1.51s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)174.55s
応答時間(最大)174.55s
応答時間(合計)174.55s
-
汎用知能
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.14s
応答時間(最大)18.14s
応答時間(合計)18.14s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.97s
応答時間(最大)2.97s
応答時間(合計)2.97s
-
パズル解決
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)12.93s
応答時間(最大)22.33s
応答時間(合計)25.85s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.95s
応答時間(最大)15.95s
応答時間(合計)15.95s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)11.13s
応答時間(最大)11.13s
応答時間(合計)11.13s
|
| #212#212 |
MiMo-V2-Flashnoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.0… |
Xiaomi |
$0.025
↑
…
|
2.76s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 2 API エラー: 1 余分な書式: 1
応答時間(平均)2.76s
応答時間(最大)19.68s
応答時間(合計)46.99s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 17
- 試行ごとの合格率
- 24.2%
- 入力トークン
- 36,851
- 出力トークン
- 68,882
- 推論トークン
- 0
- 応答時間(平均)
- 2.76s
- 応答時間(合計)
- 46.99s
- 応答時間(最大)
- 19.68s
-
反AIトリック
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.19s
応答時間(最大)2.73s
応答時間(合計)4.76s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)2.64s
応答時間(最大)3.84s
応答時間(合計)7.92s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.87s
応答時間(最大)2.87s
応答時間(合計)2.87s
-
データ解析と抽出
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 余分な書式: 1
応答時間(平均)19.68s
応答時間(最大)19.68s
応答時間(合計)19.68s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)564ms
応答時間(最大)564ms
応答時間(合計)564ms
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.67s
応答時間(最大)1.67s
応答時間(合計)1.67s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)857ms
応答時間(最大)955ms
応答時間(合計)1.71s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.86s
応答時間(最大)2.70s
応答時間(合計)3.71s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.28s
応答時間(最大)2.28s
応答時間(合計)2.28s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.82s
応答時間(最大)1.82s
応答時間(合計)1.82s
|
| #216#216 |
Qwen3.5-9Bmedium
|
3.8… |
Qwen |
$0.036
↑
…
|
82.24s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 12 回答なし: 2 不正解: 2 API エラー: 1 余分な書式: 1 指示に従っていない: 1
応答時間(平均)82.24s
応答時間(最大)226.38s
応答時間(合計)1315.88s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 19
- 試行ごとの合格率
- 25.8%
- 入力トークン
- 17,070
- 出力トークン
- 29,045
- 推論トークン
- 209,516
- 応答時間(平均)
- 82.24s
- 応答時間(合計)
- 1315.88s
- 応答時間(最大)
- 226.38s
-
反AIトリック
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)34.44s
応答時間(最大)57.86s
応答時間(合計)103.31s
-
コーディング
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)100.88s
応答時間(最大)135.61s
応答時間(合計)201.75s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1
応答時間(平均)87.31s
応答時間(最大)87.31s
応答時間(合計)87.31s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 3
応答時間(平均)137.75s
応答時間(最大)202.61s
応答時間(合計)413.24s
-
汎用知能
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)226.38s
応答時間(最大)226.38s
応答時間(合計)226.38s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)5.75s
応答時間(最大)5.75s
応答時間(合計)5.75s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)32.27s
応答時間(最大)47.31s
応答時間(合計)96.80s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.31s
応答時間(最大)4.31s
応答時間(合計)4.31s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)177.02s
応答時間(最大)177.02s
応答時間(合計)177.02s
|