| #227#227 |
Ling-2.6-1Tnone
|
5.3… |
Inclusionai |
$0.016
↑
…
|
8.59s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 API エラー: 3 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)8.59s
応答時間(最大)25.72s
応答時間(合計)163.20s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 18.2%
- 入力トークン
- 106,423
- 出力トークン
- 11,555
- 推論トークン
- 0
- 応答時間(平均)
- 8.59s
- 応答時間(合計)
- 163.20s
- 応答時間(最大)
- 25.72s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)6.55s
応答時間(最大)9.41s
応答時間(合計)26.19s
-
コーディング
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2 不正解: 1
応答時間(平均)10.57s
応答時間(最大)10.57s
応答時間(合計)10.57s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)23.79s
応答時間(最大)24.05s
応答時間(合計)47.59s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.37s
応答時間(最大)1.37s
応答時間(合計)2.73s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.08s
応答時間(最大)1.22s
応答時間(合計)3.25s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)20.34s
応答時間(最大)20.34s
応答時間(合計)20.34s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.36s
応答時間(最大)9.81s
応答時間(合計)10.73s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)5.36s
応答時間(最大)13.26s
応答時間(合計)16.09s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)25.72s
応答時間(最大)25.72s
応答時間(合計)25.72s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #226#226 |
Seed-2.0-Codenone
|
5.3… |
Bytedance Seed |
$0.151
…
|
14.67s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 余分な書式: 2 指示に従っていない: 2 回答なし: 1
応答時間(平均)14.67s
応答時間(最大)132.84s
応答時間(合計)322.71s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 36.4%
- 入力トークン
- 159,749
- 出力トークン
- 23,433
- 推論トークン
- 0
- 応答時間(平均)
- 14.67s
- 応答時間(合計)
- 322.71s
- 応答時間(最大)
- 132.84s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)5.06s
応答時間(最大)9.79s
応答時間(合計)20.24s
-
コーディング
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)13.42s
応答時間(最大)22.57s
応答時間(合計)40.25s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)78.38s
応答時間(最大)132.84s
応答時間(合計)156.76s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.53s
応答時間(最大)6.63s
応答時間(合計)9.05s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.91s
応答時間(最大)4.51s
応答時間(合計)5.72s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.82s
応答時間(最大)2.82s
応答時間(合計)2.82s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)1.80s
応答時間(最大)2.04s
応答時間(合計)3.60s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.04s
応答時間(最大)15.52s
応答時間(合計)30.11s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)48.81s
応答時間(最大)48.81s
応答時間(合計)48.81s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.36s
応答時間(最大)5.36s
応答時間(合計)5.36s
|
| #225#225 |
Laguna XS 2.1none
|
5.3… |
Poolside |
$0.008
…
|
1.55s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 指示に従っていない: 1 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)1.55s
応答時間(最大)19.02s
応答時間(合計)34.01s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 30.3%
- 入力トークン
- 91,607
- 出力トークン
- 13,377
- 推論トークン
- 0
- 応答時間(平均)
- 1.55s
- 応答時間(合計)
- 34.01s
- 応答時間(最大)
- 19.02s
-
反AIトリック
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)755ms
応答時間(最大)2.30s
応答時間(合計)3.02s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)623ms
応答時間(最大)1.34s
応答時間(合計)1.87s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)10.39s
応答時間(最大)19.02s
応答時間(合計)20.78s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)768ms
応答時間(最大)824ms
応答時間(合計)1.54s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)303ms
応答時間(最大)379ms
応答時間(合計)910ms
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)529ms
応答時間(最大)529ms
応答時間(合計)529ms
-
指示追従
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)364ms
応答時間(最大)373ms
応答時間(合計)728ms
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.01s
応答時間(最大)1.92s
応答時間(合計)3.02s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.36s
応答時間(最大)1.36s
応答時間(合計)1.36s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)254ms
応答時間(最大)254ms
応答時間(合計)254ms
|
| #224#224 |
Inkling Smallnone
|
5.3… |
Thinkingmachines |
$0.054
↓
…
|
1.51s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)1.51s
応答時間(最大)12.35s
応答時間(合計)33.21s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 24.2%
- 入力トークン
- 94,733
- 出力トークン
- 8,770
- 推論トークン
- 0
- 応答時間(平均)
- 1.51s
- 応答時間(合計)
- 33.21s
- 応答時間(最大)
- 12.35s
-
反AIトリック
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)526ms
応答時間(最大)1.03s
応答時間(合計)2.10s
-
コーディング
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)759ms
応答時間(最大)1.52s
応答時間(合計)2.28s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)9.33s
応答時間(最大)12.35s
応答時間(合計)18.66s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)782ms
応答時間(最大)961ms
応答時間(合計)1.56s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)442ms
応答時間(最大)517ms
応答時間(合計)1.33s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)964ms
応答時間(最大)964ms
応答時間(合計)964ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)767ms
応答時間(最大)1.02s
応答時間(合計)1.53s
-
パズル解決
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)665ms
応答時間(最大)734ms
応答時間(合計)2.00s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.31s
応答時間(最大)2.31s
応答時間(合計)2.31s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)481ms
応答時間(最大)481ms
応答時間(合計)481ms
|
| #222#222 |
DeepSeek V4 Flash 0731none
|
5.4… |
DeepSeek |
$0.021
…
|
20.72s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 2 無効なツール呼び出し: 2 余分な書式: 1
応答時間(平均)20.72s
応答時間(最大)387.15s
応答時間(合計)455.81s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 94,566
- 出力トークン
- 25,426
- 推論トークン
- 0
- 応答時間(平均)
- 20.72s
- 応答時間(合計)
- 455.81s
- 応答時間(最大)
- 387.15s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1
応答時間(平均)4.19s
応答時間(最大)6.04s
応答時間(合計)16.76s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.72s
応答時間(最大)3.55s
応答時間(合計)5.16s
-
複合
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)202.44s
応答時間(最大)387.15s
応答時間(合計)404.87s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.37s
応答時間(最大)2.66s
応答時間(合計)4.75s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.17s
応答時間(最大)1.66s
応答時間(合計)3.50s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.22s
応答時間(最大)3.22s
応答時間(合計)3.22s
-
指示追従
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.42s
応答時間(最大)1.62s
応答時間(合計)2.84s
-
パズル解決
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)2.74s
応答時間(最大)3.54s
応答時間(合計)8.23s
-
ツール呼び出し
: 9.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.61s
応答時間(最大)4.61s
応答時間(合計)4.61s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.85s
応答時間(最大)1.85s
応答時間(合計)1.85s
|
| #223#223 |
Laguna S 2.1high
|
5.4… |
Poolside |
$0.114
↓
…
|
111.60s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 無効なツール呼び出し: 2 回答なし: 2 API エラー: 1 余分な書式: 1 指示に従っていない: 1
応答時間(平均)111.60s
応答時間(最大)1190.11s
応答時間(合計)2455.24s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 208,937
- 出力トークン
- 175,588
- 推論トークン
- 409,276
- 応答時間(平均)
- 111.60s
- 応答時間(合計)
- 2455.24s
- 応答時間(最大)
- 1190.11s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 回答なし: 1
応答時間(平均)52.20s
応答時間(最大)207.32s
応答時間(合計)208.79s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 回答なし: 1
応答時間(平均)271.42s
応答時間(最大)423.72s
応答時間(合計)814.25s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)702.26s
応答時間(最大)1190.11s
応答時間(合計)1404.52s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.96s
応答時間(最大)3.41s
応答時間(合計)3.91s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.51s
応答時間(最大)6.82s
応答時間(合計)7.52s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)855ms
応答時間(最大)855ms
応答時間(合計)855ms
-
指示追従
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)453ms
応答時間(最大)492ms
応答時間(合計)905ms
-
パズル解決
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)1.62s
応答時間(最大)3.81s
応答時間(合計)4.87s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.69s
応答時間(最大)2.69s
応答時間(合計)2.69s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.94s
応答時間(最大)6.94s
応答時間(合計)6.94s
|
| #221#221 |
Kimi K2.5none
|
5.4… |
Moonshot AI |
$0.127
↑
…
|
18.03s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 16 回答なし: 1
応答時間(平均)18.03s
応答時間(最大)102.83s
応答時間(合計)288.42s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 30.3%
- 入力トークン
- 89,320
- 出力トークン
- 26,643
- 推論トークン
- 0
- 応答時間(平均)
- 18.03s
- 応答時間(合計)
- 288.42s
- 応答時間(最大)
- 102.83s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)6.24s
応答時間(最大)11.38s
応答時間(合計)12.48s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)24.56s
応答時間(最大)38.78s
応答時間(合計)73.69s
-
複合
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)61.00s
応答時間(最大)102.83s
応答時間(合計)121.99s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)42.13s
応答時間(最大)42.13s
応答時間(合計)42.13s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.75s
応答時間(最大)4.38s
応答時間(合計)5.49s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.00s
応答時間(最大)4.00s
応答時間(合計)4.00s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.67s
応答時間(最大)2.67s
応答時間(合計)2.67s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.04s
応答時間(最大)7.81s
応答時間(合計)8.08s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.99s
応答時間(最大)13.99s
応答時間(合計)13.99s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.90s
応答時間(最大)3.90s
応答時間(合計)3.90s
|
| #220#220 |
MiMo-V2.5-Pronone
|
5.4… |
Xiaomi |
$0.068
↓
…
|
4.24s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 指示に従っていない: 4 回答なし: 1
応答時間(平均)4.24s
応答時間(最大)53.13s
応答時間(合計)93.28s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 33.3%
- 入力トークン
- 124,808
- 出力トークン
- 15,362
- 推論トークン
- 0
- 応答時間(平均)
- 4.24s
- 応答時間(合計)
- 93.28s
- 応答時間(最大)
- 53.13s
-
反AIトリック
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1
応答時間(平均)2.67s
応答時間(最大)8.32s
応答時間(合計)10.67s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.41s
応答時間(最大)2.39s
応答時間(合計)4.23s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 回答なし: 1
応答時間(平均)28.33s
応答時間(最大)53.13s
応答時間(合計)56.67s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.32s
応答時間(最大)1.42s
応答時間(合計)2.64s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.79s
応答時間(最大)3.59s
応答時間(合計)5.36s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.58s
応答時間(最大)2.58s
応答時間(合計)2.58s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.03s
応答時間(最大)1.10s
応答時間(合計)2.06s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.30s
応答時間(最大)1.61s
応答時間(合計)3.90s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.30s
応答時間(最大)3.30s
応答時間(合計)3.30s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.89s
応答時間(最大)1.89s
応答時間(合計)1.89s
|
| #218#218 |
KAT-Coder-Air V2.5low
|
5.4… |
Kwaipilot |
$0.046
…
|
10.63s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 余分な書式: 4 API エラー: 2 指示に従っていない: 2
応答時間(平均)10.63s
応答時間(最大)86.23s
応答時間(合計)233.77s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 15
- 試行ごとの合格率
- 43.9%
- 入力トークン
- 61,094
- 出力トークン
- 6,532
- 推論トークン
- 53,882
- 応答時間(平均)
- 10.63s
- 応答時間(合計)
- 233.77s
- 応答時間(最大)
- 86.23s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.50s
応答時間(最大)5.89s
応答時間(合計)13.99s
-
コーディング
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)11.06s
応答時間(最大)14.01s
応答時間(合計)33.18s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)55.86s
応答時間(最大)86.23s
応答時間(合計)111.72s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.82s
応答時間(最大)3.26s
応答時間(合計)5.64s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 API エラー: 1
応答時間(平均)8.91s
応答時間(最大)13.68s
応答時間(合計)26.72s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.11s
応答時間(最大)10.11s
応答時間(合計)10.11s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.64s
応答時間(最大)2.19s
応答時間(合計)3.28s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.57s
応答時間(最大)1.86s
応答時間(合計)4.71s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.47s
応答時間(最大)4.47s
応答時間(合計)4.47s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)19.98s
応答時間(最大)19.98s
応答時間(合計)19.98s
|
| #219#219 |
GPT-5.6 Lunanone
|
5.4… |
OpenAI |
$0.015
↓
…
|
1.50s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)1.50s
応答時間(最大)10.57s
応答時間(合計)33.05s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 36.4%
- 入力トークン
- 101,332
- 出力トークン
- 6,709
- 推論トークン
- 0
- 応答時間(平均)
- 1.50s
- 応答時間(合計)
- 33.05s
- 応答時間(最大)
- 10.57s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)901ms
応答時間(最大)1.45s
応答時間(合計)3.60s
-
コーディング
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)980ms
応答時間(最大)1.57s
応答時間(合計)2.94s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)6.68s
応答時間(最大)10.57s
応答時間(合計)13.35s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)758ms
応答時間(最大)803ms
応答時間(合計)1.52s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)784ms
応答時間(最大)855ms
応答時間(合計)2.35s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.00s
応答時間(最大)1.00s
応答時間(合計)1.00s
-
指示追従
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.23s
応答時間(最大)1.66s
応答時間(合計)2.47s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)790ms
応答時間(最大)865ms
応答時間(合計)2.37s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.80s
応答時間(最大)2.80s
応答時間(合計)2.80s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)651ms
応答時間(最大)651ms
応答時間(合計)651ms
|
| #217#217 |
Laguna S 2.1medium
|
5.4… |
Poolside |
$0.053
↓
…
|
58.42s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 無効なツール呼び出し: 2 回答なし: 2 指示に従っていない: 1
応答時間(平均)58.42s
応答時間(最大)560.31s
応答時間(合計)1285.26s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 24.2%
- 入力トークン
- 86,647
- 出力トークン
- 97,298
- 推論トークン
- 242,297
- 応答時間(平均)
- 58.42s
- 応答時間(合計)
- 1285.26s
- 応答時間(最大)
- 560.31s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 回答なし: 1
応答時間(平均)51.82s
応答時間(最大)205.67s
応答時間(合計)207.27s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)158.98s
応答時間(最大)441.13s
応答時間(合計)476.95s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)284.71s
応答時間(最大)560.31s
応答時間(合計)569.43s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.42s
応答時間(最大)4.25s
応答時間(合計)4.84s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.68s
応答時間(最大)7.28s
応答時間(合計)8.03s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)739ms
応答時間(最大)739ms
応答時間(合計)739ms
-
指示追従
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)400ms
応答時間(最大)411ms
応答時間(合計)799ms
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.62s
応答時間(最大)6.83s
応答時間(合計)7.86s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.24s
応答時間(最大)2.24s
応答時間(合計)2.24s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.11s
応答時間(最大)7.11s
応答時間(合計)7.11s
|
| #216#216 |
DeepSeek V4 Flash 0423none
|
5.4… |
DeepSeek |
$0.030
↓
…
|
36.17s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 余分な書式: 2 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)36.17s
応答時間(最大)247.27s
応答時間(合計)795.83s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 240,230
- 出力トークン
- 100,726
- 推論トークン
- 0
- 応答時間(平均)
- 36.17s
- 応答時間(合計)
- 795.83s
- 応答時間(最大)
- 247.27s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)20.18s
応答時間(最大)26.54s
応答時間(合計)80.73s
-
コーディング
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)17.13s
応答時間(最大)24.90s
応答時間(合計)51.40s
-
複合
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)179.61s
応答時間(最大)247.27s
応答時間(合計)359.23s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.79s
応答時間(最大)23.85s
応答時間(合計)47.57s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)15.31s
応答時間(最大)27.66s
応答時間(合計)45.92s
-
汎用知能
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)23.74s
応答時間(最大)23.74s
応答時間(合計)23.74s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)17.54s
応答時間(最大)18.51s
応答時間(合計)35.08s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1 不正解: 1
応答時間(平均)23.72s
応答時間(最大)29.24s
応答時間(合計)71.16s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)77.93s
応答時間(最大)77.93s
応答時間(合計)77.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.07s
応答時間(最大)3.07s
応答時間(合計)3.07s
|
| #215#215 |
Mimo V2 Omninoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.5… |
Xiaomi |
$0.021
↓
…
|
2.44s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 API エラー: 1 余分な書式: 1 指示に従っていない: 1
応答時間(平均)2.44s
応答時間(最大)6.81s
応答時間(合計)48.81s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 13
- 試行ごとの合格率
- 37.9%
- 入力トークン
- 40,852
- 出力トークン
- 3,314
- 推論トークン
- 0
- 応答時間(平均)
- 2.44s
- 応答時間(合計)
- 48.81s
- 応答時間(最大)
- 6.81s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1
応答時間(平均)1.63s
応答時間(最大)3.29s
応答時間(合計)6.52s
-
コーディング
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 余分な書式: 1 不正解: 1
応答時間(平均)2.75s
応答時間(最大)3.79s
応答時間(合計)5.50s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.96s
応答時間(最大)5.96s
応答時間(合計)5.96s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.76s
応答時間(最大)2.60s
応答時間(合計)3.51s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.10s
応答時間(最大)3.58s
応答時間(合計)6.30s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.33s
応答時間(最大)2.33s
応答時間(合計)2.33s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.26s
応答時間(最大)6.81s
応答時間(合計)8.51s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.16s
応答時間(最大)1.55s
応答時間(合計)3.48s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.40s
応答時間(最大)5.40s
応答時間(合計)5.40s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.30s
応答時間(最大)1.30s
応答時間(合計)1.30s
|
| #214#214 |
Qwen3.8 27Bnone候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。
|
5.5… |
Qwen |
~$0.006
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 0.0572 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.005659.
|
3.12s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)3.12s
応答時間(最大)44.76s
応答時間(合計)68.69s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 40.9%
- 入力トークン
- 122,463
- 出力トークン
- 11,445
- 推論トークン
- 0
- 応答時間(平均)
- 3.12s
- 応答時間(合計)
- 68.69s
- 応答時間(最大)
- 44.76s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)828ms
応答時間(最大)1.95s
応答時間(合計)3.31s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.19s
応答時間(最大)1.97s
応答時間(合計)3.56s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)24.10s
応答時間(最大)44.76s
応答時間(合計)48.21s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.14s
応答時間(最大)1.18s
応答時間(合計)2.27s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)552ms
応答時間(最大)675ms
応答時間(合計)1.66s
-
汎用知能
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.31s
応答時間(最大)1.31s
応答時間(合計)1.31s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)582ms
応答時間(最大)633ms
応答時間(合計)1.16s
-
パズル解決
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.25s
応答時間(最大)1.84s
応答時間(合計)3.76s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.75s
応答時間(最大)2.75s
応答時間(合計)2.75s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)703ms
応答時間(最大)703ms
応答時間(合計)703ms
|
| #213#213 |
Hy3 previewlowアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.5… |
Tencent |
$0.042
↕
…
|
24.56s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 7 不正解: 4
応答時間(平均)24.56s
応答時間(最大)78.74s
応答時間(合計)368.35s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 11
- 試行ごとの合格率
- 50.0%
- 入力トークン
- 21,045
- 出力トークン
- 63,460
- 推論トークン
- 0
- 応答時間(平均)
- 24.56s
- 応答時間(合計)
- 368.35s
- 応答時間(最大)
- 78.74s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)9.32s
応答時間(最大)12.36s
応答時間(合計)27.96s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)27.94s
応答時間(最大)27.94s
応答時間(合計)27.94s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)78.74s
応答時間(最大)78.74s
応答時間(合計)78.74s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)5.85s
応答時間(最大)5.85s
応答時間(合計)5.85s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)40.44s
応答時間(最大)46.32s
応答時間(合計)121.31s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.98s
応答時間(最大)22.24s
応答時間(合計)31.97s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)7.51s
応答時間(最大)7.86s
応答時間(合計)15.02s
-
ツール呼び出し
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)17.84s
応答時間(最大)17.84s
応答時間(合計)17.84s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)41.74s
応答時間(最大)41.74s
応答時間(合計)41.74s
|
| #212#212 |
Qwen3.6 27Bnone
|
5.5… |
Qwen |
$0.116
↑
…
|
10.62s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 2 無効なツール呼び出し: 2
応答時間(平均)10.62s
応答時間(最大)156.31s
応答時間(合計)233.68s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 15
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 95,805
- 出力トークン
- 16,156
- 推論トークン
- 0
- 応答時間(平均)
- 10.62s
- 応答時間(合計)
- 233.68s
- 応答時間(最大)
- 156.31s
-
反AIトリック
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.83s
応答時間(最大)7.62s
応答時間(合計)11.33s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.16s
応答時間(最大)10.18s
応答時間(合計)12.49s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)83.13s
応答時間(最大)156.31s
応答時間(合計)166.26s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.06s
応答時間(最大)2.39s
応答時間(合計)4.11s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.79s
応答時間(最大)4.83s
応答時間(合計)8.37s
-
汎用知能
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.07s
応答時間(最大)1.07s
応答時間(合計)1.07s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.92s
応答時間(最大)1.94s
応答時間(合計)3.83s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.15s
応答時間(最大)11.82s
応答時間(合計)15.45s
-
ツール呼び出し
: 9.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.74s
応答時間(最大)6.74s
応答時間(合計)6.74s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.03s
応答時間(最大)4.03s
応答時間(合計)4.03s
|
| #211#211 |
Nemotron 3.5 Lightninghigh
|
5.6… |
NVIDIA |
$0.168
↕
…
|
58.26s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 4 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)58.26s
応答時間(最大)285.26s
応答時間(合計)1281.79s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 50.0%
- 入力トークン
- 118,016
- 出力トークン
- 148,344
- 推論トークン
- 506,253
- 応答時間(平均)
- 58.26s
- 応答時間(合計)
- 1281.79s
- 応答時間(最大)
- 285.26s
-
反AIトリック
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)10.29s
応答時間(最大)17.68s
応答時間(合計)41.16s
-
コーディング
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)168.41s
応答時間(最大)280.94s
応答時間(合計)505.22s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)160.45s
応答時間(最大)285.26s
応答時間(合計)320.90s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)13.99s
応答時間(最大)18.67s
応答時間(合計)27.97s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)88.61s
応答時間(最大)226.92s
応答時間(合計)265.83s
-
汎用知能
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.58s
応答時間(最大)7.58s
応答時間(合計)7.58s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.98s
応答時間(最大)5.05s
応答時間(合計)9.97s
-
パズル解決
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)6.09s
応答時間(最大)10.09s
応答時間(合計)18.26s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.92s
応答時間(最大)6.92s
応答時間(合計)6.92s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)77.98s
応答時間(最大)77.98s
応答時間(合計)77.98s
|
| #210#210 |
KAT-Coder-Air V2.5medium
|
5.6… |
Kwaipilot |
$0.048
…
|
8.65s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1
応答時間(平均)8.65s
応答時間(最大)48.19s
応答時間(合計)190.35s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 14
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 51,369
- 出力トークン
- 8,008
- 推論トークン
- 58,568
- 応答時間(平均)
- 8.65s
- 応答時間(合計)
- 190.35s
- 応答時間(最大)
- 48.19s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.79s
応答時間(最大)9.97s
応答時間(合計)15.17s
-
コーディング
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)23.37s
応答時間(最大)48.19s
応答時間(合計)70.10s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)19.56s
応答時間(最大)27.68s
応答時間(合計)39.11s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.65s
応答時間(最大)4.88s
応答時間(合計)7.31s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)6.58s
応答時間(最大)7.90s
応答時間(合計)19.73s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.81s
応答時間(最大)9.81s
応答時間(合計)9.81s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.50s
応答時間(最大)1.88s
応答時間(合計)3.00s
-
パズル解決
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.87s
応答時間(最大)2.41s
応答時間(合計)5.61s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.77s
応答時間(最大)4.77s
応答時間(合計)4.77s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)15.74s
応答時間(最大)15.74s
応答時間(合計)15.74s
|
| #209#209 |
Owl Alphanoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.6… |
Openrouter |
$0.000
…
|
9.88s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 指示に従っていない: 3 余分な書式: 1
応答時間(平均)9.88s
応答時間(最大)47.10s
応答時間(合計)207.38s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 14
- 試行ごとの合格率
- 34.9%
- 入力トークン
- 42,283
- 出力トークン
- 5,913
- 推論トークン
- 0
- 応答時間(平均)
- 9.88s
- 応答時間(合計)
- 207.38s
- 応答時間(最大)
- 47.10s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1
応答時間(平均)2.78s
応答時間(最大)3.09s
応答時間(合計)11.10s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)36.89s
応答時間(最大)47.10s
応答時間(合計)110.66s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)21.74s
応答時間(最大)21.74s
応答時間(合計)21.74s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.60s
応答時間(最大)3.92s
応答時間(合計)7.19s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.00s
応答時間(最大)4.69s
応答時間(合計)8.99s
-
汎用知能
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.61s
応答時間(最大)4.61s
応答時間(合計)4.61s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.63s
応答時間(最大)2.77s
応答時間(合計)5.27s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)4.18s
応答時間(最大)8.27s
応答時間(合計)12.54s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)22.78s
応答時間(最大)22.78s
応答時間(合計)22.78s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.50s
応答時間(最大)2.50s
応答時間(合計)2.50s
|
| #208#208 |
Mimo V2 PROnoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.6… |
Xiaomi |
$0.045
↓
…
|
2.27s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 2 API エラー: 1
応答時間(平均)2.27s
応答時間(最大)6.58s
応答時間(合計)45.50s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 14
- 試行ごとの合格率
- 39.4%
- 入力トークン
- 39,344
- 出力トークン
- 2,352
- 推論トークン
- 0
- 応答時間(平均)
- 2.27s
- 応答時間(合計)
- 45.50s
- 応答時間(最大)
- 6.58s
-
反AIトリック
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.80s
応答時間(最大)2.62s
応答時間(合計)7.19s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)2.65s
応答時間(最大)3.82s
応答時間(合計)5.30s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.58s
応答時間(最大)6.58s
応答時間(合計)6.58s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.39s
応答時間(最大)1.42s
応答時間(合計)2.78s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.78s
応答時間(最大)2.49s
応答時間(合計)5.34s
-
汎用知能
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.44s
応答時間(最大)2.44s
応答時間(合計)2.44s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.51s
応答時間(最大)2.95s
応答時間(合計)5.02s
-
パズル解決
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.61s
応答時間(最大)2.15s
応答時間(合計)4.83s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.39s
応答時間(最大)4.39s
応答時間(合計)4.39s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.63s
応答時間(最大)1.63s
応答時間(合計)1.63s
|
| #207#207 |
Gemma 4 26B A4Bnone
|
5.6… |
Google |
$0.023
↑
…
|
7.58s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 2 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)7.58s
応答時間(最大)57.10s
応答時間(合計)166.82s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 43.9%
- 入力トークン
- 131,257
- 出力トークン
- 15,781
- 推論トークン
- 0
- 応答時間(平均)
- 7.58s
- 応答時間(合計)
- 166.82s
- 応答時間(最大)
- 57.10s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.28s
応答時間(最大)2.09s
応答時間(合計)5.13s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)4.16s
応答時間(最大)7.07s
応答時間(合計)12.48s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)37.23s
応答時間(最大)43.93s
応答時間(合計)74.46s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.70s
応答時間(最大)2.21s
応答時間(合計)3.41s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.10s
応答時間(最大)4.23s
応答時間(合計)6.31s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.54s
応答時間(最大)3.54s
応答時間(合計)3.54s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)690ms
応答時間(最大)878ms
応答時間(合計)1.38s
-
パズル解決
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)744ms
応答時間(最大)972ms
応答時間(合計)2.23s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)57.10s
応答時間(最大)57.10s
応答時間(合計)57.10s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)778ms
応答時間(最大)778ms
応答時間(合計)778ms
|
| #206#206 |
Owl Alphamediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.6… |
Openrouter |
$0.000
…
|
11.95s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 指示に従っていない: 2 API エラー: 1
応答時間(平均)11.95s
応答時間(最大)58.63s
応答時間(合計)250.88s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 13
- 試行ごとの合格率
- 37.9%
- 入力トークン
- 43,478
- 出力トークン
- 2,974
- 推論トークン
- 0
- 応答時間(平均)
- 11.95s
- 応答時間(合計)
- 250.88s
- 応答時間(最大)
- 58.63s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.97s
応答時間(最大)7.48s
応答時間(合計)15.89s
-
コーディング
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)18.74s
応答時間(最大)30.81s
応答時間(合計)56.21s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.01s
応答時間(最大)10.01s
応答時間(合計)10.01s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.64s
応答時間(最大)29.16s
応答時間(合計)43.28s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.58s
応答時間(最大)9.48s
応答時間(合計)25.74s
-
汎用知能
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)58.63s
応答時間(最大)58.63s
応答時間(合計)58.63s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.15s
応答時間(最大)15.94s
応答時間(合計)20.30s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)3.40s
応答時間(最大)4.60s
応答時間(合計)10.19s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.26s
応答時間(最大)8.26s
応答時間(合計)8.26s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.38s
応答時間(最大)2.38s
応答時間(合計)2.38s
|
| #205#205 |
GLM 5V Turbononeアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.6… |
Z.ai |
$0.052
…
|
2.99s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 2
応答時間(平均)2.99s
応答時間(最大)6.51s
応答時間(合計)62.74s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 13
- 試行ごとの合格率
- 36.4%
- 入力トークン
- 37,100
- 出力トークン
- 1,766
- 推論トークン
- 0
- 応答時間(平均)
- 2.99s
- 応答時間(合計)
- 62.74s
- 応答時間(最大)
- 6.51s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.13s
応答時間(最大)5.90s
応答時間(合計)12.50s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.13s
応答時間(最大)5.30s
応答時間(合計)9.40s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.51s
応答時間(最大)6.51s
応答時間(合計)6.51s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.81s
応答時間(最大)5.69s
応答時間(合計)7.62s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.09s
応答時間(最大)2.39s
応答時間(合計)6.26s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.22s
応答時間(最大)2.22s
応答時間(合計)2.22s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.97s
応答時間(最大)2.43s
応答時間(合計)3.93s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.40s
応答時間(最大)3.81s
応答時間(合計)7.21s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.86s
応答時間(最大)4.86s
応答時間(合計)4.86s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.23s
応答時間(最大)2.23s
応答時間(合計)2.23s
|
| #204#204 |
KAT-Coder-Air V2.5high
|
5.6… |
Kwaipilot |
$0.077
…
|
15.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 3 余分な書式: 3
応答時間(平均)15.87s
応答時間(最大)118.35s
応答時間(合計)349.16s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 15
- 試行ごとの合格率
- 42.4%
- 入力トークン
- 50,423
- 出力トークン
- 4,144
- 推論トークン
- 110,510
- 応答時間(平均)
- 15.87s
- 応答時間(合計)
- 349.16s
- 応答時間(最大)
- 118.35s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)2.49s
応答時間(最大)3.97s
応答時間(合計)9.97s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 余分な書式: 1 不正解: 1
応答時間(平均)39.07s
応答時間(最大)104.98s
応答時間(合計)117.21s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)74.48s
応答時間(最大)118.35s
応答時間(合計)148.95s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.59s
応答時間(最大)4.92s
応答時間(合計)7.18s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)7.28s
応答時間(最大)8.71s
応答時間(合計)21.85s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.10s
応答時間(最大)7.10s
応答時間(合計)7.10s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.51s
応答時間(最大)1.91s
応答時間(合計)3.01s
-
パズル解決
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.47s
応答時間(最大)2.86s
応答時間(合計)7.40s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.77s
応答時間(最大)4.77s
応答時間(合計)4.77s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)21.72s
応答時間(最大)21.72s
応答時間(合計)21.72s
|
| #203#203 |
Gemini 3.1 Flash Litehighアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.6… |
Google |
$2.044
…
|
61.96s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 3 回答なし: 1
応答時間(平均)61.96s
応答時間(最大)149.23s
応答時間(合計)1115.31s
…
|
- 合計テスト数
- 18
- 誤答テスト数
- 8
- 試行ごとの合格率
- 56.1%
- 入力トークン
- 29,134
- 出力トークン
- 1,984
- 推論トークン
- 1,355,583
- 応答時間(平均)
- 61.96s
- 応答時間(合計)
- 1115.31s
- 応答時間(最大)
- 149.23s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)37.16s
応答時間(最大)140.53s
応答時間(合計)148.65s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)137.63s
応答時間(最大)137.63s
応答時間(合計)137.63s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)149.23s
応答時間(最大)149.23s
応答時間(合計)149.23s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.49s
応答時間(最大)4.96s
応答時間(合計)8.98s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)139.90s
応答時間(最大)141.40s
応答時間(合計)419.69s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)45.69s
応答時間(最大)45.69s
応答時間(合計)45.69s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)23.26s
応答時間(最大)43.87s
応答時間(合計)46.51s
-
パズル解決
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2
応答時間(平均)50.83s
応答時間(最大)144.85s
応答時間(合計)152.49s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.44s
応答時間(最大)6.44s
応答時間(合計)6.44s
-
雑学
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #202#202 |
Qwen3.5-122B-A10Bnone
|
5.7… |
Qwen |
$0.283
↑
…
|
12.93s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)12.93s
応答時間(最大)212.63s
応答時間(合計)284.39s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 33.3%
- 入力トークン
- 241,575
- 出力トークン
- 88,459
- 推論トークン
- 0
- 応答時間(平均)
- 12.93s
- 応答時間(合計)
- 284.39s
- 応答時間(最大)
- 212.63s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.59s
応答時間(最大)3.60s
応答時間(合計)6.38s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.77s
応答時間(最大)4.03s
応答時間(合計)8.32s
-
複合
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)129.31s
応答時間(最大)212.63s
応答時間(合計)258.63s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.01s
応答時間(最大)1.06s
応答時間(合計)2.02s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)523ms
応答時間(最大)609ms
応答時間(合計)1.57s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.12s
応答時間(最大)1.12s
応答時間(合計)1.12s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)513ms
応答時間(最大)570ms
応答時間(合計)1.03s
-
パズル解決
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.00s
応答時間(最大)1.41s
応答時間(合計)3.00s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.04s
応答時間(最大)2.04s
応答時間(合計)2.04s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)295ms
応答時間(最大)295ms
応答時間(合計)295ms
|
| #201#201 |
Kimi K2.6none
|
5.7… |
Moonshot AI |
$0.133
↓
…
|
19.57s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 指示に従っていない: 3 回答なし: 1
応答時間(平均)19.57s
応答時間(最大)238.89s
応答時間(合計)430.58s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 30.3%
- 入力トークン
- 116,983
- 出力トークン
- 30,249
- 推論トークン
- 0
- 応答時間(平均)
- 19.57s
- 応答時間(合計)
- 430.58s
- 応答時間(最大)
- 238.89s
-
反AIトリック
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.39s
応答時間(最大)2.96s
応答時間(合計)5.56s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)82.57s
応答時間(最大)238.89s
応答時間(合計)247.72s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)77.83s
応答時間(最大)152.28s
応答時間(合計)155.66s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.32s
応答時間(最大)1.39s
応答時間(合計)2.64s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.39s
応答時間(最大)1.77s
応答時間(合計)4.18s
-
汎用知能
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.55s
応答時間(最大)1.55s
応答時間(合計)1.55s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.64s
応答時間(最大)1.80s
応答時間(合計)3.28s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.40s
応答時間(最大)1.81s
応答時間(合計)4.19s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.46s
応答時間(最大)4.46s
応答時間(合計)4.46s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.36s
応答時間(最大)1.36s
応答時間(合計)1.36s
|
| #200#200 |
GLM 5.1none
|
5.7… |
Z.ai |
$0.164
↓
…
|
6.74s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)6.74s
応答時間(最大)61.20s
応答時間(合計)148.20s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 14
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 124,219
- 出力トークン
- 14,393
- 推論トークン
- 0
- 応答時間(平均)
- 6.74s
- 応答時間(合計)
- 148.20s
- 応答時間(最大)
- 61.20s
-
反AIトリック
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.11s
応答時間(最大)3.94s
応答時間(合計)8.46s
-
コーディング
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.96s
応答時間(最大)9.79s
応答時間(合計)14.89s
-
複合
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)46.88s
応答時間(最大)61.20s
応答時間(合計)93.77s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.08s
応答時間(最大)1.62s
応答時間(合計)2.15s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.27s
応答時間(最大)3.99s
応答時間(合計)6.80s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)790ms
応答時間(最大)790ms
応答時間(合計)790ms
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.98s
応答時間(最大)2.28s
応答時間(合計)3.97s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.45s
応答時間(最大)2.09s
応答時間(合計)4.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.68s
応答時間(最大)10.68s
応答時間(合計)10.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.34s
応答時間(最大)2.34s
応答時間(合計)2.34s
|
| #199#199 |
Ling-3.0-flashnone
|
5.7… |
Inclusionai |
$0.004
↕
…
|
3.56s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 API エラー: 1 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)3.56s
応答時間(最大)17.51s
応答時間(合計)74.74s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 123,993
- 出力トークン
- 12,777
- 推論トークン
- 0
- 応答時間(平均)
- 3.56s
- 応答時間(合計)
- 74.74s
- 応答時間(最大)
- 17.51s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.34s
応答時間(最大)9.88s
応答時間(合計)13.36s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)6.39s
応答時間(最大)17.51s
応答時間(合計)19.16s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)8.58s
応答時間(最大)11.54s
応答時間(合計)17.17s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.10s
応答時間(最大)1.23s
応答時間(合計)2.21s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)840ms
応答時間(最大)892ms
応答時間(合計)1.68s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.58s
応答時間(最大)1.58s
応答時間(合計)1.58s
-
指示追従
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)836ms
応答時間(最大)860ms
応答時間(合計)1.67s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.49s
応答時間(最大)2.55s
応答時間(合計)4.46s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.85s
応答時間(最大)2.85s
応答時間(合計)2.85s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.61s
応答時間(最大)10.61s
応答時間(合計)10.61s
|
| #198#198 |
Inkling Smalllow
|
5.7… |
Thinkingmachines |
$0.055
↓
…
|
2.07s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 2 無効なツール呼び出し: 2
応答時間(平均)2.07s
応答時間(最大)5.82s
応答時間(合計)45.64s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 50.0%
- 入力トークン
- 81,447
- 出力トークン
- 2,715
- 推論トークン
- 11,971
- 応答時間(平均)
- 2.07s
- 応答時間(合計)
- 45.64s
- 応答時間(最大)
- 5.82s
-
反AIトリック
: 9.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.81s
応答時間(最大)3.73s
応答時間(合計)7.25s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.70s
応答時間(最大)5.82s
応答時間(合計)11.10s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)4.08s
応答時間(最大)4.59s
応答時間(合計)8.15s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.25s
応答時間(最大)1.32s
応答時間(合計)2.50s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)852ms
応答時間(最大)918ms
応答時間(合計)2.56s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.42s
応答時間(最大)1.42s
応答時間(合計)1.42s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.89s
応答時間(最大)2.18s
応答時間(合計)3.78s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.56s
応答時間(最大)2.38s
応答時間(合計)4.68s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)2.21s
応答時間(最大)2.21s
応答時間(合計)2.21s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.00s
応答時間(最大)2.00s
応答時間(合計)2.00s
|