| #106#106 |
Gemini 3.1 Flash Lite Previewnone
|
6.4… |
Google |
$0.052
…
|
1.58s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 2 回答なし: 1
応答時間(平均)1.58s
応答時間(最大)9.27s
応答時間(合計)34.72s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 57.6%
- 入力トークン
- 120,942
- 出力トークン
- 14,292
- 推論トークン
- 0
- 応答時間(平均)
- 1.58s
- 応答時間(合計)
- 34.72s
- 応答時間(最大)
- 9.27s
-
反AIトリック
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.04s
応答時間(最大)1.47s
応答時間(合計)4.17s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)967ms
応答時間(最大)1.47s
応答時間(合計)2.90s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)6.23s
応答時間(最大)9.27s
応答時間(合計)12.46s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.22s
応答時間(最大)1.33s
応答時間(合計)2.44s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)942ms
応答時間(最大)1.12s
応答時間(合計)2.83s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)741ms
応答時間(最大)741ms
応答時間(合計)741ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.14s
応答時間(合計)2.27s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)900ms
応答時間(最大)962ms
応答時間(合計)2.70s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.39s
応答時間(最大)3.39s
応答時間(合計)3.39s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)814ms
応答時間(最大)814ms
応答時間(合計)814ms
|
| #173#173 |
DeepSeek V3.2none
|
5.0… |
DeepSeek |
$0.054
↑
…
|
18.25s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 4 余分な書式: 2 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)18.25s
応答時間(最大)115.89s
応答時間(合計)401.60s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 37.9%
- 入力トークン
- 135,780
- 出力トークン
- 42,097
- 推論トークン
- 0
- 応答時間(平均)
- 18.25s
- 応答時間(合計)
- 401.60s
- 応答時間(最大)
- 115.89s
-
反AIトリック
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 API エラー: 1 不正解: 1
応答時間(平均)9.35s
応答時間(最大)16.77s
応答時間(合計)37.40s
-
コーディング
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)14.54s
応答時間(最大)34.11s
応答時間(合計)43.62s
-
複合
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)113.53s
応答時間(最大)115.89s
応答時間(合計)227.06s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.42s
応答時間(最大)16.20s
応答時間(合計)18.84s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)4.17s
応答時間(最大)9.09s
応答時間(合計)12.51s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)9.32s
応答時間(最大)9.32s
応答時間(合計)9.32s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.52s
応答時間(最大)1.99s
応答時間(合計)3.04s
-
パズル解決
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)6.91s
応答時間(最大)10.09s
応答時間(合計)20.74s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.85s
応答時間(最大)11.85s
応答時間(合計)11.85s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.23s
応答時間(最大)17.23s
応答時間(合計)17.23s
|
| #197#197 |
Grok 4.20none
|
4.1… |
X AI |
$0.057
↓
…
|
1.11s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)1.11s
応答時間(最大)6.04s
応答時間(合計)19.96s
…
|
- 合計テスト数
- 18
- 誤答テスト数
- 12
- 信頼性
- 該当なしこのモデルの信頼性テレメトリは利用できません。
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 41,313
- 出力トークン
- 1,923
- 推論トークン
- 0
- 応答時間(平均)
- 1.11s
- 応答時間(合計)
- 19.96s
- 応答時間(最大)
- 6.04s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)501ms
応答時間(最大)839ms
応答時間(合計)2.01s
-
コーディング
: 1.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.22s
応答時間(最大)1.22s
応答時間(合計)1.22s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)6.04s
応答時間(最大)6.04s
応答時間(合計)6.04s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)522ms
応答時間(最大)537ms
応答時間(合計)1.04s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)687ms
応答時間(最大)821ms
応答時間(合計)2.06s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)659ms
応答時間(最大)659ms
応答時間(合計)659ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)445ms
応答時間(最大)505ms
応答時間(合計)889ms
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)473ms
応答時間(最大)502ms
応答時間(合計)1.42s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.63s
応答時間(最大)4.63s
応答時間(合計)4.63s
-
雑学
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #161#161 |
Qwen3.6 35B A3Bnone
|
5.3… |
Qwen |
$0.061
↑
…
|
5.52s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 API エラー: 2 指示に従っていない: 2 回答なし: 1
応答時間(平均)5.52s
応答時間(最大)39.54s
応答時間(合計)110.40s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 31.8%
- 入力トークン
- 93,979
- 出力トークン
- 46,957
- 推論トークン
- 0
- 応答時間(平均)
- 5.52s
- 応答時間(合計)
- 110.40s
- 応答時間(最大)
- 39.54s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.10s
応答時間(最大)6.15s
応答時間(合計)8.41s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.77s
応答時間(最大)22.52s
応答時間(合計)26.32s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 回答なし: 1
応答時間(平均)39.54s
応答時間(最大)39.54s
応答時間(合計)39.54s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.46s
応答時間(最大)2.03s
応答時間(合計)2.93s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)7.45s
応答時間(最大)12.46s
応答時間(合計)22.35s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.51s
応答時間(最大)3.51s
応答時間(合計)3.51s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.86s
応答時間(最大)2.83s
応答時間(合計)3.73s
-
パズル解決
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)1.07s
応答時間(最大)1.24s
応答時間(合計)3.20s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)414ms
応答時間(最大)414ms
応答時間(合計)414ms
|
| #124#124 |
Qwen3.6 Flashnone
|
6.1… |
Qwen |
$0.062
↓
…
|
3.74s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)3.74s
応答時間(最大)48.79s
応答時間(合計)82.38s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 15
- 試行ごとの合格率
- 34.9%
- 入力トークン
- 139,788
- 出力トークン
- 30,947
- 推論トークン
- 0
- 応答時間(平均)
- 3.74s
- 応答時間(合計)
- 82.38s
- 応答時間(最大)
- 48.79s
-
反AIトリック
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.63s
応答時間(最大)4.60s
応答時間(合計)6.51s
-
コーディング
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.79s
応答時間(最大)2.46s
応答時間(合計)5.36s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)26.50s
応答時間(最大)48.79s
応答時間(合計)53.01s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.13s
応答時間(最大)3.35s
応答時間(合計)4.26s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.11s
応答時間(最大)1.89s
応答時間(合計)3.32s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)947ms
応答時間(最大)947ms
応答時間(合計)947ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.10s
応答時間(最大)1.36s
応答時間(合計)2.19s
-
パズル解決
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.21s
応答時間(最大)1.80s
応答時間(合計)3.64s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.49s
応答時間(最大)2.49s
応答時間(合計)2.49s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)649ms
応答時間(最大)649ms
応答時間(合計)649ms
|
| #116#116 |
Seed-2.0-Litenone
|
6.2… |
Bytedance Seed |
$0.066
…
|
4.40s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 回答なし: 1
応答時間(平均)4.40s
応答時間(最大)44.58s
応答時間(合計)96.84s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 14
- 試行ごとの合格率
- 43.9%
- 入力トークン
- 142,197
- 出力トークン
- 14,746
- 推論トークン
- 0
- 応答時間(平均)
- 4.40s
- 応答時間(合計)
- 96.84s
- 応答時間(最大)
- 44.58s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.43s
応答時間(最大)6.70s
応答時間(合計)9.73s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.83s
応答時間(最大)4.61s
応答時間(合計)8.49s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)25.58s
応答時間(最大)44.58s
応答時間(合計)51.17s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.82s
応答時間(最大)1.97s
応答時間(合計)3.63s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.33s
応答時間(最大)1.53s
応答時間(合計)4.00s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.45s
応答時間(最大)3.45s
応答時間(合計)3.45s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.06s
応答時間(最大)1.09s
応答時間(合計)2.12s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.78s
応答時間(最大)5.20s
応答時間(合計)8.34s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.94s
応答時間(最大)3.94s
応答時間(合計)3.94s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.96s
応答時間(最大)1.96s
応答時間(合計)1.96s
|
| #182#182 |
KAT-Coder-Air V2.5none
|
4.8… |
Kwaipilot |
$0.067
…
|
12.17s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 余分な書式: 3 API エラー: 1
応答時間(平均)12.17s
応答時間(最大)121.05s
応答時間(合計)267.83s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 37.9%
- 入力トークン
- 69,367
- 出力トークン
- 93,913
- 推論トークン
- 0
- 応答時間(平均)
- 12.17s
- 応答時間(合計)
- 267.83s
- 応答時間(最大)
- 121.05s
-
反AIトリック
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.68s
応答時間(最大)5.78s
応答時間(合計)10.73s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)14.31s
応答時間(最大)21.40s
応答時間(合計)42.94s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)73.00s
応答時間(最大)121.05s
応答時間(合計)146.00s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)2.66s
応答時間(最大)2.69s
応答時間(合計)5.33s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)6.24s
応答時間(最大)8.97s
応答時間(合計)18.72s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.02s
応答時間(最大)12.02s
応答時間(合計)12.02s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.75s
応答時間(最大)2.06s
応答時間(合計)3.50s
-
パズル解決
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.84s
応答時間(最大)2.06s
応答時間(合計)5.52s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.13s
応答時間(最大)5.13s
応答時間(合計)5.13s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.96s
応答時間(最大)17.96s
応答時間(合計)17.96s
|
| #102#102 |
Laguna XS 2.1medium
|
6.5… |
Poolside |
$0.068
…
|
47.93s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)47.93s
応答時間(最大)422.72s
応答時間(合計)1054.49s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 42.4%
- 入力トークン
- 118,989
- 出力トークン
- 30,750
- 推論トークン
- 491,833
- 応答時間(平均)
- 47.93s
- 応答時間(合計)
- 1054.49s
- 応答時間(最大)
- 422.72s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)41.96s
応答時間(最大)155.23s
応答時間(合計)167.84s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)70.35s
応答時間(最大)105.98s
応答時間(合計)211.04s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)218.07s
応答時間(最大)422.72s
応答時間(合計)436.15s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.50s
応答時間(最大)5.55s
応答時間(合計)9.00s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)65.66s
応答時間(最大)121.62s
応答時間(合計)196.99s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.15s
応答時間(最大)4.15s
応答時間(合計)4.15s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.57s
応答時間(最大)2.61s
応答時間(合計)5.15s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.43s
応答時間(最大)4.37s
応答時間(合計)10.29s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.01s
応答時間(最大)3.01s
応答時間(合計)3.01s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.88s
応答時間(最大)10.88s
応答時間(合計)10.88s
|
| #154#154 |
MiMo-V2.5-Pronone
|
5.5… |
Xiaomi |
$0.068
↓
…
|
4.12s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 4 回答なし: 1
応答時間(平均)4.12s
応答時間(最大)53.13s
応答時間(合計)90.55s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 37.9%
- 入力トークン
- 124,799
- 出力トークン
- 15,362
- 推論トークン
- 0
- 応答時間(平均)
- 4.12s
- 応答時間(合計)
- 90.55s
- 応答時間(最大)
- 53.13s
-
反AIトリック
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1
応答時間(平均)2.67s
応答時間(最大)8.32s
応答時間(合計)10.67s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.41s
応答時間(最大)2.39s
応答時間(合計)4.23s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 回答なし: 1
応答時間(平均)28.33s
応答時間(最大)53.13s
応答時間(合計)56.67s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.32s
応答時間(最大)1.42s
応答時間(合計)2.64s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)877ms
応答時間(最大)904ms
応答時間(合計)2.63s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.58s
応答時間(最大)2.58s
応答時間(合計)2.58s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.03s
応答時間(最大)1.10s
応答時間(合計)2.06s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.30s
応答時間(最大)1.61s
応答時間(合計)3.90s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.30s
応答時間(最大)3.30s
応答時間(合計)3.30s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.89s
応答時間(最大)1.89s
応答時間(合計)1.89s
|
| #185#185 |
Grok 4.1 Fastmediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.7… |
X AI |
$0.069
↑
…
|
23.85s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 4 不正解: 4 回答なし: 1 タイムアウト: 1
応答時間(平均)23.85s
応答時間(最大)121.79s
応答時間(合計)286.16s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 10
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 42,845
- 出力トークン
- 2,006
- 推論トークン
- 96,334
- 応答時間(平均)
- 23.85s
- 応答時間(合計)
- 286.16s
- 応答時間(最大)
- 121.79s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.81s
応答時間(最大)5.65s
応答時間(合計)7.62s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)23.58s
応答時間(最大)23.58s
応答時間(合計)23.58s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.64s
応答時間(最大)37.64s
応答時間(合計)37.64s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.63s
応答時間(最大)6.63s
応答時間(合計)6.63s
-
ドメイン特化
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)121.79s
応答時間(最大)121.79s
応答時間(合計)121.79s
-
汎用知能
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)16.25s
応答時間(最大)16.25s
応答時間(合計)16.25s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.63s
応答時間(最大)4.63s
応答時間(合計)4.63s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)7.40s
応答時間(最大)7.79s
応答時間(合計)14.81s
-
ツール呼び出し
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)27.71s
応答時間(最大)27.71s
応答時間(合計)27.71s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.52s
応答時間(最大)25.52s
応答時間(合計)25.52s
|
| #107#107 |
Qwen3.5 Plus 2026-02-15none
|
6.4… |
Qwen |
$0.073
↓
…
|
9.85s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12
応答時間(平均)9.85s
応答時間(最大)123.00s
応答時間(合計)157.63s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 48.5%
- 入力トークン
- 102,646
- 出力トークン
- 29,370
- 推論トークン
- 0
- 応答時間(平均)
- 9.85s
- 応答時間(合計)
- 157.63s
- 応答時間(最大)
- 123.00s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.91s
応答時間(最大)2.74s
応答時間(合計)3.82s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.05s
応答時間(最大)3.63s
応答時間(合計)6.15s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)64.83s
応答時間(最大)123.00s
応答時間(合計)129.66s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.89s
応答時間(最大)1.89s
応答時間(合計)1.89s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.17s
応答時間(最大)1.44s
応答時間(合計)2.33s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.26s
応答時間(最大)2.26s
応答時間(合計)2.26s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.67s
応答時間(最大)1.67s
応答時間(合計)1.67s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.71s
応答時間(最大)3.29s
応答時間(合計)5.41s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.33s
応答時間(最大)3.33s
応答時間(合計)3.33s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.11s
応答時間(最大)1.11s
応答時間(合計)1.11s
|
| #125#125 |
Qwen3.5-Flashnone
|
6.1… |
Qwen |
$0.073
↓
…
|
25.28s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 無効なツール呼び出し: 1
応答時間(平均)25.28s
応答時間(最大)480.96s
応答時間(合計)556.24s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 14
- 試行ごとの合格率
- 39.4%
- 入力トークン
- 282,347
- 出力トークン
- 209,201
- 推論トークン
- 0
- 応答時間(平均)
- 25.28s
- 応答時間(合計)
- 556.24s
- 応答時間(最大)
- 480.96s
-
反AIトリック
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.32s
応答時間(最大)3.89s
応答時間(合計)5.30s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)850ms
応答時間(最大)1.29s
応答時間(合計)2.55s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)243.59s
応答時間(最大)480.96s
応答時間(合計)487.17s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.57s
応答時間(最大)1.83s
応答時間(合計)3.14s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)905ms
応答時間(最大)1.10s
応答時間(合計)2.71s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)803ms
応答時間(最大)803ms
応答時間(合計)803ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.81s
応答時間(最大)13.73s
応答時間(合計)17.61s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)10.89s
応答時間(最大)27.18s
応答時間(合計)32.68s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.67s
応答時間(最大)3.67s
応答時間(合計)3.67s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)588ms
応答時間(最大)588ms
応答時間(合計)588ms
|
| #144#144 |
KAT-Coder-Air V2.5high
|
5.6… |
Kwaipilot |
$0.077
…
|
15.90s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 3 余分な書式: 3
応答時間(平均)15.90s
応答時間(最大)118.35s
応答時間(合計)349.71s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 15
- 試行ごとの合格率
- 43.9%
- 入力トークン
- 50,470
- 出力トークン
- 3,957
- 推論トークン
- 111,374
- 応答時間(平均)
- 15.90s
- 応答時間(合計)
- 349.71s
- 応答時間(最大)
- 118.35s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)2.49s
応答時間(最大)3.97s
応答時間(合計)9.97s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 余分な書式: 1 不正解: 1
応答時間(平均)39.07s
応答時間(最大)104.98s
応答時間(合計)117.21s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)74.48s
応答時間(最大)118.35s
応答時間(合計)148.95s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.59s
応答時間(最大)4.92s
応答時間(合計)7.18s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)7.47s
応答時間(最大)8.71s
応答時間(合計)22.40s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.10s
応答時間(最大)7.10s
応答時間(合計)7.10s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.51s
応答時間(最大)1.91s
応答時間(合計)3.01s
-
パズル解決
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.47s
応答時間(最大)2.86s
応答時間(合計)7.40s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.77s
応答時間(最大)4.77s
応答時間(合計)4.77s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)21.72s
応答時間(最大)21.72s
応答時間(合計)21.72s
|
| #76#76 |
DeepSeek V3.2medium
|
7.0… |
DeepSeek |
$0.078
↑
…
|
68.62s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 API エラー: 2 タイムアウト: 2 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)68.62s
応答時間(最大)376.10s
応答時間(合計)1509.53s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 101,047
- 出力トークン
- 11,834
- 推論トークン
- 117,014
- 応答時間(平均)
- 68.62s
- 応答時間(合計)
- 1509.53s
- 応答時間(最大)
- 376.10s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)24.23s
応答時間(最大)29.86s
応答時間(合計)96.93s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)248.68s
応答時間(最大)376.10s
応答時間(合計)746.04s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)79.92s
応答時間(最大)93.11s
応答時間(合計)159.83s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)36.09s
応答時間(最大)39.12s
応答時間(合計)72.18s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)24.27s
応答時間(最大)33.91s
応答時間(合計)72.82s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)58.29s
応答時間(最大)58.29s
応答時間(合計)58.29s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)35.78s
応答時間(最大)47.30s
応答時間(合計)71.56s
-
パズル解決
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)37.69s
応答時間(最大)59.22s
応答時間(合計)113.08s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.81s
応答時間(最大)34.81s
応答時間(合計)34.81s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)83.99s
応答時間(最大)83.99s
応答時間(合計)83.99s
|
| #101#101 |
MiMo-V2.5medium
|
6.5… |
Xiaomi |
$0.082
↓
…
|
32.20s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 余分な書式: 2 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)32.20s
応答時間(最大)162.44s
応答時間(合計)708.46s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 105,447
- 出力トークン
- 7,120
- 推論トークン
- 230,682
- 応答時間(平均)
- 32.20s
- 応答時間(合計)
- 708.46s
- 応答時間(最大)
- 162.44s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.14s
応答時間(最大)12.41s
応答時間(合計)16.57s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)97.14s
応答時間(最大)162.44s
応答時間(合計)291.41s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)77.97s
応答時間(最大)139.08s
応答時間(合計)155.93s
-
データ解析と抽出
: 2.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)6.33s
応答時間(最大)7.45s
応答時間(合計)12.67s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)34.53s
応答時間(最大)86.93s
応答時間(合計)103.59s
-
汎用知能
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.37s
応答時間(最大)5.37s
応答時間(合計)5.37s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.80s
応答時間(最大)1.81s
応答時間(合計)3.60s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)20.25s
応答時間(最大)57.93s
応答時間(合計)60.76s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.29s
応答時間(最大)7.29s
応答時間(合計)7.29s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)51.29s
応答時間(最大)51.29s
応答時間(合計)51.29s
|
| #89#89 |
Gemini 3 Flash Previewnone
|
6.8… |
Google |
$0.085
…
|
2.95s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 回答なし: 1
応答時間(平均)2.95s
応答時間(最大)21.19s
応答時間(合計)44.26s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 104,210
- 出力トークン
- 10,710
- 推論トークン
- 0
- 応答時間(平均)
- 2.95s
- 応答時間(合計)
- 44.26s
- 応答時間(最大)
- 21.19s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.25s
応答時間(最大)1.59s
応答時間(合計)2.49s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.80s
応答時間(最大)2.79s
応答時間(合計)5.40s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)12.38s
応答時間(最大)21.19s
応答時間(合計)24.75s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.41s
応答時間(最大)1.41s
応答時間(合計)1.41s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)963ms
応答時間(最大)963ms
応答時間(合計)963ms
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.13s
応答時間(合計)1.13s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.58s
応答時間(最大)1.58s
応答時間(合計)1.58s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.05s
応答時間(最大)1.06s
応答時間(合計)2.11s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.35s
応答時間(最大)3.35s
応答時間(合計)3.35s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.07s
応答時間(最大)1.07s
応答時間(合計)1.07s
|
| #191#191 |
Grok 4.20 Betanoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.4… |
X AI |
$0.087
↓
…
|
1.19s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)1.19s
応答時間(最大)6.48s
応答時間(合計)21.43s
…
|
- 合計テスト数
- 18
- 誤答テスト数
- 12
- 信頼性
- 該当なしこのモデルの信頼性テレメトリは利用できません。
- 試行ごとの合格率
- 30.3%
- 入力トークン
- 40,597
- 出力トークン
- 1,657
- 推論トークン
- 0
- 応答時間(平均)
- 1.19s
- 応答時間(合計)
- 21.43s
- 応答時間(最大)
- 6.48s
-
反AIトリック
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)597ms
応答時間(最大)866ms
応答時間(合計)2.39s
-
コーディング
: 1.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.14s
応答時間(最大)1.14s
応答時間(合計)1.14s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)6.48s
応答時間(最大)6.48s
応答時間(合計)6.48s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)601ms
応答時間(最大)634ms
応答時間(合計)1.20s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)611ms
応答時間(最大)616ms
応答時間(合計)1.83s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)541ms
応答時間(最大)541ms
応答時間(合計)541ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)649ms
応答時間(最大)952ms
応答時間(合計)1.30s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)586ms
応答時間(最大)813ms
応答時間(合計)1.76s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.79s
応答時間(最大)4.79s
応答時間(合計)4.79s
-
雑学
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #152#152 |
Qwen3.6 27Bnone
|
5.5… |
Qwen |
$0.087
↑
…
|
10.65s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 2 無効なツール呼び出し: 2
応答時間(平均)10.65s
応答時間(最大)156.31s
応答時間(合計)234.39s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 15
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 95,796
- 出力トークン
- 16,155
- 推論トークン
- 0
- 応答時間(平均)
- 10.65s
- 応答時間(合計)
- 234.39s
- 応答時間(最大)
- 156.31s
-
反AIトリック
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.83s
応答時間(最大)7.62s
応答時間(合計)11.33s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.16s
応答時間(最大)10.18s
応答時間(合計)12.49s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)83.13s
応答時間(最大)156.31s
応答時間(合計)166.26s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.06s
応答時間(最大)2.39s
応答時間(合計)4.11s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.03s
応答時間(最大)4.83s
応答時間(合計)9.08s
-
汎用知能
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.07s
応答時間(最大)1.07s
応答時間(合計)1.07s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.92s
応答時間(最大)1.94s
応答時間(合計)3.83s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.15s
応答時間(最大)11.82s
応答時間(合計)15.45s
-
ツール呼び出し
: 9.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.74s
応答時間(最大)6.74s
応答時間(合計)6.74s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.03s
応答時間(最大)4.03s
応答時間(合計)4.03s
|
| #95#95 |
Gemma 4 26B A4Bmedium
|
6.6… |
Google |
$0.089
↓
…
|
103.83s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 回答なし: 2 タイムアウト: 2 無効なツール呼び出し: 1
応答時間(平均)103.83s
応答時間(最大)912.19s
応答時間(合計)2180.47s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 77,550
- 出力トークン
- 28,036
- 推論トークン
- 219,491
- 応答時間(平均)
- 103.83s
- 応答時間(合計)
- 2180.47s
- 応答時間(最大)
- 912.19s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.20s
応答時間(最大)9.64s
応答時間(合計)24.78s
-
コーディング
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 タイムアウト: 1
応答時間(平均)272.54s
応答時間(最大)369.32s
応答時間(合計)817.61s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)492.87s
応答時間(最大)912.19s
応答時間(合計)985.73s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.51s
応答時間(最大)20.57s
応答時間(合計)33.02s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)23.62s
応答時間(最大)27.00s
応答時間(合計)47.23s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)29.76s
応答時間(最大)29.76s
応答時間(合計)29.76s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.54s
応答時間(最大)21.25s
応答時間(合計)35.08s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.79s
応答時間(最大)6.85s
応答時間(合計)17.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.01s
応答時間(最大)9.01s
応答時間(合計)9.01s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)180.87s
応答時間(最大)180.87s
応答時間(合計)180.87s
|
| #103#103 |
Qwen3.5-27Bnone
|
6.5… |
Qwen |
$0.090
↑
…
|
4.76s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 指示に従っていない: 2
応答時間(平均)4.76s
応答時間(最大)69.46s
応答時間(合計)104.71s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 14
- 試行ごとの合格率
- 40.9%
- 入力トークン
- 102,316
- 出力トークン
- 24,321
- 推論トークン
- 0
- 応答時間(平均)
- 4.76s
- 応答時間(合計)
- 104.71s
- 応答時間(最大)
- 69.46s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)788ms
応答時間(最大)1.34s
応答時間(合計)3.15s
-
コーディング
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.80s
応答時間(最大)2.51s
応答時間(合計)5.40s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)39.43s
応答時間(最大)69.46s
応答時間(合計)78.86s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.43s
応答時間(最大)1.45s
応答時間(合計)2.86s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)540ms
応答時間(最大)649ms
応答時間(合計)1.62s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.51s
応答時間(最大)2.51s
応答時間(合計)2.51s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.03s
応答時間(最大)1.40s
応答時間(合計)2.06s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.38s
応答時間(最大)2.24s
応答時間(合計)4.13s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.54s
応答時間(最大)3.54s
応答時間(合計)3.54s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)599ms
応答時間(最大)599ms
応答時間(合計)599ms
|
| #78#78 |
Mercury 2medium
|
7.0… |
Inception |
$0.093
…
|
2.72s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)2.72s
応答時間(最大)14.63s
応答時間(合計)57.12s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 51.5%
- 入力トークン
- 109,572
- 出力トークン
- 10,313
- 推論トークン
- 76,806
- 応答時間(平均)
- 2.72s
- 応答時間(合計)
- 57.12s
- 応答時間(最大)
- 14.63s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.12s
応答時間(最大)2.46s
応答時間(合計)4.49s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.04s
応答時間(最大)3.06s
応答時間(合計)6.11s
-
複合
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)7.84s
応答時間(最大)12.40s
応答時間(合計)15.69s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.11s
応答時間(最大)1.47s
応答時間(合計)2.21s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)6.48s
応答時間(最大)14.63s
応答時間(合計)19.43s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)821ms
応答時間(最大)821ms
応答時間(合計)821ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.07s
応答時間(最大)1.07s
応答時間(合計)1.07s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)949ms
応答時間(最大)1.18s
応答時間(合計)2.85s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.89s
応答時間(最大)1.89s
応答時間(合計)1.89s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.58s
応答時間(最大)2.58s
応答時間(合計)2.58s
|
| #136#136 |
GPT-5.4 Mininone
|
5.9… |
OpenAI |
$0.095
…
|
1.53s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 3
応答時間(平均)1.53s
応答時間(最大)9.92s
応答時間(合計)33.74s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 33.3%
- 入力トークン
- 79,067
- 出力トークン
- 7,880
- 推論トークン
- 0
- 応答時間(平均)
- 1.53s
- 応答時間(合計)
- 33.74s
- 応答時間(最大)
- 9.92s
-
反AIトリック
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)929ms
応答時間(最大)1.55s
応答時間(合計)3.72s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)913ms
応答時間(最大)1.19s
応答時間(合計)2.74s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.22s
応答時間(最大)9.92s
応答時間(合計)12.43s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.30s
応答時間(最大)1.58s
応答時間(合計)2.61s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)937ms
応答時間(最大)1.25s
応答時間(合計)2.81s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.82s
応答時間(最大)1.82s
応答時間(合計)1.82s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)728ms
応答時間(最大)731ms
応答時間(合計)1.46s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)836ms
応答時間(最大)958ms
応答時間(合計)2.51s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.32s
応答時間(最大)2.32s
応答時間(合計)2.32s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.33s
応答時間(最大)1.33s
応答時間(合計)1.33s
|
| #129#129 |
Nemotron 3 Ultranone
|
6.1… |
NVIDIA |
$0.095
↕
…
|
3.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 API エラー: 1 指示に従っていない: 1
応答時間(平均)3.87s
応答時間(最大)37.50s
応答時間(合計)85.15s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 14
- 試行ごとの合格率
- 42.4%
- 入力トークン
- 101,275
- 出力トークン
- 9,474
- 推論トークン
- 0
- 応答時間(平均)
- 3.87s
- 応答時間(合計)
- 85.15s
- 応答時間(最大)
- 37.50s
-
反AIトリック
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.35s
応答時間(最大)6.55s
応答時間(合計)9.42s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.02s
応答時間(最大)1.83s
応答時間(合計)3.07s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)21.14s
応答時間(最大)37.50s
応答時間(合計)42.28s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.94s
応答時間(最大)2.86s
応答時間(合計)3.89s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)698ms
応答時間(最大)1.00s
応答時間(合計)2.09s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.49s
応答時間(最大)13.49s
応答時間(合計)13.49s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.46s
応答時間(最大)1.72s
応答時間(合計)2.92s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.06s
応答時間(最大)1.53s
応答時間(合計)3.17s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.99s
応答時間(最大)2.99s
応答時間(合計)2.99s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.83s
応答時間(最大)1.83s
応答時間(合計)1.83s
|
| #82#82 |
DeepSeek V4 Pronone
|
6.9… |
DeepSeek |
$0.096
…
|
11.55s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)11.55s
応答時間(最大)119.44s
応答時間(合計)254.11s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 51.5%
- 入力トークン
- 148,069
- 出力トークン
- 35,551
- 推論トークン
- 0
- 応答時間(平均)
- 11.55s
- 応答時間(合計)
- 254.11s
- 応答時間(最大)
- 119.44s
-
反AIトリック
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)4.02s
応答時間(最大)5.11s
応答時間(合計)16.10s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)13.38s
応答時間(最大)30.09s
応答時間(合計)40.15s
-
複合
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)71.59s
応答時間(最大)119.44s
応答時間(合計)143.18s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.61s
応答時間(最大)6.06s
応答時間(合計)9.23s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.72s
応答時間(最大)7.90s
応答時間(合計)11.17s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.05s
応答時間(最大)2.05s
応答時間(合計)2.05s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.12s
応答時間(最大)4.37s
応答時間(合計)8.24s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.61s
応答時間(最大)5.19s
応答時間(合計)10.83s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.40s
応答時間(最大)7.40s
応答時間(合計)7.40s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.76s
応答時間(最大)5.76s
応答時間(合計)5.76s
|
| #167#167 |
Mistral Small 4medium
|
5.1… |
Mistral |
$0.096
…
|
10.77s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 API エラー: 2 指示に従っていない: 2 回答なし: 1
応答時間(平均)10.77s
応答時間(最大)59.15s
応答時間(合計)236.94s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 42.4%
- 入力トークン
- 140,494
- 出力トークン
- 39,462
- 推論トークン
- 92,362
- 応答時間(平均)
- 10.77s
- 応答時間(合計)
- 236.94s
- 応答時間(最大)
- 59.15s
-
反AIトリック
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.67s
応答時間(最大)5.03s
応答時間(合計)10.66s
-
コーディング
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)39.98s
応答時間(最大)59.15s
応答時間(合計)119.95s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)32.40s
応答時間(最大)39.55s
応答時間(合計)64.80s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.23s
応答時間(最大)1.96s
応答時間(合計)2.46s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)6.11s
応答時間(最大)13.72s
応答時間(合計)18.34s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.05s
応答時間(最大)2.05s
応答時間(合計)2.05s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.38s
応答時間(最大)1.61s
応答時間(合計)2.75s
-
パズル解決
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)2.17s
応答時間(最大)2.60s
応答時間(合計)6.50s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.50s
応答時間(最大)3.50s
応答時間(合計)3.50s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.92s
応答時間(最大)5.92s
応答時間(合計)5.92s
|
| #80#80 |
Seed-2.0-Minimedium
|
7.0… |
Bytedance Seed |
$0.101
…
|
92.53s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 5 不正解: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)92.53s
応答時間(最大)301.78s
応答時間(合計)1665.50s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 57.6%
- 入力トークン
- 125,467
- 出力トークン
- 10,778
- 推論トークン
- 209,856
- 応答時間(平均)
- 92.53s
- 応答時間(合計)
- 1665.50s
- 応答時間(最大)
- 301.78s
-
反AIトリック
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)74.75s
応答時間(最大)182.10s
応答時間(合計)298.98s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)220.48s
応答時間(最大)243.66s
応答時間(合計)440.97s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)282.30s
応答時間(最大)301.78s
応答時間(合計)564.61s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.27s
応答時間(最大)27.52s
応答時間(合計)48.54s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 3
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)36.65s
応答時間(最大)36.65s
応答時間(合計)36.65s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.47s
応答時間(最大)19.46s
応答時間(合計)34.93s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.79s
応答時間(最大)50.78s
応答時間(合計)95.38s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)88.68s
応答時間(最大)88.68s
応答時間(合計)88.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)56.76s
応答時間(最大)56.76s
応答時間(合計)56.76s
|
| #108#108 |
Ring-2.6-1Tmedium
|
6.3… |
Inclusionai |
$0.103
↑
…
|
68.74s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 2 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)68.74s
応答時間(最大)304.19s
応答時間(合計)1374.86s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 113,604
- 出力トークン
- 123,079
- 推論トークン
- 42,754
- 応答時間(平均)
- 68.74s
- 応答時間(合計)
- 1374.86s
- 応答時間(最大)
- 304.19s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)42.21s
応答時間(最大)89.34s
応答時間(合計)168.84s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)59.65s
応答時間(最大)59.65s
応答時間(合計)59.65s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)257.28s
応答時間(最大)304.19s
応答時間(合計)514.55s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)37.36s
応答時間(最大)54.24s
応答時間(合計)74.71s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)64.92s
応答時間(最大)150.55s
応答時間(合計)194.76s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)58.26s
応答時間(最大)58.26s
応答時間(合計)58.26s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.78s
応答時間(最大)17.75s
応答時間(合計)23.55s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)20.73s
応答時間(最大)42.39s
応答時間(合計)62.19s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)104.44s
応答時間(最大)104.44s
応答時間(合計)104.44s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)113.91s
応答時間(最大)113.91s
応答時間(合計)113.91s
|
| #127#127 |
Qwen3.5-35B-A3Bnone
|
6.1… |
Qwen |
$0.106
↓
…
|
12.72s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)12.72s
応答時間(最大)209.15s
応答時間(合計)279.90s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 15
- 試行ごとの合格率
- 43.9%
- 入力トークン
- 134,521
- 出力トークン
- 86,614
- 推論トークン
- 0
- 応答時間(平均)
- 12.72s
- 応答時間(合計)
- 279.90s
- 応答時間(最大)
- 209.15s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.43s
応答時間(最大)4.39s
応答時間(合計)5.71s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.39s
応答時間(最大)2.67s
応答時間(合計)4.18s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)128.29s
応答時間(最大)209.15s
応答時間(合計)256.58s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.16s
応答時間(最大)1.42s
応答時間(合計)2.33s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)485ms
応答時間(最大)549ms
応答時間(合計)1.45s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.19s
応答時間(最大)1.19s
応答時間(合計)1.19s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)809ms
応答時間(最大)983ms
応答時間(合計)1.62s
-
パズル解決
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.35s
応答時間(最大)2.26s
応答時間(合計)4.05s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.30s
応答時間(最大)2.30s
応答時間(合計)2.30s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)493ms
応答時間(最大)493ms
応答時間(合計)493ms
|
| #71#71 |
Qwen3.7 Plusnone
|
7.2… |
Qwen |
$0.106
↓
…
|
12.09s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 指示に従っていない: 1
応答時間(平均)12.09s
応答時間(最大)206.03s
応答時間(合計)265.89s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 50.0%
- 入力トークン
- 98,824
- 出力トークン
- 58,097
- 推論トークン
- 0
- 応答時間(平均)
- 12.09s
- 応答時間(合計)
- 265.89s
- 応答時間(最大)
- 206.03s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.38s
応答時間(最大)2.69s
応答時間(合計)5.51s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.15s
応答時間(最大)4.39s
応答時間(合計)6.44s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)117.70s
応答時間(最大)206.03s
応答時間(合計)235.40s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.43s
応答時間(最大)1.57s
応答時間(合計)2.86s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)868ms
応答時間(最大)1.02s
応答時間(合計)2.60s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.33s
応答時間(最大)1.33s
応答時間(合計)1.33s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)929ms
応答時間(最大)1.05s
応答時間(合計)1.86s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.71s
応答時間(最大)2.65s
応答時間(合計)5.13s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.54s
応答時間(最大)3.54s
応答時間(合計)3.54s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.21s
応答時間(最大)1.21s
応答時間(合計)1.21s
|
| #130#130 |
Step 3.5 Flashmedium
|
6.0… |
Stepfun |
$0.108
↑
…
|
174.22s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 3 API エラー: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)174.22s
応答時間(最大)1597.85s
応答時間(合計)2613.32s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 10
- 試行ごとの合格率
- 51.5%
- 入力トークン
- 65,707
- 出力トークン
- 108,561
- 推論トークン
- 293,993
- 応答時間(平均)
- 174.22s
- 応答時間(合計)
- 2613.32s
- 応答時間(最大)
- 1597.85s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.57s
応答時間(最大)110.43s
応答時間(合計)121.72s
-
コーディング
: 2.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)258.38s
応答時間(最大)453.94s
応答時間(合計)516.77s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)813.71s
応答時間(最大)1597.85s
応答時間(合計)1627.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.01s
応答時間(最大)15.01s
応答時間(合計)15.01s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)170.45s
応答時間(最大)170.45s
応答時間(合計)170.45s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)22.39s
応答時間(最大)22.39s
応答時間(合計)22.39s
-
指示追従
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.78s
応答時間(最大)4.78s
応答時間(合計)4.78s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)7.22s
応答時間(最大)10.60s
応答時間(合計)14.44s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.91s
応答時間(最大)11.91s
応答時間(合計)11.91s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)108.45s
応答時間(最大)108.45s
応答時間(合計)108.45s
|