| #54#54 |
GPT-5.3 Chatnone
|
7.5… |
OpenAI |
$0.571
…
|
6.88s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 2
応答時間(平均)6.88s
応答時間(最大)18.33s
応答時間(合計)151.31s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 68.2%
- 入力トークン
- 78,990
- 出力トークン
- 30,854
- 推論トークン
- 0
- 応答時間(平均)
- 6.88s
- 応答時間(合計)
- 151.31s
- 応答時間(最大)
- 18.33s
-
反AIトリック
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)3.86s
応答時間(最大)7.35s
応答時間(合計)15.44s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)10.52s
応答時間(最大)11.72s
応答時間(合計)31.55s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.07s
応答時間(最大)18.19s
応答時間(合計)30.14s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.21s
応答時間(最大)2.52s
応答時間(合計)4.42s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)13.01s
応答時間(最大)18.33s
応答時間(合計)39.04s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.99s
応答時間(最大)1.99s
応答時間(合計)1.99s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.51s
応答時間(最大)4.60s
応答時間(合計)7.01s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.99s
応答時間(最大)3.16s
応答時間(合計)8.97s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.36s
応答時間(最大)8.36s
応答時間(合計)8.36s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.38s
応答時間(最大)4.38s
応答時間(合計)4.38s
|
| #55#55 |
GPT-5.6 Terralow
|
7.5… |
OpenAI |
$0.519
…
|
5.31s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 無効なツール呼び出し: 1
応答時間(平均)5.31s
応答時間(最大)19.85s
応答時間(合計)116.82s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 74.2%
- 入力トークン
- 80,295
- 出力トークン
- 4,714
- 推論トークン
- 16,469
- 応答時間(平均)
- 5.31s
- 応答時間(合計)
- 116.82s
- 応答時間(最大)
- 19.85s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.36s
応答時間(最大)3.09s
応答時間(合計)9.46s
-
コーディング
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)9.56s
応答時間(最大)19.85s
応答時間(合計)28.67s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)9.68s
応答時間(最大)14.29s
応答時間(合計)19.36s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)919ms
応答時間(最大)931ms
応答時間(合計)1.84s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.34s
応答時間(最大)11.03s
応答時間(合計)25.01s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.52s
応答時間(最大)3.52s
応答時間(合計)3.52s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.48s
応答時間(最大)1.80s
応答時間(合計)2.96s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.46s
応答時間(最大)8.85s
応答時間(合計)13.37s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.69s
応答時間(最大)6.69s
応答時間(合計)6.69s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.95s
応答時間(最大)5.95s
応答時間(合計)5.95s
|
| #58#58 |
Qwen3.5-27Bmedium
|
7.4… |
Qwen |
$1.627
↑
…
|
111.94s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)111.94s
応答時間(最大)1026.43s
応答時間(合計)2462.67s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 72.7%
- 入力トークン
- 111,635
- 出力トークン
- 15,999
- 推論トークン
- 598,430
- 応答時間(平均)
- 111.94s
- 応答時間(合計)
- 2462.67s
- 応答時間(最大)
- 1026.43s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)19.75s
応答時間(最大)49.95s
応答時間(合計)79.01s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)160.69s
応答時間(最大)234.36s
応答時間(合計)482.07s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)595.19s
応答時間(最大)1026.43s
応答時間(合計)1190.39s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)30.26s
応答時間(最大)32.03s
応答時間(合計)60.52s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)79.53s
応答時間(最大)95.52s
応答時間(合計)238.59s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)101.41s
応答時間(最大)101.41s
応答時間(合計)101.41s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.66s
応答時間(最大)32.25s
応答時間(合計)39.32s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)59.60s
応答時間(最大)123.57s
応答時間(合計)178.80s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.45s
応答時間(最大)7.45s
応答時間(合計)7.45s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)85.11s
応答時間(最大)85.11s
応答時間(合計)85.11s
|
| #64#64 |
Gemini 3.1 Flash Lite Previewmedium
|
7.3… |
Google |
$0.115
…
|
4.61s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)4.61s
応答時間(最大)18.34s
応答時間(合計)101.39s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 59.1%
- 入力トークン
- 117,480
- 出力トークン
- 10,589
- 推論トークン
- 46,394
- 応答時間(平均)
- 4.61s
- 応答時間(合計)
- 101.39s
- 応答時間(最大)
- 18.34s
-
反AIトリック
: 9.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.33s
応答時間(最大)3.89s
応答時間(合計)9.30s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.09s
応答時間(最大)4.34s
応答時間(合計)12.27s
-
複合
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)16.63s
応答時間(最大)18.34s
応答時間(合計)33.26s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.29s
応答時間(最大)2.31s
応答時間(合計)4.59s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.21s
応答時間(最大)5.86s
応答時間(合計)12.62s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.16s
応答時間(最大)3.16s
応答時間(合計)3.16s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.91s
応答時間(最大)1.93s
応答時間(合計)3.82s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.30s
応答時間(最大)9.55s
応答時間(合計)15.89s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.80s
応答時間(最大)3.80s
応答時間(合計)3.80s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.68s
応答時間(最大)2.68s
応答時間(合計)2.68s
|
| #65#65 |
Gemini 3.1 Flash Litemedium
|
7.3… |
Google |
$0.117
…
|
4.27s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)4.27s
応答時間(最大)26.22s
応答時間(合計)94.02s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 62.1%
- 入力トークン
- 104,918
- 出力トークン
- 9,168
- 推論トークン
- 51,130
- 応答時間(平均)
- 4.27s
- 応答時間(合計)
- 94.02s
- 応答時間(最大)
- 26.22s
-
反AIトリック
: 9.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.39s
応答時間(最大)3.58s
応答時間(合計)9.57s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.81s
応答時間(最大)4.25s
応答時間(合計)11.44s
-
複合
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)18.55s
応答時間(最大)26.22s
応答時間(合計)37.09s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.60s
応答時間(最大)2.69s
応答時間(合計)5.19s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.16s
応答時間(最大)3.89s
応答時間(合計)9.49s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.60s
応答時間(最大)2.60s
応答時間(合計)2.60s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.59s
応答時間(最大)3.04s
応答時間(合計)5.17s
-
パズル解決
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.95s
応答時間(最大)2.48s
応答時間(合計)5.84s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.55s
応答時間(最大)4.55s
応答時間(合計)4.55s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.08s
応答時間(最大)3.08s
応答時間(合計)3.08s
|
| #66#66 |
Claude Opus 4.8none
|
7.3… |
Anthropic |
$1.166
…
|
4.91s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 余分な書式: 3 指示に従っていない: 1 回答なし: 1
応答時間(平均)4.91s
応答時間(最大)35.03s
応答時間(合計)108.03s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 149,206
- 出力トークン
- 16,797
- 推論トークン
- 0
- 応答時間(平均)
- 4.91s
- 応答時間(合計)
- 108.03s
- 応答時間(最大)
- 35.03s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2
応答時間(平均)3.40s
応答時間(最大)6.36s
応答時間(合計)13.58s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)3.29s
応答時間(最大)4.34s
応答時間(合計)9.88s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)26.38s
応答時間(最大)35.03s
応答時間(合計)52.76s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.77s
応答時間(最大)1.93s
応答時間(合計)3.53s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.70s
応答時間(最大)2.16s
応答時間(合計)5.09s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.48s
応答時間(最大)3.48s
応答時間(合計)3.48s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.37s
応答時間(最大)1.40s
応答時間(合計)2.73s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)2.74s
応答時間(最大)3.46s
応答時間(合計)8.22s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.35s
応答時間(最大)5.35s
応答時間(合計)5.35s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)3.41s
応答時間(最大)3.41s
応答時間(合計)3.41s
|
| #70#70 |
Qwen3.5 Plus 2026-04-20medium
|
7.2… |
Qwen |
$0.317
↓
…
|
46.36s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 タイムアウト: 1
応答時間(平均)46.36s
応答時間(最大)189.38s
応答時間(合計)973.57s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 42,097
- 出力トークン
- 2,280
- 推論トークン
- 166,613
- 応答時間(平均)
- 46.36s
- 応答時間(合計)
- 973.57s
- 応答時間(最大)
- 189.38s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.84s
応答時間(最大)15.11s
応答時間(合計)43.36s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)125.25s
応答時間(最大)189.38s
応答時間(合計)375.76s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)92.41s
応答時間(最大)92.41s
応答時間(合計)92.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)38.32s
応答時間(最大)41.70s
応答時間(合計)76.63s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)53.10s
応答時間(最大)90.70s
応答時間(合計)159.30s
-
汎用知能
: 4.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.30s
応答時間(最大)25.30s
応答時間(合計)25.30s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.25s
応答時間(最大)21.65s
応答時間(合計)40.50s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.67s
応答時間(最大)24.83s
応答時間(合計)53.02s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.72s
応答時間(最大)14.72s
応答時間(合計)14.72s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)92.57s
応答時間(最大)92.57s
応答時間(合計)92.57s
|
| #73#73 |
Grok 4.3medium
|
7.1… |
X AI |
$0.779
…
|
47.45s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 余分な書式: 1 回答なし: 1
応答時間(平均)47.45s
応答時間(最大)216.69s
応答時間(合計)1043.83s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 68.2%
- 入力トークン
- 140,031
- 出力トークン
- 13,739
- 推論トークン
- 227,682
- 応答時間(平均)
- 47.45s
- 応答時間(合計)
- 1043.83s
- 応答時間(最大)
- 216.69s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.83s
応答時間(最大)11.20s
応答時間(合計)35.31s
-
コーディング
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)41.23s
応答時間(最大)64.81s
応答時間(合計)123.69s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)55.07s
応答時間(最大)63.99s
応答時間(合計)110.13s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.97s
応答時間(最大)26.99s
応答時間(合計)37.93s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)181.74s
応答時間(最大)216.69s
応答時間(合計)545.21s
-
汎用知能
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)24.70s
応答時間(最大)24.70s
応答時間(合計)24.70s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.58s
応答時間(最大)31.48s
応答時間(合計)37.15s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)22.52s
応答時間(最大)51.75s
応答時間(合計)67.57s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.66s
応答時間(最大)17.66s
応答時間(合計)17.66s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)44.47s
応答時間(最大)44.47s
応答時間(合計)44.47s
|
| #74#74 |
GLM 5.1medium
|
7.1… |
Z.ai |
$0.535
↓
…
|
46.77s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 タイムアウト: 2 API エラー: 1 余分な書式: 1 回答なし: 1
応答時間(平均)46.77s
応答時間(最大)308.75s
応答時間(合計)982.16s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 82,623
- 出力トークン
- 16,089
- 推論トークン
- 136,463
- 応答時間(平均)
- 46.77s
- 応答時間(合計)
- 982.16s
- 応答時間(最大)
- 308.75s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.31s
応答時間(最大)14.20s
応答時間(合計)33.24s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)109.63s
応答時間(最大)172.60s
応答時間(合計)328.90s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)175.93s
応答時間(最大)308.75s
応答時間(合計)351.86s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.33s
応答時間(最大)9.40s
応答時間(合計)18.66s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)29.77s
応答時間(最大)32.22s
応答時間(合計)89.30s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.95s
応答時間(最大)20.95s
応答時間(合計)20.95s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.47s
応答時間(最大)10.16s
応答時間(合計)14.94s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.64s
応答時間(最大)46.04s
応答時間(合計)94.91s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)29.40s
応答時間(最大)29.40s
応答時間(合計)29.40s
|
| #89#89 |
Gemini 3 Flash Previewnone
|
6.8… |
Google |
$0.085
…
|
2.95s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 回答なし: 1
応答時間(平均)2.95s
応答時間(最大)21.19s
応答時間(合計)44.26s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 104,210
- 出力トークン
- 10,710
- 推論トークン
- 0
- 応答時間(平均)
- 2.95s
- 応答時間(合計)
- 44.26s
- 応答時間(最大)
- 21.19s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.25s
応答時間(最大)1.59s
応答時間(合計)2.49s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.80s
応答時間(最大)2.79s
応答時間(合計)5.40s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)12.38s
応答時間(最大)21.19s
応答時間(合計)24.75s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.41s
応答時間(最大)1.41s
応答時間(合計)1.41s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)963ms
応答時間(最大)963ms
応答時間(合計)963ms
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.13s
応答時間(合計)1.13s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.58s
応答時間(最大)1.58s
応答時間(合計)1.58s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.05s
応答時間(最大)1.06s
応答時間(合計)2.11s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.35s
応答時間(最大)3.35s
応答時間(合計)3.35s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.07s
応答時間(最大)1.07s
応答時間(合計)1.07s
|
| #90#90 |
Qwen3.6 35B A3Bmedium
|
6.7… |
Qwen |
$0.746
↑
…
|
58.06s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 API エラー: 2 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)58.06s
応答時間(最大)817.57s
応答時間(合計)1161.18s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 85,139
- 出力トークン
- 61,819
- 推論トークン
- 678,766
- 応答時間(平均)
- 58.06s
- 応答時間(合計)
- 1161.18s
- 応答時間(最大)
- 817.57s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.02s
応答時間(最大)8.79s
応答時間(合計)24.07s
-
コーディング
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)50.55s
応答時間(最大)86.11s
応答時間(合計)151.65s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)817.57s
応答時間(最大)817.57s
応答時間(合計)817.57s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.99s
応答時間(最大)13.75s
応答時間(合計)25.99s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)22.50s
応答時間(最大)45.02s
応答時間(合計)67.51s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)8.66s
応答時間(最大)8.66s
応答時間(合計)8.66s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.50s
応答時間(最大)10.22s
応答時間(合計)15.00s
-
パズル解決
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.95s
応答時間(最大)8.42s
応答時間(合計)17.84s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)32.90s
応答時間(最大)32.90s
応答時間(合計)32.90s
|
| #104#104 |
Gemini 3.1 Flash Lite Previewlow
|
6.5… |
Google |
$0.646
…
|
16.70s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)16.70s
応答時間(最大)309.35s
応答時間(合計)367.47s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 9
- 試行ごとの合格率
- 59.1%
- 入力トークン
- 110,185
- 出力トークン
- 14,717
- 推論トークン
- 397,483
- 応答時間(平均)
- 16.70s
- 応答時間(合計)
- 367.47s
- 応答時間(最大)
- 309.35s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.12s
応答時間(最大)3.18s
応答時間(合計)8.50s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.39s
応答時間(最大)2.20s
応答時間(合計)4.16s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)160.63s
応答時間(最大)309.35s
応答時間(合計)321.26s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.00s
応答時間(最大)3.74s
応答時間(合計)5.99s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.36s
応答時間(最大)3.51s
応答時間(合計)7.07s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.54s
応答時間(最大)1.54s
応答時間(合計)1.54s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.49s
応答時間(最大)1.66s
応答時間(合計)2.99s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.69s
応答時間(最大)1.89s
応答時間(合計)5.08s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.54s
応答時間(最大)9.54s
応答時間(合計)9.54s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.35s
応答時間(最大)1.35s
応答時間(合計)1.35s
|
| #109#109 |
Mimo V2 PROmediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.3… |
Xiaomi |
$0.333
↑
…
|
22.16s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1
応答時間(平均)22.16s
応答時間(最大)136.29s
応答時間(合計)443.22s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 9
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 40,961
- 出力トークン
- 2,518
- 推論トークン
- 81,801
- 応答時間(平均)
- 22.16s
- 応答時間(合計)
- 443.22s
- 応答時間(最大)
- 136.29s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.86s
応答時間(最大)3.92s
応答時間(合計)11.45s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)94.21s
応答時間(最大)136.29s
応答時間(合計)188.41s
-
複合
: 2.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)64.71s
応答時間(最大)64.71s
応答時間(合計)64.71s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.20s
応答時間(最大)17.44s
応答時間(合計)34.40s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)8.82s
応答時間(最大)14.48s
応答時間(合計)26.47s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.92s
応答時間(最大)4.92s
応答時間(合計)4.92s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.36s
応答時間(最大)4.35s
応答時間(合計)6.72s
-
パズル解決
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1
応答時間(平均)5.08s
応答時間(最大)6.41s
応答時間(合計)15.23s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.19s
応答時間(最大)8.19s
応答時間(合計)8.19s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)82.71s
応答時間(最大)82.71s
応答時間(合計)82.71s
|
| #113#113 |
MiMo-V2-Flashmediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.3… |
Xiaomi |
$0.043
↑
…
|
20.11s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1
応答時間(平均)20.11s
応答時間(最大)96.01s
応答時間(合計)301.59s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 9
- 試行ごとの合格率
- 62.1%
- 入力トークン
- 40,111
- 出力トークン
- 12,476
- 推論トークン
- 125,039
- 応答時間(平均)
- 20.11s
- 応答時間(合計)
- 301.59s
- 応答時間(最大)
- 96.01s
-
反AIトリック
: 8.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)15.85s
応答時間(最大)20.83s
応答時間(合計)47.55s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)10.71s
応答時間(最大)17.72s
応答時間(合計)32.13s
-
複合
: 4.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)75.68s
応答時間(最大)75.68s
応答時間(合計)75.68s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)96.01s
応答時間(最大)96.01s
応答時間(合計)96.01s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.20s
応答時間(最大)4.20s
応答時間(合計)4.20s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.28s
応答時間(最大)7.37s
応答時間(合計)8.55s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.87s
応答時間(最大)5.26s
応答時間(合計)7.74s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.78s
応答時間(最大)27.78s
応答時間(合計)27.78s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.96s
応答時間(最大)1.96s
応答時間(合計)1.96s
|
| #143#143 |
Gemini 3.1 Flash Litehighアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.6… |
Google |
$2.044
…
|
61.96s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 3 回答なし: 1
応答時間(平均)61.96s
応答時間(最大)149.23s
応答時間(合計)1115.31s
…
|
- 合計テスト数
- 18
- 誤答テスト数
- 8
- 試行ごとの合格率
- 56.1%
- 入力トークン
- 29,134
- 出力トークン
- 1,984
- 推論トークン
- 1,355,583
- 応答時間(平均)
- 61.96s
- 応答時間(合計)
- 1115.31s
- 応答時間(最大)
- 149.23s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)37.16s
応答時間(最大)140.53s
応答時間(合計)148.65s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)137.63s
応答時間(最大)137.63s
応答時間(合計)137.63s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)149.23s
応答時間(最大)149.23s
応答時間(合計)149.23s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.49s
応答時間(最大)4.96s
応答時間(合計)8.98s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)139.90s
応答時間(最大)141.40s
応答時間(合計)419.69s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)45.69s
応答時間(最大)45.69s
応答時間(合計)45.69s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)23.26s
応答時間(最大)43.87s
応答時間(合計)46.51s
-
パズル解決
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2
応答時間(平均)50.83s
応答時間(最大)144.85s
応答時間(合計)152.49s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.44s
応答時間(最大)6.44s
応答時間(合計)6.44s
-
雑学
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #26#26 |
GPT-5 Minimedium
|
8.1… |
OpenAI |
$0.237
…
|
27.63s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 3 回答なし: 1 タイムアウト: 1
応答時間(平均)27.63s
応答時間(最大)111.48s
応答時間(合計)607.92s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 98,374
- 出力トークン
- 14,434
- 推論トークン
- 91,498
- 応答時間(平均)
- 27.63s
- 応答時間(合計)
- 607.92s
- 応答時間(最大)
- 111.48s
-
反AIトリック
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)13.86s
応答時間(最大)26.00s
応答時間(合計)55.45s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.63s
応答時間(最大)38.31s
応答時間(合計)82.89s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)99.82s
応答時間(最大)111.48s
応答時間(合計)199.63s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.58s
応答時間(最大)13.87s
応答時間(合計)25.16s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)44.63s
応答時間(最大)82.55s
応答時間(合計)133.89s
-
汎用知能
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)13.50s
応答時間(最大)13.50s
応答時間(合計)13.50s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.59s
応答時間(最大)13.66s
応答時間(合計)23.18s
-
パズル解決
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)15.20s
応答時間(最大)18.90s
応答時間(合計)45.59s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.64s
応答時間(最大)18.64s
応答時間(合計)18.64s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.99s
応答時間(最大)9.99s
応答時間(合計)9.99s
|
| #27#27 |
Muse Spark 1.1high
|
8.1… |
Meta |
$1.694
…
|
31.49s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 2 無効なツール呼び出し: 2 API エラー: 1 回答なし: 1
応答時間(平均)31.49s
応答時間(最大)196.03s
応答時間(合計)661.28s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 129,423
- 出力トークン
- 8,077
- 推論トークン
- 352,421
- 応答時間(平均)
- 31.49s
- 応答時間(合計)
- 661.28s
- 応答時間(最大)
- 196.03s
-
反AIトリック
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)8.60s
応答時間(最大)15.63s
応答時間(合計)34.39s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)22.92s
応答時間(最大)27.22s
応答時間(合計)68.75s
-
複合
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)70.25s
応答時間(最大)78.10s
応答時間(合計)140.51s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.40s
応答時間(最大)10.84s
応答時間(合計)16.81s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)67.39s
応答時間(最大)80.62s
応答時間(合計)134.78s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.73s
応答時間(最大)7.73s
応答時間(合計)7.73s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.81s
応答時間(最大)9.13s
応答時間(合計)15.62s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)69.96s
応答時間(最大)196.03s
応答時間(合計)209.89s
-
ツール呼び出し
: 9.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.88s
応答時間(最大)9.88s
応答時間(合計)9.88s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)22.93s
応答時間(最大)22.93s
応答時間(合計)22.93s
|
| #47#47 |
MiniMax M3medium
|
7.6… |
Minimax |
$0.286
…
|
74.98s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 3 不正解: 3 指示に従っていない: 2 余分な書式: 1 回答なし: 1
応答時間(平均)74.98s
応答時間(最大)431.03s
応答時間(合計)1574.56s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 121,990
- 出力トークン
- 77,916
- 推論トークン
- 173,553
- 応答時間(平均)
- 74.98s
- 応答時間(合計)
- 1574.56s
- 応答時間(最大)
- 431.03s
-
反AIトリック
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)14.95s
応答時間(最大)44.99s
応答時間(合計)59.78s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1
応答時間(平均)144.74s
応答時間(最大)218.40s
応答時間(合計)434.22s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)138.24s
応答時間(最大)211.18s
応答時間(合計)276.48s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.92s
応答時間(最大)16.89s
応答時間(合計)29.85s
-
ドメイン特化
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2
応答時間(平均)233.13s
応答時間(最大)431.03s
応答時間(合計)466.26s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)33.25s
応答時間(最大)33.25s
応答時間(合計)33.25s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.14s
応答時間(最大)6.80s
応答時間(合計)12.27s
-
パズル解決
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)49.91s
応答時間(最大)128.09s
応答時間(合計)149.74s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.91s
応答時間(最大)11.91s
応答時間(合計)11.91s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)100.80s
応答時間(最大)100.80s
応答時間(合計)100.80s
|
| #52#52 |
Kimi K2.7 Codemedium
|
7.5… |
Moonshot AI |
$0.751
↓
…
|
84.25s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 タイムアウト: 3 API エラー: 1 指示に従っていない: 1
応答時間(平均)84.25s
応答時間(最大)365.80s
応答時間(合計)1769.22s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 72,073
- 出力トークン
- 83,714
- 推論トークン
- 178,793
- 応答時間(平均)
- 84.25s
- 応答時間(合計)
- 1769.22s
- 応答時間(最大)
- 365.80s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)11.56s
応答時間(最大)16.30s
応答時間(合計)46.24s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)146.73s
応答時間(最大)365.80s
応答時間(合計)440.18s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)66.03s
応答時間(最大)97.22s
応答時間(合計)132.06s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.27s
応答時間(最大)18.56s
応答時間(合計)24.54s
-
ドメイン特化
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2
応答時間(平均)213.29s
応答時間(最大)331.73s
応答時間(合計)639.88s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.78s
応答時間(最大)10.78s
応答時間(合計)10.78s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.39s
応答時間(最大)6.01s
応答時間(合計)10.78s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)41.00s
応答時間(最大)113.78s
応答時間(合計)123.01s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)341.76s
応答時間(最大)341.76s
応答時間(合計)341.76s
|
| #53#53 |
GPT-5.4 Nanomedium
|
7.5… |
OpenAI |
$0.138
…
|
13.24s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 2
応答時間(平均)13.24s
応答時間(最大)94.06s
応答時間(合計)291.33s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 82,819
- 出力トークン
- 7,100
- 推論トークン
- 90,022
- 応答時間(平均)
- 13.24s
- 応答時間(合計)
- 291.33s
- 応答時間(最大)
- 94.06s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.52s
応答時間(最大)7.74s
応答時間(合計)18.10s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)19.12s
応答時間(最大)28.80s
応答時間(合計)57.37s
-
複合
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)32.24s
応答時間(最大)40.36s
応答時間(合計)64.49s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.54s
応答時間(最大)3.33s
応答時間(合計)5.08s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)38.18s
応答時間(最大)94.06s
応答時間(合計)114.53s
-
汎用知能
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.15s
応答時間(最大)4.15s
応答時間(合計)4.15s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.88s
応答時間(最大)2.61s
応答時間(合計)3.75s
-
パズル解決
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)3.79s
応答時間(最大)4.02s
応答時間(合計)11.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.71s
応答時間(最大)7.71s
応答時間(合計)7.71s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.81s
応答時間(最大)4.81s
応答時間(合計)4.81s
|
| #56#56 |
GPT-5.4 Minimedium
|
7.5… |
OpenAI |
$0.756
…
|
25.94s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)25.94s
応答時間(最大)138.75s
応答時間(合計)570.66s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 71.2%
- 入力トークン
- 97,155
- 出力トークン
- 6,211
- 推論トークン
- 145,544
- 応答時間(平均)
- 25.94s
- 応答時間(合計)
- 570.66s
- 応答時間(最大)
- 138.75s
-
反AIトリック
: 8.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.05s
応答時間(最大)6.69s
応答時間(合計)16.20s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)57.87s
応答時間(最大)138.75s
応答時間(合計)173.61s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)59.64s
応答時間(最大)101.47s
応答時間(合計)119.27s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)3.39s
応答時間(合計)4.87s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)65.31s
応答時間(最大)102.91s
応答時間(合計)195.92s
-
汎用知能
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.72s
応答時間(最大)3.72s
応答時間(合計)3.72s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.13s
応答時間(最大)2.45s
応答時間(合計)4.25s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.37s
応答時間(最大)7.27s
応答時間(合計)13.11s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.62s
応答時間(最大)9.62s
応答時間(合計)9.62s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)30.10s
応答時間(最大)30.10s
応答時間(合計)30.10s
|
| #60#60 |
LongCat 2.0medium
|
7.4… |
Meituan |
$0.478
…
|
136.64s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)136.64s
応答時間(最大)939.52s
応答時間(合計)3006.01s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 97,315
- 出力トークン
- 44,384
- 推論トークン
- 329,012
- 応答時間(平均)
- 136.64s
- 応答時間(合計)
- 3006.01s
- 応答時間(最大)
- 939.52s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.65s
応答時間(最大)13.92s
応答時間(合計)38.61s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)455.00s
応答時間(最大)493.86s
応答時間(合計)1364.99s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)151.04s
応答時間(最大)195.58s
応答時間(合計)302.08s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)10.63s
応答時間(最大)18.16s
応答時間(合計)21.27s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)339.86s
応答時間(最大)939.52s
応答時間(合計)1019.57s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)16.35s
応答時間(最大)16.35s
応答時間(合計)16.35s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.38s
応答時間(最大)8.27s
応答時間(合計)14.75s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.84s
応答時間(最大)14.18s
応答時間(合計)26.51s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.67s
応答時間(最大)10.67s
応答時間(合計)10.67s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)191.19s
応答時間(最大)191.19s
応答時間(合計)191.19s
|
| #63#63 |
Claude Sonnet 4.6none
|
7.3… |
Anthropic |
$0.661
…
|
8.12s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 余分な書式: 4 指示に従っていない: 1
応答時間(平均)8.12s
応答時間(最大)51.18s
応答時間(合計)121.78s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 57.6%
- 入力トークン
- 123,264
- 出力トークン
- 19,362
- 推論トークン
- 0
- 応答時間(平均)
- 8.12s
- 応答時間(合計)
- 121.78s
- 応答時間(最大)
- 51.18s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)2.94s
応答時間(最大)4.83s
応答時間(合計)5.88s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)5.19s
応答時間(最大)9.79s
応答時間(合計)15.56s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.51s
応答時間(最大)51.18s
応答時間(合計)75.03s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.43s
応答時間(最大)3.43s
応答時間(合計)3.43s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.54s
応答時間(最大)3.54s
応答時間(合計)3.54s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.56s
応答時間(最大)2.56s
応答時間(合計)2.56s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.96s
応答時間(最大)1.96s
応答時間(合計)1.96s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)2.53s
応答時間(最大)2.54s
応答時間(合計)5.06s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.11s
応答時間(最大)4.11s
応答時間(合計)4.11s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.67s
応答時間(最大)4.67s
応答時間(合計)4.67s
|
| #67#67 |
Step 3.7 Flashlow
|
7.3… |
Stepfun |
$0.454
…
|
20.68s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)20.68s
応答時間(最大)124.75s
応答時間(合計)455.01s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 68.2%
- 入力トークン
- 103,833
- 出力トークン
- 376,581
- 推論トークン
- 0
- 応答時間(平均)
- 20.68s
- 応答時間(合計)
- 455.01s
- 応答時間(最大)
- 124.75s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.02s
応答時間(最大)12.52s
応答時間(合計)16.10s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.46s
応答時間(最大)12.69s
応答時間(合計)28.38s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)66.18s
応答時間(最大)124.39s
応答時間(合計)132.37s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.29s
応答時間(最大)3.15s
応答時間(合計)4.58s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)43.31s
応答時間(最大)72.27s
応答時間(合計)129.92s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.00s
応答時間(最大)7.00s
応答時間(合計)7.00s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.58s
応答時間(最大)1.80s
応答時間(合計)3.16s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.84s
応答時間(最大)3.42s
応答時間(合計)5.52s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.25s
応答時間(最大)3.25s
応答時間(合計)3.25s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)124.75s
応答時間(最大)124.75s
応答時間(合計)124.75s
|
| #68#68 |
Kimi K2.6medium
|
7.2… |
Moonshot AI |
$1.036
↓
…
|
109.98s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 3 不正解: 3 指示に従っていない: 2 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)109.98s
応答時間(最大)876.20s
応答時間(合計)2309.56s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 68,902
- 出力トークン
- 111,680
- 推論トークン
- 279,860
- 応答時間(平均)
- 109.98s
- 応答時間(合計)
- 2309.56s
- 応答時間(最大)
- 876.20s
-
反AIトリック
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)11.59s
応答時間(最大)23.94s
応答時間(合計)46.37s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)214.42s
応答時間(最大)406.78s
応答時間(合計)643.25s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)458.58s
応答時間(最大)876.20s
応答時間(合計)917.16s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.38s
応答時間(最大)22.88s
応答時間(合計)40.76s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2
応答時間(平均)202.38s
応答時間(最大)215.85s
応答時間(合計)404.76s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.83s
応答時間(最大)17.83s
応答時間(合計)17.83s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.53s
応答時間(最大)19.15s
応答時間(合計)25.06s
-
パズル解決
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)25.06s
応答時間(最大)56.89s
応答時間(合計)75.19s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.92s
応答時間(最大)8.92s
応答時間(合計)8.92s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)130.27s
応答時間(最大)130.27s
応答時間(合計)130.27s
|
| #75#75 |
Grok 4.20medium
|
7.1… |
X AI |
$0.777
↓
…
|
29.47s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)29.47s
応答時間(最大)199.66s
応答時間(合計)648.35s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 102,791
- 出力トークン
- 5,363
- 推論トークン
- 253,977
- 応答時間(平均)
- 29.47s
- 応答時間(合計)
- 648.35s
- 応答時間(最大)
- 199.66s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.95s
応答時間(最大)5.68s
応答時間(合計)15.80s
-
コーディング
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)109.93s
応答時間(最大)199.66s
応答時間(合計)329.79s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)42.25s
応答時間(最大)67.09s
応答時間(合計)84.49s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.17s
応答時間(最大)5.02s
応答時間(合計)8.34s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)27.03s
応答時間(最大)29.87s
応答時間(合計)81.10s
-
汎用知能
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)24.48s
応答時間(最大)24.48s
応答時間(合計)24.48s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.26s
応答時間(最大)4.46s
応答時間(合計)8.52s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.22s
応答時間(最大)11.63s
応答時間(合計)18.66s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)13.68s
応答時間(最大)13.68s
応答時間(合計)13.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)63.48s
応答時間(最大)63.48s
応答時間(合計)63.48s
|
| #84#84 |
MiMo-V2.5-Promedium
|
6.9… |
Xiaomi |
$0.187
↓
…
|
33.92s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 3 不正解: 3 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)33.92s
応答時間(最大)197.54s
応答時間(合計)746.19s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 139,883
- 出力トークン
- 15,521
- 推論トークン
- 130,992
- 応答時間(平均)
- 33.92s
- 応答時間(合計)
- 746.19s
- 応答時間(最大)
- 197.54s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.26s
応答時間(最大)6.38s
応答時間(合計)13.06s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 余分な書式: 1
応答時間(平均)92.07s
応答時間(最大)130.77s
応答時間(合計)276.20s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)125.45s
応答時間(最大)197.54s
応答時間(合計)250.89s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.81s
応答時間(最大)20.29s
応答時間(合計)37.61s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2
応答時間(平均)37.87s
応答時間(最大)84.22s
応答時間(合計)113.60s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.02s
応答時間(最大)4.02s
応答時間(合計)4.02s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.77s
応答時間(最大)3.21s
応答時間(合計)5.54s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.31s
応答時間(最大)9.12s
応答時間(合計)15.94s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.87s
応答時間(最大)16.87s
応答時間(合計)16.87s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.46s
応答時間(最大)12.46s
応答時間(合計)12.46s
|
| #85#85 |
Qwen3.6 Flashmedium
|
6.9… |
Qwen |
$0.738
↓
…
|
44.65s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)44.65s
応答時間(最大)578.13s
応答時間(合計)982.32s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 68.2%
- 入力トークン
- 129,041
- 出力トークン
- 20,026
- 推論トークン
- 614,312
- 応答時間(平均)
- 44.65s
- 応答時間(合計)
- 982.32s
- 応答時間(最大)
- 578.13s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.10s
応答時間(最大)9.60s
応答時間(合計)24.39s
-
コーディング
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)42.85s
応答時間(最大)78.01s
応答時間(合計)128.55s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)299.21s
応答時間(最大)578.13s
応答時間(合計)598.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.65s
応答時間(最大)10.35s
応答時間(合計)19.31s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)14.65s
応答時間(最大)26.85s
応答時間(合計)43.95s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.88s
応答時間(最大)9.88s
応答時間(合計)9.88s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.05s
応答時間(最大)6.94s
応答時間(合計)12.10s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.29s
応答時間(最大)8.18s
応答時間(合計)18.87s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.00s
応答時間(最大)4.00s
応答時間(合計)4.00s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)122.87s
応答時間(最大)122.87s
応答時間(合計)122.87s
|
| #96#96 |
GLM 5.2none
|
6.6… |
Z.ai |
$0.151
↓
…
|
9.34s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)9.34s
応答時間(最大)79.65s
応答時間(合計)205.46s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 59.1%
- 入力トークン
- 112,359
- 出力トークン
- 14,340
- 推論トークン
- 0
- 応答時間(平均)
- 9.34s
- 応答時間(合計)
- 205.46s
- 応答時間(最大)
- 79.65s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.70s
応答時間(最大)5.66s
応答時間(合計)14.80s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)7.55s
応答時間(最大)12.77s
応答時間(合計)22.66s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)50.17s
応答時間(最大)79.65s
応答時間(合計)100.33s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.17s
応答時間(最大)11.71s
応答時間(合計)14.35s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.04s
応答時間(最大)6.76s
応答時間(合計)12.12s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.42s
応答時間(最大)4.42s
応答時間(合計)4.42s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.84s
応答時間(最大)4.88s
応答時間(合計)7.68s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.31s
応答時間(最大)3.63s
応答時間(合計)9.92s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.76s
応答時間(最大)15.76s
応答時間(合計)15.76s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.41s
応答時間(最大)3.41s
応答時間(合計)3.41s
|
| #98#98 |
Qwen3.6 Max Previewnone
|
6.6… |
Qwen |
$0.231
↓
…
|
7.82s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10
応答時間(平均)7.82s
応答時間(最大)102.62s
応答時間(合計)172.01s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 106,339
- 出力トークン
- 19,257
- 推論トークン
- 0
- 応答時間(平均)
- 7.82s
- 応答時間(合計)
- 172.01s
- 応答時間(最大)
- 102.62s
-
反AIトリック
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.63s
応答時間(最大)5.57s
応答時間(合計)10.53s
-
コーディング
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.12s
応答時間(最大)3.45s
応答時間(合計)9.35s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)61.56s
応答時間(最大)102.62s
応答時間(合計)123.12s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.87s
応答時間(最大)3.54s
応答時間(合計)5.74s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.22s
応答時間(最大)1.25s
応答時間(合計)3.67s
-
汎用知能
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.62s
応答時間(最大)1.62s
応答時間(合計)1.62s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.40s
応答時間(最大)1.46s
応答時間(合計)2.79s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.65s
応答時間(最大)3.59s
応答時間(合計)7.94s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.27s
応答時間(最大)5.27s
応答時間(合計)5.27s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.97s
応答時間(最大)1.97s
応答時間(合計)1.97s
|