| #201#201 |
Granite 4.1 8Bnone
|
4.0… |
IBM Granite |
$0.007
…
|
1.45s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 4 無効なツール呼び出し: 2 余分な書式: 1
応答時間(平均)1.45s
応答時間(最大)16.67s
応答時間(合計)31.96s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 20
- 試行ごとの合格率
- 9.1%
- 入力トークン
- 113,827
- 出力トークン
- 5,996
- 推論トークン
- 0
- 応答時間(平均)
- 1.45s
- 応答時間(合計)
- 31.96s
- 応答時間(最大)
- 16.67s
-
反AIトリック
: 4.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)844ms
応答時間(最大)1.91s
応答時間(合計)3.38s
-
コーディング
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1 不正解: 1
応答時間(平均)775ms
応答時間(最大)1.07s
応答時間(合計)2.33s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)9.28s
応答時間(最大)16.67s
応答時間(合計)18.55s
-
データ解析と抽出
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)575ms
応答時間(最大)583ms
応答時間(合計)1.15s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)357ms
応答時間(最大)463ms
応答時間(合計)1.07s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)499ms
応答時間(最大)499ms
応答時間(合計)499ms
-
指示追従
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)344ms
応答時間(最大)358ms
応答時間(合計)687ms
-
パズル解決
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)608ms
応答時間(最大)960ms
応答時間(合計)1.82s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.17s
応答時間(最大)2.17s
応答時間(合計)2.17s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)306ms
応答時間(最大)306ms
応答時間(合計)306ms
|
| #208#208 |
Nemotron 3 Nano Omni 30b A3b Reasoningnoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
3.2… |
NVIDIA |
$0.000
…
|
728ms… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 6 指示に従っていない: 2
応答時間(平均)728ms
応答時間(最大)2.21s
応答時間(合計)9.47s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 17
- 試行ごとの合格率
- 15.2%
- 入力トークン
- 11,661
- 出力トークン
- 1,302
- 推論トークン
- 0
- 応答時間(平均)
- 728ms
- 応答時間(合計)
- 9.47s
- 応答時間(最大)
- 2.21s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)584ms
応答時間(最大)772ms
応答時間(合計)1.75s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.27s
応答時間(最大)1.27s
応答時間(合計)1.27s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.42s
応答時間(最大)2.21s
応答時間(合計)2.84s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)489ms
応答時間(最大)513ms
応答時間(合計)1.47s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
指示追従
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)541ms
応答時間(最大)542ms
応答時間(合計)1.08s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 指示に従っていない: 1 不正解: 1
応答時間(平均)532ms
応答時間(最大)580ms
応答時間(合計)1.06s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #210#210 |
LFM2-24B-A2Bnoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
2.2… |
Liquid |
$0.001
…
|
782ms… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 4 指示に従っていない: 1
応答時間(平均)782ms
応答時間(最大)3.15s
応答時間(合計)10.94s
…
|
- 合計テスト数
- 16
- 誤答テスト数
- 14
- 信頼性
- 該当なしこのモデルの信頼性テレメトリは利用できません。
- 試行ごとの合格率
- 12.1%
- 入力トークン
- 10,771
- 出力トークン
- 1,173
- 推論トークン
- 0
- 応答時間(平均)
- 782ms
- 応答時間(合計)
- 10.94s
- 応答時間(最大)
- 3.15s
-
反AIトリック
: 2.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)471ms
応答時間(最大)872ms
応答時間(合計)1.41s
-
コーディング
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)714ms
応答時間(最大)987ms
応答時間(合計)1.43s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)287ms
応答時間(最大)334ms
応答時間(合計)860ms
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)395ms
応答時間(最大)395ms
応答時間(合計)395ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)752ms
応答時間(最大)1.22s
応答時間(合計)1.50s
-
パズル解決
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)1.78s
応答時間(最大)3.15s
応答時間(合計)5.34s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #204#204 |
Qwen3.5-9Bmedium
|
3.8… |
Qwen |
$0.036
↑
…
|
82.24s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 12 回答なし: 2 不正解: 2 API エラー: 1 余分な書式: 1 指示に従っていない: 1
応答時間(平均)82.24s
応答時間(最大)226.38s
応答時間(合計)1315.88s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 19
- 試行ごとの合格率
- 25.8%
- 入力トークン
- 17,070
- 出力トークン
- 29,045
- 推論トークン
- 209,516
- 応答時間(平均)
- 82.24s
- 応答時間(合計)
- 1315.88s
- 応答時間(最大)
- 226.38s
-
反AIトリック
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)34.44s
応答時間(最大)57.86s
応答時間(合計)103.31s
-
コーディング
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)100.88s
応答時間(最大)135.61s
応答時間(合計)201.75s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1
応答時間(平均)87.31s
応答時間(最大)87.31s
応答時間(合計)87.31s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 3
応答時間(平均)137.75s
応答時間(最大)202.61s
応答時間(合計)413.24s
-
汎用知能
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)226.38s
応答時間(最大)226.38s
応答時間(合計)226.38s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)5.75s
応答時間(最大)5.75s
応答時間(合計)5.75s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)32.27s
応答時間(最大)47.31s
応答時間(合計)96.80s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.31s
応答時間(最大)4.31s
応答時間(合計)4.31s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)177.02s
応答時間(最大)177.02s
応答時間(合計)177.02s
|
| #203#203 |
Grok 4.1 Fastnoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
3.8… |
X AI |
$0.008
↓
…
|
1.62s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 3
応答時間(平均)1.62s
応答時間(最大)5.51s
応答時間(合計)19.48s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 16
- 試行ごとの合格率
- 19.7%
- 入力トークン
- 36,608
- 出力トークン
- 1,723
- 推論トークン
- 0
- 応答時間(平均)
- 1.62s
- 応答時間(合計)
- 19.48s
- 応答時間(最大)
- 5.51s
-
反AIトリック
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1
応答時間(平均)1.07s
応答時間(最大)1.73s
応答時間(合計)2.15s
-
コーディング
: 1.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.79s
応答時間(最大)1.79s
応答時間(合計)1.79s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.33s
応答時間(最大)3.33s
応答時間(合計)3.33s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)943ms
応答時間(最大)943ms
応答時間(合計)943ms
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.06s
応答時間(最大)1.06s
応答時間(合計)1.06s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.08s
応答時間(最大)1.08s
応答時間(合計)1.08s
-
指示追従
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)685ms
応答時間(最大)685ms
応答時間(合計)685ms
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.10s
応答時間(最大)1.36s
応答時間(合計)2.21s
-
ツール呼び出し
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.51s
応答時間(最大)5.51s
応答時間(合計)5.51s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)731ms
応答時間(最大)731ms
応答時間(合計)731ms
|
| #161#161 |
Qwen3.6 35B A3Bnone
|
5.3… |
Qwen |
$0.061
↑
…
|
5.52s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 API エラー: 2 指示に従っていない: 2 回答なし: 1
応答時間(平均)5.52s
応答時間(最大)39.54s
応答時間(合計)110.40s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 31.8%
- 入力トークン
- 93,979
- 出力トークン
- 46,957
- 推論トークン
- 0
- 応答時間(平均)
- 5.52s
- 応答時間(合計)
- 110.40s
- 応答時間(最大)
- 39.54s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.10s
応答時間(最大)6.15s
応答時間(合計)8.41s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.77s
応答時間(最大)22.52s
応答時間(合計)26.32s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 回答なし: 1
応答時間(平均)39.54s
応答時間(最大)39.54s
応答時間(合計)39.54s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.46s
応答時間(最大)2.03s
応答時間(合計)2.93s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)7.45s
応答時間(最大)12.46s
応答時間(合計)22.35s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.51s
応答時間(最大)3.51s
応答時間(合計)3.51s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.86s
応答時間(最大)2.83s
応答時間(合計)3.73s
-
パズル解決
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)1.07s
応答時間(最大)1.24s
応答時間(合計)3.20s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)414ms
応答時間(最大)414ms
応答時間(合計)414ms
|
| #162#162 |
Ling-2.6-1Tnone
|
5.3… |
Inclusionai |
$0.016
↑
…
|
8.58s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 API エラー: 3 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)8.58s
応答時間(最大)25.72s
応答時間(合計)163.06s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 18.2%
- 入力トークン
- 106,414
- 出力トークン
- 11,555
- 推論トークン
- 0
- 応答時間(平均)
- 8.58s
- 応答時間(合計)
- 163.06s
- 応答時間(最大)
- 25.72s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)6.55s
応答時間(最大)9.41s
応答時間(合計)26.19s
-
コーディング
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2 不正解: 1
応答時間(平均)10.57s
応答時間(最大)10.57s
応答時間(合計)10.57s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)23.79s
応答時間(最大)24.05s
応答時間(合計)47.59s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.37s
応答時間(最大)1.37s
応答時間(合計)2.73s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.04s
応答時間(最大)1.08s
応答時間(合計)3.11s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)20.34s
応答時間(最大)20.34s
応答時間(合計)20.34s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.36s
応答時間(最大)9.81s
応答時間(合計)10.73s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)5.36s
応答時間(最大)13.26s
応答時間(合計)16.09s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)25.72s
応答時間(最大)25.72s
応答時間(合計)25.72s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #169#169 |
Qwen3.5-9Bnone
|
5.1… |
Qwen |
$0.021
↑
…
|
19.17s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 指示に従っていない: 2 無効なツール呼び出し: 2
応答時間(平均)19.17s
応答時間(最大)382.06s
応答時間(合計)421.74s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 19.7%
- 入力トークン
- 144,407
- 出力トークン
- 37,484
- 推論トークン
- 0
- 応答時間(平均)
- 19.17s
- 応答時間(合計)
- 421.74s
- 応答時間(最大)
- 382.06s
-
反AIトリック
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.71s
応答時間(最大)3.79s
応答時間(合計)6.84s
-
コーディング
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)5.60s
応答時間(最大)6.03s
応答時間(合計)16.81s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)193.98s
応答時間(最大)382.06s
応答時間(合計)387.97s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)847ms
応答時間(最大)1.09s
応答時間(合計)1.69s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)464ms
応答時間(最大)622ms
応答時間(合計)1.39s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)552ms
応答時間(最大)552ms
応答時間(合計)552ms
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)514ms
応答時間(最大)582ms
応答時間(合計)1.03s
-
パズル解決
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)621ms
応答時間(最大)759ms
応答時間(合計)1.86s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.27s
応答時間(最大)1.27s
応答時間(合計)1.27s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.32s
応答時間(最大)2.32s
応答時間(合計)2.32s
|
| #171#171 |
North Mini Codenone
|
5.1… |
Cohere |
$0.000
…
|
29.95s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 余分な書式: 2 指示に従っていない: 2 無効なツール呼び出し: 2
応答時間(平均)29.95s
応答時間(最大)159.85s
応答時間(合計)658.82s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 18.2%
- 入力トークン
- 130,492
- 出力トークン
- 26,786
- 推論トークン
- 0
- 応答時間(平均)
- 29.95s
- 応答時間(合計)
- 658.82s
- 応答時間(最大)
- 159.85s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 2
応答時間(平均)22.48s
応答時間(最大)51.34s
応答時間(合計)89.90s
-
コーディング
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)21.96s
応答時間(最大)44.81s
応答時間(合計)65.89s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)96.20s
応答時間(最大)159.85s
応答時間(合計)192.40s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.00s
応答時間(最大)42.87s
応答時間(合計)55.99s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)14.73s
応答時間(最大)32.97s
応答時間(合計)44.19s
-
汎用知能
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)34.77s
応答時間(最大)34.77s
応答時間(合計)34.77s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)30.68s
応答時間(最大)37.37s
応答時間(合計)61.35s
-
パズル解決
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)24.43s
応答時間(最大)48.56s
応答時間(合計)73.30s
-
ツール呼び出し
: 9.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.64s
応答時間(最大)3.64s
応答時間(合計)3.64s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)37.37s
応答時間(最大)37.37s
応答時間(合計)37.37s
|
| #180#180 |
GPT-5.4 Nanonone
|
4.8… |
OpenAI |
$0.041
…
|
2.57s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 2 回答なし: 1
応答時間(平均)2.57s
応答時間(最大)25.50s
応答時間(合計)56.51s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 28.8%
- 入力トークン
- 115,924
- 出力トークン
- 13,794
- 推論トークン
- 0
- 応答時間(平均)
- 2.57s
- 応答時間(合計)
- 56.51s
- 応答時間(最大)
- 25.50s
-
反AIトリック
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.18s
応答時間(最大)1.81s
応答時間(合計)4.70s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.22s
応答時間(最大)4.47s
応答時間(合計)6.65s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)14.67s
応答時間(最大)25.50s
応答時間(合計)29.34s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.11s
応答時間(最大)1.25s
応答時間(合計)2.23s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)926ms
応答時間(最大)959ms
応答時間(合計)2.78s
-
汎用知能
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.31s
応答時間(最大)1.31s
応答時間(合計)1.31s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)784ms
応答時間(最大)859ms
応答時間(合計)1.57s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.25s
応答時間(最大)1.53s
応答時間(合計)3.76s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.40s
応答時間(最大)3.40s
応答時間(合計)3.40s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)773ms
応答時間(最大)773ms
応答時間(合計)773ms
|
| #187#187 |
Qwen3 Coder Nextmedium
|
4.7… |
Qwen |
$0.032
↓
…
|
9.61s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 3 回答なし: 1 タイムアウト: 1
応答時間(平均)9.61s
応答時間(最大)81.80s
応答時間(合計)153.69s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 148,194
- 出力トークン
- 19,069
- 推論トークン
- 0
- 応答時間(平均)
- 9.61s
- 応答時間(合計)
- 153.69s
- 応答時間(最大)
- 81.80s
-
反AIトリック
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1
応答時間(平均)8.64s
応答時間(最大)15.28s
応答時間(合計)17.29s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)924ms
応答時間(最大)1.69s
応答時間(合計)2.77s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)14.65s
応答時間(最大)25.01s
応答時間(合計)29.29s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)81.80s
応答時間(最大)81.80s
応答時間(合計)81.80s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)638ms
応答時間(最大)638ms
応答時間(合計)638ms
-
汎用知能
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.39s
応答時間(最大)1.39s
応答時間(合計)1.39s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.49s
応答時間(最大)13.67s
応答時間(合計)14.99s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.25s
応答時間(最大)1.68s
応答時間(合計)2.49s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.64s
応答時間(最大)2.64s
応答時間(合計)2.64s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)399ms
応答時間(最大)399ms
応答時間(合計)399ms
|
| #189#189 |
Mercury 2none
|
4.6… |
Inception |
$0.030
…
|
829ms… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 17 指示に従っていない: 1
応答時間(平均)829ms
応答時間(最大)4.52s
応答時間(合計)18.24s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 22.7%
- 入力トークン
- 88,704
- 出力トークン
- 9,564
- 推論トークン
- 0
- 応答時間(平均)
- 829ms
- 応答時間(合計)
- 18.24s
- 応答時間(最大)
- 4.52s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)483ms
応答時間(最大)716ms
応答時間(合計)1.93s
-
コーディング
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.03s
応答時間(最大)1.43s
応答時間(合計)3.10s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.56s
応答時間(最大)4.52s
応答時間(合計)5.13s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)667ms
応答時間(最大)819ms
応答時間(合計)1.33s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)534ms
応答時間(最大)733ms
応答時間(合計)1.60s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)628ms
応答時間(最大)628ms
応答時間(合計)628ms
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)551ms
応答時間(最大)622ms
応答時間(合計)1.10s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)535ms
応答時間(最大)642ms
応答時間(合計)1.60s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.27s
応答時間(最大)1.27s
応答時間(合計)1.27s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)548ms
応答時間(最大)548ms
応答時間(合計)548ms
|
| #194#194 |
GLM 4.7 Flashmedium
|
4.3… |
Z.ai |
$0.166
…
|
142.59s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 回答なし: 3 指示に従っていない: 2 無効なツール呼び出し: 2 タイムアウト: 2
応答時間(平均)142.59s
応答時間(最大)1539.97s
応答時間(合計)1996.21s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 31.8%
- 入力トークン
- 79,051
- 出力トークン
- 43,754
- 推論トークン
- 374,109
- 応答時間(平均)
- 142.59s
- 応答時間(合計)
- 1996.21s
- 応答時間(最大)
- 1539.97s
-
反AIトリック
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)14.95s
応答時間(最大)27.09s
応答時間(合計)29.90s
-
コーディング
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 回答なし: 1
応答時間(平均)55.33s
応答時間(最大)89.40s
応答時間(合計)110.66s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)802.77s
応答時間(最大)1539.97s
応答時間(合計)1605.54s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)1.51s
応答時間(最大)1.51s
応答時間(合計)1.51s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)174.55s
応答時間(最大)174.55s
応答時間(合計)174.55s
-
汎用知能
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.14s
応答時間(最大)18.14s
応答時間(合計)18.14s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.97s
応答時間(最大)2.97s
応答時間(合計)2.97s
-
パズル解決
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)12.93s
応答時間(最大)22.33s
応答時間(合計)25.85s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.95s
応答時間(最大)15.95s
応答時間(合計)15.95s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)11.13s
応答時間(最大)11.13s
応答時間(合計)11.13s
|
| #183#183 |
Trinity Large Previewnone
|
4.8… |
Arcee AI |
$0.008
↑
…
|
2.98s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 指示に従っていない: 3 API エラー: 2
応答時間(平均)2.98s
応答時間(最大)14.34s
応答時間(合計)56.57s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 17
- 試行ごとの合格率
- 21.2%
- 入力トークン
- 29,828
- 出力トークン
- 2,169
- 推論トークン
- 0
- 応答時間(平均)
- 2.98s
- 応答時間(合計)
- 56.57s
- 応答時間(最大)
- 14.34s
-
反AIトリック
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.07s
応答時間(最大)4.40s
応答時間(合計)8.30s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2 不正解: 1
応答時間(平均)14.34s
応答時間(最大)14.34s
応答時間(合計)14.34s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.91s
応答時間(最大)8.91s
応答時間(合計)8.91s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.26s
応答時間(最大)4.66s
応答時間(合計)6.52s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)877ms
応答時間(最大)894ms
応答時間(合計)2.63s
-
汎用知能
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)873ms
応答時間(最大)873ms
応答時間(合計)873ms
-
指示追従
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)822ms
応答時間(最大)960ms
応答時間(合計)1.64s
-
パズル解決
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.97s
応答時間(最大)2.87s
応答時間(合計)5.91s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.67s
応答時間(最大)6.67s
応答時間(合計)6.67s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)777ms
応答時間(最大)777ms
応答時間(合計)777ms
|
| #199#199 |
Hy3 previewnoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.0… |
Tencent |
$0.003
↕
…
|
12.92s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 API エラー: 4 指示に従っていない: 4 余分な書式: 1
応答時間(平均)12.92s
応答時間(最大)35.84s
応答時間(合計)232.64s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 17
- 試行ごとの合格率
- 22.7%
- 入力トークン
- 27,172
- 出力トークン
- 2,661
- 推論トークン
- 0
- 応答時間(平均)
- 12.92s
- 応答時間(合計)
- 232.64s
- 応答時間(最大)
- 35.84s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)11.10s
応答時間(最大)26.88s
応答時間(合計)44.41s
-
コーディング
: 2.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2 不正解: 1
応答時間(平均)4.56s
応答時間(最大)4.56s
応答時間(合計)4.56s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)35.84s
応答時間(最大)35.84s
応答時間(合計)35.84s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)2.85s
応答時間(最大)2.85s
応答時間(合計)2.85s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)17.61s
応答時間(最大)25.68s
応答時間(合計)52.82s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)16.07s
応答時間(最大)16.07s
応答時間(合計)16.07s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)12.98s
応答時間(最大)23.51s
応答時間(合計)25.95s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)4.56s
応答時間(最大)7.35s
応答時間(合計)13.67s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)33.76s
応答時間(最大)33.76s
応答時間(合計)33.76s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.71s
応答時間(最大)2.71s
応答時間(合計)2.71s
|
| #200#200 |
MiMo-V2-Flashnoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.0… |
Xiaomi |
$0.025
↑
…
|
2.76s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 2 API エラー: 1 余分な書式: 1
応答時間(平均)2.76s
応答時間(最大)19.68s
応答時間(合計)46.99s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 17
- 試行ごとの合格率
- 24.2%
- 入力トークン
- 36,851
- 出力トークン
- 68,882
- 推論トークン
- 0
- 応答時間(平均)
- 2.76s
- 応答時間(合計)
- 46.99s
- 応答時間(最大)
- 19.68s
-
反AIトリック
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.19s
応答時間(最大)2.73s
応答時間(合計)4.76s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)2.64s
応答時間(最大)3.84s
応答時間(合計)7.92s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.87s
応答時間(最大)2.87s
応答時間(合計)2.87s
-
データ解析と抽出
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 余分な書式: 1
応答時間(平均)19.68s
応答時間(最大)19.68s
応答時間(合計)19.68s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)564ms
応答時間(最大)564ms
応答時間(合計)564ms
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.67s
応答時間(最大)1.67s
応答時間(合計)1.67s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)857ms
応答時間(最大)955ms
応答時間(合計)1.71s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.86s
応答時間(最大)2.70s
応答時間(合計)3.71s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.28s
応答時間(最大)2.28s
応答時間(合計)2.28s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.82s
応答時間(最大)1.82s
応答時間(合計)1.82s
|
| #192#192 |
Laguna M.1noneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.4… |
Poolside |
$0.009
↕
…
|
2.89s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 API エラー: 4 無効なツール呼び出し: 1
応答時間(平均)2.89s
応答時間(最大)15.42s
応答時間(合計)43.28s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 15
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 38,147
- 出力トークン
- 2,054
- 推論トークン
- 0
- 応答時間(平均)
- 2.89s
- 応答時間(合計)
- 43.28s
- 応答時間(最大)
- 15.42s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 API エラー: 1
応答時間(平均)705ms
応答時間(最大)975ms
応答時間(合計)2.12s
-
コーディング
: 2.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.93s
応答時間(最大)2.93s
応答時間(合計)2.93s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)4.32s
応答時間(最大)4.32s
応答時間(合計)4.32s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.37s
応答時間(最大)5.76s
応答時間(合計)6.73s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)5.50s
応答時間(最大)15.42s
応答時間(合計)16.50s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)683ms
応答時間(最大)691ms
応答時間(合計)1.37s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)891ms
応答時間(最大)1.21s
応答時間(合計)1.78s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.54s
応答時間(最大)7.54s
応答時間(合計)7.54s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #207#207 |
Nemotron 3 Nano Omni 30b A3b Reasoningmediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
3.4… |
NVIDIA |
$0.000
…
|
17.13s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 6 指示に従っていない: 1 回答なし: 1
応答時間(平均)17.13s
応答時間(最大)147.45s
応答時間(合計)222.66s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 15
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 11,661
- 出力トークン
- 48,491
- 推論トークン
- 180,695
- 応答時間(平均)
- 17.13s
- 応答時間(合計)
- 222.66s
- 応答時間(最大)
- 147.45s
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)1.20s
応答時間(最大)1.48s
応答時間(合計)3.59s
-
コーディング
: 1.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)38.09s
応答時間(最大)38.09s
応答時間(合計)38.09s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.72s
応答時間(最大)3.88s
応答時間(合計)5.43s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)56.67s
応答時間(最大)147.45s
応答時間(合計)170.02s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.37s
応答時間(最大)1.56s
応答時間(合計)2.74s
-
パズル解決
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)1.40s
応答時間(最大)1.57s
応答時間(合計)2.79s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #150#150 |
DeepSeek V4 Flashnone
|
5.6… |
DeepSeek |
$0.044
↓
…
|
36.78s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 余分な書式: 2 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)36.78s
応答時間(最大)247.27s
応答時間(合計)809.09s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 31.8%
- 入力トークン
- 240,221
- 出力トークン
- 100,727
- 推論トークン
- 0
- 応答時間(平均)
- 36.78s
- 応答時間(合計)
- 809.09s
- 応答時間(最大)
- 247.27s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)20.18s
応答時間(最大)26.54s
応答時間(合計)80.73s
-
コーディング
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)17.13s
応答時間(最大)24.90s
応答時間(合計)51.40s
-
複合
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)179.61s
応答時間(最大)247.27s
応答時間(合計)359.23s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.79s
応答時間(最大)23.85s
応答時間(合計)47.57s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)19.73s
応答時間(最大)27.66s
応答時間(合計)59.18s
-
汎用知能
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)23.74s
応答時間(最大)23.74s
応答時間(合計)23.74s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)17.54s
応答時間(最大)18.51s
応答時間(合計)35.08s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1 不正解: 1
応答時間(平均)23.72s
応答時間(最大)29.24s
応答時間(合計)71.16s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)77.93s
応答時間(最大)77.93s
応答時間(合計)77.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.07s
応答時間(最大)3.07s
応答時間(合計)3.07s
|
| #160#160 |
Laguna XS 2.1none
|
5.3… |
Poolside |
$0.008
…
|
1.55s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 指示に従っていない: 1 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)1.55s
応答時間(最大)19.02s
応答時間(合計)34.19s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 30.3%
- 入力トークン
- 91,598
- 出力トークン
- 13,377
- 推論トークン
- 0
- 応答時間(平均)
- 1.55s
- 応答時間(合計)
- 34.19s
- 応答時間(最大)
- 19.02s
-
反AIトリック
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)755ms
応答時間(最大)2.30s
応答時間(合計)3.02s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)623ms
応答時間(最大)1.34s
応答時間(合計)1.87s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)10.39s
応答時間(最大)19.02s
応答時間(合計)20.78s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)768ms
応答時間(最大)824ms
応答時間(合計)1.54s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)364ms
応答時間(最大)382ms
応答時間(合計)1.09s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)529ms
応答時間(最大)529ms
応答時間(合計)529ms
-
指示追従
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)364ms
応答時間(最大)373ms
応答時間(合計)728ms
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.01s
応答時間(最大)1.92s
応答時間(合計)3.02s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.36s
応答時間(最大)1.36s
応答時間(合計)1.36s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)254ms
応答時間(最大)254ms
応答時間(合計)254ms
|
| #165#165 |
Mistral Small 4none
|
5.1… |
Mistral |
$0.022
…
|
1.20s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 16 指示に従っていない: 1
応答時間(平均)1.20s
応答時間(最大)13.16s
応答時間(合計)26.38s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 25.8%
- 入力トークン
- 104,708
- 出力トークン
- 9,812
- 推論トークン
- 0
- 応答時間(平均)
- 1.20s
- 応答時間(合計)
- 26.38s
- 応答時間(最大)
- 13.16s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)395ms
応答時間(最大)769ms
応答時間(合計)1.58s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)901ms
応答時間(最大)1.28s
応答時間(合計)2.70s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)7.44s
応答時間(最大)13.16s
応答時間(合計)14.88s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)822ms
応答時間(最大)1.08s
応答時間(合計)1.64s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)367ms
応答時間(最大)388ms
応答時間(合計)1.10s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)729ms
応答時間(最大)729ms
応答時間(合計)729ms
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)380ms
応答時間(最大)380ms
応答時間(合計)759ms
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)399ms
応答時間(最大)570ms
応答時間(合計)1.20s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.40s
応答時間(最大)1.40s
応答時間(合計)1.40s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)397ms
応答時間(最大)397ms
応答時間(合計)397ms
|
| #166#166 |
Qwen3 Coder Nextnone
|
5.1… |
Qwen |
$0.025
↓
…
|
9.12s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 余分な書式: 1 指示に従っていない: 1 回答なし: 1
応答時間(平均)9.12s
応答時間(最大)45.14s
応答時間(合計)145.94s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 25.8%
- 入力トークン
- 134,218
- 出力トークン
- 11,808
- 推論トークン
- 0
- 応答時間(平均)
- 9.12s
- 応答時間(合計)
- 145.94s
- 応答時間(最大)
- 45.14s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)3.31s
応答時間(最大)4.39s
応答時間(合計)6.63s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.22s
応答時間(最大)3.14s
応答時間(合計)6.67s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)30.86s
応答時間(最大)45.14s
応答時間(合計)61.71s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.32s
応答時間(最大)1.32s
応答時間(合計)1.32s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)962ms
応答時間(最大)962ms
応答時間(合計)962ms
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.34s
応答時間(最大)1.34s
応答時間(合計)1.34s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.78s
応答時間(最大)14.65s
応答時間(合計)15.56s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)24.34s
応答時間(最大)42.58s
応答時間(合計)48.69s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.47s
応答時間(最大)2.47s
応答時間(合計)2.47s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)601ms
応答時間(最大)601ms
応答時間(合計)601ms
|
| #167#167 |
Mistral Small 4medium
|
5.1… |
Mistral |
$0.096
…
|
10.77s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 API エラー: 2 指示に従っていない: 2 回答なし: 1
応答時間(平均)10.77s
応答時間(最大)59.15s
応答時間(合計)236.94s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 42.4%
- 入力トークン
- 140,494
- 出力トークン
- 39,462
- 推論トークン
- 92,362
- 応答時間(平均)
- 10.77s
- 応答時間(合計)
- 236.94s
- 応答時間(最大)
- 59.15s
-
反AIトリック
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.67s
応答時間(最大)5.03s
応答時間(合計)10.66s
-
コーディング
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)39.98s
応答時間(最大)59.15s
応答時間(合計)119.95s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)32.40s
応答時間(最大)39.55s
応答時間(合計)64.80s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.23s
応答時間(最大)1.96s
応答時間(合計)2.46s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)6.11s
応答時間(最大)13.72s
応答時間(合計)18.34s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.05s
応答時間(最大)2.05s
応答時間(合計)2.05s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.38s
応答時間(最大)1.61s
応答時間(合計)2.75s
-
パズル解決
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)2.17s
応答時間(最大)2.60s
応答時間(合計)6.50s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.50s
応答時間(最大)3.50s
応答時間(合計)3.50s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.92s
応答時間(最大)5.92s
応答時間(合計)5.92s
|
| #168#168 |
MiMo-V2.5none
|
5.1… |
Xiaomi |
$0.025
↓
…
|
4.62s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 余分な書式: 1 指示に従っていない: 1 回答なし: 1
応答時間(平均)4.62s
応答時間(最大)55.36s
応答時間(合計)101.57s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 25.8%
- 入力トークン
- 141,043
- 出力トークン
- 16,464
- 推論トークン
- 0
- 応答時間(平均)
- 4.62s
- 応答時間(合計)
- 101.57s
- 応答時間(最大)
- 55.36s
-
反AIトリック
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.19s
応答時間(最大)6.85s
応答時間(合計)8.74s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.24s
応答時間(最大)5.52s
応答時間(合計)9.72s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)28.86s
応答時間(最大)55.36s
応答時間(合計)57.72s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)1.01s
応答時間(最大)1.18s
応答時間(合計)2.03s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)756ms
応答時間(最大)877ms
応答時間(合計)2.27s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.86s
応答時間(最大)6.86s
応答時間(合計)6.86s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)751ms
応答時間(最大)821ms
応答時間(合計)1.50s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.13s
応答時間(最大)5.18s
応答時間(合計)6.40s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)2.43s
応答時間(合計)2.43s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.89s
応答時間(最大)3.89s
応答時間(合計)3.89s
|
| #172#172 |
MiniMax M2.7medium
|
5.0… |
Minimax |
$0.163
↓
…
|
41.28s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 5 回答なし: 2 タイムアウト: 2 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)41.28s
応答時間(最大)196.21s
応答時間(合計)866.81s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 114,518
- 出力トークン
- 18,558
- 推論トークン
- 119,036
- 応答時間(平均)
- 41.28s
- 応答時間(合計)
- 866.81s
- 応答時間(最大)
- 196.21s
-
反AIトリック
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)40.32s
応答時間(最大)117.04s
応答時間(合計)161.28s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 回答なし: 1
応答時間(平均)101.89s
応答時間(最大)196.21s
応答時間(合計)305.67s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)72.12s
応答時間(最大)103.21s
応答時間(合計)144.25s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)21.95s
応答時間(最大)24.88s
応答時間(合計)43.89s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)19.00s
応答時間(最大)21.63s
応答時間(合計)38.01s
-
汎用知能
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)38.70s
応答時間(最大)38.70s
応答時間(合計)38.70s
-
指示追従
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)12.80s
応答時間(最大)15.23s
応答時間(合計)25.60s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)24.87s
応答時間(最大)46.29s
応答時間(合計)74.61s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)12.05s
応答時間(最大)12.05s
応答時間(合計)12.05s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)22.77s
応答時間(最大)22.77s
応答時間(合計)22.77s
|
| #174#174 |
GPT-4o-mininone
|
5.0… |
OpenAI |
$0.010
…
|
1.99s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 1 回答なし: 1
応答時間(平均)1.99s
応答時間(最大)7.58s
応答時間(合計)29.86s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 22.7%
- 入力トークン
- 53,136
- 出力トークン
- 2,911
- 推論トークン
- 0
- 応答時間(平均)
- 1.99s
- 応答時間(合計)
- 29.86s
- 応答時間(最大)
- 7.58s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.34s
応答時間(最大)1.83s
応答時間(合計)2.67s
-
コーディング
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.63s
応答時間(最大)2.55s
応答時間(合計)4.90s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)6.32s
応答時間(最大)7.58s
応答時間(合計)12.64s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.27s
応答時間(最大)1.27s
応答時間(合計)1.27s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)637ms
応答時間(最大)637ms
応答時間(合計)637ms
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)909ms
応答時間(最大)909ms
応答時間(合計)909ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.11s
応答時間(最大)1.11s
応答時間(合計)1.11s
-
パズル解決
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.21s
応答時間(最大)1.37s
応答時間(合計)2.42s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.51s
応答時間(最大)2.51s
応答時間(合計)2.51s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)794ms
応答時間(最大)794ms
応答時間(合計)794ms
|
| #177#177 |
Nemotron 3 Supernone
|
4.9… |
NVIDIA |
$0.008
↑
…
|
5.97s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 2
応答時間(平均)5.97s
応答時間(最大)20.00s
応答時間(合計)131.31s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 30.3%
- 入力トークン
- 63,519
- 出力トークン
- 6,434
- 推論トークン
- 0
- 応答時間(平均)
- 5.97s
- 応答時間(合計)
- 131.31s
- 応答時間(最大)
- 20.00s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.46s
応答時間(最大)9.94s
応答時間(合計)17.83s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.64s
応答時間(最大)3.05s
応答時間(合計)7.92s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)18.22s
応答時間(最大)20.00s
応答時間(合計)36.45s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.92s
応答時間(最大)13.23s
応答時間(合計)15.84s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)6.23s
応答時間(最大)14.38s
応答時間(合計)18.70s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)950ms
応答時間(最大)950ms
応答時間(合計)950ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)804ms
応答時間(最大)921ms
応答時間(合計)1.61s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.36s
応答時間(最大)3.27s
応答時間(合計)7.07s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)16.00s
応答時間(最大)16.00s
応答時間(合計)16.00s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.94s
応答時間(最大)8.94s
応答時間(合計)8.94s
|
| #182#182 |
KAT-Coder-Air V2.5none
|
4.8… |
Kwaipilot |
$0.067
…
|
12.17s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 余分な書式: 3 API エラー: 1
応答時間(平均)12.17s
応答時間(最大)121.05s
応答時間(合計)267.83s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 37.9%
- 入力トークン
- 69,367
- 出力トークン
- 93,913
- 推論トークン
- 0
- 応答時間(平均)
- 12.17s
- 応答時間(合計)
- 267.83s
- 応答時間(最大)
- 121.05s
-
反AIトリック
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.68s
応答時間(最大)5.78s
応答時間(合計)10.73s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)14.31s
応答時間(最大)21.40s
応答時間(合計)42.94s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)73.00s
応答時間(最大)121.05s
応答時間(合計)146.00s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)2.66s
応答時間(最大)2.69s
応答時間(合計)5.33s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)6.24s
応答時間(最大)8.97s
応答時間(合計)18.72s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.02s
応答時間(最大)12.02s
応答時間(合計)12.02s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.75s
応答時間(最大)2.06s
応答時間(合計)3.50s
-
パズル解決
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.84s
応答時間(最大)2.06s
応答時間(合計)5.52s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.13s
応答時間(最大)5.13s
応答時間(合計)5.13s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.96s
応答時間(最大)17.96s
応答時間(合計)17.96s
|
| #190#190 |
MiniMax M2.5medium
|
4.6… |
Minimax |
$0.340
↓
…
|
68.27s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 タイムアウト: 4 指示に従っていない: 3 回答なし: 2 無効なツール呼び出し: 1
応答時間(平均)68.27s
応答時間(最大)251.36s
応答時間(合計)955.75s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 142,561
- 出力トークン
- 125,442
- 推論トークン
- 339,935
- 応答時間(平均)
- 68.27s
- 応答時間(合計)
- 955.75s
- 応答時間(最大)
- 251.36s
-
反AIトリック
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 タイムアウト: 1
応答時間(平均)20.82s
応答時間(最大)32.42s
応答時間(合計)41.63s
-
コーディング
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1 不正解: 1
応答時間(平均)188.58s
応答時間(最大)251.36s
応答時間(合計)377.16s
-
複合
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)83.19s
応答時間(最大)105.99s
応答時間(合計)166.38s
-
データ解析と抽出
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)7.48s
応答時間(最大)7.48s
応答時間(合計)7.48s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)237.27s
応答時間(最大)237.27s
応答時間(合計)237.27s
-
汎用知能
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.63s
応答時間(最大)6.63s
応答時間(合計)6.63s
-
指示追従
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)621ms
応答時間(最大)621ms
応答時間(合計)621ms
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)11.21s
応答時間(最大)17.37s
応答時間(合計)22.43s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.35s
応答時間(最大)15.35s
応答時間(合計)15.35s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)80.79s
応答時間(最大)80.79s
応答時間(合計)80.79s
|
| #193#193 |
Elephant Alphanoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.3… |
Openrouter |
$0.000
…
|
1.22s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 3 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)1.22s
応答時間(最大)3.81s
応答時間(合計)22.03s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 16
- 信頼性
- 該当なしこのモデルの信頼性テレメトリは利用できません。
- 試行ごとの合格率
- 25.8%
- 入力トークン
- 33,743
- 出力トークン
- 2,573
- 推論トークン
- 0
- 応答時間(平均)
- 1.22s
- 応答時間(合計)
- 22.03s
- 応答時間(最大)
- 3.81s
-
反AIトリック
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)963ms
応答時間(最大)1.68s
応答時間(合計)3.85s
-
コーディング
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2 不正解: 1
応答時間(平均)1.39s
応答時間(最大)1.39s
応答時間(合計)1.39s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.81s
応答時間(最大)3.81s
応答時間(合計)3.81s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.04s
応答時間(最大)1.05s
応答時間(合計)2.08s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)927ms
応答時間(最大)1.17s
応答時間(合計)2.78s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)854ms
応答時間(最大)854ms
応答時間(合計)854ms
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.03s
応答時間(最大)1.17s
応答時間(合計)2.07s
-
パズル解決
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)807ms
応答時間(最大)925ms
応答時間(合計)2.42s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)2.79s
応答時間(最大)2.79s
応答時間(合計)2.79s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|