|
スコア
|
8.5
全ベンチマークテストの平均スコア。
…
|
7.5
全ベンチマークテストの平均スコア。
…
|
7.5
全ベンチマークテストの平均スコア。
…
|
8.1
全ベンチマークテストの平均スコア。
…
|
|
順位
|
#51 |
#110 |
#103 |
#70 |
|
信頼性
|
10.0
初回試行成功スコア: 10.0 は、成功した呼び出しの前に再試行可能な対象APIまたはレート制限の失敗がないことを示します。記録された失敗はスコアを下げます。
…
|
10.0
初回試行成功スコア: 10.0 は、成功した呼び出しの前に再試行可能な対象APIまたはレート制限の失敗がないことを示します。記録された失敗はスコアを下げます。
…
|
10.0
初回試行成功スコア: 10.0 は、成功した呼び出しの前に再試行可能な対象APIまたはレート制限の失敗がないことを示します。記録された失敗はスコアを下げます。
…
|
10.0
初回試行成功スコア: 10.0 は、成功した呼び出しの前に再試行可能な対象APIまたはレート制限の失敗がないことを示します。記録された失敗はスコアを下げます。
…
|
|
一貫性
|
8.6
一貫性スコアは実行間の安定性を示します（10 = 非常に一貫、常に誤りでも一貫）。
…
|
8.1
一貫性スコアは実行間の安定性を示します（10 = 非常に一貫、常に誤りでも一貫）。
…
|
8.5
一貫性スコアは実行間の安定性を示します（10 = 非常に一貫、常に誤りでも一貫）。
…
|
8.4
一貫性スコアは実行間の安定性を示します（10 = 非常に一貫、常に誤りでも一貫）。
…
|
|
試行回数
|
66/66 |
66/66 |
66/66 |
66/66 |
|
正解テスト
|
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2
応答時間（平均）22.85s
応答時間（最大）100.41s
応答時間（合計）502.78s
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
…
|
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間（平均）26.72s
応答時間（最大）138.75s
応答時間（合計）587.90s
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
…
|
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 2
応答時間（平均）13.32s
応答時間（最大）94.06s
応答時間（合計）292.97s
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
…
|
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 3 回答なし: 1 タイムアウト: 1
応答時間（平均）27.64s
応答時間（最大）111.48s
応答時間（合計）608.02s
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
…
|
|
試行ごとの合格率
|
77.3%
試行ごとの合格率 = 合格試行数 / 全実行での総試行数。
…
|
68.2%
試行ごとの合格率 = 合格試行数 / 全実行での総試行数。
…
|
65.2%
試行ごとの合格率 = 合格試行数 / 全実行での総試行数。
…
|
65.2%
試行ごとの合格率 = 合格試行数 / 全実行での総試行数。
…
|
|
不安定なテスト
|
4
不安定なテストは、実行間で結果が混在しています（少なくとも1回合格かつ1回失敗）。
…
|
5
不安定なテストは、実行間で結果が混在しています（少なくとも1回合格かつ1回失敗）。
…
|
4
不安定なテストは、実行間で結果が混在しています（少なくとも1回合格かつ1回失敗）。
…
|
4
不安定なテストは、実行間で結果が混在しています（少なくとも1回合格かつ1回失敗）。
…
|
|
総実行回数
|
66
総実行回数
…
|
66
総実行回数
…
|
66
総実行回数
…
|
66
総実行回数
…
|
|
結果あたりのコスト
|
10.399 |
6.546 |
1.179 |
2.006 |
|
合計コスト
|
$1.560 |
$0.786 |
$0.142 |
$0.241 |
|
入力価格
|
$2.500 / 1M
入力価格
…
|
$0.750 / 1M
入力価格
…
|
$0.200 / 1M
入力価格
…
|
$0.250 / 1M
入力価格
…
|
|
出力価格
|
$15.000 / 1M
出力価格
…
|
$4.500 / 1M
出力価格
…
|
$1.250 / 1M
出力価格
…
|
$2.000 / 1M
出力価格
…
|
|
合計入力トークン
|
81,136
合計入力トークン
…
|
97,164
合計入力トークン
…
|
82,828
合計入力トークン
…
|
98,383
合計入力トークン
…
|
|
出力トークン
|
6,155
出力トークン
…
|
6,211
出力トークン
…
|
7,100
出力トークン
…
|
14,409
出力トークン
…
|
|
推論トークン
|
84,311
推論トークン
…
|
152,133
推論トークン
…
|
92,781
推論トークン
…
|
93,610
推論トークン
…
|
|
応答時間（平均）
|
22.85s
応答時間（平均）
…
|
26.72s
応答時間（平均）
…
|
13.32s
応答時間（平均）
…
|
27.64s
応答時間（平均）
…
|
|
応答時間（最大）
|
100.41s
応答時間（最大）
…
|
138.75s
応答時間（最大）
…
|
94.06s
応答時間（最大）
…
|
111.48s
応答時間（最大）
…
|
|
応答時間（合計）
|
502.78s
応答時間（合計）
…
|
587.90s
応答時間（合計）
…
|
292.97s
応答時間（合計）
…
|
608.02s
応答時間（合計）
…
|
|
パラメータ
|
~1.5T 総数 (~100B アクティブ) |
~400B 総数 (~17B アクティブ) |
~120B 総数 (~5B アクティブ) |
~400B 総数 (~17B アクティブ) |
|
公開状況
|
クローズド |
クローズド |
クローズド |
クローズド |