Tes dianggap lulus penuh hanya jika semua run-nya lulus.Format tambahan: 4Jawaban salah: 2Waktu respons (rata-rata)25.08sWaktu respons (maks)83.40sWaktu respons (total)200.67sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 8Tidak mengikuti instruksi: 1Waktu respons (rata-rata)1.46sWaktu respons (maks)2.89sWaktu respons (total)21.86sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
Konsistensi
8.9Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
8.9Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
Biaya per hasil
14.411Menampilkan biaya rata-rata per jawaban benchmark yang benar dalam sen (semakin rendah semakin baik).…
1.496Menampilkan biaya rata-rata per jawaban benchmark yang benar dalam sen (semakin rendah semakin baik).…
Total Biaya
$1.297Total Biaya…
$0.090Total Biaya…
Tingkat lulus per percobaan
64.4%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
44.4%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
Tes tidak stabil
2Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
2Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
common.totalRuns
45 (15 x 3)common.totalRuns…
45 (15 x 3)common.totalRuns…
Token output
26,066Token output…
1,635Token output…
Token penalaran
17,071Token penalaran…
0Token penalaran…
Waktu respons (rata-rata)
25.08sWaktu respons (rata-rata)…
1.46sWaktu respons (rata-rata)…
Waktu respons (maks)
83.40sWaktu respons (maks)…
2.89sWaktu respons (maks)…
Waktu respons (total)
200.67sWaktu respons (total)…
21.86sWaktu respons (total)…
Model teratas berdasarkan skor
Skor vs Total Biaya
Waktu respons (rata-rata)
Skor Rata-rata vs Waktu respons (rata-rata)
Rincian Kategori
Trik anti-AI
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
Anthropic: Claude Opus 4.6
4.0Skor rata-rata di semua tes benchmark.…
4.4Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
55.6%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
2Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Format tambahan: 2Waktu respons (rata-rata)11.88sWaktu respons (maks)11.88sWaktu respons (total)11.88sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
11.88sWaktu respons (rata-rata)…
897Token output…
1,000Token penalaran…
OpenAI: GPT-5.4
10.0Skor rata-rata di semua tes benchmark.…
7.3Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
11.1%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 3Waktu respons (rata-rata)1.41sWaktu respons (maks)2.58sWaktu respons (total)4.23sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
1.41sWaktu respons (rata-rata)…
388Token output…
0Token penalaran…
Gabungan
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
Anthropic: Claude Opus 4.6
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)76.66sWaktu respons (maks)76.66sWaktu respons (total)76.66sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
76.66sWaktu respons (rata-rata)…
8,178Token output…
5,194Token penalaran…
OpenAI: GPT-5.4
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)2.89sWaktu respons (maks)2.89sWaktu respons (total)2.89sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
2.89sWaktu respons (rata-rata)…
291Token output…
0Token penalaran…
Parsing dan ekstraksi data
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
Anthropic: Claude Opus 4.6
9.9Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)7.37sWaktu respons (maks)7.37sWaktu respons (total)7.37sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
7.37sWaktu respons (rata-rata)…
691Token output…
757Token penalaran…
OpenAI: GPT-5.4
9.9Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)1.04sWaktu respons (maks)1.06sWaktu respons (total)2.08sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
1.04sWaktu respons (rata-rata)…
222Token output…
0Token penalaran…
Spesifik domain
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
Anthropic: Claude Opus 4.6
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Format tambahan: 2Jawaban salah: 1Waktu respons (rata-rata)83.40sWaktu respons (maks)83.40sWaktu respons (total)83.40sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
83.40sWaktu respons (rata-rata)…
14,642Token output…
8,687Token penalaran…
OpenAI: GPT-5.4
4.0Skor rata-rata di semua tes benchmark.…
7.2Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
44.4%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 2Waktu respons (rata-rata)1.07sWaktu respons (maks)1.54sWaktu respons (total)3.22sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
1.07sWaktu respons (rata-rata)…
50Token output…
0Token penalaran…
Kepatuhan instruksi
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
Anthropic: Claude Opus 4.6
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)2.43sWaktu respons (maks)2.43sWaktu respons (total)2.43sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
2.43sWaktu respons (rata-rata)…
266Token output…
467Token penalaran…
OpenAI: GPT-5.4
5.5Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
50.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)1.07sWaktu respons (maks)1.17sWaktu respons (total)2.15sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
1.07sWaktu respons (rata-rata)…
81Token output…
0Token penalaran…
Puzzle Solving
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
Anthropic: Claude Opus 4.6
7.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
66.7%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)4.60sWaktu respons (maks)4.66sWaktu respons (total)9.20sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
4.60sWaktu respons (rata-rata)…
531Token output…
637Token penalaran…
OpenAI: GPT-5.4
4.0Skor rata-rata di semua tes benchmark.…
9.8Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
33.3%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak mengikuti instruksi: 1Jawaban salah: 1Waktu respons (rata-rata)1.52sWaktu respons (maks)1.82sWaktu respons (total)4.56sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
1.52sWaktu respons (rata-rata)…
357Token output…
0Token penalaran…
Pemanggilan alat
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
Anthropic: Claude Opus 4.6
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)9.73sWaktu respons (maks)9.73sWaktu respons (total)9.73sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
9.73sWaktu respons (rata-rata)…
861Token output…
329Token penalaran…
OpenAI: GPT-5.4
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)2.75sWaktu respons (maks)2.75sWaktu respons (total)2.75sTes dianggap lulus penuh hanya jika semua run-nya lulus.…