Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-17 Model Dievaluasi: 442

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

442/442

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#34#34	Claude Sonnet 5.5max	9.2	Anthropic	$8.557	84.26s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 2 Token input 484,627 Token output 11,026 Token penalaran 747,681 Waktu respons (rata-rata) 84.26s Waktu respons (total) 1937.91s Waktu respons (maks) 488.39s Tidak ada jawaban: 3 Tidak mengikuti instruksi: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.1 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#8#8	GPT-6 Astraxhigh	9.9	OpenAI	$6.213	29.67s
Lihat kartu model Total Tes 23 Tes Salah 1 Keandalan 9.9 Tingkat lulus per percobaan 97.1% Tes tidak stabil 1 Token input 170,731 Token output 5,865 Token penalaran 84,230 Waktu respons (rata-rata) 29.67s Waktu respons (total) 682.42s Waktu respons (maks) 381.11s Jawaban salah: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#391#391	Grok 4.20 Multi Agent Betamedium	3.9	X AI	$5.599 ↑	9.69s
Lihat kartu model Total Tes 18 Tes Salah 10 Keandalan T/A Tingkat lulus per percobaan 46.4% Tes tidak stabil 5 Token input 721,952 Token output 294,668 Token penalaran 305,374 Waktu respons (rata-rata) 9.69s Waktu respons (total) 155.07s Waktu respons (maks) 35.28s Jawaban salah: 4 Kesalahan API: 2 Format tambahan: 2 Tidak mengikuti instruksi: 2 Tugas agen : 0.0 Trik anti-AI : 6.9 Pemrograman : 3.3 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.8 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 6.7 Pemanggilan alat : 3.0 Pengetahuan umum : 0.0
#57#57	Claude Fable 5medium	8.9	Anthropic	$5.089	16.84s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 1 Token input 272,411 Token output 35,497 Token penalaran 11,788 Waktu respons (rata-rata) 16.84s Waktu respons (total) 387.26s Waktu respons (maks) 80.80s Tidak ada jawaban: 3 Pemanggilan alat tidak valid: 1 Jawaban salah: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#5#5	GPT-6 Astramax	9.9	OpenAI	$5.044	61.63s
Lihat kartu model Total Tes 23 Tes Salah 1 Keandalan 9.6 Tingkat lulus per percobaan 95.7% Tes tidak stabil 0 Token input 181,223 Token output 5,707 Token penalaran 58,909 Waktu respons (rata-rata) 61.63s Waktu respons (total) 1417.51s Waktu respons (maks) 960.01s Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#33#33	GPT-5.5medium	9.2	OpenAI	$4.809	39.86s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 88.4% Tes tidak stabil 3 Token input 180,959 Token output 6,472 Token penalaran 123,635 Waktu respons (rata-rata) 39.86s Waktu respons (total) 916.82s Waktu respons (maks) 332.10s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.8 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#122#122	Muse Wondermax	7.9	Meta	$4.766	44.39s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 9.0 Tingkat lulus per percobaan 75.4% Tes tidak stabil 3 Token input 93,126 Token output 10,497 Token penalaran 209,138 Waktu respons (rata-rata) 44.39s Waktu respons (total) 1021.02s Waktu respons (maks) 287.79s Kesalahan API: 4 Jawaban salah: 2 Tidak mengikuti instruksi: 1 Tugas agen : 3.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 7.5 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#89#89	GLM 5.2high	8.4	Z.ai	$4.632 ↑	69.11s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 71.0% Tes tidak stabil 3 Token input 288,913 Token output 79,462 Token penalaran 303,120 Waktu respons (rata-rata) 69.11s Waktu respons (total) 1589.43s Waktu respons (maks) 599.43s Jawaban salah: 5 Tidak ada jawaban: 2 Tidak mengikuti instruksi: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 6.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.1 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 6.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#27#27	Claude Opus 5high	9.4	Anthropic	$4.524	25.31s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 0 Token input 376,421 Token output 67,688 Token penalaran 37,974 Waktu respons (rata-rata) 25.31s Waktu respons (total) 582.11s Waktu respons (maks) 159.01s Jawaban salah: 2 Format tambahan: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#185#185	Step 5 Previewhigh	7.0	Stepfun	$4.513	154.41s
Lihat kartu model Total Tes 23 Tes Salah 13 Keandalan 9.5 Tingkat lulus per percobaan 52.2% Tes tidak stabil 4 Token input 243,381 Token output 1,581,325 Token penalaran 0 Waktu respons (rata-rata) 154.41s Waktu respons (total) 3551.40s Waktu respons (maks) 455.72s Tidak ada jawaban: 7 Jawaban salah: 3 Kesalahan API: 2 Tidak mengikuti instruksi: 1 Tugas agen : 10.0 Trik anti-AI : 6.5 Pemrograman : 2.9 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 3.4 Kepatuhan instruksi : 7.3 Pemecahan teka-teki : 5.8 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#7#7	GPT-6 Astrahigh	9.9	OpenAI	$4.458	20.16s
Lihat kartu model Total Tes 23 Tes Salah 1 Keandalan 9.9 Tingkat lulus per percobaan 97.1% Tes tidak stabil 1 Token input 167,805 Token output 5,651 Token penalaran 49,944 Waktu respons (rata-rata) 20.16s Waktu respons (total) 463.68s Waktu respons (maks) 254.93s Jawaban salah: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#271#271	Step 5 Previewmedium	6.1	Stepfun	$4.136	136.10s
Lihat kartu model Total Tes 23 Tes Salah 13 Keandalan 9.6 Tingkat lulus per percobaan 53.6% Tes tidak stabil 5 Token input 261,842 Token output 1,434,621 Token penalaran 0 Waktu respons (rata-rata) 136.10s Waktu respons (total) 3130.27s Waktu respons (maks) 438.09s Tidak ada jawaban: 6 Jawaban salah: 3 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 6.1 Trik anti-AI : 6.4 Pemrograman : 2.8 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 3.4 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.8 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#302#302	Step 5 Previewlow	5.6	Stepfun	$4.110	138.27s
Lihat kartu model Total Tes 23 Tes Salah 13 Keandalan 9.7 Tingkat lulus per percobaan 58.0% Tes tidak stabil 7 Token input 261,256 Token output 1,425,268 Token penalaran 0 Waktu respons (rata-rata) 138.27s Waktu respons (total) 3180.10s Waktu respons (maks) 436.56s Tidak ada jawaban: 7 Kesalahan API: 2 Jawaban salah: 2 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 3.4 Trik anti-AI : 6.9 Pemrograman : 2.7 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 3.5 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#82#82	Qwen3.8 2.4T A95Blow	8.4	Qwen	$4.016 ↑	120.40s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 9.6 Tingkat lulus per percobaan 73.9% Tes tidak stabil 2 Token input 313,881 Token output 123,706 Token penalaran 388,328 Waktu respons (rata-rata) 120.40s Waktu respons (total) 2769.16s Waktu respons (maks) 534.21s Jawaban salah: 5 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 7.8 Gabungan : 8.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.2 Kecerdasan umum : 6.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#139#139	Muse Wonderxhigh	7.7	Meta	$4.012	34.40s
Lihat kartu model Total Tes 23 Tes Salah 9 Keandalan 9.1 Tingkat lulus per percobaan 65.2% Tes tidak stabil 2 Token input 93,060 Token output 10,305 Token penalaran 171,683 Waktu respons (rata-rata) 34.40s Waktu respons (total) 791.16s Waktu respons (maks) 236.64s Kesalahan API: 6 Jawaban salah: 3 Tugas agen : 3.0 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#169#169	Claude Opus 4.8low	7.2	Anthropic	$3.787	17.13s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 78.3% Tes tidak stabil 4 Token input 409,947 Token output 46,060 Token penalaran 23,429 Waktu respons (rata-rata) 17.13s Waktu respons (total) 394.01s Waktu respons (maks) 127.97s Jawaban salah: 5 Format tambahan: 1 Tidak ada jawaban: 1 Tugas agen : 4.7 Trik anti-AI : 10.0 Pemrograman : 6.6 Gabungan : 9.9 Parsing dan ekstraksi data : 6.3 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#105#105	Claude Opus 4.7medium	8.1	Anthropic	$3.636	14.12s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 81.2% Tes tidak stabil 2 Token input 437,293 Token output 29,102 Token penalaran 28,876 Waktu respons (rata-rata) 14.12s Waktu respons (total) 310.55s Waktu respons (maks) 150.60s Jawaban salah: 3 Pemanggilan alat tidak valid: 1 Kedaluwarsa: 1 Tugas agen : 5.2 Trik anti-AI : 8.3 Pemrograman : 7.6 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#95#95	Claude Opus 4.8medium	8.3	Anthropic	$3.490	16.72s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 3 Token input 360,294 Token output 43,441 Token penalaran 24,401 Waktu respons (rata-rata) 16.72s Waktu respons (total) 384.66s Waktu respons (maks) 99.37s Jawaban salah: 5 Tidak ada jawaban: 1 Tugas agen : 6.1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 9.9 Parsing dan ekstraksi data : 7.1 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#116#116	Claude Fable 5.1high	7.9	Anthropic	$3.471	13.30s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 1 Token input 144,676 Token output 8,184 Token penalaran 32,282 Waktu respons (rata-rata) 13.30s Waktu respons (total) 305.83s Waktu respons (maks) 40.17s Jawaban salah: 3 Kesalahan API: 1 Tugas agen : 3.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#131#131	Muse Wonderhigh	7.7	Meta	$3.426	22.96s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 9.3 Tingkat lulus per percobaan 66.7% Tes tidak stabil 1 Token input 94,153 Token output 9,606 Token penalaran 142,834 Waktu respons (rata-rata) 22.96s Waktu respons (total) 528.08s Waktu respons (maks) 143.21s Kesalahan API: 6 Jawaban salah: 2 Tugas agen : 3.0 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 9.8 Pengetahuan umum : 2.8
#93#93	Kimi K3max	8.3	Moonshot AI	$3.409 ↓	139.41s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 9.3 Tingkat lulus per percobaan 78.3% Tes tidak stabil 2 Token input 170,700 Token output 7,719 Token penalaran 225,608 Waktu respons (rata-rata) 139.41s Waktu respons (total) 2788.26s Waktu respons (maks) 766.58s Kesalahan API: 2 Tidak ada jawaban: 2 Format tambahan: 1 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 6.5 Parsing dan ekstraksi data : 7.3 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#203#203	Grok 4.7xhigh	6.7	X AI	$3.398	123.96s
Lihat kartu model Total Tes 23 Tes Salah 9 Keandalan 9.7 Tingkat lulus per percobaan 73.9% Tes tidak stabil 6 Token input 310,049 Token output 6,094 Token penalaran 566,221 Waktu respons (rata-rata) 123.96s Waktu respons (total) 2851.07s Waktu respons (maks) 775.64s Tidak ada jawaban: 4 Jawaban salah: 3 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 3.0 Trik anti-AI : 8.7 Pemrograman : 5.3 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 4.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#32#32	Muse Wondermedium	9.2	Meta	$3.397	21.58s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 9.1 Tingkat lulus per percobaan 76.8% Tes tidak stabil 1 Token input 241,489 Token output 11,575 Token penalaran 109,971 Waktu respons (rata-rata) 21.58s Waktu respons (total) 496.40s Waktu respons (maks) 162.73s Kesalahan API: 4 Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.6 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7
#264#264	Claude Fable 5.1low	6.2	Anthropic	$3.395	11.40s
Lihat kartu model Total Tes 23 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 55.1% Tes tidak stabil 3 Token input 209,116 Token output 10,031 Token penalaran 16,042 Waktu respons (rata-rata) 11.40s Waktu respons (total) 262.14s Waktu respons (maks) 34.77s Format tambahan: 4 Jawaban salah: 4 Tidak mengikuti instruksi: 3 Kesalahan API: 1 Tugas agen : 2.8 Trik anti-AI : 6.5 Pemrograman : 3.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#36#36	Qwen3.8 Max (0902)high	9.1	Qwen	$3.306	186.06s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 9.8 Tingkat lulus per percobaan 87.0% Tes tidak stabil 3 Token input 328,637 Token output 8,619 Token penalaran 432,733 Waktu respons (rata-rata) 186.06s Waktu respons (total) 4279.49s Waktu respons (maks) 912.78s Jawaban salah: 2 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

1 2 18

→

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow