Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-17 Model Dievaluasi: 442

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

442/442

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#50#50	Claude Opus 5low	9.0	Anthropic	$2.350	9.87s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 1 Token input 352,845 Token output 16,553 Token penalaran 7,007 Waktu respons (rata-rata) 9.87s Waktu respons (total) 226.95s Waktu respons (maks) 73.15s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 7.8 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#191#191	Ember-1high	6.9	Fireworks	$2.405	58.14s
Lihat kartu model Total Tes 23 Tes Salah 11 Keandalan 8.6 Tingkat lulus per percobaan 71.0% Tes tidak stabil 8 Token input 195,489 Token output 12,475 Token penalaran 108,748 Waktu respons (rata-rata) 58.14s Waktu respons (total) 1337.19s Waktu respons (maks) 255.06s Kesalahan API: 7 Jawaban salah: 2 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Tugas agen : 6.1 Trik anti-AI : 8.7 Pemrograman : 8.2 Gabungan : 6.4 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 7.1 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#87#87	Muse Spark 1.1high	8.4	Meta	$2.570	37.41s
Lihat kartu model Total Tes 23 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 69.6% Tes tidak stabil 6 Token input 336,310 Token output 10,838 Token penalaran 494,728 Waktu respons (rata-rata) 37.41s Waktu respons (total) 860.39s Waktu respons (maks) 196.03s Jawaban salah: 3 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 2 Kesalahan API: 1 Format tambahan: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 7.5 Pemrograman : 10.0 Gabungan : 5.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 7.8 Pemanggilan alat : 9.6 Pengetahuan umum : 3.0
#76#76	Grok 4.6high	8.5	X AI	$2.629	87.48s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 0 Token input 376,233 Token output 6,687 Token penalaran 305,927 Waktu respons (rata-rata) 87.48s Waktu respons (total) 2012.15s Waktu respons (maks) 618.49s Jawaban salah: 3 Tidak ada jawaban: 1 Tugas agen : 5.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#40#40	Muse Wonderlow	9.1	Meta	$2.637	16.00s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 9.7 Tingkat lulus per percobaan 76.8% Tes tidak stabil 1 Token input 244,997 Token output 11,148 Token penalaran 71,699 Waktu respons (rata-rata) 16.00s Waktu respons (total) 367.91s Waktu respons (maks) 83.98s Jawaban salah: 4 Kesalahan API: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.9 Pemanggilan alat : 9.8 Pengetahuan umum : 3.0
#99#99	Grok 4.5high	8.2	X AI	$2.687 ↑	72.50s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 3 Token input 342,124 Token output 7,135 Token penalaran 326,497 Waktu respons (rata-rata) 72.50s Waktu respons (total) 1667.51s Waktu respons (maks) 676.83s Jawaban salah: 3 Tidak ada jawaban: 2 Tidak mengikuti instruksi: 1 Tugas agen : 5.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 4.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#21#21	GPT-6 Astramedium	9.5	OpenAI	$2.707	9.90s
Lihat kartu model Total Tes 23 Tes Salah 3 Keandalan 9.9 Tingkat lulus per percobaan 91.3% Tes tidak stabil 2 Token input 165,464 Token output 5,591 Token penalaran 15,454 Waktu respons (rata-rata) 9.90s Waktu respons (total) 227.67s Waktu respons (maks) 73.48s Jawaban salah: 3 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#92#92	Gemini 3.5 Flashhigh	8.3	Google	$2.737	18.59s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 2 Token input 348,103 Token output 11,045 Token penalaran 234,967 Waktu respons (rata-rata) 18.59s Waktu respons (total) 427.52s Waktu respons (maks) 145.92s Pemanggilan alat tidak valid: 2 Jawaban salah: 2 Tugas agen : 3.4 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 9.8 Pengetahuan umum : 10.0
#175#175	Claude Opus 5none	7.1	Anthropic	$2.766	10.78s
Lihat kartu model Total Tes 23 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 55.1% Tes tidak stabil 1 Token input 396,120 Token output 31,386 Token penalaran 0 Waktu respons (rata-rata) 10.78s Waktu respons (total) 247.96s Waktu respons (maks) 79.61s Jawaban salah: 7 Format tambahan: 2 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Tugas agen : 5.4 Trik anti-AI : 5.5 Pemrograman : 5.9 Gabungan : 8.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#28#28	Claude Opus 5medium	9.4	Anthropic	$2.870	13.24s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 1 Token input 356,605 Token output 26,715 Token penalaran 17,041 Waktu respons (rata-rata) 13.24s Waktu respons (total) 304.46s Waktu respons (maks) 78.80s Jawaban salah: 3 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#160#160	Grok 4.7medium	7.3	X AI	$2.938	117.65s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 9.8 Tingkat lulus per percobaan 78.3% Tes tidak stabil 5 Token input 326,066 Token output 5,726 Token penalaran 469,019 Waktu respons (rata-rata) 117.65s Waktu respons (total) 2706.03s Waktu respons (maks) 660.89s Jawaban salah: 5 Tidak ada jawaban: 2 Tidak mengikuti instruksi: 1 Tugas agen : 3.9 Trik anti-AI : 10.0 Pemrograman : 6.6 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.4 Kepatuhan instruksi : 8.4 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#120#120	Qwen3.8 2.4T A95Bhigh	7.9	Qwen	$2.949 ↑	120.88s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 9.6 Tingkat lulus per percobaan 75.4% Tes tidak stabil 4 Token input 295,642 Token output 115,041 Token penalaran 353,398 Waktu respons (rata-rata) 120.88s Waktu respons (total) 2780.16s Waktu respons (maks) 532.28s Jawaban salah: 4 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 5.9 Gabungan : 6.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 6.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#253#253	Claude Opus 4.6medium	6.3	Anthropic	$2.961	32.23s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 60.9% Tes tidak stabil 3 Token input 108,573 Token output 69,994 Token penalaran 26,728 Waktu respons (rata-rata) 32.23s Waktu respons (total) 515.65s Waktu respons (maks) 151.51s Format tambahan: 4 Jawaban salah: 4 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 6.4 Pemrograman : 5.7 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#124#124	Grok 4.5medium	7.8	X AI	$2.996 ↑	68.44s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 3 Token input 308,369 Token output 7,013 Token penalaran 299,031 Waktu respons (rata-rata) 68.44s Waktu respons (total) 1574.14s Waktu respons (maks) 436.38s Jawaban salah: 6 Tugas agen : 5.0 Trik anti-AI : 10.0 Pemrograman : 7.6 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#207#207	Grok 4.7high	6.7	X AI	$3.037	122.19s
Lihat kartu model Total Tes 23 Tes Salah 10 Keandalan 9.6 Tingkat lulus per percobaan 72.5% Tes tidak stabil 7 Token input 329,276 Token output 8,172 Token penalaran 479,012 Waktu respons (rata-rata) 122.19s Waktu respons (total) 2810.40s Waktu respons (maks) 573.57s Tidak ada jawaban: 3 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 2 Jawaban salah: 2 Kesalahan API: 1 Tugas agen : 3.0 Trik anti-AI : 8.7 Pemrograman : 6.0 Gabungan : 8.6 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.1 Kepatuhan instruksi : 8.4 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#159#159	Claude Fable 5.1medium	7.3	Anthropic	$3.197	11.87s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 78.3% Tes tidak stabil 6 Token input 157,142 Token output 8,149 Token penalaran 24,357 Waktu respons (rata-rata) 11.87s Waktu respons (total) 272.91s Waktu respons (maks) 36.59s Jawaban salah: 3 Tidak ada jawaban: 2 Kesalahan API: 1 Format tambahan: 1 Tidak mengikuti instruksi: 1 Tugas agen : 3.0 Trik anti-AI : 8.2 Pemrograman : 7.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 7.3 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#209#209	Ember-1max	6.7	Fireworks	$3.264	97.34s
Lihat kartu model Total Tes 23 Tes Salah 12 Keandalan 8.3 Tingkat lulus per percobaan 59.4% Tes tidak stabil 6 Token input 153,399 Token output 7,803 Token penalaran 179,098 Waktu respons (rata-rata) 97.34s Waktu respons (total) 2238.73s Waktu respons (maks) 587.08s Kesalahan API: 8 Jawaban salah: 3 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 8.7 Pemrograman : 5.2 Gabungan : 6.5 Parsing dan ekstraksi data : 6.4 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.2 Pemecahan teka-teki : 7.7 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#36#36	Qwen3.8 Max (0902)high	9.1	Qwen	$3.306	186.06s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 9.8 Tingkat lulus per percobaan 87.0% Tes tidak stabil 3 Token input 328,637 Token output 8,619 Token penalaran 432,733 Waktu respons (rata-rata) 186.06s Waktu respons (total) 4279.49s Waktu respons (maks) 912.78s Jawaban salah: 2 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#264#264	Claude Fable 5.1low	6.2	Anthropic	$3.395	11.40s
Lihat kartu model Total Tes 23 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 55.1% Tes tidak stabil 3 Token input 209,116 Token output 10,031 Token penalaran 16,042 Waktu respons (rata-rata) 11.40s Waktu respons (total) 262.14s Waktu respons (maks) 34.77s Format tambahan: 4 Jawaban salah: 4 Tidak mengikuti instruksi: 3 Kesalahan API: 1 Tugas agen : 2.8 Trik anti-AI : 6.5 Pemrograman : 3.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#32#32	Muse Wondermedium	9.2	Meta	$3.397	21.58s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 9.1 Tingkat lulus per percobaan 76.8% Tes tidak stabil 1 Token input 241,489 Token output 11,575 Token penalaran 109,971 Waktu respons (rata-rata) 21.58s Waktu respons (total) 496.40s Waktu respons (maks) 162.73s Kesalahan API: 4 Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.6 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7
#203#203	Grok 4.7xhigh	6.7	X AI	$3.398	123.96s
Lihat kartu model Total Tes 23 Tes Salah 9 Keandalan 9.7 Tingkat lulus per percobaan 73.9% Tes tidak stabil 6 Token input 310,049 Token output 6,094 Token penalaran 566,221 Waktu respons (rata-rata) 123.96s Waktu respons (total) 2851.07s Waktu respons (maks) 775.64s Tidak ada jawaban: 4 Jawaban salah: 3 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 3.0 Trik anti-AI : 8.7 Pemrograman : 5.3 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 4.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#93#93	Kimi K3max	8.3	Moonshot AI	$3.409 ↓	139.41s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 9.3 Tingkat lulus per percobaan 78.3% Tes tidak stabil 2 Token input 170,700 Token output 7,719 Token penalaran 225,608 Waktu respons (rata-rata) 139.41s Waktu respons (total) 2788.26s Waktu respons (maks) 766.58s Kesalahan API: 2 Tidak ada jawaban: 2 Format tambahan: 1 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 6.5 Parsing dan ekstraksi data : 7.3 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#131#131	Muse Wonderhigh	7.7	Meta	$3.426	22.96s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 9.3 Tingkat lulus per percobaan 66.7% Tes tidak stabil 1 Token input 94,153 Token output 9,606 Token penalaran 142,834 Waktu respons (rata-rata) 22.96s Waktu respons (total) 528.08s Waktu respons (maks) 143.21s Kesalahan API: 6 Jawaban salah: 2 Tugas agen : 3.0 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 9.8 Pengetahuan umum : 2.8
#116#116	Claude Fable 5.1high	7.9	Anthropic	$3.471	13.30s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 1 Token input 144,676 Token output 8,184 Token penalaran 32,282 Waktu respons (rata-rata) 13.30s Waktu respons (total) 305.83s Waktu respons (maks) 40.17s Jawaban salah: 3 Kesalahan API: 1 Tugas agen : 3.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#95#95	Claude Opus 4.8medium	8.3	Anthropic	$3.490	16.72s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 3 Token input 360,294 Token output 43,441 Token penalaran 24,401 Waktu respons (rata-rata) 16.72s Waktu respons (total) 384.66s Waktu respons (maks) 99.37s Jawaban salah: 5 Tidak ada jawaban: 1 Tugas agen : 6.1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 9.9 Parsing dan ekstraksi data : 7.1 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow