Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-09-18 Model Dievaluasi: 330

Model rekomendasi

GPT-6 Astra xhigh Cerdas Tingkat lulus per percobaan 97.0% Tes benar 21 / 22 Skor 9.9/10 GPT-5.6 Luna medium Cepat Waktu respons (rata-rata) 7.43s Total token output 44,525 Skor 7.4/10 DeepSeek V4 Flash 0731 high Terjangkau Harga input $0.060 / 1M Harga output $0.120 / 1M Skor 8.0/10

330/330

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#253#253	MiMo-V2.5-Pronone	5.4	Xiaomi	$0.068 ↓	4.24s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 33.3% Tes tidak stabil 4 Token input 124,808 Token output 15,362 Token penalaran 0 Waktu respons (rata-rata) 4.24s Waktu respons (total) 93.28s Waktu respons (maks) 53.13s Jawaban salah: 12 Tidak mengikuti instruksi: 4 Tidak ada jawaban: 1 Trik anti-AI : 3.3 Pemrograman : 4.3 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 4.0 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 6.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#228#228	GLM 5none	5.7	Z.ai	$0.027 ↑	4.03s
Lihat kartu model Total Tes 21 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 42.4% Tes tidak stabil 1 Token input 37,135 Token output 1,989 Token penalaran 0 Waktu respons (rata-rata) 4.03s Waktu respons (total) 56.37s Waktu respons (maks) 11.07s Jawaban salah: 12 Trik anti-AI : 4.8 Pemrograman : 4.0 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#178#178	Mercury 2.5 Previewhigh	6.6	Inception	$0.030	4.01s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 65.2% Tes tidak stabil 5 Token input 115,759 Token output 2,562 Token penalaran 160,943 Waktu respons (rata-rata) 4.01s Waktu respons (total) 88.25s Waktu respons (maks) 17.71s Jawaban salah: 6 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 6.7 Gabungan : 3.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#208#208	Nemotron 3 Ultranone	6.1	NVIDIA	$0.093 ↕	3.88s
Lihat kartu model Total Tes 22 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 42.4% Tes tidak stabil 2 Token input 101,168 Token output 9,470 Token penalaran 0 Waktu respons (rata-rata) 3.88s Waktu respons (total) 85.33s Waktu respons (maks) 37.50s Jawaban salah: 11 Kesalahan API: 2 Tidak mengikuti instruksi: 1 Trik anti-AI : 3.5 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 5.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#19#19	Gemini 3.7 Flashlow	9.2	Google	$0.207 ↑	3.85s
Lihat kartu model Total Tes 22 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 95.5% Tes tidak stabil 2 Token input 90,322 Token output 6,294 Token penalaran 30,759 Waktu respons (rata-rata) 3.85s Waktu respons (total) 84.80s Waktu respons (maks) 19.44s Jawaban salah: 2 Trik anti-AI : 10.0 Pemrograman : 7.6 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 8.2 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#205#205	Qwen3.6 Flashnone	6.1	Qwen	$0.062 ↓	3.73s
Lihat kartu model Total Tes 22 Tes Salah 15 Keandalan 10.0 Tingkat lulus per percobaan 34.9% Tes tidak stabil 1 Token input 139,797 Token output 30,947 Token penalaran 0 Waktu respons (rata-rata) 3.73s Waktu respons (total) 81.95s Waktu respons (maks) 48.79s Jawaban salah: 12 Pemanggilan alat tidak valid: 2 Tidak mengikuti instruksi: 1 Trik anti-AI : 3.1 Pemrograman : 5.4 Gabungan : 3.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.5 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#109#109	Mercury 2.5 Previewmedium	7.5	Inception	$0.024	3.58s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 69.7% Tes tidak stabil 1 Token input 112,713 Token output 5,436 Token penalaran 121,598 Waktu respons (rata-rata) 3.58s Waktu respons (total) 78.66s Waktu respons (maks) 17.84s Jawaban salah: 4 Kesalahan API: 1 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 10.0 Pemrograman : 7.8 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#230#230	Ling-3.0-flashnone	5.7	Inclusionai	$0.004 ↕	3.56s
Lihat kartu model Total Tes 22 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 27.3% Tes tidak stabil 0 Token input 123,993 Token output 12,777 Token penalaran 0 Waktu respons (rata-rata) 3.56s Waktu respons (total) 74.74s Waktu respons (maks) 17.51s Jawaban salah: 13 Kesalahan API: 1 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 4.8 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 5.0 Kepatuhan instruksi : 4.8 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#263#263	Dots 3 Note Previewnone	5.2	Dots Studio	$0.000	3.53s
Lihat kartu model Total Tes 22 Tes Salah 19 Keandalan 10.0 Tingkat lulus per percobaan 16.7% Tes tidak stabil 1 Token input 116,155 Token output 19,679 Token penalaran 0 Waktu respons (rata-rata) 3.53s Waktu respons (total) 77.68s Waktu respons (maks) 24.48s Jawaban salah: 15 Tidak mengikuti instruksi: 2 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 3.1 Pemrograman : 4.6 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 5.0 Kepatuhan instruksi : 4.8 Pemecahan teka-teki : 3.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#282#282	Mercury 2.5 Previewnone	4.9	Inception	$0.018	3.51s
Lihat kartu model Total Tes 22 Tes Salah 18 Keandalan 10.0 Tingkat lulus per percobaan 30.3% Tes tidak stabil 5 Token input 130,296 Token output 82,585 Token penalaran 0 Waktu respons (rata-rata) 3.51s Waktu respons (total) 77.28s Waktu respons (maks) 60.70s Jawaban salah: 16 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 3.8 Pemrograman : 4.7 Gabungan : 3.0 Parsing dan ekstraksi data : 6.3 Spesifik domain : 3.6 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 5.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#264#264	Inklingnone	5.2	Thinkingmachines	$0.147	3.47s
Lihat kartu model Total Tes 22 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 28.8% Tes tidak stabil 1 Token input 104,120 Token output 10,554 Token penalaran 0 Waktu respons (rata-rata) 3.47s Waktu respons (total) 76.28s Waktu respons (maks) 48.02s Jawaban salah: 13 Format tambahan: 1 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 4.8 Pemrograman : 4.5 Gabungan : 2.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 5.6 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#162#162	Mercury 2.5medium	6.8	Inception	$0.022	3.19s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 9.8 Tingkat lulus per percobaan 65.2% Tes tidak stabil 4 Token input 91,402 Token output 3,138 Token penalaran 116,991 Waktu respons (rata-rata) 3.19s Waktu respons (total) 70.18s Waktu respons (maks) 9.87s Jawaban salah: 9 Kesalahan API: 1 Trik anti-AI : 10.0 Pemrograman : 5.0 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 4.4 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#246#246	Qwen3.8 27Bnone	5.5	Qwen	~$0.006	3.12s
Lihat kartu model Total Tes 22 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 40.9% Tes tidak stabil 0 Token input 122,463 Token output 11,445 Token penalaran 0 Waktu respons (rata-rata) 3.12s Waktu respons (total) 68.69s Waktu respons (maks) 44.76s Jawaban salah: 11 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 7.7 Kecerdasan umum : 4.2 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 6.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#171#171	Claude Opus 4.7none	6.6	Anthropic	$0.505	3.02s
Lihat kartu model Total Tes 19 Tes Salah 3 Keandalan 10.0 Tingkat lulus per percobaan 72.7% Tes tidak stabil 0 Token input 69,576 Token output 6,265 Token penalaran 0 Waktu respons (rata-rata) 3.02s Waktu respons (total) 57.44s Waktu respons (maks) 18.27s Jawaban salah: 3 Trik anti-AI : 8.3 Pemrograman : 3.3 Gabungan : 4.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#236#236	GLM 5V Turbonone	5.6	Z.ai	$0.052	2.99s
Lihat kartu model Total Tes 21 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 36.4% Tes tidak stabil 0 Token input 37,100 Token output 1,766 Token penalaran 0 Waktu respons (rata-rata) 2.99s Waktu respons (total) 62.74s Waktu respons (maks) 6.51s Jawaban salah: 11 Tidak mengikuti instruksi: 2 Trik anti-AI : 4.8 Pemrograman : 5.5 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.6 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#293#293	Trinity Large Previewnone	4.8	Arcee AI	$0.008 ↑	2.98s
Lihat kartu model Total Tes 21 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 21.2% Tes tidak stabil 2 Token input 29,828 Token output 2,169 Token penalaran 0 Waktu respons (rata-rata) 2.98s Waktu respons (total) 56.57s Waktu respons (maks) 14.34s Jawaban salah: 12 Tidak mengikuti instruksi: 3 Kesalahan API: 2 Trik anti-AI : 3.1 Pemrograman : 3.7 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.5 Kepatuhan instruksi : 3.5 Pemecahan teka-teki : 3.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#145#145	Mercury 2medium	7.0	Inception	$0.094	2.95s
Lihat kartu model Total Tes 22 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 53.0% Tes tidak stabil 4 Token input 110,515 Token output 10,325 Token penalaran 77,229 Waktu respons (rata-rata) 2.95s Waktu respons (total) 61.89s Waktu respons (maks) 14.63s Jawaban salah: 8 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Trik anti-AI : 6.9 Pemrograman : 8.2 Gabungan : 6.7 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 4.8 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 5.4 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#304#304	Laguna M.1none	4.4	Poolside	$0.009 ↕	2.89s
Lihat kartu model Total Tes 19 Tes Salah 15 Keandalan 9.8 Tingkat lulus per percobaan 27.3% Tes tidak stabil 3 Token input 38,147 Token output 2,054 Token penalaran 0 Waktu respons (rata-rata) 2.89s Waktu respons (total) 43.28s Waktu respons (maks) 15.42s Jawaban salah: 10 Kesalahan API: 4 Pemanggilan alat tidak valid: 1 Trik anti-AI : 3.4 Pemrograman : 2.5 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 3.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#274#274	GLM 5 Turbonone	5.1	Z.ai	$0.047 ↑	2.82s
Lihat kartu model Total Tes 21 Tes Salah 15 Keandalan 10.0 Tingkat lulus per percobaan 30.3% Tes tidak stabil 2 Token input 32,525 Token output 1,815 Token penalaran 0 Waktu respons (rata-rata) 2.82s Waktu respons (total) 59.29s Waktu respons (maks) 8.21s Jawaban salah: 13 Tidak mengikuti instruksi: 2 Trik anti-AI : 3.0 Pemrograman : 3.9 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.2 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.5 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#163#163	Gemini 3 Flash Previewnone	6.8	Google	$0.085	2.82s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 65.2% Tes tidak stabil 3 Token input 104,217 Token output 10,710 Token penalaran 0 Waktu respons (rata-rata) 2.82s Waktu respons (total) 45.05s Waktu respons (maks) 21.19s Jawaban salah: 8 Tidak ada jawaban: 1 Trik anti-AI : 8.3 Pemrograman : 5.5 Gabungan : 3.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#313#313	MiMo-V2-Flashnone	4.0	Xiaomi	$0.025 ↑	2.76s
Lihat kartu model Total Tes 21 Tes Salah 17 Keandalan 6.7 Tingkat lulus per percobaan 24.2% Tes tidak stabil 4 Token input 36,851 Token output 68,882 Token penalaran 0 Waktu respons (rata-rata) 2.76s Waktu respons (total) 46.99s Waktu respons (maks) 19.68s Jawaban salah: 13 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Format tambahan: 1 Trik anti-AI : 3.2 Pemrograman : 4.3 Gabungan : 1.5 Parsing dan ekstraksi data : 2.9 Spesifik domain : 5.3 Kecerdasan umum : 4.6 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#168#168	Gemini 3.5 Flashminimal	6.7	Google	$0.300	2.65s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 60.6% Tes tidak stabil 1 Token input 100,762 Token output 16,454 Token penalaran 0 Waktu respons (rata-rata) 2.65s Waktu respons (total) 58.21s Waktu respons (maks) 25.26s Jawaban salah: 6 Pemanggilan alat tidak valid: 2 Tidak mengikuti instruksi: 1 Trik anti-AI : 6.5 Pemrograman : 5.6 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#288#288	GPT-5.4 Nanonone	4.8	OpenAI	$0.041	2.56s
Lihat kartu model Total Tes 22 Tes Salah 18 Keandalan 10.0 Tingkat lulus per percobaan 27.3% Tes tidak stabil 4 Token input 115,933 Token output 13,794 Token penalaran 0 Waktu respons (rata-rata) 2.56s Waktu respons (total) 56.37s Waktu respons (maks) 25.50s Jawaban salah: 15 Tidak mengikuti instruksi: 2 Tidak ada jawaban: 1 Trik anti-AI : 3.5 Pemrograman : 4.6 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 2.9 Kecerdasan umum : 3.8 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 5.4 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#172#172	Gemini 3.5 Flash Litelow	6.6	Google	$0.138	2.56s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 69.7% Tes tidak stabil 6 Token input 139,165 Token output 12,899 Token penalaran 25,511 Waktu respons (rata-rata) 2.56s Waktu respons (total) 56.32s Waktu respons (maks) 15.14s Jawaban salah: 8 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 9.0 Pemrograman : 4.3 Gabungan : 3.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7
#318#318	Mercury 2.5none	3.9	Inception	$0.016	2.45s
Lihat kartu model Total Tes 22 Tes Salah 20 Keandalan 10.0 Tingkat lulus per percobaan 25.8% Tes tidak stabil 7 Token input 123,740 Token output 71,143 Token penalaran 0 Waktu respons (rata-rata) 2.45s Waktu respons (total) 53.83s Waktu respons (maks) 36.48s Jawaban salah: 14 Tidak mengikuti instruksi: 4 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 3.8 Pemrograman : 3.7 Gabungan : 3.0 Parsing dan ekstraksi data : 2.8 Spesifik domain : 5.3 Kecerdasan umum : 4.3 Kepatuhan instruksi : 4.9 Pemecahan teka-teki : 3.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium