Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-09-07 Model Dievaluasi: 319

Model rekomendasi

GPT-5.6 Sol high Cerdas Tingkat lulus per percobaan 89.4% Tes benar 18 / 22 Skor 9.4/10 GPT-5.6 Luna medium Cepat Waktu respons (rata-rata) 7.43s Total token output 44,525 Skor 7.4/10 DeepSeek V4 Flash 0731 high Terjangkau Harga input $0.140 / 1M Harga output $0.280 / 1M Skor 8.0/10

319/319

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#119#119	GLM 5.3 Flashhigh	7.3	Z.ai	$0.029	25.36s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 66.7% Tes tidak stabil 3 Token input 113,003 Token output 11,558 Token penalaran 66,760 Waktu respons (rata-rata) 25.36s Waktu respons (total) 558.01s Waktu respons (maks) 163.41s Jawaban salah: 4 Format tambahan: 2 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Trik anti-AI : 8.3 Pemrograman : 8.2 Gabungan : 6.4 Parsing dan ekstraksi data : 7.3 Spesifik domain : 3.0 Kecerdasan umum : 5.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#120#120	Gemini 3.1 Flash Litemedium	7.3	Google	$0.120	4.38s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 62.1% Tes tidak stabil 2 Token input 104,925 Token output 9,168 Token penalaran 53,188 Waktu respons (rata-rata) 4.38s Waktu respons (total) 96.32s Waktu respons (maks) 26.22s Jawaban salah: 7 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 9.1 Pemrograman : 5.5 Gabungan : 7.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#121#121	Qwen3.7 Plusnone	7.3	Qwen	$0.106 ↓	12.11s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 54.6% Tes tidak stabil 0 Token input 98,833 Token output 58,097 Token penalaran 0 Waktu respons (rata-rata) 12.11s Waktu respons (total) 266.40s Waktu respons (maks) 206.03s Jawaban salah: 9 Tidak mengikuti instruksi: 1 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.3 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#122#122	DeepSeek V4 Flash 0731medium	7.3	DeepSeek	$0.106	84.66s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 71.2% Tes tidak stabil 8 Token input 89,819 Token output 58,398 Token penalaran 492,457 Waktu respons (rata-rata) 84.66s Waktu respons (total) 1862.46s Waktu respons (maks) 288.78s Jawaban salah: 5 Tidak ada jawaban: 3 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Kedaluwarsa: 1 Trik anti-AI : 8.2 Pemrograman : 6.4 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.1 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#123#123	Claude Opus 4.8none	7.3	Anthropic	$1.166	4.92s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 2 Token input 149,203 Token output 16,797 Token penalaran 0 Waktu respons (rata-rata) 4.92s Waktu respons (total) 108.24s Waktu respons (maks) 35.03s Jawaban salah: 4 Format tambahan: 3 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 9.8 Parsing dan ekstraksi data : 7.3 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#124#124	Kimi K2.6medium	7.2	Moonshot AI	$1.247 ↑	115.89s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 4 Token input 68,913 Token output 64,654 Token penalaran 282,865 Waktu respons (rata-rata) 115.89s Waktu respons (total) 2433.66s Waktu respons (maks) 876.20s Kedaluwarsa: 3 Jawaban salah: 3 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Trik anti-AI : 7.0 Pemrograman : 5.7 Gabungan : 6.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 6.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#125#125	KAT-Coder-Pro V2.5high	7.2	Kwaipilot	$0.506	22.11s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 6 Token input 106,085 Token output 9,071 Token penalaran 135,288 Waktu respons (rata-rata) 22.11s Waktu respons (total) 486.31s Waktu respons (maks) 199.97s Jawaban salah: 10 Pemanggilan alat tidak valid: 1 Trik anti-AI : 7.0 Pemrograman : 6.4 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.1 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#126#126	Muse Glimmer 30Bhigh	7.2	Meta	$0.397 ↓	66.70s
Lihat kartu model Total Tes 22 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 65.2% Tes tidak stabil 8 Token input 103,494 Token output 100,589 Token penalaran 270,217 Waktu respons (rata-rata) 66.70s Waktu respons (total) 1467.39s Waktu respons (maks) 451.90s Jawaban salah: 7 Tidak mengikuti instruksi: 3 Tidak ada jawaban: 2 Trik anti-AI : 8.7 Pemrograman : 8.8 Gabungan : 6.4 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 5.3 Kepatuhan instruksi : 8.4 Pemecahan teka-teki : 6.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#128#128	Qwen3.7 Flashlow	7.2	Qwen	$0.043	38.05s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 66.7% Tes tidak stabil 6 Token input 92,191 Token output 14,286 Token penalaran 289,733 Waktu respons (rata-rata) 38.05s Waktu respons (total) 837.05s Waktu respons (maks) 394.54s Jawaban salah: 7 Tidak mengikuti instruksi: 3 Kesalahan API: 1 Trik anti-AI : 10.0 Pemrograman : 6.7 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 4.0 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 7.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#129#129	Muse Glimmer 30Bmedium	7.2	Meta	$0.211 ↓	30.64s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 6 Token input 116,513 Token output 33,065 Token penalaran 135,009 Waktu respons (rata-rata) 30.64s Waktu respons (total) 674.01s Waktu respons (maks) 181.08s Jawaban salah: 9 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 9.2 Pemrograman : 8.4 Gabungan : 6.5 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 4.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 6.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#130#130	Qwen3.5-122B-A10Bmedium	7.1	Qwen	$1.207 ↑	65.67s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 71.2% Tes tidak stabil 4 Token input 124,780 Token output 47,694 Token penalaran 439,825 Waktu respons (rata-rata) 65.67s Waktu respons (total) 1444.68s Waktu respons (maks) 519.30s Jawaban salah: 5 Kedaluwarsa: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 6.0 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 3.4 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#131#131	Muse Glimmer 30Blow	7.1	Meta	$0.143 ↓	18.64s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 5 Token input 130,312 Token output 33,867 Token penalaran 62,103 Waktu respons (rata-rata) 18.64s Waktu respons (total) 410.18s Waktu respons (maks) 234.92s Jawaban salah: 6 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Trik anti-AI : 8.7 Pemrograman : 8.1 Gabungan : 3.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 5.0 Kepatuhan instruksi : 8.4 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#132#132	Step 3.7 Flashlow	7.1	Stepfun	$0.390	17.87s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 5 Token input 103,842 Token output 320,393 Token penalaran 0 Waktu respons (rata-rata) 17.87s Waktu respons (total) 393.04s Waktu respons (maks) 124.75s Jawaban salah: 9 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Trik anti-AI : 8.7 Pemrograman : 8.2 Gabungan : 7.3 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 3.4 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.5 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#133#133	Solar Pro 4high	7.1	Upstage	$0.046	120.58s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 62.1% Tes tidak stabil 5 Token input 79,740 Token output 23,357 Token penalaran 339,837 Waktu respons (rata-rata) 120.58s Waktu respons (total) 2652.77s Waktu respons (maks) 491.07s Jawaban salah: 5 Tidak mengikuti instruksi: 3 Kesalahan API: 1 Format tambahan: 1 Tidak ada jawaban: 1 Trik anti-AI : 8.7 Pemrograman : 5.7 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 5.5 Kepatuhan instruksi : 7.9 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#134#134	Grok 4.3medium	7.0	X AI	$0.741	44.21s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 66.7% Tes tidak stabil 5 Token input 140,244 Token output 13,739 Token penalaran 212,165 Waktu respons (rata-rata) 44.21s Waktu respons (total) 972.64s Waktu respons (maks) 216.69s Jawaban salah: 6 Tidak mengikuti instruksi: 2 Format tambahan: 1 Tidak ada jawaban: 1 Trik anti-AI : 10.0 Pemrograman : 5.9 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 5.4 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#135#135	GPT-5.6 Solnone	7.0	OpenAI	$0.201 ↓	2.17s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 3 Token input 78,602 Token output 4,357 Token penalaran 0 Waktu respons (rata-rata) 2.17s Waktu respons (total) 47.66s Waktu respons (maks) 12.81s Jawaban salah: 9 Tidak mengikuti instruksi: 1 Trik anti-AI : 8.3 Pemrograman : 5.5 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#136#136	DeepSeek V3.2medium	7.0	DeepSeek	$0.078 ↑	68.43s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 65.2% Tes tidak stabil 7 Token input 101,056 Token output 11,832 Token penalaran 116,955 Waktu respons (rata-rata) 68.43s Waktu respons (total) 1505.53s Waktu respons (maks) 376.10s Jawaban salah: 5 Kesalahan API: 2 Kedaluwarsa: 2 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 8.2 Pemrograman : 6.0 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 3.4 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#138#138	GPT-5.5none	7.0	OpenAI	$0.544	2.35s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 59.1% Tes tidak stabil 2 Token input 79,294 Token output 4,915 Token penalaran 0 Waktu respons (rata-rata) 2.35s Waktu respons (total) 51.78s Waktu respons (maks) 12.24s Jawaban salah: 10 Trik anti-AI : 6.9 Pemrograman : 5.5 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.2 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#139#139	Mercury 2medium	7.0	Inception	$0.094	2.95s
Lihat kartu model Total Tes 22 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 53.0% Tes tidak stabil 4 Token input 110,515 Token output 10,325 Token penalaran 77,229 Waktu respons (rata-rata) 2.95s Waktu respons (total) 61.89s Waktu respons (maks) 14.63s Jawaban salah: 8 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Trik anti-AI : 6.9 Pemrograman : 8.2 Gabungan : 6.7 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 4.8 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 5.4 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#140#140	Grok 4.20medium	7.0	X AI	$0.805 ↓	32.56s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 60.6% Tes tidak stabil 5 Token input 102,986 Token output 5,860 Token penalaran 264,399 Waktu respons (rata-rata) 32.56s Waktu respons (total) 716.36s Waktu respons (maks) 199.66s Jawaban salah: 6 Format tambahan: 2 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 8.2 Pemrograman : 6.3 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 3.9 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.7 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#142#142	Kimi K2.5medium	7.0	Moonshot AI	$0.479 ↓	98.19s
Lihat kartu model Total Tes 22 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 8 Token input 118,496 Token output 53,522 Token penalaran 167,420 Waktu respons (rata-rata) 98.19s Waktu respons (total) 1571.05s Waktu respons (maks) 281.00s Jawaban salah: 5 Tidak mengikuti instruksi: 2 Tidak ada jawaban: 2 Kedaluwarsa: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 7.3 Pemrograman : 6.1 Gabungan : 6.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#143#143	KAT-Coder-Pro V2.5medium	6.9	Kwaipilot	$0.478	24.87s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 65.2% Tes tidak stabil 8 Token input 87,916 Token output 7,213 Token penalaran 132,162 Waktu respons (rata-rata) 24.87s Waktu respons (total) 547.14s Waktu respons (maks) 257.00s Jawaban salah: 9 Kesalahan API: 1 Tidak mengikuti instruksi: 1 Trik anti-AI : 8.2 Pemrograman : 7.8 Gabungan : 6.4 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 4.7 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 5.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#144#144	Claude Fable 5.1low	6.9	Anthropic	$2.565	10.33s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 56.1% Tes tidak stabil 2 Token input 134,582 Token output 8,955 Token penalaran 15,420 Waktu respons (rata-rata) 10.33s Waktu respons (total) 227.37s Waktu respons (maks) 33.10s Format tambahan: 4 Jawaban salah: 4 Tidak mengikuti instruksi: 3 Trik anti-AI : 6.5 Pemrograman : 3.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#145#145	Qwen3.7 Flashmedium	6.9	Qwen	$0.065	47.38s
Lihat kartu model Total Tes 22 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 7 Token input 114,477 Token output 12,786 Token penalaran 457,290 Waktu respons (rata-rata) 47.38s Waktu respons (total) 1042.43s Waktu respons (maks) 593.64s Jawaban salah: 8 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 6.2 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.5 Kepatuhan instruksi : 5.8 Pemecahan teka-teki : 7.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#147#147	Gemini 3.5 Flashnone	6.9	Google	$1.093	10.18s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 69.7% Tes tidak stabil 3 Token input 13,852 Token output 119,100 Token penalaran 0 Waktu respons (rata-rata) 10.18s Waktu respons (total) 183.29s Waktu respons (maks) 64.36s Kesalahan API: 4 Jawaban salah: 4 Trik anti-AI : 10.0 Pemrograman : 8.8 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 2.8

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium