Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-09-10 Model Dievaluasi: 328

Model rekomendasi

GPT-6 Astra xhigh Cerdas Tingkat lulus per percobaan 97.0% Tes benar 21 / 22 Skor 9.9/10 GPT-5.6 Luna medium Cepat Waktu respons (rata-rata) 7.43s Total token output 44,525 Skor 7.4/10 DeepSeek V4 Flash 0731 high Terjangkau Harga input $0.065 / 1M Harga output $0.180 / 1M Skor 8.0/10

328/328

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#326#326	Nemotron 3 Nano Omni 30b A3b Reasoningnone	3.2	NVIDIA	$0.000	728ms
Lihat kartu model Total Tes 19 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 15.2% Tes tidak stabil 2 Token input 11,661 Token output 1,302 Token penalaran 0 Waktu respons (rata-rata) 728ms Waktu respons (total) 9.47s Waktu respons (maks) 2.21s Jawaban salah: 9 Kesalahan API: 6 Tidak mengikuti instruksi: 2 Trik anti-AI : 4.8 Pemrograman : 3.3 Gabungan : 1.5 Parsing dan ekstraksi data : 3.8 Spesifik domain : 3.6 Kecerdasan umum : 3.0 Kepatuhan instruksi : 4.8 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#328#328	LFM2-24B-A2Bnone	2.2	Liquid	$0.001	782ms
Lihat kartu model Total Tes 16 Tes Salah 14 Keandalan T/A Tingkat lulus per percobaan 12.1% Tes tidak stabil 1 Token input 10,771 Token output 1,173 Token penalaran 0 Waktu respons (rata-rata) 782ms Waktu respons (total) 10.94s Waktu respons (maks) 3.15s Jawaban salah: 9 Kesalahan API: 4 Tidak mengikuti instruksi: 1 Trik anti-AI : 2.5 Pemrograman : 0.0 Gabungan : 1.5 Parsing dan ekstraksi data : 3.0 Spesifik domain : 5.9 Kecerdasan umum : 4.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.8 Pemanggilan alat : 3.0 Pengetahuan umum : 0.0
#323#323	Laguna Xs.2none	3.8	Poolside	$0.004 ↕	806ms
Lihat kartu model Total Tes 19 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 22.7% Tes tidak stabil 0 Token input 33,675 Token output 2,826 Token penalaran 0 Waktu respons (rata-rata) 806ms Waktu respons (total) 12.09s Waktu respons (maks) 2.01s Jawaban salah: 8 Kesalahan API: 4 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 3.0 Pemrograman : 8.3 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 3.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#297#297	Mercury 2none	4.7	Inception	$0.030	825ms
Lihat kartu model Total Tes 22 Tes Salah 18 Keandalan 10.0 Tingkat lulus per percobaan 24.2% Tes tidak stabil 2 Token input 89,637 Token output 9,584 Token penalaran 0 Waktu respons (rata-rata) 825ms Waktu respons (total) 18.14s Waktu respons (maks) 4.52s Jawaban salah: 17 Tidak mengikuti instruksi: 1 Trik anti-AI : 3.0 Pemrograman : 3.4 Gabungan : 3.0 Parsing dan ekstraksi data : 7.3 Spesifik domain : 5.9 Kecerdasan umum : 4.8 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#309#309	Grok 4.20none	4.1	X AI	$0.057 ↓	1.11s
Lihat kartu model Total Tes 18 Tes Salah 12 Keandalan T/A Tingkat lulus per percobaan 27.3% Tes tidak stabil 0 Token input 41,313 Token output 1,923 Token penalaran 0 Waktu respons (rata-rata) 1.11s Waktu respons (total) 19.96s Waktu respons (maks) 6.04s Jawaban salah: 10 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 4.8 Pemrograman : 1.1 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 4.8 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 0.0
#302#302	Grok 4.20 Betanone	4.4	X AI	$0.087 ↓	1.19s
Lihat kartu model Total Tes 18 Tes Salah 12 Keandalan T/A Tingkat lulus per percobaan 30.3% Tes tidak stabil 1 Token input 40,597 Token output 1,657 Token penalaran 0 Waktu respons (rata-rata) 1.19s Waktu respons (total) 21.43s Waktu respons (maks) 6.48s Jawaban salah: 10 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 4.0 Pemrograman : 1.8 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 0.0
#266#266	Mistral Small 4none	5.1	Mistral	$0.022	1.20s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 25.8% Tes tidak stabil 1 Token input 104,717 Token output 9,812 Token penalaran 0 Waktu respons (rata-rata) 1.20s Waktu respons (total) 26.41s Waktu respons (maks) 13.16s Jawaban salah: 16 Tidak mengikuti instruksi: 1 Trik anti-AI : 3.4 Pemrograman : 3.7 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#315#315	Nemotron 3.5 Lightningnone	4.0	NVIDIA	$0.007 ↕	1.21s
Lihat kartu model Total Tes 22 Tes Salah 19 Keandalan 10.0 Tingkat lulus per percobaan 16.7% Tes tidak stabil 2 Token input 74,074 Token output 2,731 Token penalaran 0 Waktu respons (rata-rata) 1.21s Waktu respons (total) 26.62s Waktu respons (maks) 6.30s Jawaban salah: 16 Pemanggilan alat tidak valid: 2 Tidak mengikuti instruksi: 1 Trik anti-AI : 4.8 Pemrograman : 3.1 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 4.4 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.1 Pemanggilan alat : 2.8 Pengetahuan umum : 3.0
#304#304	Elephant Alphanone	4.3	Openrouter	$0.000	1.22s
Lihat kartu model Total Tes 21 Tes Salah 16 Keandalan T/A Tingkat lulus per percobaan 25.8% Tes tidak stabil 1 Token input 33,743 Token output 2,573 Token penalaran 0 Waktu respons (rata-rata) 1.22s Waktu respons (total) 22.03s Waktu respons (maks) 3.81s Jawaban salah: 9 Kesalahan API: 3 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Trik anti-AI : 6.6 Pemrograman : 4.2 Gabungan : 1.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 4.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 4.2 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#306#306	Elephant Alphamedium	4.3	Openrouter	$0.000	1.27s
Lihat kartu model Total Tes 21 Tes Salah 15 Keandalan T/A Tingkat lulus per percobaan 28.8% Tes tidak stabil 1 Token input 33,744 Token output 2,596 Token penalaran 0 Waktu respons (rata-rata) 1.27s Waktu respons (total) 22.82s Waktu respons (maks) 3.70s Jawaban salah: 9 Kesalahan API: 3 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 6.6 Pemrograman : 3.7 Gabungan : 1.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 4.3 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.3 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#276#276	Mercury 2.5 Previewlow	5.0	Inception	$0.011	1.31s
Lihat kartu model Total Tes 22 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 47.0% Tes tidak stabil 8 Token input 133,525 Token output 7,259 Token penalaran 24,716 Waktu respons (rata-rata) 1.31s Waktu respons (total) 28.77s Waktu respons (maks) 7.29s Jawaban salah: 12 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Tidak ada jawaban: 1 Trik anti-AI : 5.6 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 6.3 Spesifik domain : 4.1 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 8.2 Pemanggilan alat : 2.8 Pengetahuan umum : 3.0
#270#270	Mercury 2.5low	5.1	Inception	$0.011	1.35s
Lihat kartu model Total Tes 22 Tes Salah 16 Keandalan 9.8 Tingkat lulus per percobaan 39.4% Tes tidak stabil 5 Token input 138,020 Token output 6,083 Token penalaran 27,636 Waktu respons (rata-rata) 1.35s Waktu respons (total) 29.74s Waktu respons (maks) 7.48s Jawaban salah: 14 Kesalahan API: 1 Tidak ada jawaban: 1 Trik anti-AI : 6.9 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.6 Kecerdasan umum : 4.4 Kepatuhan instruksi : 2.9 Pemecahan teka-teki : 5.9 Pemanggilan alat : 9.8 Pengetahuan umum : 3.0
#314#314	Granite 4.1 8Bnone	4.0	IBM Granite	$0.007	1.44s
Lihat kartu model Total Tes 22 Tes Salah 20 Keandalan 10.0 Tingkat lulus per percobaan 9.1% Tes tidak stabil 0 Token input 113,836 Token output 5,996 Token penalaran 0 Waktu respons (rata-rata) 1.44s Waktu respons (total) 31.75s Waktu respons (maks) 16.67s Jawaban salah: 13 Tidak mengikuti instruksi: 4 Pemanggilan alat tidak valid: 2 Format tambahan: 1 Trik anti-AI : 4.9 Pemrograman : 4.5 Gabungan : 3.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 3.0 Kecerdasan umum : 4.0 Kepatuhan instruksi : 3.6 Pemecahan teka-teki : 3.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#251#251	GPT-5.6 Lunanone	5.4	OpenAI	$0.029 ↓	1.50s
Lihat kartu model Total Tes 22 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 36.4% Tes tidak stabil 3 Token input 101,332 Token output 6,709 Token penalaran 0 Waktu respons (rata-rata) 1.50s Waktu respons (total) 33.05s Waktu respons (maks) 10.57s Jawaban salah: 14 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 4.8 Pemrograman : 3.8 Gabungan : 3.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 5.0 Kepatuhan instruksi : 7.1 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#256#256	Inkling Smallnone	5.3	Thinkingmachines	$0.054 ↓	1.51s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 24.2% Tes tidak stabil 1 Token input 94,733 Token output 8,770 Token penalaran 0 Waktu respons (rata-rata) 1.51s Waktu respons (total) 33.21s Waktu respons (maks) 12.35s Jawaban salah: 15 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 3.1 Pemrograman : 3.6 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.2 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#257#257	Laguna XS 2.1none	5.3	Poolside	$0.008	1.55s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 30.3% Tes tidak stabil 3 Token input 91,607 Token output 13,377 Token penalaran 0 Waktu respons (rata-rata) 1.55s Waktu respons (total) 34.01s Waktu respons (maks) 19.02s Jawaban salah: 14 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Kedaluwarsa: 1 Trik anti-AI : 5.3 Pemrograman : 4.3 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 3.8 Pemecahan teka-teki : 3.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#182#182	Gemini 3.1 Flash Lite Previewnone	6.4	Google	$0.052	1.56s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 57.6% Tes tidak stabil 1 Token input 120,955 Token output 14,161 Token penalaran 0 Waktu respons (rata-rata) 1.56s Waktu respons (total) 34.32s Waktu respons (maks) 9.27s Jawaban salah: 7 Tidak mengikuti instruksi: 2 Tidak ada jawaban: 1 Trik anti-AI : 7.5 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#221#221	GPT-5.4 Mininone	5.9	OpenAI	$0.095	1.58s
Lihat kartu model Total Tes 22 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 31.8% Tes tidak stabil 2 Token input 79,076 Token output 7,898 Token penalaran 0 Waktu respons (rata-rata) 1.58s Waktu respons (total) 34.86s Waktu respons (maks) 9.92s Jawaban salah: 13 Tidak mengikuti instruksi: 3 Trik anti-AI : 3.1 Pemrograman : 5.5 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 4.8 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 5.4 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#320#320	Grok 4.1 Fastnone	3.8	X AI	$0.008 ↓	1.62s
Lihat kartu model Total Tes 19 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 19.7% Tes tidak stabil 3 Token input 36,608 Token output 1,723 Token penalaran 0 Waktu respons (rata-rata) 1.62s Waktu respons (total) 19.48s Waktu respons (maks) 5.51s Jawaban salah: 13 Tidak mengikuti instruksi: 3 Trik anti-AI : 3.2 Pemrograman : 1.8 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 4.4 Kepatuhan instruksi : 3.0 Pemecahan teka-teki : 3.0 Pemanggilan alat : 2.8 Pengetahuan umum : 3.0
#211#211	GPT-5.6 Terranone	6.0	OpenAI	$0.280 ↓	1.66s
Lihat kartu model Total Tes 22 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 42.4% Tes tidak stabil 3 Token input 102,268 Token output 6,221 Token penalaran 0 Waktu respons (rata-rata) 1.66s Waktu respons (total) 36.54s Waktu respons (maks) 10.07s Jawaban salah: 11 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Trik anti-AI : 4.8 Pemrograman : 5.5 Gabungan : 2.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 9.6 Pengetahuan umum : 3.0
#200#200	Gemini 3.1 Flash Litenone	6.1	Google	$0.046	1.75s
Lihat kartu model Total Tes 22 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 50.0% Tes tidak stabil 4 Token input 118,059 Token output 10,723 Token penalaran 0 Waktu respons (rata-rata) 1.75s Waktu respons (total) 38.42s Waktu respons (maks) 16.25s Jawaban salah: 11 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 7.5 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 4.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 6.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#196#196	Gemini 3.1 Flash Liteminimal	6.1	Google	$0.047	1.85s
Lihat kartu model Total Tes 22 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 51.5% Tes tidak stabil 3 Token input 119,076 Token output 11,118 Token penalaran 0 Waktu respons (rata-rata) 1.85s Waktu respons (total) 40.74s Waktu respons (maks) 12.97s Jawaban salah: 8 Tidak mengikuti instruksi: 3 Tidak ada jawaban: 1 Trik anti-AI : 8.3 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 4.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 6.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#279#279	GPT-4o-mininone	5.0	OpenAI	$0.010	1.92s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 22.7% Tes tidak stabil 0 Token input 53,145 Token output 2,913 Token penalaran 0 Waktu respons (rata-rata) 1.92s Waktu respons (total) 30.71s Waktu respons (maks) 7.58s Jawaban salah: 15 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 4.8 Pemrograman : 3.2 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 4.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.5 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#228#228	Inkling Smalllow	5.7	Thinkingmachines	$0.055 ↓	2.07s
Lihat kartu model Total Tes 22 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 50.0% Tes tidak stabil 4 Token input 81,447 Token output 2,715 Token penalaran 11,971 Waktu respons (rata-rata) 2.07s Waktu respons (total) 45.64s Waktu respons (maks) 5.82s Jawaban salah: 9 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 2 Trik anti-AI : 9.2 Pemrograman : 4.6 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.3 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 5.3 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#223#223	GPT-5.4none	5.8	OpenAI	$0.397	2.08s
Lihat kartu model Total Tes 22 Tes Salah 15 Keandalan 10.0 Tingkat lulus per percobaan 34.9% Tes tidak stabil 2 Token input 108,641 Token output 8,339 Token penalaran 0 Waktu respons (rata-rata) 2.08s Waktu respons (total) 45.75s Waktu respons (maks) 15.63s Jawaban salah: 14 Tidak mengikuti instruksi: 1 Trik anti-AI : 3.2 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.4 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

1 2 14

→

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium