Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-09-07 Model Dievaluasi: 319

Model rekomendasi

GPT-5.6 Sol high Cerdas Tingkat lulus per percobaan 89.4% Tes benar 18 / 22 Skor 9.4/10 GPT-5.6 Luna medium Cepat Waktu respons (rata-rata) 7.43s Total token output 44,525 Skor 7.4/10 DeepSeek V4 Flash 0731 high Terjangkau Harga input $0.140 / 1M Harga output $0.280 / 1M Skor 8.0/10

319/319

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#315#315	gpt-oss-120bnone	3.7	OpenAI	$0.010 ↓	21.61s
Lihat kartu model Total Tes 19 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 33.3% Tes tidak stabil 2 Token input 9,081 Token output 51,664 Token penalaran 0 Waktu respons (rata-rata) 21.61s Waktu respons (total) 345.79s Waktu respons (maks) 113.71s Jawaban salah: 8 Kesalahan API: 3 Tidak mengikuti instruksi: 2 Trik anti-AI : 6.5 Pemrograman : 1.5 Gabungan : 1.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 4.8 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 6.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#316#316	Nemotron 3 Nano Omni 30b A3b Reasoningmedium	3.4	NVIDIA	$0.000	17.13s
Lihat kartu model Total Tes 19 Tes Salah 15 Keandalan 10.0 Tingkat lulus per percobaan 27.3% Tes tidak stabil 5 Token input 11,661 Token output 48,491 Token penalaran 180,695 Waktu respons (rata-rata) 17.13s Waktu respons (total) 222.66s Waktu respons (maks) 147.45s Jawaban salah: 7 Kesalahan API: 6 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 6.4 Pemrograman : 1.1 Gabungan : 1.5 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 3.0 Kepatuhan instruksi : 7.3 Pemecahan teka-teki : 2.9 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#317#317	Nemotron 3 Nano Omni 30b A3b Reasoningnone	3.2	NVIDIA	$0.000	728ms
Lihat kartu model Total Tes 19 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 15.2% Tes tidak stabil 2 Token input 11,661 Token output 1,302 Token penalaran 0 Waktu respons (rata-rata) 728ms Waktu respons (total) 9.47s Waktu respons (maks) 2.21s Jawaban salah: 9 Kesalahan API: 6 Tidak mengikuti instruksi: 2 Trik anti-AI : 4.8 Pemrograman : 3.3 Gabungan : 1.5 Parsing dan ekstraksi data : 3.8 Spesifik domain : 3.6 Kecerdasan umum : 3.0 Kepatuhan instruksi : 4.8 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#318#318	Step 3.5 Flashnone	2.3	Stepfun	$0.020	39.03s
Lihat kartu model Total Tes 12 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 27.3% Tes tidak stabil 0 Token input 1,971 Token output 64,795 Token penalaran 0 Waktu respons (rata-rata) 39.03s Waktu respons (total) 312.26s Waktu respons (maks) 114.12s Kesalahan API: 4 Tidak mengikuti instruksi: 1 Jawaban salah: 1 Trik anti-AI : 10.0 Pemrograman : 9.8 Gabungan : 1.5 Parsing dan ekstraksi data : 1.5 Spesifik domain : 3.3 Kecerdasan umum : 4.0 Kepatuhan instruksi : 5.0 Pemecahan teka-teki : 0.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#4#4	GPT-6 Astrahigh	9.9	OpenAI	$3.474	18.65s
Lihat kartu model Total Tes 22 Tes Salah 1 Keandalan 9.9 Tingkat lulus per percobaan 97.0% Tes tidak stabil 1 Token input 79,290 Token output 4,847 Token penalaran 48,775 Waktu respons (rata-rata) 18.65s Waktu respons (total) 410.28s Waktu respons (maks) 254.93s Jawaban salah: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#5#5	GPT-6 Astraxhigh	9.9	OpenAI	$5.156	28.44s
Lihat kartu model Total Tes 22 Tes Salah 1 Keandalan 9.9 Tingkat lulus per percobaan 97.0% Tes tidak stabil 1 Token input 79,662 Token output 5,055 Token penalaran 82,128 Waktu respons (rata-rata) 28.44s Waktu respons (total) 625.68s Waktu respons (maks) 381.11s Jawaban salah: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#9#9	GPT-6 Astralow	9.5	OpenAI	$1.289	5.09s
Lihat kartu model Total Tes 22 Tes Salah 2 Keandalan 9.9 Tingkat lulus per percobaan 90.9% Tes tidak stabil 0 Token input 78,100 Token output 4,155 Token penalaran 5,989 Waktu respons (rata-rata) 5.09s Waktu respons (total) 112.04s Waktu respons (maks) 28.60s Jawaban salah: 2 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#14#14	GPT-6 Astramedium	9.4	OpenAI	$1.774	8.08s
Lihat kartu model Total Tes 22 Tes Salah 3 Keandalan 9.9 Tingkat lulus per percobaan 90.9% Tes tidak stabil 2 Token input 79,264 Token output 4,789 Token penalaran 14,838 Waktu respons (rata-rata) 8.08s Waktu respons (total) 177.70s Waktu respons (maks) 73.48s Jawaban salah: 3 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#44#44	Muse Spark 1.2high	8.7	Meta	$1.771	26.59s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 9.9 Tingkat lulus per percobaan 74.2% Tes tidak stabil 5 Token input 117,037 Token output 6,983 Token penalaran 375,104 Waktu respons (rata-rata) 26.59s Waktu respons (total) 584.89s Waktu respons (maks) 192.00s Jawaban salah: 4 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Trik anti-AI : 7.1 Pemrograman : 10.0 Gabungan : 8.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#66#66	Muse Glimmer 30Bxhigh	8.1	Meta	$0.471 ↓	95.55s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 9.9 Tingkat lulus per percobaan 69.7% Tes tidak stabil 4 Token input 110,930 Token output 116,373 Token penalaran 330,471 Waktu respons (rata-rata) 95.55s Waktu respons (total) 2102.12s Waktu respons (maks) 576.79s Jawaban salah: 4 Tidak ada jawaban: 3 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 6.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.5 Kepatuhan instruksi : 8.4 Pemecahan teka-teki : 7.8 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#109#109	Qwen3.7 Maxnone	7.4	Qwen	$0.197 ↓	4.56s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 9.9 Tingkat lulus per percobaan 68.2% Tes tidak stabil 0 Token input 95,992 Token output 12,446 Token penalaran 0 Waktu respons (rata-rata) 4.56s Waktu respons (total) 100.30s Waktu respons (maks) 72.30s Jawaban salah: 7 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#152#152	Solar Pro 4medium	6.8	Upstage	$0.047	127.64s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 9.9 Tingkat lulus per percobaan 62.1% Tes tidak stabil 4 Token input 87,902 Token output 30,743 Token penalaran 335,668 Waktu respons (rata-rata) 127.64s Waktu respons (total) 2808.09s Waktu respons (maks) 519.91s Jawaban salah: 5 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Format tambahan: 1 Tidak ada jawaban: 1 Trik anti-AI : 8.2 Pemrograman : 5.5 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 3.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 9.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#160#160	LongCat 2.0low	6.7	Meituan	$0.412	113.61s
Lihat kartu model Total Tes 22 Tes Salah 12 Keandalan 9.9 Tingkat lulus per percobaan 54.6% Tes tidak stabil 4 Token input 90,870 Token output 5,676 Token penalaran 314,918 Waktu respons (rata-rata) 113.61s Waktu respons (total) 2499.46s Waktu respons (maks) 560.39s Jawaban salah: 7 Kesalahan API: 2 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Kedaluwarsa: 1 Trik anti-AI : 10.0 Pemrograman : 6.6 Gabungan : 10.0 Parsing dan ekstraksi data : 6.3 Spesifik domain : 2.9 Kecerdasan umum : 3.4 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#177#177	Qwen3.6 Max Previewnone	6.4	Qwen	$0.228 ↓	7.82s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 9.9 Tingkat lulus per percobaan 56.1% Tes tidak stabil 2 Token input 106,348 Token output 19,257 Token penalaran 0 Waktu respons (rata-rata) 7.82s Waktu respons (total) 172.04s Waktu respons (maks) 102.62s Jawaban salah: 11 Trik anti-AI : 5.2 Pemrograman : 3.8 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.3 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#235#235	Nemotron 3.5 Lightninghigh	5.6	NVIDIA	$0.134 ↕	58.26s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 9.9 Tingkat lulus per percobaan 50.0% Tes tidak stabil 12 Token input 118,016 Token output 148,344 Token penalaran 506,253 Waktu respons (rata-rata) 58.26s Waktu respons (total) 1281.79s Waktu respons (maks) 285.26s Jawaban salah: 11 Tidak mengikuti instruksi: 4 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 5.5 Pemrograman : 4.4 Gabungan : 6.4 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 3.7 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 3.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#243#243	KAT-Coder-Air V2.5low	5.4	Kwaipilot	$0.046	10.63s
Lihat kartu model Total Tes 22 Tes Salah 15 Keandalan 9.9 Tingkat lulus per percobaan 43.9% Tes tidak stabil 6 Token input 61,094 Token output 6,532 Token penalaran 53,882 Waktu respons (rata-rata) 10.63s Waktu respons (total) 233.77s Waktu respons (maks) 86.23s Jawaban salah: 7 Format tambahan: 4 Kesalahan API: 2 Tidak mengikuti instruksi: 2 Trik anti-AI : 7.3 Pemrograman : 3.5 Gabungan : 6.4 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 5.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#258#258	Nemotron 3.5 Lightningmedium	5.1	NVIDIA	$0.156 ↕	70.11s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 9.9 Tingkat lulus per percobaan 48.5% Tes tidak stabil 11 Token input 126,330 Token output 165,702 Token penalaran 594,739 Waktu respons (rata-rata) 70.11s Waktu respons (total) 1542.52s Waktu respons (maks) 437.11s Jawaban salah: 13 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Trik anti-AI : 6.9 Pemrograman : 4.4 Gabungan : 6.2 Parsing dan ekstraksi data : 3.7 Spesifik domain : 2.9 Kecerdasan umum : 5.5 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 4.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#31#31	Qwen3.8 Max (0902)high	8.9	Qwen	$2.736	185.56s
Lihat kartu model Total Tes 22 Tes Salah 5 Keandalan 9.8 Tingkat lulus per percobaan 86.4% Tes tidak stabil 3 Token input 109,226 Token output 6,890 Token penalaran 412,553 Waktu respons (rata-rata) 185.56s Waktu respons (total) 4082.41s Waktu respons (maks) 912.78s Jawaban salah: 2 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Kedaluwarsa: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#96#96	Nemotron 3 Ultramedium	7.6	NVIDIA	$0.701 ↕	33.62s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 9.8 Tingkat lulus per percobaan 66.7% Tes tidak stabil 3 Token input 233,415 Token output 54,384 Token penalaran 130,021 Waktu respons (rata-rata) 33.62s Waktu respons (total) 739.59s Waktu respons (maks) 392.56s Jawaban salah: 7 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 6.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 3.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.5 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#182#182	Ling-3.0-flashhigh	6.4	Inclusionai	$0.021 ↕	13.70s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 9.8 Tingkat lulus per percobaan 63.6% Tes tidak stabil 4 Token input 132,044 Token output 92,135 Token penalaran 207,321 Waktu respons (rata-rata) 13.70s Waktu respons (total) 287.75s Waktu respons (maks) 75.27s Jawaban salah: 7 Pemanggilan alat tidak valid: 2 Kesalahan API: 1 Trik anti-AI : 10.0 Pemrograman : 6.7 Gabungan : 2.9 Parsing dan ekstraksi data : 7.3 Spesifik domain : 3.0 Kecerdasan umum : 5.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#228#228	KAT-Coder-Air V2.5high	5.6	Kwaipilot	$0.077	15.87s
Lihat kartu model Total Tes 22 Tes Salah 15 Keandalan 9.8 Tingkat lulus per percobaan 42.4% Tes tidak stabil 5 Token input 50,423 Token output 4,144 Token penalaran 110,510 Waktu respons (rata-rata) 15.87s Waktu respons (total) 349.16s Waktu respons (maks) 118.35s Jawaban salah: 9 Kesalahan API: 3 Format tambahan: 3 Trik anti-AI : 6.9 Pemrograman : 4.3 Gabungan : 6.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 5.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 3.5 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#278#278	Nemotron 3.5 Lightninglow	4.8	NVIDIA	$0.140 ↕	59.81s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 9.8 Tingkat lulus per percobaan 42.4% Tes tidak stabil 9 Token input 138,792 Token output 142,972 Token penalaran 522,202 Waktu respons (rata-rata) 59.81s Waktu respons (total) 1315.80s Waktu respons (maks) 312.21s Jawaban salah: 14 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 6.9 Pemrograman : 4.0 Gabungan : 6.3 Parsing dan ekstraksi data : 2.9 Spesifik domain : 3.6 Kecerdasan umum : 3.7 Kepatuhan instruksi : 8.4 Pemecahan teka-teki : 3.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#295#295	Laguna M.1none	4.4	Poolside	$0.009 ↕	2.89s
Lihat kartu model Total Tes 19 Tes Salah 15 Keandalan 9.8 Tingkat lulus per percobaan 27.3% Tes tidak stabil 3 Token input 38,147 Token output 2,054 Token penalaran 0 Waktu respons (rata-rata) 2.89s Waktu respons (total) 43.28s Waktu respons (maks) 15.42s Jawaban salah: 10 Kesalahan API: 4 Pemanggilan alat tidak valid: 1 Trik anti-AI : 3.4 Pemrograman : 2.5 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 3.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#305#305	Ling 3.0 Tinynone	4.0	Inclusionai	$0.000	14.02s
Lihat kartu model Total Tes 22 Tes Salah 20 Keandalan 9.8 Tingkat lulus per percobaan 9.1% Tes tidak stabil 0 Token input 184,579 Token output 110,071 Token penalaran 0 Waktu respons (rata-rata) 14.02s Waktu respons (total) 294.46s Waktu respons (maks) 240.61s Jawaban salah: 13 Tidak mengikuti instruksi: 4 Kesalahan API: 1 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 4.8 Pemrograman : 4.2 Gabungan : 3.0 Parsing dan ekstraksi data : 6.3 Spesifik domain : 3.0 Kecerdasan umum : 3.4 Kepatuhan instruksi : 3.1 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#100#100	MiniMax M3medium	7.5	Minimax	$0.300	75.15s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 9.7 Tingkat lulus per percobaan 62.1% Tes tidak stabil 5 Token input 121,996 Token output 90,051 Token penalaran 185,731 Waktu respons (rata-rata) 75.15s Waktu respons (total) 1578.24s Waktu respons (maks) 431.03s Jawaban salah: 4 Kedaluwarsa: 3 Tidak mengikuti instruksi: 2 Format tambahan: 1 Tidak ada jawaban: 1 Trik anti-AI : 5.5 Pemrograman : 6.1 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.2 Kecerdasan umum : 5.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium