Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-09-18 Model Dievaluasi: 330

Model rekomendasi

GPT-6 Astra xhigh Cerdas Tingkat lulus per percobaan 97.0% Tes benar 21 / 22 Skor 9.9/10 GPT-5.6 Luna medium Cepat Waktu respons (rata-rata) 7.43s Total token output 44,525 Skor 7.4/10 DeepSeek V4 Flash 0731 high Terjangkau Harga input $0.060 / 1M Harga output $0.120 / 1M Skor 8.0/10

330/330

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#249#249	DeepSeek V4.1 Flashnone	5.4	DeepSeek	$0.370 ↑	14.85s
Lihat kartu model Total Tes 22 Tes Salah 15 Keandalan 9.6 Tingkat lulus per percobaan 34.9% Tes tidak stabil 2 Token input 137,687 Token output 273,780 Token penalaran 0 Waktu respons (rata-rata) 14.85s Waktu respons (total) 326.72s Waktu respons (maks) 247.66s Jawaban salah: 11 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Tidak ada jawaban: 1 Trik anti-AI : 3.7 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 7.7 Kecerdasan umum : 5.5 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#48#48	Claude Fable 5medium	8.6	Anthropic	$3.004	15.01s
Lihat kartu model Total Tes 22 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 78.8% Tes tidak stabil 1 Token input 89,640 Token output 33,092 Token penalaran 9,054 Waktu respons (rata-rata) 15.01s Waktu respons (total) 330.15s Waktu respons (maks) 80.80s Tidak ada jawaban: 3 Pemanggilan alat tidak valid: 1 Jawaban salah: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#281#281	Qwen3.6 Plus Previewmedium	4.9	Qwen	$0.000	15.25s
Lihat kartu model Total Tes 19 Tes Salah 10 Keandalan T/A Tingkat lulus per percobaan 40.9% Tes tidak stabil 0 Token input 32,639 Token output 1,153 Token penalaran 62,197 Waktu respons (rata-rata) 15.25s Waktu respons (total) 182.96s Waktu respons (maks) 43.55s Kesalahan API: 8 Jawaban salah: 2 Trik anti-AI : 8.3 Pemrograman : 9.8 Gabungan : 5.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 3.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#11#11	Gemini 3.5 Flashhigh	9.4	Google	$2.011	15.46s
Lihat kartu model Total Tes 22 Tes Salah 3 Keandalan 10.0 Tingkat lulus per percobaan 89.4% Tes tidak stabil 2 Token input 107,146 Token output 8,777 Token penalaran 196,705 Waktu respons (rata-rata) 15.46s Waktu respons (total) 340.20s Waktu respons (maks) 145.92s Jawaban salah: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 9.8 Pengetahuan umum : 10.0
#77#77	Inklingmedium	8.0	Thinkingmachines	$0.383	15.66s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 75.8% Tes tidak stabil 4 Token input 124,062 Token output 12,190 Token penalaran 51,652 Waktu respons (rata-rata) 15.66s Waktu respons (total) 344.52s Waktu respons (maks) 85.12s Jawaban salah: 4 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Trik anti-AI : 8.7 Pemrograman : 8.4 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 2.8
#235#235	KAT-Coder-Air V2.5high	5.6	Kwaipilot	$0.077	15.87s
Lihat kartu model Total Tes 22 Tes Salah 15 Keandalan 9.8 Tingkat lulus per percobaan 42.4% Tes tidak stabil 5 Token input 50,423 Token output 4,144 Token penalaran 110,510 Waktu respons (rata-rata) 15.87s Waktu respons (total) 349.16s Waktu respons (maks) 118.35s Jawaban salah: 9 Kesalahan API: 3 Format tambahan: 3 Trik anti-AI : 6.9 Pemrograman : 4.3 Gabungan : 6.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 5.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 3.5 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#67#67	Muse Spark 1.3low	8.2	Meta	$0.689	16.03s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 81.8% Tes tidak stabil 5 Token input 116,947 Token output 11,026 Token penalaran 116,685 Waktu respons (rata-rata) 16.03s Waktu respons (total) 352.69s Waktu respons (maks) 78.72s Jawaban salah: 4 Kesalahan API: 1 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 8.2 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#58#58	Grok 4.5low	8.4	X AI	$0.945	16.17s
Lihat kartu model Total Tes 22 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 77.3% Tes tidak stabil 2 Token input 125,605 Token output 7,505 Token penalaran 107,984 Waktu respons (rata-rata) 16.17s Waktu respons (total) 355.67s Waktu respons (maks) 205.28s Jawaban salah: 6 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#176#176	Gemini 3.1 Flash Litelow	6.6	Google	$0.621	16.25s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 2 Token input 94,233 Token output 7,759 Token penalaran 390,132 Waktu respons (rata-rata) 16.25s Waktu respons (total) 357.39s Waktu respons (maks) 318.02s Jawaban salah: 8 Pemanggilan alat tidak valid: 1 Trik anti-AI : 7.3 Pemrograman : 5.5 Gabungan : 3.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 4.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#182#182	Hy3 previewmedium	6.5	Tencent	$0.049 ↕	16.28s
Lihat kartu model Total Tes 21 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 0 Token input 27,030 Token output 73,544 Token penalaran 0 Waktu respons (rata-rata) 16.28s Waktu respons (total) 293.12s Waktu respons (maks) 46.04s Kesalahan API: 3 Jawaban salah: 3 Tidak mengikuti instruksi: 1 Trik anti-AI : 10.0 Pemrograman : 5.3 Gabungan : 5.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#99#99	GPT-5.6 Lunahigh	7.6	OpenAI	$0.179 ↓	16.49s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 69.7% Tes tidak stabil 4 Token input 80,927 Token output 5,088 Token penalaran 130,227 Waktu respons (rata-rata) 16.49s Waktu respons (total) 362.78s Waktu respons (maks) 111.09s Jawaban salah: 8 Trik anti-AI : 8.3 Pemrograman : 5.5 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#174#174	Gemini 3.1 Flash Lite Previewlow	6.6	Google	$0.646	16.67s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 0 Token input 110,196 Token output 14,717 Token penalaran 397,462 Waktu respons (rata-rata) 16.67s Waktu respons (total) 366.69s Waktu respons (maks) 309.35s Jawaban salah: 6 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 8.3 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 4.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#1🥇 #1	Gemini 3.6 Flashhigh	9.9	Google	$0.699 ↓	16.81s
Lihat kartu model Total Tes 22 Tes Salah 1 Keandalan 10.0 Tingkat lulus per percobaan 98.5% Tes tidak stabil 1 Token input 71,470 Token output 3,276 Token penalaran 168,709 Waktu respons (rata-rata) 16.81s Waktu respons (total) 369.88s Waktu respons (maks) 104.15s Jawaban salah: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 8.2 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#32#32	GPT-5.3-Codexmedium	8.9	OpenAI	$0.988	16.91s
Lihat kartu model Total Tes 22 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 83.3% Tes tidak stabil 4 Token input 81,187 Token output 6,258 Token penalaran 54,116 Waktu respons (rata-rata) 16.91s Waktu respons (total) 372.03s Waktu respons (maks) 100.93s Jawaban salah: 4 Tidak mengikuti instruksi: 2 Trik anti-AI : 8.7 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 4.6 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 9.0 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#326#326	Nemotron 3 Nano Omni 30b A3b Reasoningmedium	3.4	NVIDIA	$0.000	17.13s
Lihat kartu model Total Tes 19 Tes Salah 15 Keandalan 10.0 Tingkat lulus per percobaan 27.3% Tes tidak stabil 5 Token input 11,661 Token output 48,491 Token penalaran 180,695 Waktu respons (rata-rata) 17.13s Waktu respons (total) 222.66s Waktu respons (maks) 147.45s Jawaban salah: 7 Kesalahan API: 6 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 6.4 Pemrograman : 1.1 Gabungan : 1.5 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 3.0 Kepatuhan instruksi : 7.3 Pemecahan teka-teki : 2.9 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#137#137	Step 3.7 Flashlow	7.1	Stepfun	$0.390	17.87s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 5 Token input 103,842 Token output 320,393 Token penalaran 0 Waktu respons (rata-rata) 17.87s Waktu respons (total) 393.04s Waktu respons (maks) 124.75s Jawaban salah: 9 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Trik anti-AI : 8.7 Pemrograman : 8.2 Gabungan : 7.3 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 3.4 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.5 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#279#279	DeepSeek V3.2none	5.0	DeepSeek	$0.054 ↑	17.89s
Lihat kartu model Total Tes 22 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 36.4% Tes tidak stabil 5 Token input 135,831 Token output 42,099 Token penalaran 0 Waktu respons (rata-rata) 17.89s Waktu respons (total) 393.53s Waktu respons (maks) 115.89s Jawaban salah: 8 Kesalahan API: 3 Format tambahan: 2 Pemanggilan alat tidak valid: 2 Tidak mengikuti instruksi: 1 Trik anti-AI : 3.2 Pemrograman : 3.1 Gabungan : 4.8 Parsing dan ekstraksi data : 6.3 Spesifik domain : 3.0 Kecerdasan umum : 4.7 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#254#254	Kimi K2.5none	5.4	Moonshot AI	$0.101 ↓	18.03s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 30.3% Tes tidak stabil 4 Token input 89,320 Token output 26,643 Token penalaran 0 Waktu respons (rata-rata) 18.03s Waktu respons (total) 288.42s Waktu respons (maks) 102.83s Jawaban salah: 16 Tidak ada jawaban: 1 Trik anti-AI : 3.6 Pemrograman : 5.5 Gabungan : 2.8 Parsing dan ekstraksi data : 7.3 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#136#136	Muse Glimmer 30Blow	7.1	Meta	$0.143 ↓	18.64s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 5 Token input 130,312 Token output 33,867 Token penalaran 62,103 Waktu respons (rata-rata) 18.64s Waktu respons (total) 410.18s Waktu respons (maks) 234.92s Jawaban salah: 6 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Trik anti-AI : 8.7 Pemrograman : 8.1 Gabungan : 3.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 5.0 Kepatuhan instruksi : 8.4 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#4#4	GPT-6 Astrahigh	9.9	OpenAI	$3.474	18.65s
Lihat kartu model Total Tes 22 Tes Salah 1 Keandalan 9.9 Tingkat lulus per percobaan 97.0% Tes tidak stabil 1 Token input 79,290 Token output 4,847 Token penalaran 48,775 Waktu respons (rata-rata) 18.65s Waktu respons (total) 410.28s Waktu respons (maks) 254.93s Jawaban salah: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#273#273	Qwen3.5-9Bnone	5.1	Qwen	$0.021 ↑	19.19s
Lihat kartu model Total Tes 22 Tes Salah 18 Keandalan 10.0 Tingkat lulus per percobaan 19.7% Tes tidak stabil 1 Token input 144,416 Token output 37,484 Token penalaran 0 Waktu respons (rata-rata) 19.19s Waktu respons (total) 422.25s Waktu respons (maks) 382.06s Jawaban salah: 14 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 2 Trik anti-AI : 3.1 Pemrograman : 3.9 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 4.4 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#232#232	Kimi K2.6none	5.7	Moonshot AI	$0.233 ↑	19.57s
Lihat kartu model Total Tes 22 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 30.3% Tes tidak stabil 2 Token input 116,983 Token output 30,249 Token penalaran 0 Waktu respons (rata-rata) 19.57s Waktu respons (total) 430.58s Waktu respons (maks) 238.89s Jawaban salah: 12 Tidak mengikuti instruksi: 3 Tidak ada jawaban: 1 Trik anti-AI : 4.6 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.4 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#46#46	Muse Spark 1.2medium	8.6	Meta	$1.339	19.67s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 74.2% Tes tidak stabil 4 Token input 123,680 Token output 7,222 Token penalaran 271,442 Waktu respons (rata-rata) 19.67s Waktu respons (total) 432.72s Waktu respons (maks) 142.49s Tidak mengikuti instruksi: 3 Jawaban salah: 3 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 7.3 Pemrograman : 10.0 Gabungan : 8.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 6.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#10#10	Gemini 3 Flash Previewmedium	9.5	Google	$0.763	19.86s
Lihat kartu model Total Tes 22 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 93.9% Tes tidak stabil 1 Token input 87,870 Token output 5,486 Token penalaran 234,122 Waktu respons (rata-rata) 19.86s Waktu respons (total) 436.88s Waktu respons (maks) 117.26s Jawaban salah: 2 Trik anti-AI : 10.0 Pemrograman : 8.6 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#192#192	MiMo-V2-Flashmedium	6.3	Xiaomi	$0.043 ↑	20.11s
Lihat kartu model Total Tes 21 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 62.1% Tes tidak stabil 3 Token input 40,111 Token output 12,476 Token penalaran 125,039 Waktu respons (rata-rata) 20.11s Waktu respons (total) 301.59s Waktu respons (maks) 96.01s Jawaban salah: 5 Kesalahan API: 1 Format tambahan: 1 Tidak mengikuti instruksi: 1 Kedaluwarsa: 1 Trik anti-AI : 8.1 Pemrograman : 6.0 Gabungan : 4.9 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.9 Kecerdasan umum : 4.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium