Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-09-02 Model Dievaluasi: 308

Model rekomendasi

GPT-5.6 Sol high Cerdas Tingkat lulus per percobaan 89.4% Tes benar 18 / 22 Skor 9.4/10 GPT-5.6 Luna medium Cepat Waktu respons (rata-rata) 7.43s Total token output 44,525 Skor 7.4/10 DeepSeek V4 Flash 0731 high Terjangkau Harga input $0.065 / 1M Harga output $0.180 / 1M Skor 8.0/10

308/308

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#129#129	Grok 4.20medium	7.0	X AI	$0.805 ↓	32.56s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 60.6% Tes tidak stabil 5 Token input 102,986 Token output 5,860 Token penalaran 264,399 Waktu respons (rata-rata) 32.56s Waktu respons (total) 716.36s Waktu respons (maks) 199.66s Jawaban salah: 6 Format tambahan: 2 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 8.2 Pemrograman : 6.3 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 3.9 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.7 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#73#73	Qwen3.8 27Bmedium	7.8	Qwen	~$0.058	33.05s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 9.6 Tingkat lulus per percobaan 66.7% Tes tidak stabil 1 Token input 98,266 Token output 1,861 Token penalaran 134,301 Waktu respons (rata-rata) 33.05s Waktu respons (total) 694.04s Waktu respons (maks) 214.63s Jawaban salah: 3 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.7 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.3 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#77#77	GLM 5medium	7.7	Z.ai	$0.228 ↓	33.54s
Lihat kartu model Total Tes 21 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 78.8% Tes tidak stabil 4 Token input 35,224 Token output 21,570 Token penalaran 102,996 Waktu respons (rata-rata) 33.54s Waktu respons (total) 435.99s Waktu respons (maks) 99.85s Jawaban salah: 3 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Kedaluwarsa: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 5.0 Parsing dan ekstraksi data : 7.1 Spesifik domain : 3.5 Kecerdasan umum : 6.1 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#85#85	Nemotron 3 Ultramedium	7.6	NVIDIA	$0.701 ↕	33.62s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 9.8 Tingkat lulus per percobaan 66.7% Tes tidak stabil 3 Token input 233,415 Token output 54,384 Token penalaran 130,021 Waktu respons (rata-rata) 33.62s Waktu respons (total) 739.59s Waktu respons (maks) 392.56s Jawaban salah: 7 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 6.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 3.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.5 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#230#230	DeepSeek V4 Flash 0423none	5.4	DeepSeek	$0.037 ↓	36.17s
Lihat kartu model Total Tes 22 Tes Salah 18 Keandalan 10.0 Tingkat lulus per percobaan 27.3% Tes tidak stabil 4 Token input 240,230 Token output 100,726 Token penalaran 0 Waktu respons (rata-rata) 36.17s Waktu respons (total) 795.83s Waktu respons (maks) 247.27s Jawaban salah: 13 Format tambahan: 2 Pemanggilan alat tidak valid: 2 Tidak mengikuti instruksi: 1 Trik anti-AI : 3.0 Pemrograman : 4.2 Gabungan : 4.6 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 4.2 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#2🥈 #2	Gemini 3.8 Flashhigh	9.9	Google	$1.595	37.19s
Lihat kartu model Total Tes 22 Tes Salah 1 Keandalan 10.0 Tingkat lulus per percobaan 98.5% Tes tidak stabil 1 Token input 84,593 Token output 10,517 Token penalaran 397,671 Waktu respons (rata-rata) 37.19s Waktu respons (total) 818.19s Waktu respons (maks) 177.08s Tidak ada jawaban: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 8.2 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#117#117	Qwen3.7 Flashlow	7.2	Qwen	$0.043	38.05s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 66.7% Tes tidak stabil 6 Token input 92,191 Token output 14,286 Token penalaran 289,733 Waktu respons (rata-rata) 38.05s Waktu respons (total) 837.05s Waktu respons (maks) 394.54s Jawaban salah: 7 Tidak mengikuti instruksi: 3 Kesalahan API: 1 Trik anti-AI : 10.0 Pemrograman : 6.7 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 4.0 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 7.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#22#22	GPT-5.5medium	9.0	OpenAI	$4.163	38.97s
Lihat kartu model Total Tes 22 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 87.9% Tes tidak stabil 3 Token input 80,668 Token output 5,617 Token penalaran 119,699 Waktu respons (rata-rata) 38.97s Waktu respons (total) 857.43s Waktu respons (maks) 332.10s Jawaban salah: 4 Trik anti-AI : 10.0 Pemrograman : 8.8 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#307#307	Step 3.5 Flashnone	2.3	Stepfun	$0.020	39.03s
Lihat kartu model Total Tes 12 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 27.3% Tes tidak stabil 0 Token input 1,971 Token output 64,795 Token penalaran 0 Waktu respons (rata-rata) 39.03s Waktu respons (total) 312.26s Waktu respons (maks) 114.12s Kesalahan API: 4 Tidak mengikuti instruksi: 1 Jawaban salah: 1 Trik anti-AI : 10.0 Pemrograman : 9.8 Gabungan : 1.5 Parsing dan ekstraksi data : 1.5 Spesifik domain : 3.3 Kecerdasan umum : 4.0 Kepatuhan instruksi : 5.0 Pemecahan teka-teki : 0.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#66#66	Qwen3.8 27Blow	7.9	Qwen	~$0.071	39.11s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 68.2% Tes tidak stabil 0 Token input 99,705 Token output 1,545 Token penalaran 167,784 Waktu respons (rata-rata) 39.11s Waktu respons (total) 860.51s Waktu respons (maks) 376.04s Jawaban salah: 4 Tidak ada jawaban: 2 Tidak mengikuti instruksi: 1 Trik anti-AI : 10.0 Pemrograman : 7.7 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#265#265	Hy4 previewnone	4.8	Tencent	$0.041	39.24s
Lihat kartu model Total Tes 22 Tes Salah 19 Keandalan 4.3 Tingkat lulus per percobaan 16.7% Tes tidak stabil 1 Token input 26,376 Token output 7,306 Token penalaran 0 Waktu respons (rata-rata) 39.24s Waktu respons (total) 863.30s Waktu respons (maks) 95.32s Jawaban salah: 9 Kesalahan API: 7 Tidak mengikuti instruksi: 2 Format tambahan: 1 Trik anti-AI : 3.3 Pemrograman : 3.8 Gabungan : 3.0 Parsing dan ekstraksi data : 8.7 Spesifik domain : 6.8 Kecerdasan umum : 5.1 Kepatuhan instruksi : 7.0 Pemecahan teka-teki : 4.6 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#277#277	Cobuddymedium	4.7	Baidu	$0.000	39.90s
Lihat kartu model Total Tes 21 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 45.5% Tes tidak stabil 6 Token input 37,449 Token output 1,677 Token penalaran 116,703 Waktu respons (rata-rata) 39.90s Waktu respons (total) 797.98s Waktu respons (maks) 309.02s Jawaban salah: 9 Tidak mengikuti instruksi: 3 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 8.7 Pemrograman : 3.7 Gabungan : 1.5 Parsing dan ekstraksi data : 6.3 Spesifik domain : 2.9 Kecerdasan umum : 4.2 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 3.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#201#201	Mimo V2 Omnimedium	5.9	Xiaomi	$0.683 ↓	41.16s
Lihat kartu model Total Tes 21 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 53.0% Tes tidak stabil 3 Token input 37,007 Token output 1,952 Token penalaran 357,306 Waktu respons (rata-rata) 41.16s Waktu respons (total) 823.26s Waktu respons (maks) 299.23s Jawaban salah: 5 Tidak mengikuti instruksi: 2 Tidak ada jawaban: 2 Kesalahan API: 1 Format tambahan: 1 Trik anti-AI : 10.0 Pemrograman : 3.3 Gabungan : 5.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 5.4 Kepatuhan instruksi : 8.3 Pemecahan teka-teki : 5.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#76#76	Qwen3.7 Flashhigh	7.8	Qwen	$0.052	41.37s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 71.2% Tes tidak stabil 6 Token input 116,331 Token output 12,330 Token penalaran 357,920 Waktu respons (rata-rata) 41.37s Waktu respons (total) 910.11s Waktu respons (maks) 431.47s Jawaban salah: 7 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 8.2 Gabungan : 6.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#256#256	MiniMax M2.7medium	5.0	Minimax	$0.208	43.25s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 45.5% Tes tidak stabil 9 Token input 114,527 Token output 18,558 Token penalaran 129,146 Waktu respons (rata-rata) 43.25s Waktu respons (total) 908.21s Waktu respons (maks) 196.21s Jawaban salah: 6 Tidak mengikuti instruksi: 5 Tidak ada jawaban: 2 Kedaluwarsa: 2 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 7.9 Pemrograman : 5.7 Gabungan : 3.8 Parsing dan ekstraksi data : 6.3 Spesifik domain : 3.0 Kecerdasan umum : 3.9 Kepatuhan instruksi : 3.8 Pemecahan teka-teki : 5.9 Pemanggilan alat : 4.7 Pengetahuan umum : 3.0
#123#123	Grok 4.3medium	7.0	X AI	$0.741	44.21s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 66.7% Tes tidak stabil 5 Token input 140,244 Token output 13,739 Token penalaran 212,165 Waktu respons (rata-rata) 44.21s Waktu respons (total) 972.64s Waktu respons (maks) 216.69s Jawaban salah: 6 Tidak mengikuti instruksi: 2 Format tambahan: 1 Tidak ada jawaban: 1 Trik anti-AI : 10.0 Pemrograman : 5.9 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 5.4 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#19#19	Qwen3.7 Maxmedium	9.1	Qwen	$1.157 ↓	44.32s
Lihat kartu model Total Tes 22 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 86.4% Tes tidak stabil 3 Token input 106,029 Token output 5,748 Token penalaran 220,354 Waktu respons (rata-rata) 44.32s Waktu respons (total) 975.11s Waktu respons (maks) 556.06s Jawaban salah: 4 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#137#137	Qwen3.6 Flashmedium	6.8	Qwen	$0.741 ↓	44.97s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 66.7% Tes tidak stabil 5 Token input 129,050 Token output 20,026 Token penalaran 616,923 Waktu respons (rata-rata) 44.97s Waktu respons (total) 989.32s Waktu respons (maks) 578.13s Jawaban salah: 8 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 5.0 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 4.8 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#68#68	Qwen3.6 Plusmedium	7.8	Qwen	$0.418 ↑	45.52s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 71.2% Tes tidak stabil 2 Token input 97,698 Token output 6,417 Token penalaran 191,215 Waktu respons (rata-rata) 45.52s Waktu respons (total) 955.94s Waktu respons (maks) 291.55s Jawaban salah: 5 Kesalahan API: 1 Tidak mengikuti instruksi: 1 Trik anti-AI : 10.0 Pemrograman : 6.1 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.1 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#246#246	Granite 4.2 8Bmedium	5.2	IBM Granite	$0.009	45.97s
Lihat kartu model Total Tes 22 Tes Salah 15 Keandalan 8.7 Tingkat lulus per percobaan 34.9% Tes tidak stabil 1 Token input 52,909 Token output 7,058 Token penalaran 12,272 Waktu respons (rata-rata) 45.97s Waktu respons (total) 1011.42s Waktu respons (maks) 557.96s Jawaban salah: 9 Kedaluwarsa: 4 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 8.4 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 4.0 Kepatuhan instruksi : 3.8 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#170#170	MiMo-V2.5medium	6.4	Xiaomi	$0.104 ↓	46.28s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 68.2% Tes tidak stabil 7 Token input 105,456 Token output 7,108 Token penalaran 319,940 Waktu respons (rata-rata) 46.28s Waktu respons (total) 1018.12s Waktu respons (maks) 316.27s Jawaban salah: 5 Format tambahan: 2 Tidak ada jawaban: 2 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 6.2 Gabungan : 8.7 Parsing dan ekstraksi data : 2.7 Spesifik domain : 3.6 Kecerdasan umum : 5.4 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#116#116	Qwen3.5 Plus 2026-04-20medium	7.2	Qwen	$0.323 ↓	46.97s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 9.6 Tingkat lulus per percobaan 63.6% Tes tidak stabil 2 Token input 42,106 Token output 2,280 Token penalaran 169,843 Waktu respons (rata-rata) 46.97s Waktu respons (total) 986.35s Waktu respons (maks) 189.38s Jawaban salah: 8 Kedaluwarsa: 1 Trik anti-AI : 10.0 Pemrograman : 6.2 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 4.9 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#134#134	Qwen3.7 Flashmedium	6.9	Qwen	$0.065	47.38s
Lihat kartu model Total Tes 22 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 7 Token input 114,477 Token output 12,786 Token penalaran 457,290 Waktu respons (rata-rata) 47.38s Waktu respons (total) 1042.43s Waktu respons (maks) 593.64s Jawaban salah: 8 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 6.2 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.5 Kepatuhan instruksi : 5.8 Pemecahan teka-teki : 7.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#74#74	Seed-2.0-Litemedium	7.8	Bytedance Seed	$0.236	47.94s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 69.7% Tes tidak stabil 4 Token input 129,906 Token output 12,530 Token penalaran 88,766 Waktu respons (rata-rata) 47.94s Waktu respons (total) 1054.57s Waktu respons (maks) 254.92s Jawaban salah: 6 Tidak mengikuti instruksi: 2 Tidak ada jawaban: 1 Trik anti-AI : 8.3 Pemrograman : 8.0 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 6.7 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 9.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#163#163	Laguna XS 2.1medium	6.5	Poolside	$0.068	48.18s
Lihat kartu model Total Tes 22 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 45.5% Tes tidak stabil 2 Token input 118,998 Token output 30,750 Token penalaran 491,730 Waktu respons (rata-rata) 48.18s Waktu respons (total) 1059.93s Waktu respons (maks) 422.72s Jawaban salah: 10 Tidak ada jawaban: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 4.8 Pemrograman : 5.5 Gabungan : 6.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 5.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium GPT-5.6 SolmediumvsGPT-5.6 Solhigh GPT-5.6 SolhighvsGPT-5.5low GPT-5.5lowvsGrok 4.6high Grok 4.6highvsGemini 3.1 Pro Previewmedium