Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-17 Model Dievaluasi: 442

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

442/442

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#384#384	MiniMax M2.5medium	4.3	Minimax	$0.440 ↑	102.32s
Lihat kartu model Total Tes 23 Tes Salah 18 Keandalan 9.3 Tingkat lulus per percobaan 42.0% Tes tidak stabil 9 Token input 188,239 Token output 27,822 Token penalaran 262,674 Waktu respons (rata-rata) 102.32s Waktu respons (total) 1637.05s Waktu respons (maks) 600.81s Jawaban salah: 7 Kedaluwarsa: 5 Tidak mengikuti instruksi: 3 Tidak ada jawaban: 2 Pemanggilan alat tidak valid: 1 Tugas agen : 3.0 Trik anti-AI : 7.9 Pemrograman : 3.4 Gabungan : 3.7 Parsing dan ekstraksi data : 4.6 Spesifik domain : 2.9 Kecerdasan umum : 3.8 Kepatuhan instruksi : 7.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#164#164	Gemini 3.5 Flash Litemedium	7.3	Google	$0.440	8.68s
Lihat kartu model Total Tes 23 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 76.8% Tes tidak stabil 7 Token input 388,307 Token output 10,412 Token penalaran 118,802 Waktu respons (rata-rata) 8.68s Waktu respons (total) 199.65s Waktu respons (maks) 86.92s Jawaban salah: 6 Pemanggilan alat tidak valid: 2 Tidak mengikuti instruksi: 1 Tugas agen : 4.7 Trik anti-AI : 10.0 Pemrograman : 7.9 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 4.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#173#173	Step 3.7 Flashlow	7.2	Stepfun	$0.449	20.72s
Lihat kartu model Total Tes 23 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 63.8% Tes tidak stabil 6 Token input 292,685 Token output 339,108 Token penalaran 0 Waktu respons (rata-rata) 20.72s Waktu respons (total) 476.67s Waktu respons (maks) 124.75s Jawaban salah: 9 Pemanggilan alat tidak valid: 2 Tidak ada jawaban: 1 Tugas agen : 7.4 Trik anti-AI : 8.7 Pemrograman : 8.2 Gabungan : 7.3 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 3.4 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.5 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#118#118	Qwen3.7 Maxnone	7.9	Qwen	$0.451 ↓	7.85s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 9.9 Tingkat lulus per percobaan 69.6% Tes tidak stabil 0 Token input 243,553 Token output 20,670 Token penalaran 0 Waktu respons (rata-rata) 7.85s Waktu respons (total) 180.65s Waktu respons (maks) 80.34s Jawaban salah: 7 Tugas agen : 10.0 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#228#228	GLM 5.1none	6.5	Z.ai	$0.451 ↑	11.10s
Lihat kartu model Total Tes 23 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 47.8% Tes tidak stabil 5 Token input 258,956 Token output 20,076 Token penalaran 0 Waktu respons (rata-rata) 11.10s Waktu respons (total) 255.39s Waktu respons (maks) 107.19s Jawaban salah: 12 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 4.0 Pemrograman : 3.9 Gabungan : 2.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#312#312	GLM 5V Turbomedium	5.5	Z.ai	$0.457	23.08s
Lihat kartu model Total Tes 21 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 62.3% Tes tidak stabil 6 Token input 44,615 Token output 2,347 Token penalaran 98,415 Waktu respons (rata-rata) 23.08s Waktu respons (total) 484.63s Waktu respons (maks) 95.88s Jawaban salah: 7 Pemanggilan alat tidak valid: 2 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 7.2 Pemrograman : 6.0 Gabungan : 3.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 7.7 Pemanggilan alat : 7.0 Pengetahuan umum : 3.0
#16#16	GPT-6.1 Sollow	9.6	OpenAI	$0.460	7.15s
Lihat kartu model Total Tes 23 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 92.8% Tes tidak stabil 1 Token input 163,900 Token output 4,958 Token penalaran 8,180 Waktu respons (rata-rata) 7.15s Waktu respons (total) 164.47s Waktu respons (maks) 46.57s Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#130#130	DeepSeek V4 Flash 0731medium	7.8	DeepSeek	$0.460 ↑	94.16s
Lihat kartu model Total Tes 23 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 72.5% Tes tidak stabil 8 Token input 274,189 Token output 66,689 Token penalaran 510,525 Waktu respons (rata-rata) 94.16s Waktu respons (total) 2165.72s Waktu respons (maks) 303.26s Jawaban salah: 5 Tidak ada jawaban: 3 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 8.2 Pemrograman : 6.4 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.1 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#69#69	GPT-6 Sollow	8.7	OpenAI	$0.477	8.72s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 87.0% Tes tidak stabil 4 Token input 172,359 Token output 5,026 Token penalaran 8,185 Waktu respons (rata-rata) 8.72s Waktu respons (total) 200.61s Waktu respons (maks) 48.43s Jawaban salah: 5 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 6.2 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7
#172#172	GLM 5medium	7.2	Z.ai	$0.479 ↑	39.05s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 76.8% Tes tidak stabil 5 Token input 212,440 Token output 22,922 Token penalaran 115,335 Waktu respons (rata-rata) 39.05s Waktu respons (total) 546.68s Waktu respons (maks) 110.70s Jawaban salah: 4 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Kedaluwarsa: 1 Tugas agen : 4.7 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 5.0 Parsing dan ekstraksi data : 7.1 Spesifik domain : 3.5 Kecerdasan umum : 6.1 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#101#101	GPT-5.6 Terramedium	8.2	OpenAI	$0.483 ↓	8.93s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 71.0% Tes tidak stabil 2 Token input 172,507 Token output 5,824 Token penalaran 27,365 Waktu respons (rata-rata) 8.93s Waktu respons (total) 205.39s Waktu respons (maks) 54.74s Jawaban salah: 8 Tugas agen : 10.0 Trik anti-AI : 8.3 Pemrograman : 6.1 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.5 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.4 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#307#307	Kimi K2.6none	5.5	Moonshot AI	$0.486 ↑	26.34s
Lihat kartu model Total Tes 23 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 30.4% Tes tidak stabil 3 Token input 241,357 Token output 64,021 Token penalaran 1 Waktu respons (rata-rata) 26.34s Waktu respons (total) 605.78s Waktu respons (maks) 238.89s Jawaban salah: 13 Tidak mengikuti instruksi: 3 Tidak ada jawaban: 1 Tugas agen : 4.7 Trik anti-AI : 4.6 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.4 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#107#107	DeepSeek V4.1 Flashlow	8.0	DeepSeek	$0.494 ↑	28.04s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 9.6 Tingkat lulus per percobaan 73.9% Tes tidak stabil 4 Token input 266,849 Token output 8,284 Token penalaran 363,263 Waktu respons (rata-rata) 28.04s Waktu respons (total) 645.03s Waktu respons (maks) 149.84s Jawaban salah: 7 Kesalahan API: 1 Tugas agen : 6.1 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.5 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#125#125	GLM 5.3high	7.8	Z.ai	$0.495 ↓	28.38s
Lihat kartu model Total Tes 23 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 75.4% Tes tidak stabil 7 Token input 219,811 Token output 8,811 Token penalaran 59,671 Waktu respons (rata-rata) 28.38s Waktu respons (total) 652.78s Waktu respons (maks) 159.91s Jawaban salah: 6 Format tambahan: 2 Tidak mengikuti instruksi: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 6.6 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#220#220	Beam 1.0 501B A23Bmedium	6.6	Reflection	$0.499	6.27s
Lihat kartu model Total Tes 23 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 65.2% Tes tidak stabil 2 Token input 202,937 Token output 4,328 Token penalaran 94,193 Waktu respons (rata-rata) 6.27s Waktu respons (total) 144.28s Waktu respons (maks) 31.55s Jawaban salah: 6 Kesalahan API: 3 Tugas agen : 3.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 4.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#314#314	Claude Opus 4.7none	5.4	Anthropic	$0.505	3.02s
Lihat kartu model Total Tes 19 Tes Salah 3 Keandalan 10.0 Tingkat lulus per percobaan 69.6% Tes tidak stabil 0 Token input 69,576 Token output 6,265 Token penalaran 0 Waktu respons (rata-rata) 3.02s Waktu respons (total) 57.44s Waktu respons (maks) 18.27s Jawaban salah: 3 Tugas agen : 0.0 Trik anti-AI : 8.3 Pemrograman : 3.3 Gabungan : 4.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#133#133	Muse Glimmer 30Bhigh	7.7	Meta	$0.506 ↓	69.87s
Lihat kartu model Total Tes 23 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 66.7% Tes tidak stabil 8 Token input 281,859 Token output 102,526 Token penalaran 286,217 Waktu respons (rata-rata) 69.87s Waktu respons (total) 1607.12s Waktu respons (maks) 451.90s Jawaban salah: 7 Tidak mengikuti instruksi: 3 Tidak ada jawaban: 2 Tugas agen : 10.0 Trik anti-AI : 8.7 Pemrograman : 8.8 Gabungan : 6.4 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 5.3 Kepatuhan instruksi : 8.4 Pemecahan teka-teki : 6.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#229#229	KAT-Coder-Pro V2.5high	6.5	Kwaipilot	$0.506	21.21s
Lihat kartu model Total Tes 23 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 60.9% Tes tidak stabil 6 Token input 106,085 Token output 9,071 Token penalaran 135,288 Waktu respons (rata-rata) 21.21s Waktu respons (total) 487.83s Waktu respons (maks) 199.97s Jawaban salah: 10 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 3.0 Trik anti-AI : 7.0 Pemrograman : 6.4 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.1 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#240#240	Gemini 3.5 Flashminimal	6.4	Google	$0.508	4.67s
Lihat kartu model Total Tes 23 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 58.0% Tes tidak stabil 1 Token input 230,004 Token output 18,040 Token penalaran 0 Waktu respons (rata-rata) 4.67s Waktu respons (total) 107.45s Waktu respons (maks) 49.23s Jawaban salah: 7 Pemanggilan alat tidak valid: 2 Tidak mengikuti instruksi: 1 Tugas agen : 5.0 Trik anti-AI : 6.5 Pemrograman : 5.6 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#80#80	Claude Haiku 5.5max	8.5	Anthropic	$0.509	61.71s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 1 Token input 487,516 Token output 10,212 Token penalaran 909,487 Waktu respons (rata-rata) 61.71s Waktu respons (total) 1419.40s Waktu respons (maks) 288.94s Tidak ada jawaban: 3 Jawaban salah: 1 Tugas agen : 4.7 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#156#156	Inklingmedium	7.4	Thinkingmachines	$0.527 ↓	16.98s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 75.4% Tes tidak stabil 5 Token input 257,138 Token output 13,830 Token penalaran 55,775 Waktu respons (rata-rata) 16.98s Waktu respons (total) 390.45s Waktu respons (maks) 85.12s Jawaban salah: 5 Pemanggilan alat tidak valid: 2 Tidak ada jawaban: 1 Tugas agen : 4.7 Trik anti-AI : 8.7 Pemrograman : 8.4 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 2.8
#9#9	Gemini 3.7 Flashhigh	9.8	Google	$0.528	15.10s
Lihat kartu model Total Tes 23 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 95.7% Tes tidak stabil 2 Token input 233,400 Token output 6,922 Token penalaran 173,178 Waktu respons (rata-rata) 15.10s Waktu respons (total) 347.23s Waktu respons (maks) 91.63s Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.8 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#11#11	GPT-6.1 Solmedium	9.6	OpenAI	$0.530	8.90s
Lihat kartu model Total Tes 23 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 94.2% Tes tidak stabil 1 Token input 172,860 Token output 5,172 Token penalaran 13,179 Waktu respons (rata-rata) 8.90s Waktu respons (total) 204.78s Waktu respons (maks) 51.03s Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7
#210#210	GPT 5.3 Chatdefault	6.7	OpenAI	$0.533	6.31s
Lihat kartu model Total Tes 23 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 62.3% Tes tidak stabil 4 Token input 78,846 Token output 7,635 Token penalaran 20,544 Waktu respons (rata-rata) 6.31s Waktu respons (total) 138.73s Waktu respons (maks) 18.33s Jawaban salah: 6 Kesalahan API: 2 Tidak mengikuti instruksi: 2 Tugas agen : 3.0 Trik anti-AI : 6.7 Pemrograman : 5.6 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 4.6 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#413#413	Grok Build 0.1none	3.2	X AI	$0.547	28.69s
Lihat kartu model Total Tes 19 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 42.0% Tes tidak stabil 4 Token input 11,793 Token output 1,809 Token penalaran 265,466 Waktu respons (rata-rata) 28.69s Waktu respons (total) 459.00s Waktu respons (maks) 138.35s Jawaban salah: 7 Kesalahan API: 3 Tidak mengikuti instruksi: 2 Tugas agen : 0.0 Trik anti-AI : 8.7 Pemrograman : 3.3 Gabungan : 1.5 Parsing dan ekstraksi data : 3.8 Spesifik domain : 3.6 Kecerdasan umum : 4.3 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 6.4 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow