Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-17 Model Dievaluasi: 442

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

442/442

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#59#59	Qwen3.8 MAXlow	8.8	Qwen	$1.089 ↑	25.09s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 81.2% Tes tidak stabil 3 Token input 262,495 Token output 7,787 Token penalaran 86,149 Waktu respons (rata-rata) 25.09s Waktu respons (total) 577.14s Waktu respons (maks) 155.75s Jawaban salah: 5 Tidak mengikuti instruksi: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 9.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#66#66	Qwen3.8 27Bhigh	8.7	Qwen	~$0.298	166.34s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 9.7 Tingkat lulus per percobaan 78.3% Tes tidak stabil 2 Token input 348,967 Token output 1,005 Token penalaran 676,075 Waktu respons (rata-rata) 166.34s Waktu respons (total) 3825.81s Waktu respons (maks) 640.85s Tidak mengikuti instruksi: 2 Tidak ada jawaban: 2 Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.1 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#79#79	Qwen3.7 Maxmedium	8.5	Qwen	$1.689 ↓	48.35s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 4 Token input 367,848 Token output 8,753 Token penalaran 250,279 Waktu respons (rata-rata) 48.35s Waktu respons (total) 1112.11s Waktu respons (maks) 556.06s Jawaban salah: 5 Pemanggilan alat tidak valid: 1 Tugas agen : 6.1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#93#93	Kimi K3max	8.3	Moonshot AI	$3.409 ↓	139.41s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 9.3 Tingkat lulus per percobaan 78.3% Tes tidak stabil 2 Token input 170,700 Token output 7,719 Token penalaran 225,608 Waktu respons (rata-rata) 139.41s Waktu respons (total) 2788.26s Waktu respons (maks) 766.58s Kesalahan API: 2 Tidak ada jawaban: 2 Format tambahan: 1 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 6.5 Parsing dan ekstraksi data : 7.3 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#95#95	Claude Opus 4.8medium	8.3	Anthropic	$3.490	16.72s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 3 Token input 360,294 Token output 43,441 Token penalaran 24,401 Waktu respons (rata-rata) 16.72s Waktu respons (total) 384.66s Waktu respons (maks) 99.37s Jawaban salah: 5 Tidak ada jawaban: 1 Tugas agen : 6.1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 9.9 Parsing dan ekstraksi data : 7.1 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#99#99	Grok 4.5high	8.2	X AI	$2.687 ↑	72.50s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 3 Token input 342,124 Token output 7,135 Token penalaran 326,497 Waktu respons (rata-rata) 72.50s Waktu respons (total) 1667.51s Waktu respons (maks) 676.83s Jawaban salah: 3 Tidak ada jawaban: 2 Tidak mengikuti instruksi: 1 Tugas agen : 5.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 4.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#124#124	Grok 4.5medium	7.8	X AI	$2.996 ↑	68.44s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 3 Token input 308,369 Token output 7,013 Token penalaran 299,031 Waktu respons (rata-rata) 68.44s Waktu respons (total) 1574.14s Waktu respons (maks) 436.38s Jawaban salah: 6 Tugas agen : 5.0 Trik anti-AI : 10.0 Pemrograman : 7.6 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#181#181	Qwen3.6 Max Previewmedium	7.0	Qwen	$1.132 ↓	66.52s
Lihat kartu model Total Tes 22 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 2 Token input 79,249 Token output 5,097 Token penalaran 165,276 Waktu respons (rata-rata) 66.52s Waktu respons (total) 1463.50s Waktu respons (maks) 238.07s Jawaban salah: 4 Kedaluwarsa: 1 Tugas agen : 0.0 Trik anti-AI : 10.0 Pemrograman : 8.8 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#346#346	Grok 4.20 Betamedium	4.9	X AI	$0.750 ↑	9.75s
Lihat kartu model Total Tes 18 Tes Salah 4 Keandalan T/A Tingkat lulus per percobaan 63.8% Tes tidak stabil 1 Token input 35,955 Token output 1,647 Token penalaran 91,565 Waktu respons (rata-rata) 9.75s Waktu respons (total) 175.48s Waktu respons (maks) 31.36s Jawaban salah: 3 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 8.7 Pemrograman : 3.3 Gabungan : 5.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 0.0
#29#29	Seed 2.1 Turbolow	9.3	Bytedance Seed	$1.645	161.25s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 81.2% Tes tidak stabil 2 Token input 241,855 Token output 8,387 Token penalaran 600,946 Waktu respons (rata-rata) 161.25s Waktu respons (total) 3708.70s Waktu respons (maks) 739.98s Jawaban salah: 3 Tidak ada jawaban: 2 Tugas agen : 10.0 Trik anti-AI : 8.2 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#34#34	Claude Sonnet 5.5max	9.2	Anthropic	$8.557	84.26s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 2 Token input 484,627 Token output 11,026 Token penalaran 747,681 Waktu respons (rata-rata) 84.26s Waktu respons (total) 1937.91s Waktu respons (maks) 488.39s Tidak ada jawaban: 3 Tidak mengikuti instruksi: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.1 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#35#35	Qwen3.8 MAXmedium	9.2	Qwen	$1.181 ↑	27.34s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 81.2% Tes tidak stabil 1 Token input 276,512 Token output 8,152 Token penalaran 96,444 Waktu respons (rata-rata) 27.34s Waktu respons (total) 628.75s Waktu respons (maks) 126.60s Jawaban salah: 4 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#36#36	Qwen3.8 Max (0902)high	9.1	Qwen	$3.306	186.06s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 9.8 Tingkat lulus per percobaan 87.0% Tes tidak stabil 3 Token input 328,637 Token output 8,619 Token penalaran 432,733 Waktu respons (rata-rata) 186.06s Waktu respons (total) 4279.49s Waktu respons (maks) 912.78s Jawaban salah: 2 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#38#38	Claude Haiku 5.5xhigh	9.1	Anthropic	$0.140	16.58s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 81.2% Tes tidak stabil 2 Token input 394,509 Token output 10,349 Token penalaran 188,919 Waktu respons (rata-rata) 16.58s Waktu respons (total) 381.40s Waktu respons (maks) 92.74s Jawaban salah: 2 Format tambahan: 1 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#46#46	Qwen3.8 Max (0902)medium	9.0	Qwen	$1.096	30.42s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 2 Token input 268,540 Token output 7,499 Token penalaran 85,499 Waktu respons (rata-rata) 30.42s Waktu respons (total) 699.68s Waktu respons (maks) 168.09s Jawaban salah: 5 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#47#47	Muse Spark 1.3medium	9.0	Meta	$1.712	39.83s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 3 Token input 250,676 Token output 13,511 Token penalaran 315,400 Waktu respons (rata-rata) 39.83s Waktu respons (total) 916.20s Waktu respons (maks) 219.77s Jawaban salah: 4 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 9.6 Pengetahuan umum : 3.0
#48#48	Gemini 3.5 Flash Litehigh	9.0	Google	$0.624	11.92s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 2 Token input 244,529 Token output 6,784 Token penalaran 213,142 Waktu respons (rata-rata) 11.92s Waktu respons (total) 274.14s Waktu respons (maks) 53.09s Jawaban salah: 5 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 9.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#57#57	Claude Fable 5medium	8.9	Anthropic	$5.089	16.84s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 1 Token input 272,411 Token output 35,497 Token penalaran 11,788 Waktu respons (rata-rata) 16.84s Waktu respons (total) 387.26s Waktu respons (maks) 80.80s Tidak ada jawaban: 3 Pemanggilan alat tidak valid: 1 Jawaban salah: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#69#69	GPT-6 Sollow	8.7	OpenAI	$0.477	8.72s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 87.0% Tes tidak stabil 4 Token input 172,359 Token output 5,026 Token penalaran 8,185 Waktu respons (rata-rata) 8.72s Waktu respons (total) 200.61s Waktu respons (maks) 48.43s Jawaban salah: 5 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 6.2 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7
#75#75	Qwen3.8 Max (0902)low	8.6	Qwen	$1.131	29.07s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 3 Token input 298,682 Token output 8,374 Token penalaran 80,549 Waktu respons (rata-rata) 29.07s Waktu respons (total) 668.66s Waktu respons (maks) 207.79s Jawaban salah: 4 Pemanggilan alat tidak valid: 1 Tugas agen : 6.1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 6.1 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#105#105	Claude Opus 4.7medium	8.1	Anthropic	$3.636	14.12s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 81.2% Tes tidak stabil 2 Token input 437,293 Token output 29,102 Token penalaran 28,876 Waktu respons (rata-rata) 14.12s Waktu respons (total) 310.55s Waktu respons (maks) 150.60s Jawaban salah: 3 Pemanggilan alat tidak valid: 1 Kedaluwarsa: 1 Tugas agen : 5.2 Trik anti-AI : 8.3 Pemrograman : 7.6 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#119#119	Gemini 3.5 Flashmedium	7.9	Google	$1.316	11.78s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 81.2% Tes tidak stabil 2 Token input 296,760 Token output 4,371 Token penalaran 92,284 Waktu respons (rata-rata) 11.78s Waktu respons (total) 271.03s Waktu respons (maks) 84.47s Jawaban salah: 3 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 2.8 Trik anti-AI : 10.0 Pemrograman : 7.9 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#383#383	Gemini 3.1 Flash Lite Previewhigh	4.3	Google	$2.310	68.14s
Lihat kartu model Total Tes 16 Tes Salah 3 Keandalan T/A Tingkat lulus per percobaan 56.5% Tes tidak stabil 0 Token input 28,980 Token output 1,283 Token penalaran 1,533,310 Waktu respons (rata-rata) 68.14s Waktu respons (total) 1090.28s Waktu respons (maks) 280.52s Jawaban salah: 2 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 7.5 Pemrograman : 0.0 Gabungan : 5.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 0.0
#13#13	GPT-5.6 Sollow	9.6	OpenAI	$1.244	11.13s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 87.0% Tes tidak stabil 2 Token input 191,653 Token output 5,473 Token penalaran 17,084 Waktu respons (rata-rata) 11.13s Waktu respons (total) 256.08s Waktu respons (maks) 57.11s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#20#20	GPT-5.6 Solmedium	9.5	OpenAI	$1.700	14.57s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 91.3% Tes tidak stabil 3 Token input 191,341 Token output 5,665 Token penalaran 32,340 Waktu respons (rata-rata) 14.57s Waktu respons (total) 335.16s Waktu respons (maks) 79.40s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow