Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-19 Model Dievaluasi: 451

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

451/451

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#35#35	Qwen3.8 MAXmedium	9.2	Qwen	$1.181 ↑	27.34s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 81.2% Tes tidak stabil 1 Token input 276,512 Token output 8,152 Token penalaran 96,444 Waktu respons (rata-rata) 27.34s Waktu respons (total) 628.75s Waktu respons (maks) 126.60s Jawaban salah: 4 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#36#36	DeepSeek V4.1 Flash 1017low	9.2	DeepSeek	$0.355	32.55s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 78.3% Tes tidak stabil 3 Token input 267,122 Token output 7,369 Token penalaran 516,113 Waktu respons (rata-rata) 32.55s Waktu respons (total) 748.62s Waktu respons (maks) 443.63s Jawaban salah: 5 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 6.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#38#38	GPT-5.3-Codexmedium	9.1	OpenAI	$1.318	18.87s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 4 Token input 222,794 Token output 7,357 Token penalaran 58,930 Waktu respons (rata-rata) 18.87s Waktu respons (total) 433.94s Waktu respons (maks) 100.93s Jawaban salah: 4 Tidak mengikuti instruksi: 2 Tugas agen : 10.0 Trik anti-AI : 8.7 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 4.6 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 9.0 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#39#39	Claude Haiku 5.5xhigh	9.1	Anthropic	$0.140	16.58s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 81.2% Tes tidak stabil 2 Token input 394,509 Token output 10,349 Token penalaran 188,919 Waktu respons (rata-rata) 16.58s Waktu respons (total) 381.40s Waktu respons (maks) 92.74s Jawaban salah: 2 Format tambahan: 1 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#40#40	Muse Spark 1.3high	9.1	Meta	$1.891	52.87s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 78.3% Tes tidak stabil 2 Token input 257,320 Token output 14,459 Token penalaran 354,683 Waktu respons (rata-rata) 52.87s Waktu respons (total) 1216.04s Waktu respons (maks) 251.53s Jawaban salah: 3 Tidak mengikuti instruksi: 2 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 8.7 Pemanggilan alat : 9.6 Pengetahuan umum : 3.0
#42#42	Paretodefault	9.1	Unbiased	$1.520	33.47s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 87.0% Tes tidak stabil 2 Token input 223,559 Token output 128,144 Token penalaran 0 Waktu respons (rata-rata) 33.47s Waktu respons (total) 769.84s Waktu respons (maks) 143.33s Jawaban salah: 3 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 7.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#43#43	Seed 2.1 Turbohigh	9.1	Bytedance Seed	$1.892	170.52s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 3 Token input 246,954 Token output 8,378 Token penalaran 698,942 Waktu respons (rata-rata) 170.52s Waktu respons (total) 3922.04s Waktu respons (maks) 584.71s Jawaban salah: 4 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 8.2 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#46#46	Gemini 3.5 Flashlow	9.0	Google	$0.752	7.85s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 2 Token input 244,533 Token output 3,450 Token penalaran 39,280 Waktu respons (rata-rata) 7.85s Waktu respons (total) 180.45s Waktu respons (maks) 53.74s Jawaban salah: 3 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 7.8 Gabungan : 8.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#47#47	Qwen3.8 Max (0902)medium	9.0	Qwen	$1.096	30.42s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 2 Token input 268,540 Token output 7,499 Token penalaran 85,499 Waktu respons (rata-rata) 30.42s Waktu respons (total) 699.68s Waktu respons (maks) 168.09s Jawaban salah: 5 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#48#48	Muse Spark 1.3medium	9.0	Meta	$1.712	39.83s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 3 Token input 250,676 Token output 13,511 Token penalaran 315,400 Waktu respons (rata-rata) 39.83s Waktu respons (total) 916.20s Waktu respons (maks) 219.77s Jawaban salah: 4 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 9.6 Pengetahuan umum : 3.0
#49#49	Gemini 3.5 Flash Litehigh	9.0	Google	$0.624	11.92s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 2 Token input 244,529 Token output 6,784 Token penalaran 213,142 Waktu respons (rata-rata) 11.92s Waktu respons (total) 274.14s Waktu respons (maks) 53.09s Jawaban salah: 5 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 9.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#50#50	Gemini 4 Argonmedium	9.0	Google	$0.674	6.63s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 1 Token input 215,326 Token output 6,668 Token penalaran 17,615 Waktu respons (rata-rata) 6.63s Waktu respons (total) 152.50s Waktu respons (maks) 62.49s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 9.8 Pengetahuan umum : 3.0
#51#51	Claude Opus 5low	9.0	Anthropic	$2.350	9.87s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 1 Token input 352,845 Token output 16,553 Token penalaran 7,007 Waktu respons (rata-rata) 9.87s Waktu respons (total) 226.95s Waktu respons (maks) 73.15s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 7.8 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#52#52	Gemini 3.6 Flashlow	9.0	Google	$0.363 ↓	6.82s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 89.9% Tes tidak stabil 3 Token input 197,570 Token output 6,364 Token penalaran 50,704 Waktu respons (rata-rata) 6.82s Waktu respons (total) 156.81s Waktu respons (maks) 48.53s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 8.7 Pemrograman : 7.8 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#53#53	GLM 5.3 Flashmax	9.0	Z.ai	$0.089	54.04s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 3 Token input 255,743 Token output 8,684 Token penalaran 207,435 Waktu respons (rata-rata) 54.04s Waktu respons (total) 1242.97s Waktu respons (maks) 333.47s Jawaban salah: 2 Format tambahan: 1 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#56#56	Muse Spark 1.2medium	8.9	Meta	$1.590	21.28s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 75.4% Tes tidak stabil 4 Token input 292,604 Token output 9,569 Token penalaran 278,408 Waktu respons (rata-rata) 21.28s Waktu respons (total) 489.46s Waktu respons (maks) 142.49s Tidak mengikuti instruksi: 3 Jawaban salah: 3 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 7.3 Pemrograman : 10.0 Gabungan : 8.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 6.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#57#57	Muse Spark 1.1medium	8.9	Meta	$1.665	27.02s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 73.9% Tes tidak stabil 2 Token input 305,707 Token output 10,240 Token penalaran 291,479 Waktu respons (rata-rata) 27.02s Waktu respons (total) 621.38s Waktu respons (maks) 165.38s Jawaban salah: 4 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 7.9 Pemanggilan alat : 9.8 Pengetahuan umum : 3.0
#58#58	Claude Fable 5medium	8.9	Anthropic	$5.089	16.84s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 1 Token input 272,411 Token output 35,497 Token penalaran 11,788 Waktu respons (rata-rata) 16.84s Waktu respons (total) 387.26s Waktu respons (maks) 80.80s Tidak ada jawaban: 3 Pemanggilan alat tidak valid: 1 Jawaban salah: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#59#59	Pareto 26.9default	8.9	Unbiased	$1.864	28.26s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 6 Token input 218,199 Token output 175,696 Token penalaran 0 Waktu respons (rata-rata) 28.26s Waktu respons (total) 649.90s Waktu respons (maks) 151.76s Jawaban salah: 6 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 7.5 Pemrograman : 10.0 Gabungan : 8.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#60#60	Qwen3.8 MAXlow	8.8	Qwen	$1.089 ↑	25.09s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 81.2% Tes tidak stabil 3 Token input 262,495 Token output 7,787 Token penalaran 86,149 Waktu respons (rata-rata) 25.09s Waktu respons (total) 577.14s Waktu respons (maks) 155.75s Jawaban salah: 5 Tidak mengikuti instruksi: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 9.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#61#61	GPT-5.4medium	8.8	OpenAI	$2.213 ↑	24.81s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 78.3% Tes tidak stabil 4 Token input 223,210 Token output 7,312 Token penalaran 89,190 Waktu respons (rata-rata) 24.81s Waktu respons (total) 570.60s Waktu respons (maks) 100.41s Jawaban salah: 5 Tidak mengikuti instruksi: 2 Tugas agen : 10.0 Trik anti-AI : 8.3 Pemrograman : 8.8 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.7 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#65#65	Muse Spark 1.2low	8.7	Meta	$0.881	11.81s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 78.3% Tes tidak stabil 3 Token input 254,914 Token output 10,303 Token penalaran 121,928 Waktu respons (rata-rata) 11.81s Waktu respons (total) 271.60s Waktu respons (maks) 56.77s Jawaban salah: 4 Tidak mengikuti instruksi: 3 Tugas agen : 10.0 Trik anti-AI : 9.2 Pemrograman : 8.4 Gabungan : 9.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#66#66	GPT-5.2medium	8.7	OpenAI	$1.558 ↑	31.29s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 73.9% Tes tidak stabil 4 Token input 235,207 Token output 11,065 Token penalaran 69,473 Waktu respons (rata-rata) 31.29s Waktu respons (total) 531.98s Waktu respons (maks) 116.86s Tidak mengikuti instruksi: 3 Jawaban salah: 3 Tidak ada jawaban: 1 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 6.5 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 3.7 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 7.5 Pemanggilan alat : 4.7 Pengetahuan umum : 3.0
#69#69	Seed 2.1 Turbomedium	8.7	Bytedance Seed	$2.042	189.13s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 5 Token input 234,572 Token output 8,019 Token penalaran 761,563 Waktu respons (rata-rata) 189.13s Waktu respons (total) 4349.92s Waktu respons (maks) 885.33s Jawaban salah: 5 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 8.2 Pemrograman : 8.2 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 9.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#70#70	GPT-6 Sollow	8.7	OpenAI	$0.477	8.72s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 87.0% Tes tidak stabil 4 Token input 172,359 Token output 5,026 Token penalaran 8,185 Waktu respons (rata-rata) 8.72s Waktu respons (total) 200.61s Waktu respons (maks) 48.43s Jawaban salah: 5 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 6.2 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow