Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-09-18 Model Dievaluasi: 330

Model rekomendasi

GPT-6 Astra xhigh Cerdas Tingkat lulus per percobaan 97.0% Tes benar 21 / 22 Skor 9.9/10 GPT-5.6 Luna medium Cepat Waktu respons (rata-rata) 7.43s Total token output 44,525 Skor 7.4/10 DeepSeek V4 Flash 0731 high Terjangkau Harga input $0.060 / 1M Harga output $0.120 / 1M Skor 8.0/10

330/330

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#297#297	Cobuddymedium	4.7	Baidu	$0.000	39.90s
Lihat kartu model Total Tes 21 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 45.5% Tes tidak stabil 6 Token input 37,449 Token output 1,677 Token penalaran 116,703 Waktu respons (rata-rata) 39.90s Waktu respons (total) 797.98s Waktu respons (maks) 309.02s Jawaban salah: 9 Tidak mengikuti instruksi: 3 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 8.7 Pemrograman : 3.7 Gabungan : 1.5 Parsing dan ekstraksi data : 6.3 Spesifik domain : 2.9 Kecerdasan umum : 4.2 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 3.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#285#285	Hy4 previewnone	4.8	Tencent	$0.041	39.24s
Lihat kartu model Total Tes 22 Tes Salah 19 Keandalan 4.3 Tingkat lulus per percobaan 16.7% Tes tidak stabil 1 Token input 26,376 Token output 7,306 Token penalaran 0 Waktu respons (rata-rata) 39.24s Waktu respons (total) 863.30s Waktu respons (maks) 95.32s Jawaban salah: 9 Kesalahan API: 7 Tidak mengikuti instruksi: 2 Format tambahan: 1 Trik anti-AI : 3.3 Pemrograman : 3.8 Gabungan : 3.0 Parsing dan ekstraksi data : 8.7 Spesifik domain : 6.8 Kecerdasan umum : 5.1 Kepatuhan instruksi : 7.0 Pemecahan teka-teki : 4.6 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#82#82	Qwen3.8 27Blow	7.9	Qwen	~$0.071	39.11s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 68.2% Tes tidak stabil 0 Token input 99,705 Token output 1,545 Token penalaran 167,784 Waktu respons (rata-rata) 39.11s Waktu respons (total) 860.51s Waktu respons (maks) 376.04s Jawaban salah: 4 Tidak ada jawaban: 2 Tidak mengikuti instruksi: 1 Trik anti-AI : 10.0 Pemrograman : 7.7 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#329#329	Step 3.5 Flashnone	2.3	Stepfun	$0.020	39.03s
Lihat kartu model Total Tes 12 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 27.3% Tes tidak stabil 0 Token input 1,971 Token output 64,795 Token penalaran 0 Waktu respons (rata-rata) 39.03s Waktu respons (total) 312.26s Waktu respons (maks) 114.12s Kesalahan API: 4 Tidak mengikuti instruksi: 1 Jawaban salah: 1 Trik anti-AI : 10.0 Pemrograman : 9.8 Gabungan : 1.5 Parsing dan ekstraksi data : 1.5 Spesifik domain : 3.3 Kecerdasan umum : 4.0 Kepatuhan instruksi : 5.0 Pemecahan teka-teki : 0.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#28#28	GPT-5.5medium	9.0	OpenAI	$4.163	38.97s
Lihat kartu model Total Tes 22 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 87.9% Tes tidak stabil 3 Token input 80,668 Token output 5,617 Token penalaran 119,699 Waktu respons (rata-rata) 38.97s Waktu respons (total) 857.43s Waktu respons (maks) 332.10s Jawaban salah: 4 Trik anti-AI : 10.0 Pemrograman : 8.8 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#38#38	Muse Spark 1.3medium	8.8	Meta	$1.469	38.57s
Lihat kartu model Total Tes 22 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 84.9% Tes tidak stabil 3 Token input 89,177 Token output 11,044 Token penalaran 308,220 Waktu respons (rata-rata) 38.57s Waktu respons (total) 848.59s Waktu respons (maks) 219.77s Jawaban salah: 4 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 9.6 Pengetahuan umum : 3.0
#133#133	Qwen3.7 Flashlow	7.2	Qwen	$0.043	38.05s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 66.7% Tes tidak stabil 6 Token input 92,191 Token output 14,286 Token penalaran 289,733 Waktu respons (rata-rata) 38.05s Waktu respons (total) 837.05s Waktu respons (maks) 394.54s Jawaban salah: 7 Tidak mengikuti instruksi: 3 Kesalahan API: 1 Trik anti-AI : 10.0 Pemrograman : 6.7 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 4.0 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 7.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#2🥈 #2	Gemini 3.8 Flashhigh	9.9	Google	$1.595	37.19s
Lihat kartu model Total Tes 22 Tes Salah 1 Keandalan 10.0 Tingkat lulus per percobaan 98.5% Tes tidak stabil 1 Token input 84,593 Token output 10,517 Token penalaran 397,671 Waktu respons (rata-rata) 37.19s Waktu respons (total) 818.19s Waktu respons (maks) 177.08s Tidak ada jawaban: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 8.2 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#73#73	Muse Spark 1.1high	8.0	Meta	$2.253	36.85s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 68.2% Tes tidak stabil 6 Token input 129,213 Token output 8,356 Token penalaran 483,560 Waktu respons (rata-rata) 36.85s Waktu respons (total) 810.72s Waktu respons (maks) 196.03s Jawaban salah: 3 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 2 Kesalahan API: 1 Format tambahan: 1 Tidak ada jawaban: 1 Trik anti-AI : 7.5 Pemrograman : 10.0 Gabungan : 5.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 7.8 Pemanggilan alat : 9.6 Pengetahuan umum : 3.0
#248#248	DeepSeek V4 Flash 0423none	5.4	DeepSeek	$0.040 ↓	36.17s
Lihat kartu model Total Tes 22 Tes Salah 18 Keandalan 10.0 Tingkat lulus per percobaan 27.3% Tes tidak stabil 4 Token input 240,230 Token output 100,726 Token penalaran 0 Waktu respons (rata-rata) 36.17s Waktu respons (total) 795.83s Waktu respons (maks) 247.27s Jawaban salah: 13 Format tambahan: 2 Pemanggilan alat tidak valid: 2 Tidak mengikuti instruksi: 1 Trik anti-AI : 3.0 Pemrograman : 4.2 Gabungan : 4.6 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 4.2 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#101#101	Nemotron 3 Ultramedium	7.6	NVIDIA	$0.701 ↕	33.62s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 9.8 Tingkat lulus per percobaan 66.7% Tes tidak stabil 3 Token input 233,415 Token output 54,384 Token penalaran 130,021 Waktu respons (rata-rata) 33.62s Waktu respons (total) 739.59s Waktu respons (maks) 392.56s Jawaban salah: 7 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 6.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 3.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.5 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#93#93	GLM 5medium	7.7	Z.ai	$0.228 ↓	33.54s
Lihat kartu model Total Tes 21 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 78.8% Tes tidak stabil 4 Token input 35,224 Token output 21,570 Token penalaran 102,996 Waktu respons (rata-rata) 33.54s Waktu respons (total) 435.99s Waktu respons (maks) 99.85s Jawaban salah: 3 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Kedaluwarsa: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 5.0 Parsing dan ekstraksi data : 7.1 Spesifik domain : 3.5 Kecerdasan umum : 6.1 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#89#89	Qwen3.8 27Bmedium	7.8	Qwen	~$0.058	33.05s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 9.6 Tingkat lulus per percobaan 66.7% Tes tidak stabil 1 Token input 98,266 Token output 1,861 Token penalaran 134,301 Waktu respons (rata-rata) 33.05s Waktu respons (total) 694.04s Waktu respons (maks) 214.63s Jawaban salah: 3 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.7 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.3 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#53#53	DeepSeek V4.1 Flashhigh	8.5	DeepSeek	$0.574 ↑	32.78s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 9.6 Tingkat lulus per percobaan 74.2% Tes tidak stabil 3 Token input 100,111 Token output 6,642 Token penalaran 446,298 Waktu respons (rata-rata) 32.78s Waktu respons (total) 721.15s Waktu respons (maks) 205.53s Jawaban salah: 5 Kesalahan API: 1 Tidak mengikuti instruksi: 1 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 6.4 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#146#146	Grok 4.20medium	7.0	X AI	$0.805 ↓	32.56s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 60.6% Tes tidak stabil 5 Token input 102,986 Token output 5,860 Token penalaran 264,399 Waktu respons (rata-rata) 32.56s Waktu respons (total) 716.36s Waktu respons (maks) 199.66s Jawaban salah: 6 Format tambahan: 2 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 8.2 Pemrograman : 6.3 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 3.9 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.7 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#95#95	Claude Opus 4.6medium	7.7	Anthropic	$2.961	32.23s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 3 Token input 108,573 Token output 69,994 Token penalaran 26,728 Waktu respons (rata-rata) 32.23s Waktu respons (total) 515.65s Waktu respons (maks) 151.51s Format tambahan: 4 Jawaban salah: 4 Tidak mengikuti instruksi: 1 Trik anti-AI : 6.4 Pemrograman : 5.7 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#54#54	DeepSeek V4.1 Flashmedium	8.5	DeepSeek	$0.544 ↑	32.22s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 9.5 Tingkat lulus per percobaan 72.7% Tes tidak stabil 2 Token input 88,508 Token output 5,410 Token penalaran 425,406 Waktu respons (rata-rata) 32.22s Waktu respons (total) 708.76s Waktu respons (maks) 276.31s Jawaban salah: 5 Kesalahan API: 1 Tidak mengikuti instruksi: 1 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#34#34	Paretonone	8.9	Unbiased	$1.172	31.51s
Lihat kartu model Total Tes 22 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 86.4% Tes tidak stabil 2 Token input 110,734 Token output 119,230 Token penalaran 0 Waktu respons (rata-rata) 31.51s Waktu respons (total) 693.29s Waktu respons (maks) 143.33s Jawaban salah: 3 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 7.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#134#134	Muse Glimmer 30Bmedium	7.2	Meta	$0.211 ↓	30.64s
Lihat kartu model Total Tes 22 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 6 Token input 116,513 Token output 33,065 Token penalaran 135,009 Waktu respons (rata-rata) 30.64s Waktu respons (total) 674.01s Waktu respons (maks) 181.08s Jawaban salah: 9 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 9.2 Pemrograman : 8.4 Gabungan : 6.5 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 4.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 6.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#62#62	Inkling Smallhigh	8.4	Thinkingmachines	$0.398 ↓	30.43s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 69.7% Tes tidak stabil 2 Token input 85,669 Token output 6,092 Token penalaran 292,801 Waktu respons (rata-rata) 30.43s Waktu respons (total) 669.38s Waktu respons (maks) 122.60s Jawaban salah: 6 Tidak mengikuti instruksi: 2 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 9.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.3 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 4.8 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#275#275	North Mini Codenone	5.1	Cohere	$0.000	29.95s
Lihat kartu model Total Tes 22 Tes Salah 18 Keandalan 8.7 Tingkat lulus per percobaan 18.2% Tes tidak stabil 0 Token input 130,501 Token output 26,786 Token penalaran 0 Waktu respons (rata-rata) 29.95s Waktu respons (total) 658.83s Waktu respons (maks) 159.85s Jawaban salah: 12 Format tambahan: 2 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 2 Trik anti-AI : 3.0 Pemrograman : 3.9 Gabungan : 3.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 3.9 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.5 Pemanggilan alat : 9.5 Pengetahuan umum : 3.0
#317#317	Grok Build 0.1none	4.0	X AI	$0.547	28.69s
Lihat kartu model Total Tes 19 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 43.9% Tes tidak stabil 4 Token input 11,793 Token output 267,275 Token penalaran 0 Waktu respons (rata-rata) 28.69s Waktu respons (total) 459.00s Waktu respons (maks) 138.35s Jawaban salah: 7 Kesalahan API: 3 Tidak mengikuti instruksi: 2 Trik anti-AI : 8.7 Pemrograman : 3.3 Gabungan : 1.5 Parsing dan ekstraksi data : 3.8 Spesifik domain : 3.6 Kecerdasan umum : 4.3 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 6.4 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#59#59	GPT-5.2medium	8.4	OpenAI	$1.182	28.51s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 72.7% Tes tidak stabil 4 Token input 105,013 Token output 9,914 Token penalaran 61,338 Waktu respons (rata-rata) 28.51s Waktu respons (total) 456.13s Waktu respons (maks) 116.86s Tidak mengikuti instruksi: 3 Jawaban salah: 3 Tidak ada jawaban: 1 Kedaluwarsa: 1 Trik anti-AI : 6.5 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 3.7 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 7.5 Pemanggilan alat : 4.7 Pengetahuan umum : 3.0
#5#5	GPT-6 Astraxhigh	9.9	OpenAI	$5.156	28.44s
Lihat kartu model Total Tes 22 Tes Salah 1 Keandalan 9.9 Tingkat lulus per percobaan 97.0% Tes tidak stabil 1 Token input 79,662 Token output 5,055 Token penalaran 82,128 Waktu respons (rata-rata) 28.44s Waktu respons (total) 625.68s Waktu respons (maks) 381.11s Jawaban salah: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#88#88	Claude Sonnet 4.6medium	7.8	Anthropic	$2.126	28.08s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 65.2% Tes tidak stabil 1 Token input 106,316 Token output 79,338 Token penalaran 41,089 Waktu respons (rata-rata) 28.08s Waktu respons (total) 421.15s Waktu respons (maks) 140.96s Jawaban salah: 4 Format tambahan: 3 Kedaluwarsa: 1 Trik anti-AI : 6.5 Pemrograman : 5.7 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium