Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-01 Model Dievaluasi: 382

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

382/382

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#382#382	Claude Opus 5.5none	0.2	Anthropic	$0.015	13.58s
Lihat kartu model Total Tes 1 Tes Salah 0 Keandalan 10.0 Tingkat lulus per percobaan 4.4% Tes tidak stabil 0 Token input 73 Token output 735 Token penalaran 0 Waktu respons (rata-rata) 13.58s Waktu respons (total) 13.58s Waktu respons (maks) 13.58s Tugas agen : 0.0 Trik anti-AI : 0.0 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 0.0 Spesifik domain : 3.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 0.0 Pemecahan teka-teki : 0.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#381#381	Tev1 4B Experimentalnone	1.0	Togethercomputer	$0.002	498ms
Lihat kartu model Total Tes 7 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 13.0% Tes tidak stabil 0 Token input 33,864 Token output 96 Token penalaran 0 Waktu respons (rata-rata) 498ms Waktu respons (total) 3.49s Waktu respons (maks) 602ms Jawaban salah: 4 Tugas agen : 0.0 Trik anti-AI : 2.5 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 6.7 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#380#380	Solar Decidenone	1.0	Upstage	$0.009 ↑	6.01s
Lihat kartu model Total Tes 7 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 14.5% Tes tidak stabil 3 Token input 47,586 Token output 51 Token penalaran 0 Waktu respons (rata-rata) 6.01s Waktu respons (total) 42.05s Waktu respons (maks) 13.10s Jawaban salah: 5 Tugas agen : 0.0 Trik anti-AI : 0.8 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 3.7 Spesifik domain : 4.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 5.0 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#379#379	LFM2-24B-A2Bnone	1.8	Liquid	$0.001	782ms
Lihat kartu model Total Tes 16 Tes Salah 14 Keandalan T/A Tingkat lulus per percobaan 11.6% Tes tidak stabil 1 Token input 10,771 Token output 1,173 Token penalaran 0 Waktu respons (rata-rata) 782ms Waktu respons (total) 10.94s Waktu respons (maks) 3.15s Jawaban salah: 9 Kesalahan API: 4 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 2.5 Pemrograman : 0.0 Gabungan : 1.5 Parsing dan ekstraksi data : 3.0 Spesifik domain : 5.9 Kecerdasan umum : 4.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.8 Pemanggilan alat : 3.0 Pengetahuan umum : 0.0
#378#378	Gemini 3 Flash Previewhigh	1.8	Google	$0.105	52.45s
Lihat kartu model Total Tes 1 Tes Salah 0 Keandalan 10.0 Tingkat lulus per percobaan 4.4% Tes tidak stabil 0 Token input 134,050 Token output 1,029 Token penalaran 11,528 Waktu respons (rata-rata) 52.45s Waktu respons (total) 52.45s Waktu respons (maks) 52.45s Tugas agen : 10.0 Trik anti-AI : 0.0 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 0.0 Spesifik domain : 0.0 Kecerdasan umum : 0.0 Kepatuhan instruksi : 0.0 Pemecahan teka-teki : 0.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#377#377	Step 3.5 Flashnone	1.9	Stepfun	$0.020	39.03s
Lihat kartu model Total Tes 12 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 26.1% Tes tidak stabil 0 Token input 1,971 Token output 64,795 Token penalaran 0 Waktu respons (rata-rata) 39.03s Waktu respons (total) 312.26s Waktu respons (maks) 114.12s Kesalahan API: 4 Tidak mengikuti instruksi: 1 Jawaban salah: 1 Tugas agen : 0.0 Trik anti-AI : 10.0 Pemrograman : 1.0 Gabungan : 1.5 Parsing dan ekstraksi data : 1.5 Spesifik domain : 3.3 Kecerdasan umum : 4.0 Kepatuhan instruksi : 5.0 Pemecahan teka-teki : 0.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#376#376	Kev 4Bnone	2.4	Jaredpalmer	$0.002	5.63s
Lihat kartu model Total Tes 12 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 15.9% Tes tidak stabil 1 Token input 42,804 Token output 28,061 Token penalaran 0 Waktu respons (rata-rata) 5.63s Waktu respons (total) 67.61s Waktu respons (maks) 17.79s Jawaban salah: 9 Tugas agen : 0.0 Trik anti-AI : 2.3 Pemrograman : 4.5 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 2.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#375#375	Jev 1.13none	2.6	Typesafe	$0.003	698ms
Lihat kartu model Total Tes 12 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 26.1% Tes tidak stabil 0 Token input 67,092 Token output 18,927 Token penalaran 0 Waktu respons (rata-rata) 698ms Waktu respons (total) 8.38s Waktu respons (maks) 1.08s Jawaban salah: 6 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.2 Gabungan : 0.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 3.3 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#374#374	Nemotron 3 Nano Omni 30b A3b Reasoningnone	2.6	NVIDIA	$0.000	728ms
Lihat kartu model Total Tes 19 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 14.5% Tes tidak stabil 2 Token input 11,661 Token output 1,302 Token penalaran 0 Waktu respons (rata-rata) 728ms Waktu respons (total) 9.47s Waktu respons (maks) 2.21s Jawaban salah: 9 Kesalahan API: 6 Tidak mengikuti instruksi: 2 Tugas agen : 0.0 Trik anti-AI : 4.8 Pemrograman : 3.3 Gabungan : 1.5 Parsing dan ekstraksi data : 3.8 Spesifik domain : 3.6 Kecerdasan umum : 3.0 Kepatuhan instruksi : 4.8 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#373#373	Nemotron 3 Nano Omni 30b A3b Reasoningmedium	2.7	NVIDIA	$0.000	17.13s
Lihat kartu model Total Tes 19 Tes Salah 15 Keandalan 10.0 Tingkat lulus per percobaan 26.1% Tes tidak stabil 5 Token input 11,661 Token output 48,491 Token penalaran 180,695 Waktu respons (rata-rata) 17.13s Waktu respons (total) 222.66s Waktu respons (maks) 147.45s Jawaban salah: 7 Kesalahan API: 6 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 0.0 Trik anti-AI : 6.4 Pemrograman : 1.1 Gabungan : 1.5 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 3.0 Kepatuhan instruksi : 7.3 Pemecahan teka-teki : 2.9 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#372#372	Command A+low	3.0	Cohere	$0.073	92.50s
Lihat kartu model Total Tes 23 Tes Salah 23 Keandalan 3.5 Tingkat lulus per percobaan 1.5% Tes tidak stabil 1 Token input 114,874 Token output 1,992 Token penalaran 23,529 Waktu respons (rata-rata) 92.50s Waktu respons (total) 2127.40s Waktu respons (maks) 128.54s Kesalahan API: 22 Jawaban salah: 1 Tugas agen : 2.8 Trik anti-AI : 3.0 Pemrograman : 3.0 Gabungan : 3.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 3.0 Kecerdasan umum : 3.0 Kepatuhan instruksi : 3.0 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#371#371	Command A+none	3.0	Cohere	$0.000	77.87s
Lihat kartu model Total Tes 23 Tes Salah 23 Keandalan 0.0 Tingkat lulus per percobaan 0.0% Tes tidak stabil 0 Token input 0 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 77.87s Waktu respons (total) 1791.03s Waktu respons (maks) 106.37s Kesalahan API: 23 Tugas agen : 3.0 Trik anti-AI : 3.0 Pemrograman : 3.0 Gabungan : 3.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 3.0 Kecerdasan umum : 3.0 Kepatuhan instruksi : 3.0 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#370#370	Laguna Xs.2none	3.1	Poolside	$0.004 ↕	806ms
Lihat kartu model Total Tes 19 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 21.7% Tes tidak stabil 0 Token input 33,675 Token output 2,826 Token penalaran 0 Waktu respons (rata-rata) 806ms Waktu respons (total) 12.09s Waktu respons (maks) 2.01s Jawaban salah: 8 Kesalahan API: 4 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 0.0 Trik anti-AI : 3.0 Pemrograman : 0.8 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 3.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#369#369	Grok 4.1 Fastnone	3.1	X AI	$0.008 ↓	1.62s
Lihat kartu model Total Tes 19 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 18.8% Tes tidak stabil 3 Token input 36,608 Token output 1,723 Token penalaran 0 Waktu respons (rata-rata) 1.62s Waktu respons (total) 19.48s Waktu respons (maks) 5.51s Jawaban salah: 13 Tidak mengikuti instruksi: 3 Tugas agen : 0.0 Trik anti-AI : 3.2 Pemrograman : 1.8 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 4.4 Kepatuhan instruksi : 3.0 Pemecahan teka-teki : 3.0 Pemanggilan alat : 2.8 Pengetahuan umum : 3.0
#368#368	Command A+high	3.2	Cohere	$0.079	89.96s
Lihat kartu model Total Tes 23 Tes Salah 23 Keandalan 3.5 Tingkat lulus per percobaan 0.0% Tes tidak stabil 0 Token input 117,966 Token output 5,149 Token penalaran 23,514 Waktu respons (rata-rata) 89.96s Waktu respons (total) 2069.01s Waktu respons (maks) 156.00s Kesalahan API: 22 Jawaban salah: 1 Tugas agen : 3.9 Trik anti-AI : 3.0 Pemrograman : 3.0 Gabungan : 3.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 3.0 Kecerdasan umum : 3.0 Kepatuhan instruksi : 3.0 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#367#367	Grok Build 0.1none	3.2	X AI	$0.547	28.69s
Lihat kartu model Total Tes 19 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 42.0% Tes tidak stabil 4 Token input 11,793 Token output 267,275 Token penalaran 0 Waktu respons (rata-rata) 28.69s Waktu respons (total) 459.00s Waktu respons (maks) 138.35s Jawaban salah: 7 Kesalahan API: 3 Tidak mengikuti instruksi: 2 Tugas agen : 0.0 Trik anti-AI : 8.7 Pemrograman : 3.3 Gabungan : 1.5 Parsing dan ekstraksi data : 3.8 Spesifik domain : 3.6 Kecerdasan umum : 4.3 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 6.4 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#366#366	MiMo-V2-Flashnone	3.3	Xiaomi	$0.025 ↑	2.76s
Lihat kartu model Total Tes 21 Tes Salah 17 Keandalan 6.7 Tingkat lulus per percobaan 23.2% Tes tidak stabil 4 Token input 36,851 Token output 68,882 Token penalaran 0 Waktu respons (rata-rata) 2.76s Waktu respons (total) 46.99s Waktu respons (maks) 19.68s Jawaban salah: 13 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Format tambahan: 1 Tugas agen : 0.0 Trik anti-AI : 3.2 Pemrograman : 4.3 Gabungan : 1.5 Parsing dan ekstraksi data : 2.9 Spesifik domain : 5.3 Kecerdasan umum : 4.6 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#365#365	Hy3 previewnone	3.3	Tencent	$0.007 ↕	12.92s
Lihat kartu model Total Tes 21 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 21.7% Tes tidak stabil 2 Token input 27,172 Token output 2,661 Token penalaran 0 Waktu respons (rata-rata) 12.92s Waktu respons (total) 232.64s Waktu respons (maks) 35.84s Jawaban salah: 8 Kesalahan API: 4 Tidak mengikuti instruksi: 4 Format tambahan: 1 Tugas agen : 0.0 Trik anti-AI : 4.8 Pemrograman : 2.7 Gabungan : 1.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.6 Kecerdasan umum : 4.1 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#364#364	Laguna Xs.2medium	3.3	Poolside	$0.015 ↕	6.73s
Lihat kartu model Total Tes 19 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 42.0% Tes tidak stabil 6 Token input 39,481 Token output 54,218 Token penalaran 0 Waktu respons (rata-rata) 6.73s Waktu respons (total) 100.98s Waktu respons (maks) 29.11s Jawaban salah: 6 Kesalahan API: 4 Tidak ada jawaban: 2 Pemanggilan alat tidak valid: 1 Tugas agen : 0.0 Trik anti-AI : 6.9 Pemrograman : 2.1 Gabungan : 1.5 Parsing dan ekstraksi data : 7.1 Spesifik domain : 4.1 Kecerdasan umum : 3.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 5.3 Pemanggilan alat : 4.7 Pengetahuan umum : 3.0
#363#363	Command A+medium	3.4	Cohere	$0.064	91.72s
Lihat kartu model Total Tes 23 Tes Salah 23 Keandalan 3.5 Tingkat lulus per percobaan 0.0% Tes tidak stabil 0 Token input 118,771 Token output 4,127 Token penalaran 14,668 Waktu respons (rata-rata) 91.72s Waktu respons (total) 2109.54s Waktu respons (maks) 112.76s Kesalahan API: 22 Jawaban salah: 1 Tugas agen : 5.0 Trik anti-AI : 3.0 Pemrograman : 3.0 Gabungan : 3.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 3.0 Kecerdasan umum : 3.0 Kepatuhan instruksi : 3.0 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#362#362	Grok 4.20none	3.4	X AI	$0.057 ↓	1.11s
Lihat kartu model Total Tes 18 Tes Salah 12 Keandalan T/A Tingkat lulus per percobaan 26.1% Tes tidak stabil 0 Token input 41,313 Token output 1,923 Token penalaran 0 Waktu respons (rata-rata) 1.11s Waktu respons (total) 19.96s Waktu respons (maks) 6.04s Jawaban salah: 10 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 0.0 Trik anti-AI : 4.8 Pemrograman : 1.1 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 4.8 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 0.0
#361#361	Hunter Alphanone	3.5	OpenRouter	$0.000	4.70s
Lihat kartu model Total Tes 18 Tes Salah 12 Keandalan T/A Tingkat lulus per percobaan 36.2% Tes tidak stabil 4 Token input 34,329 Token output 2,264 Token penalaran 0 Waktu respons (rata-rata) 4.70s Waktu respons (total) 79.86s Waktu respons (maks) 15.17s Jawaban salah: 9 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Tugas agen : 0.0 Trik anti-AI : 3.5 Pemrograman : 1.0 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 6.1 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 5.8 Pemanggilan alat : 10.0 Pengetahuan umum : 0.0
#360#360	Elephant Alphamedium	3.5	Openrouter	$0.000	1.27s
Lihat kartu model Total Tes 21 Tes Salah 15 Keandalan T/A Tingkat lulus per percobaan 27.5% Tes tidak stabil 1 Token input 33,744 Token output 2,596 Token penalaran 0 Waktu respons (rata-rata) 1.27s Waktu respons (total) 22.82s Waktu respons (maks) 3.70s Jawaban salah: 9 Kesalahan API: 3 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Tugas agen : 0.0 Trik anti-AI : 6.6 Pemrograman : 3.7 Gabungan : 1.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 4.3 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.3 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#359#359	Elephant Alphanone	3.6	Openrouter	$0.000	1.22s
Lihat kartu model Total Tes 21 Tes Salah 16 Keandalan T/A Tingkat lulus per percobaan 24.6% Tes tidak stabil 1 Token input 33,743 Token output 2,573 Token penalaran 0 Waktu respons (rata-rata) 1.22s Waktu respons (total) 22.03s Waktu respons (maks) 3.81s Jawaban salah: 9 Kesalahan API: 3 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Tugas agen : 0.0 Trik anti-AI : 6.6 Pemrograman : 4.2 Gabungan : 1.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 4.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 4.2 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#358#358	Laguna M.1none	3.6	Poolside	$0.009 ↕	2.89s
Lihat kartu model Total Tes 19 Tes Salah 15 Keandalan 9.8 Tingkat lulus per percobaan 26.1% Tes tidak stabil 3 Token input 38,147 Token output 2,054 Token penalaran 0 Waktu respons (rata-rata) 2.89s Waktu respons (total) 43.28s Waktu respons (maks) 15.42s Jawaban salah: 10 Kesalahan API: 4 Pemanggilan alat tidak valid: 1 Tugas agen : 0.0 Trik anti-AI : 3.4 Pemrograman : 2.5 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 3.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

1 2 16

→

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow