Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-17 Model Dievaluasi: 442

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

442/442

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#398#398	Xing4.0 29b A4bmedium	3.7	Xingchen AGI	$0.000	371.69s
Lihat kartu model Total Tes 23 Tes Salah 22 Keandalan 7.3 Tingkat lulus per percobaan 26.1% Tes tidak stabil 11 Token input 98,467 Token output 3,385 Token penalaran 104,595 Waktu respons (rata-rata) 371.69s Waktu respons (total) 8548.88s Waktu respons (maks) 971.85s Jawaban salah: 9 Kedaluwarsa: 6 Kesalahan API: 4 Tidak mengikuti instruksi: 3 Tugas agen : 3.0 Trik anti-AI : 3.8 Pemrograman : 4.2 Gabungan : 3.0 Parsing dan ekstraksi data : 2.9 Spesifik domain : 3.6 Kecerdasan umum : 3.2 Kepatuhan instruksi : 4.3 Pemecahan teka-teki : 2.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#399#399	Ling 3.0 Tinyhigh	3.7	Inclusionai	$0.000	72.24s
Lihat kartu model Total Tes 23 Tes Salah 19 Keandalan 10.0 Tingkat lulus per percobaan 23.2% Tes tidak stabil 3 Token input 115,314 Token output 133,965 Token penalaran 816,718 Waktu respons (rata-rata) 72.24s Waktu respons (total) 1589.23s Waktu respons (maks) 345.15s Tidak ada jawaban: 7 Jawaban salah: 6 Tidak mengikuti instruksi: 3 Kesalahan API: 2 Pemanggilan alat tidak valid: 1 Tugas agen : 3.0 Trik anti-AI : 6.4 Pemrograman : 2.9 Gabungan : 3.0 Parsing dan ekstraksi data : 2.8 Spesifik domain : 2.9 Kecerdasan umum : 5.4 Kepatuhan instruksi : 6.8 Pemecahan teka-teki : 3.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#400#400	Ling 3.0 Tinylow	3.7	Inclusionai	$0.000	63.15s
Lihat kartu model Total Tes 23 Tes Salah 19 Keandalan 9.6 Tingkat lulus per percobaan 18.8% Tes tidak stabil 1 Token input 99,662 Token output 146,555 Token penalaran 732,977 Waktu respons (rata-rata) 63.15s Waktu respons (total) 1389.35s Waktu respons (maks) 252.08s Tidak ada jawaban: 7 Jawaban salah: 5 Tidak mengikuti instruksi: 4 Kesalahan API: 2 Pemanggilan alat tidak valid: 1 Tugas agen : 3.0 Trik anti-AI : 6.5 Pemrograman : 2.9 Gabungan : 3.0 Parsing dan ekstraksi data : 2.8 Spesifik domain : 3.0 Kecerdasan umum : 5.1 Kepatuhan instruksi : 6.6 Pemecahan teka-teki : 3.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#401#401	Ling 3.0 Tinymedium	3.6	Inclusionai	$0.000	64.99s
Lihat kartu model Total Tes 23 Tes Salah 19 Keandalan 9.6 Tingkat lulus per percobaan 23.2% Tes tidak stabil 3 Token input 103,898 Token output 148,304 Token penalaran 774,972 Waktu respons (rata-rata) 64.99s Waktu respons (total) 1429.68s Waktu respons (maks) 262.20s Tidak ada jawaban: 7 Jawaban salah: 5 Tidak mengikuti instruksi: 4 Kesalahan API: 2 Pemanggilan alat tidak valid: 1 Tugas agen : 3.0 Trik anti-AI : 6.5 Pemrograman : 2.9 Gabungan : 3.0 Parsing dan ekstraksi data : 2.7 Spesifik domain : 3.0 Kecerdasan umum : 3.8 Kepatuhan instruksi : 6.8 Pemecahan teka-teki : 3.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#404#404	Elephant Alphadefault	3.6	Openrouter	$0.000	1.22s
Lihat kartu model Total Tes 21 Tes Salah 16 Keandalan T/A Tingkat lulus per percobaan 24.6% Tes tidak stabil 1 Token input 33,743 Token output 2,573 Token penalaran 0 Waktu respons (rata-rata) 1.22s Waktu respons (total) 22.03s Waktu respons (maks) 3.81s Jawaban salah: 9 Kesalahan API: 3 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Tugas agen : 0.0 Trik anti-AI : 6.6 Pemrograman : 4.2 Gabungan : 1.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 4.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 4.2 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#405#405	Elephant Alphamedium	3.5	Openrouter	$0.000	1.27s
Lihat kartu model Total Tes 21 Tes Salah 15 Keandalan T/A Tingkat lulus per percobaan 27.5% Tes tidak stabil 1 Token input 33,744 Token output 2,596 Token penalaran 0 Waktu respons (rata-rata) 1.27s Waktu respons (total) 22.82s Waktu respons (maks) 3.70s Jawaban salah: 9 Kesalahan API: 3 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Tugas agen : 0.0 Trik anti-AI : 6.6 Pemrograman : 3.7 Gabungan : 1.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 4.3 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.3 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#406#406	Hunter Alphadefault	3.5	OpenRouter	$0.000	4.70s
Lihat kartu model Total Tes 18 Tes Salah 12 Keandalan T/A Tingkat lulus per percobaan 36.2% Tes tidak stabil 4 Token input 34,329 Token output 2,264 Token penalaran 0 Waktu respons (rata-rata) 4.70s Waktu respons (total) 79.86s Waktu respons (maks) 15.17s Jawaban salah: 9 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Tugas agen : 0.0 Trik anti-AI : 3.5 Pemrograman : 1.0 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 6.1 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 5.8 Pemanggilan alat : 10.0 Pengetahuan umum : 0.0
#412#412	Xing4.0 29b A4bnone	3.3	Xingchen AGI	$0.000	42.72s
Lihat kartu model Total Tes 23 Tes Salah 23 Keandalan 8.8 Tingkat lulus per percobaan 7.3% Tes tidak stabil 4 Token input 153,665 Token output 26,540 Token penalaran 0 Waktu respons (rata-rata) 42.72s Waktu respons (total) 982.66s Waktu respons (maks) 634.11s Jawaban salah: 13 Tidak mengikuti instruksi: 5 Kesalahan API: 3 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Tugas agen : 3.0 Trik anti-AI : 3.3 Pemrograman : 3.6 Gabungan : 3.0 Parsing dan ekstraksi data : 2.9 Spesifik domain : 3.0 Kecerdasan umum : 3.4 Kepatuhan instruksi : 4.0 Pemecahan teka-teki : 3.1 Pemanggilan alat : 4.7 Pengetahuan umum : 3.0
#417#417	Command A+none	3.0	Cohere	$0.000	77.87s
Lihat kartu model Total Tes 23 Tes Salah 23 Keandalan 0.0 Tingkat lulus per percobaan 0.0% Tes tidak stabil 0 Token input 0 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 77.87s Waktu respons (total) 1791.03s Waktu respons (maks) 106.37s Kesalahan API: 23 Tugas agen : 3.0 Trik anti-AI : 3.0 Pemrograman : 3.0 Gabungan : 3.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 3.0 Kecerdasan umum : 3.0 Kepatuhan instruksi : 3.0 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#420#420	Nemotron 3 Nano Omni 30b A3b Reasoningmedium	2.7	NVIDIA	$0.000	17.13s
Lihat kartu model Total Tes 19 Tes Salah 15 Keandalan 10.0 Tingkat lulus per percobaan 26.1% Tes tidak stabil 5 Token input 11,661 Token output 48,491 Token penalaran 180,695 Waktu respons (rata-rata) 17.13s Waktu respons (total) 222.66s Waktu respons (maks) 147.45s Jawaban salah: 7 Kesalahan API: 6 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 0.0 Trik anti-AI : 6.4 Pemrograman : 1.1 Gabungan : 1.5 Parsing dan ekstraksi data : 7.3 Spesifik domain : 2.9 Kecerdasan umum : 3.0 Kepatuhan instruksi : 7.3 Pemecahan teka-teki : 2.9 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#422#422	Nemotron 3 Nano Omni 30b A3b Reasoningdefault	2.6	NVIDIA	$0.000	728ms
Lihat kartu model Total Tes 19 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 14.5% Tes tidak stabil 2 Token input 11,661 Token output 1,302 Token penalaran 0 Waktu respons (rata-rata) 728ms Waktu respons (total) 9.47s Waktu respons (maks) 2.21s Jawaban salah: 9 Kesalahan API: 6 Tidak mengikuti instruksi: 2 Tugas agen : 0.0 Trik anti-AI : 4.8 Pemrograman : 3.3 Gabungan : 1.5 Parsing dan ekstraksi data : 3.8 Spesifik domain : 3.6 Kecerdasan umum : 3.0 Kepatuhan instruksi : 4.8 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#441#441	Nimble v3 9Bdefault	0.8	Bespoke Labs	~$0.001	363ms
Lihat kartu model Total Tes 7 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 4.4% Tes tidak stabil 0 Token input 103,770 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 363ms Waktu respons (total) 2.54s Waktu respons (maks) 1.24s Jawaban salah: 5 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 2.5 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 2.0 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#436#436	LFM2-24B-A2Bdefault	1.8	Liquid	$0.001	782ms
Lihat kartu model Total Tes 16 Tes Salah 14 Keandalan T/A Tingkat lulus per percobaan 11.6% Tes tidak stabil 1 Token input 10,771 Token output 1,173 Token penalaran 0 Waktu respons (rata-rata) 782ms Waktu respons (total) 10.94s Waktu respons (maks) 3.15s Jawaban salah: 9 Kesalahan API: 4 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 2.5 Pemrograman : 0.0 Gabungan : 1.5 Parsing dan ekstraksi data : 3.0 Spesifik domain : 5.9 Kecerdasan umum : 4.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.8 Pemanggilan alat : 3.0 Pengetahuan umum : 0.0
#432#432	Decider Flash V1.2default	1.9	Perplexity	$0.001	462ms
Lihat kartu model Total Tes 12 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 13.0% Tes tidak stabil 0 Token input 49,176 Token output 69 Token penalaran 0 Waktu respons (rata-rata) 462ms Waktu respons (total) 5.55s Waktu respons (maks) 661ms Jawaban salah: 9 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.2 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#419#419	Span-02default	2.8	Respan	$0.001	1.36s
Lihat kartu model Total Tes 12 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 26.1% Tes tidak stabil 0 Token input 70,626 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 1.36s Waktu respons (total) 16.37s Waktu respons (maks) 5.71s Jawaban salah: 6 Tugas agen : 0.0 Trik anti-AI : 5.8 Pemrograman : 4.9 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 5.0 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#424#424	Decider V1.2default	2.6	Perplexity	$0.001	517ms
Lihat kartu model Total Tes 12 Tes Salah 7 Keandalan 9.4 Tingkat lulus per percobaan 24.6% Tes tidak stabil 1 Token input 48,363 Token output 67 Token penalaran 0 Waktu respons (rata-rata) 517ms Waktu respons (total) 6.20s Waktu respons (maks) 776ms Jawaban salah: 5 Kesalahan API: 1 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 5.8 Pemrograman : 4.5 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.9 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#440#440	Tev1 4B Experimentaldefault	1.0	Togethercomputer	$0.002	498ms
Lihat kartu model Total Tes 7 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 13.0% Tes tidak stabil 0 Token input 33,864 Token output 96 Token penalaran 0 Waktu respons (rata-rata) 498ms Waktu respons (total) 3.49s Waktu respons (maks) 602ms Jawaban salah: 4 Tugas agen : 0.0 Trik anti-AI : 2.5 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 6.7 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#425#425	Decider V1.1 27Bdefault	2.6	Perplexity	$0.002	320ms
Lihat kartu model Total Tes 12 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 17.4% Tes tidak stabil 0 Token input 73,557 Token output 69 Token penalaran 0 Waktu respons (rata-rata) 320ms Waktu respons (total) 3.84s Waktu respons (maks) 491ms Jawaban salah: 8 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 4.9 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#373#373	Ling 2.6 Flashdefault	4.5	Inclusionai	$0.002 ↑	10.21s
Lihat kartu model Total Tes 23 Tes Salah 17 Keandalan 9.6 Tingkat lulus per percobaan 29.0% Tes tidak stabil 2 Token input 114,384 Token output 14,903 Token penalaran 0 Waktu respons (rata-rata) 10.21s Waktu respons (total) 214.31s Waktu respons (maks) 36.03s Jawaban salah: 9 Kesalahan API: 3 Pemanggilan alat tidak valid: 3 Tidak mengikuti instruksi: 2 Tugas agen : 3.0 Trik anti-AI : 6.8 Pemrograman : 5.3 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 4.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 2.9 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#426#426	Drex v1.5default	2.4	Nace AI	$0.002	986ms
Lihat kartu model Total Tes 12 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 17.4% Tes tidak stabil 0 Token input 42,804 Token output 27,468 Token penalaran 0 Waktu respons (rata-rata) 986ms Waktu respons (total) 11.84s Waktu respons (maks) 1.38s Jawaban salah: 8 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 4.5 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#438#438	Microsoft-Decision-1default	1.4	Microsoft	$0.002	982ms
Lihat kartu model Total Tes 12 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 7.3% Tes tidak stabil 1 Token input 41,466 Token output 69 Token penalaran 0 Waktu respons (rata-rata) 982ms Waktu respons (total) 11.78s Waktu respons (maks) 1.41s Jawaban salah: 11 Tugas agen : 0.0 Trik anti-AI : 4.4 Pemrograman : 2.2 Gabungan : 0.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 3.0 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#428#428	Kev 4Bdefault	2.4	Jaredpalmer	$0.002	5.63s
Lihat kartu model Total Tes 12 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 15.9% Tes tidak stabil 1 Token input 42,804 Token output 28,061 Token penalaran 0 Waktu respons (rata-rata) 5.63s Waktu respons (total) 67.61s Waktu respons (maks) 17.79s Jawaban salah: 9 Tugas agen : 0.0 Trik anti-AI : 2.3 Pemrograman : 4.5 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 2.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#434#434	D1default	1.9	Liquid	$0.003	508ms
Lihat kartu model Total Tes 12 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 11.6% Tes tidak stabil 1 Token input 55,956 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 508ms Waktu respons (total) 6.10s Waktu respons (maks) 820ms Jawaban salah: 10 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.2 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.6 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#421#421	d1-ultradefault	2.7	Liquid	$0.003	531ms
Lihat kartu model Total Tes 12 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 20.3% Tes tidak stabil 1 Token input 55,956 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 531ms Waktu respons (total) 6.38s Waktu respons (maks) 697ms Jawaban salah: 7 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 5.3 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#437#437	Solar Decide Flashdefault	1.7	Upstage	$0.003	1.33s
Lihat kartu model Total Tes 7 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 13.0% Tes tidak stabil 0 Token input 47,586 Token output 51 Token penalaran 0 Waktu respons (rata-rata) 1.33s Waktu respons (total) 9.32s Waktu respons (maks) 1.66s Jawaban salah: 4 Tugas agen : 0.0 Trik anti-AI : 0.8 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.4 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow