Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-17 Model Dievaluasi: 442

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

442/442

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#409#409	Laguna Xs.2medium	3.3	Poolside	$0.015 ↕	6.73s
Lihat kartu model Total Tes 19 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 42.0% Tes tidak stabil 6 Token input 39,481 Token output 54,218 Token penalaran 0 Waktu respons (rata-rata) 6.73s Waktu respons (total) 100.98s Waktu respons (maks) 29.11s Jawaban salah: 6 Kesalahan API: 4 Tidak ada jawaban: 2 Pemanggilan alat tidak valid: 1 Tugas agen : 0.0 Trik anti-AI : 6.9 Pemrograman : 2.1 Gabungan : 1.5 Parsing dan ekstraksi data : 7.1 Spesifik domain : 4.1 Kecerdasan umum : 3.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 5.3 Pemanggilan alat : 4.7 Pengetahuan umum : 3.0
#287#287	Qwen3.8 Flash Nextnone	5.8	Qwen	~$0.011	5.71s
Lihat kartu model Total Tes 23 Tes Salah 15 Keandalan 10.0 Tingkat lulus per percobaan 43.5% Tes tidak stabil 3 Token input 266,004 Token output 9,077 Token penalaran 0 Waktu respons (rata-rata) 5.71s Waktu respons (total) 131.36s Waktu respons (maks) 65.25s Jawaban salah: 14 Tidak ada jawaban: 1 Tugas agen : 5.0 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 6.1 Kepatuhan instruksi : 7.1 Pemecahan teka-teki : 6.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#431#431	Clef Omnidefault	1.9	Cloudflare	$0.011	880ms
Lihat kartu model Total Tes 12 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 8.7% Tes tidak stabil 0 Token input 70,125 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 880ms Waktu respons (total) 10.56s Waktu respons (maks) 1.31s Jawaban salah: 9 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.5 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#315#315	Qwen3.8 27Bnone	5.4	Qwen	~$0.010	5.05s
Lihat kartu model Total Tes 23 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 39.1% Tes tidak stabil 0 Token input 281,460 Token output 13,791 Token penalaran 0 Waktu respons (rata-rata) 5.05s Waktu respons (total) 116.11s Waktu respons (maks) 47.42s Jawaban salah: 12 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 5.0 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 7.7 Kecerdasan umum : 4.2 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 6.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#439#439	Solar Decidedefault	1.0	Upstage	$0.009 ↑	6.01s
Lihat kartu model Total Tes 7 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 14.5% Tes tidak stabil 3 Token input 47,586 Token output 51 Token penalaran 0 Waktu respons (rata-rata) 6.01s Waktu respons (total) 42.05s Waktu respons (maks) 13.10s Jawaban salah: 5 Tugas agen : 0.0 Trik anti-AI : 0.8 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 3.7 Spesifik domain : 4.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 5.0 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#403#403	Laguna M.1default	3.6	Poolside	$0.009 ↕	2.89s
Lihat kartu model Total Tes 19 Tes Salah 15 Keandalan 9.8 Tingkat lulus per percobaan 26.1% Tes tidak stabil 3 Token input 38,147 Token output 2,054 Token penalaran 0 Waktu respons (rata-rata) 2.89s Waktu respons (total) 43.28s Waktu respons (maks) 15.42s Jawaban salah: 10 Kesalahan API: 4 Pemanggilan alat tidak valid: 1 Tugas agen : 0.0 Trik anti-AI : 3.4 Pemrograman : 2.5 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 3.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#397#397	Nemotron 3.5 Lightningnone	3.8	NVIDIA	$0.009 ↕	15.92s
Lihat kartu model Total Tes 23 Tes Salah 20 Keandalan 9.8 Tingkat lulus per percobaan 15.9% Tes tidak stabil 2 Token input 97,418 Token output 4,779 Token penalaran 0 Waktu respons (rata-rata) 15.92s Waktu respons (total) 366.20s Waktu respons (maks) 339.57s Jawaban salah: 16 Pemanggilan alat tidak valid: 2 Tidak mengikuti instruksi: 1 Kedaluwarsa: 1 Tugas agen : 3.0 Trik anti-AI : 4.8 Pemrograman : 3.1 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 4.4 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.1 Pemanggilan alat : 2.8 Pengetahuan umum : 3.0
#430#430	Classify-1default	2.2	Scaledown	$0.008	4.58s
Lihat kartu model Total Tes 12 Tes Salah 9 Keandalan 9.4 Tingkat lulus per percobaan 18.8% Tes tidak stabil 2 Token input 195,645 Token output 164 Token penalaran 0 Waktu respons (rata-rata) 4.58s Waktu respons (total) 55.01s Waktu respons (maks) 13.35s Jawaban salah: 8 Kesalahan API: 1 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.7 Gabungan : 0.0 Parsing dan ekstraksi data : 7.3 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#379#379	Trinity Large Previewdefault	4.4	Arcee AI	$0.008 ↑	2.83s
Lihat kartu model Total Tes 22 Tes Salah 18 Keandalan 10.0 Tingkat lulus per percobaan 20.3% Tes tidak stabil 2 Token input 29,828 Token output 2,169 Token penalaran 0 Waktu respons (rata-rata) 2.83s Waktu respons (total) 56.65s Waktu respons (maks) 14.34s Jawaban salah: 12 Kesalahan API: 3 Tidak mengikuti instruksi: 3 Tugas agen : 3.0 Trik anti-AI : 3.1 Pemrograman : 3.7 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.5 Kepatuhan instruksi : 3.5 Pemecahan teka-teki : 3.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#415#415	Grok 4.1 Fastdefault	3.1	X AI	$0.008 ↓	1.62s
Lihat kartu model Total Tes 19 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 18.8% Tes tidak stabil 3 Token input 36,608 Token output 1,723 Token penalaran 0 Waktu respons (rata-rata) 1.62s Waktu respons (total) 19.48s Waktu respons (maks) 5.51s Jawaban salah: 13 Tidak mengikuti instruksi: 3 Tugas agen : 0.0 Trik anti-AI : 3.2 Pemrograman : 1.8 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 4.4 Kepatuhan instruksi : 3.0 Pemecahan teka-teki : 3.0 Pemanggilan alat : 2.8 Pengetahuan umum : 3.0
#410#410	Hy3 previewnone	3.3	Tencent	$0.007 ↕	12.92s
Lihat kartu model Total Tes 21 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 21.7% Tes tidak stabil 2 Token input 27,172 Token output 2,661 Token penalaran 0 Waktu respons (rata-rata) 12.92s Waktu respons (total) 232.64s Waktu respons (maks) 35.84s Jawaban salah: 8 Kesalahan API: 4 Tidak mengikuti instruksi: 4 Format tambahan: 1 Tugas agen : 0.0 Trik anti-AI : 4.8 Pemrograman : 2.7 Gabungan : 1.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.6 Kecerdasan umum : 4.1 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#396#396	Granite 4.1 8bdefault	3.8	IBM Granite	$0.007	1.38s
Lihat kartu model Total Tes 23 Tes Salah 21 Keandalan 10.0 Tingkat lulus per percobaan 8.7% Tes tidak stabil 0 Token input 113,836 Token output 5,996 Token penalaran 0 Waktu respons (rata-rata) 1.38s Waktu respons (total) 31.81s Waktu respons (maks) 16.67s Jawaban salah: 13 Tidak mengikuti instruksi: 4 Pemanggilan alat tidak valid: 2 Kesalahan API: 1 Format tambahan: 1 Tugas agen : 3.0 Trik anti-AI : 4.9 Pemrograman : 4.5 Gabungan : 3.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 3.0 Kecerdasan umum : 4.0 Kepatuhan instruksi : 3.6 Pemecahan teka-teki : 3.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#427#427	GPT-6 Luna Decisionsdefault	2.4	OpenAI	$0.005	495ms
Lihat kartu model Total Tes 12 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 13.0% Tes tidak stabil 0 Token input 47,583 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 495ms Waktu respons (total) 5.94s Waktu respons (maks) 842ms Jawaban salah: 8 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 2.3 Pemrograman : 2.5 Gabungan : 0.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#416#416	Laguna Xs.2default	3.1	Poolside	$0.004 ↕	806ms
Lihat kartu model Total Tes 19 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 21.7% Tes tidak stabil 0 Token input 33,675 Token output 2,826 Token penalaran 0 Waktu respons (rata-rata) 806ms Waktu respons (total) 12.09s Waktu respons (maks) 2.01s Jawaban salah: 8 Kesalahan API: 4 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 0.0 Trik anti-AI : 3.0 Pemrograman : 0.8 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 3.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#329#329	Ling 3.0 Flashnone	5.2	Inclusionai	$0.004 ↕	3.40s
Lihat kartu model Total Tes 23 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 26.1% Tes tidak stabil 0 Token input 123,993 Token output 12,777 Token penalaran 0 Waktu respons (rata-rata) 3.40s Waktu respons (total) 74.77s Waktu respons (maks) 17.51s Jawaban salah: 13 Kesalahan API: 2 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 3.0 Trik anti-AI : 4.8 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 5.0 Kepatuhan instruksi : 4.8 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#423#423	Jev 1.13default	2.6	Typesafe	$0.003	698ms
Lihat kartu model Total Tes 12 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 26.1% Tes tidak stabil 0 Token input 67,092 Token output 18,927 Token penalaran 0 Waktu respons (rata-rata) 698ms Waktu respons (total) 8.38s Waktu respons (maks) 1.08s Jawaban salah: 6 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.2 Gabungan : 0.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 3.3 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#429#429	Jev 1.14default	2.3	Typesafe	$0.003	377ms
Lihat kartu model Total Tes 12 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 23.2% Tes tidak stabil 2 Token input 67,092 Token output 18,927 Token penalaran 0 Waktu respons (rata-rata) 377ms Waktu respons (total) 4.52s Waktu respons (maks) 546ms Jawaban salah: 7 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.7 Gabungan : 0.0 Parsing dan ekstraksi data : 7.3 Spesifik domain : 7.7 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#437#437	Solar Decide Flashdefault	1.7	Upstage	$0.003	1.33s
Lihat kartu model Total Tes 7 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 13.0% Tes tidak stabil 0 Token input 47,586 Token output 51 Token penalaran 0 Waktu respons (rata-rata) 1.33s Waktu respons (total) 9.32s Waktu respons (maks) 1.66s Jawaban salah: 4 Tugas agen : 0.0 Trik anti-AI : 0.8 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.4 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#421#421	d1-ultradefault	2.7	Liquid	$0.003	531ms
Lihat kartu model Total Tes 12 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 20.3% Tes tidak stabil 1 Token input 55,956 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 531ms Waktu respons (total) 6.38s Waktu respons (maks) 697ms Jawaban salah: 7 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 5.3 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#434#434	D1default	1.9	Liquid	$0.003	508ms
Lihat kartu model Total Tes 12 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 11.6% Tes tidak stabil 1 Token input 55,956 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 508ms Waktu respons (total) 6.10s Waktu respons (maks) 820ms Jawaban salah: 10 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.2 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.6 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#428#428	Kev 4Bdefault	2.4	Jaredpalmer	$0.002	5.63s
Lihat kartu model Total Tes 12 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 15.9% Tes tidak stabil 1 Token input 42,804 Token output 28,061 Token penalaran 0 Waktu respons (rata-rata) 5.63s Waktu respons (total) 67.61s Waktu respons (maks) 17.79s Jawaban salah: 9 Tugas agen : 0.0 Trik anti-AI : 2.3 Pemrograman : 4.5 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 2.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#438#438	Microsoft-Decision-1default	1.4	Microsoft	$0.002	982ms
Lihat kartu model Total Tes 12 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 7.3% Tes tidak stabil 1 Token input 41,466 Token output 69 Token penalaran 0 Waktu respons (rata-rata) 982ms Waktu respons (total) 11.78s Waktu respons (maks) 1.41s Jawaban salah: 11 Tugas agen : 0.0 Trik anti-AI : 4.4 Pemrograman : 2.2 Gabungan : 0.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 3.0 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#426#426	Drex v1.5default	2.4	Nace AI	$0.002	986ms
Lihat kartu model Total Tes 12 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 17.4% Tes tidak stabil 0 Token input 42,804 Token output 27,468 Token penalaran 0 Waktu respons (rata-rata) 986ms Waktu respons (total) 11.84s Waktu respons (maks) 1.38s Jawaban salah: 8 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 4.5 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#373#373	Ling 2.6 Flashdefault	4.5	Inclusionai	$0.002 ↑	10.21s
Lihat kartu model Total Tes 23 Tes Salah 17 Keandalan 9.6 Tingkat lulus per percobaan 29.0% Tes tidak stabil 2 Token input 114,384 Token output 14,903 Token penalaran 0 Waktu respons (rata-rata) 10.21s Waktu respons (total) 214.31s Waktu respons (maks) 36.03s Jawaban salah: 9 Kesalahan API: 3 Pemanggilan alat tidak valid: 3 Tidak mengikuti instruksi: 2 Tugas agen : 3.0 Trik anti-AI : 6.8 Pemrograman : 5.3 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 4.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 2.9 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#425#425	Decider V1.1 27Bdefault	2.6	Perplexity	$0.002	320ms
Lihat kartu model Total Tes 12 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 17.4% Tes tidak stabil 0 Token input 73,557 Token output 69 Token penalaran 0 Waktu respons (rata-rata) 320ms Waktu respons (total) 3.84s Waktu respons (maks) 491ms Jawaban salah: 8 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 4.9 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow