Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-19 Model Dievaluasi: 451

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

451/451

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#430#430	d1-ultradefault	2.7	Liquid	$0.003	531ms
Lihat kartu model Total Tes 12 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 20.3% Tes tidak stabil 1 Token input 55,956 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 531ms Waktu respons (total) 6.38s Waktu respons (maks) 697ms Jawaban salah: 7 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 5.3 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#431#431	Nemotron 3 Nano Omni 30b A3b Reasoningdefault	2.6	NVIDIA	$0.000	728ms
Lihat kartu model Total Tes 19 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 14.5% Tes tidak stabil 2 Token input 11,661 Token output 1,302 Token penalaran 0 Waktu respons (rata-rata) 728ms Waktu respons (total) 9.47s Waktu respons (maks) 2.21s Jawaban salah: 9 Kesalahan API: 6 Tidak mengikuti instruksi: 2 Tugas agen : 0.0 Trik anti-AI : 4.8 Pemrograman : 3.3 Gabungan : 1.5 Parsing dan ekstraksi data : 3.8 Spesifik domain : 3.6 Kecerdasan umum : 3.0 Kepatuhan instruksi : 4.8 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#432#432	Jev 1.13default	2.6	Typesafe	$0.003	698ms
Lihat kartu model Total Tes 12 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 26.1% Tes tidak stabil 0 Token input 67,092 Token output 18,927 Token penalaran 0 Waktu respons (rata-rata) 698ms Waktu respons (total) 8.38s Waktu respons (maks) 1.08s Jawaban salah: 6 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.2 Gabungan : 0.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 3.3 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#434#434	Decider V1.1 27Bdefault	2.6	Perplexity	$0.002	320ms
Lihat kartu model Total Tes 12 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 17.4% Tes tidak stabil 0 Token input 73,557 Token output 69 Token penalaran 0 Waktu respons (rata-rata) 320ms Waktu respons (total) 3.84s Waktu respons (maks) 491ms Jawaban salah: 8 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 4.9 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#435#435	Drex v1.5default	2.4	Nace AI	$0.002	986ms
Lihat kartu model Total Tes 12 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 17.4% Tes tidak stabil 0 Token input 42,804 Token output 27,468 Token penalaran 0 Waktu respons (rata-rata) 986ms Waktu respons (total) 11.84s Waktu respons (maks) 1.38s Jawaban salah: 8 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 4.5 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#436#436	GPT-6 Luna Decisionsdefault	2.4	OpenAI	$0.005	495ms
Lihat kartu model Total Tes 12 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 13.0% Tes tidak stabil 0 Token input 47,583 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 495ms Waktu respons (total) 5.94s Waktu respons (maks) 842ms Jawaban salah: 8 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 2.3 Pemrograman : 2.5 Gabungan : 0.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#437#437	Kev 4Bdefault	2.4	Jaredpalmer	$0.002	5.63s
Lihat kartu model Total Tes 12 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 15.9% Tes tidak stabil 1 Token input 42,804 Token output 28,061 Token penalaran 0 Waktu respons (rata-rata) 5.63s Waktu respons (total) 67.61s Waktu respons (maks) 17.79s Jawaban salah: 9 Tugas agen : 0.0 Trik anti-AI : 2.3 Pemrograman : 4.5 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 2.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#438#438	Jev 1.14default	2.3	Typesafe	$0.003	377ms
Lihat kartu model Total Tes 12 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 23.2% Tes tidak stabil 2 Token input 67,092 Token output 18,927 Token penalaran 0 Waktu respons (rata-rata) 377ms Waktu respons (total) 4.52s Waktu respons (maks) 546ms Jawaban salah: 7 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.7 Gabungan : 0.0 Parsing dan ekstraksi data : 7.3 Spesifik domain : 7.7 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#440#440	Clef Omnidefault	1.9	Cloudflare	$0.011	880ms
Lihat kartu model Total Tes 12 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 8.7% Tes tidak stabil 0 Token input 70,125 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 880ms Waktu respons (total) 10.56s Waktu respons (maks) 1.31s Jawaban salah: 9 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.5 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.0 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#441#441	Decider Flash V1.2default	1.9	Perplexity	$0.001	462ms
Lihat kartu model Total Tes 12 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 13.0% Tes tidak stabil 0 Token input 49,176 Token output 69 Token penalaran 0 Waktu respons (rata-rata) 462ms Waktu respons (total) 5.55s Waktu respons (maks) 661ms Jawaban salah: 9 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.2 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#442#442	Step 3.5 Flashnone	1.9	Stepfun	$0.020	39.03s
Lihat kartu model Total Tes 12 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 26.1% Tes tidak stabil 0 Token input 1,971 Token output 50,509 Token penalaran 33,867 Waktu respons (rata-rata) 39.03s Waktu respons (total) 312.26s Waktu respons (maks) 114.12s Kesalahan API: 4 Tidak mengikuti instruksi: 1 Jawaban salah: 1 Tugas agen : 0.0 Trik anti-AI : 10.0 Pemrograman : 1.0 Gabungan : 1.5 Parsing dan ekstraksi data : 1.5 Spesifik domain : 3.3 Kecerdasan umum : 4.0 Kepatuhan instruksi : 5.0 Pemecahan teka-teki : 0.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#443#443	D1default	1.9	Liquid	$0.003	508ms
Lihat kartu model Total Tes 12 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 11.6% Tes tidak stabil 1 Token input 55,956 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 508ms Waktu respons (total) 6.10s Waktu respons (maks) 820ms Jawaban salah: 10 Tugas agen : 0.0 Trik anti-AI : 4.0 Pemrograman : 2.2 Gabungan : 0.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.6 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#444#444	Gemini 3 Flash Previewhigh	1.8	Google	$0.105	52.45s
Lihat kartu model Total Tes 1 Tes Salah 0 Keandalan 10.0 Tingkat lulus per percobaan 4.4% Tes tidak stabil 0 Token input 134,050 Token output 1,029 Token penalaran 11,528 Waktu respons (rata-rata) 52.45s Waktu respons (total) 52.45s Waktu respons (maks) 52.45s Tugas agen : 10.0 Trik anti-AI : 0.0 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 0.0 Spesifik domain : 0.0 Kecerdasan umum : 0.0 Kepatuhan instruksi : 0.0 Pemecahan teka-teki : 0.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#446#446	Solar Decide Flashdefault	1.7	Upstage	$0.003	1.33s
Lihat kartu model Total Tes 7 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 13.0% Tes tidak stabil 0 Token input 47,586 Token output 51 Token penalaran 0 Waktu respons (rata-rata) 1.33s Waktu respons (total) 9.32s Waktu respons (maks) 1.66s Jawaban salah: 4 Tugas agen : 0.0 Trik anti-AI : 0.8 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.4 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#447#447	Microsoft-Decision-1default	1.4	Microsoft	$0.002	982ms
Lihat kartu model Total Tes 12 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 7.3% Tes tidak stabil 1 Token input 41,466 Token output 69 Token penalaran 0 Waktu respons (rata-rata) 982ms Waktu respons (total) 11.78s Waktu respons (maks) 1.41s Jawaban salah: 11 Tugas agen : 0.0 Trik anti-AI : 4.4 Pemrograman : 2.2 Gabungan : 0.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 3.0 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#448#448	Solar Decidedefault	1.0	Upstage	$0.009 ↑	6.01s
Lihat kartu model Total Tes 7 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 14.5% Tes tidak stabil 3 Token input 47,586 Token output 51 Token penalaran 0 Waktu respons (rata-rata) 6.01s Waktu respons (total) 42.05s Waktu respons (maks) 13.10s Jawaban salah: 5 Tugas agen : 0.0 Trik anti-AI : 0.8 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 3.7 Spesifik domain : 4.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 5.0 Pemecahan teka-teki : 1.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#449#449	Tev1 4B Experimentaldefault	1.0	Togethercomputer	$0.002	498ms
Lihat kartu model Total Tes 7 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 13.0% Tes tidak stabil 0 Token input 33,864 Token output 96 Token penalaran 0 Waktu respons (rata-rata) 498ms Waktu respons (total) 3.49s Waktu respons (maks) 602ms Jawaban salah: 4 Tugas agen : 0.0 Trik anti-AI : 2.5 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 6.7 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#450#450	Nimble v3 9Bdefault	0.8	Bespoke Labs	~$0.001	363ms
Lihat kartu model Total Tes 7 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 4.4% Tes tidak stabil 0 Token input 103,770 Token output 0 Token penalaran 0 Waktu respons (rata-rata) 363ms Waktu respons (total) 2.54s Waktu respons (maks) 1.24s Jawaban salah: 5 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 2.5 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 3.0 Spesifik domain : 2.0 Kecerdasan umum : 0.0 Kepatuhan instruksi : 1.5 Pemecahan teka-teki : 1.7 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#451#451	Claude Opus 5.5none	0.2	Anthropic	$0.015	13.58s
Lihat kartu model Total Tes 1 Tes Salah 0 Keandalan 10.0 Tingkat lulus per percobaan 4.4% Tes tidak stabil 0 Token input 73 Token output 6 Token penalaran 729 Waktu respons (rata-rata) 13.58s Waktu respons (total) 13.58s Waktu respons (maks) 13.58s Tugas agen : 0.0 Trik anti-AI : 0.0 Pemrograman : 0.0 Gabungan : 0.0 Parsing dan ekstraksi data : 0.0 Spesifik domain : 3.3 Kecerdasan umum : 0.0 Kepatuhan instruksi : 0.0 Pemecahan teka-teki : 0.0 Pemanggilan alat : 0.0 Pengetahuan umum : 0.0
#7#7	GPT-6 Astrahigh	9.9	OpenAI	$4.458	20.16s
Lihat kartu model Total Tes 23 Tes Salah 1 Keandalan 9.9 Tingkat lulus per percobaan 97.1% Tes tidak stabil 1 Token input 167,805 Token output 5,651 Token penalaran 49,944 Waktu respons (rata-rata) 20.16s Waktu respons (total) 463.68s Waktu respons (maks) 254.93s Jawaban salah: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#8#8	GPT-6 Astraxhigh	9.9	OpenAI	$6.213	29.67s
Lihat kartu model Total Tes 23 Tes Salah 1 Keandalan 9.9 Tingkat lulus per percobaan 97.1% Tes tidak stabil 1 Token input 170,731 Token output 5,865 Token penalaran 84,230 Waktu respons (rata-rata) 29.67s Waktu respons (total) 682.42s Waktu respons (maks) 381.11s Jawaban salah: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#14#14	GPT-6 Astralow	9.6	OpenAI	$2.160	7.01s
Lihat kartu model Total Tes 23 Tes Salah 2 Keandalan 9.9 Tingkat lulus per percobaan 91.3% Tes tidak stabil 0 Token input 159,023 Token output 4,935 Token penalaran 6,454 Waktu respons (rata-rata) 7.01s Waktu respons (total) 161.20s Waktu respons (maks) 49.16s Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#17#17	Gemini 4 Argonhigh	9.5	Google	$1.802	19.03s
Lihat kartu model Total Tes 23 Tes Salah 2 Keandalan 9.9 Tingkat lulus per percobaan 97.1% Tes tidak stabil 2 Token input 240,264 Token output 5,707 Token penalaran 126,366 Waktu respons (rata-rata) 19.03s Waktu respons (total) 437.77s Waktu respons (maks) 82.53s Kesalahan API: 1 Jawaban salah: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 8.2 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#21#21	GPT-6 Astramedium	9.5	OpenAI	$2.707	9.90s
Lihat kartu model Total Tes 23 Tes Salah 3 Keandalan 9.9 Tingkat lulus per percobaan 91.3% Tes tidak stabil 2 Token input 165,464 Token output 5,591 Token penalaran 15,454 Waktu respons (rata-rata) 9.90s Waktu respons (total) 227.67s Waktu respons (maks) 73.48s Jawaban salah: 3 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#54#54	Muse Spark Openlow	8.9	Meta	$0.600	21.62s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 9.9 Tingkat lulus per percobaan 76.8% Tes tidak stabil 3 Token input 278,684 Token output 10,151 Token penalaran 48,907 Waktu respons (rata-rata) 21.62s Waktu respons (total) 497.25s Waktu respons (maks) 119.16s Jawaban salah: 4 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 9.2 Pemrograman : 10.0 Gabungan : 8.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 6.1 Kepatuhan instruksi : 8.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow