Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-09-18 Model Dievaluasi: 330

Model rekomendasi

GPT-6 Astra xhigh Cerdas Tingkat lulus per percobaan 97.0% Tes benar 21 / 22 Skor 9.9/10 GPT-5.6 Luna medium Cepat Waktu respons (rata-rata) 7.43s Total token output 44,525 Skor 7.4/10 DeepSeek V4 Flash 0731 high Terjangkau Harga input $0.060 / 1M Harga output $0.120 / 1M Skor 8.0/10

330/330

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#210#210	Gemini 2.5 Flashnone	6.0	Google	$0.017	6.19s
Lihat kartu model Total Tes 22 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 39.4% Tes tidak stabil 1 Token input 39,886 Token output 1,890 Token penalaran 0 Waktu respons (rata-rata) 6.19s Waktu respons (total) 136.23s Waktu respons (maks) 118.00s Jawaban salah: 13 Pemanggilan alat tidak valid: 1 Trik anti-AI : 3.0 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 5.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#196#196	Claude Sonnet 5none	6.1	Anthropic	$0.548	6.05s
Lihat kartu model Total Tes 22 Tes Salah 15 Keandalan 10.0 Tingkat lulus per percobaan 40.9% Tes tidak stabil 4 Token input 161,032 Token output 22,508 Token penalaran 0 Waktu respons (rata-rata) 6.05s Waktu respons (total) 132.99s Waktu respons (maks) 33.39s Jawaban salah: 8 Format tambahan: 4 Tidak ada jawaban: 2 Tidak mengikuti instruksi: 1 Trik anti-AI : 5.3 Pemrograman : 4.6 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 4.7 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 6.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#284#284	Nemotron 3 Supernone	4.8	NVIDIA	$0.008 ↑	6.04s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 9.2 Tingkat lulus per percobaan 27.3% Tes tidak stabil 2 Token input 63,528 Token output 6,432 Token penalaran 0 Waktu respons (rata-rata) 6.04s Waktu respons (total) 132.96s Waktu respons (maks) 20.00s Jawaban salah: 15 Tidak mengikuti instruksi: 2 Trik anti-AI : 4.8 Pemrograman : 3.3 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 4.6 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 5.5 Pemanggilan alat : 4.7 Pengetahuan umum : 3.0
#12#12	Gemini 3.7 Flashmedium	9.4	Google	$0.309 ↑	5.87s
Lihat kartu model Total Tes 22 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 93.9% Tes tidak stabil 1 Token input 89,055 Token output 5,697 Token penalaran 58,880 Waktu respons (rata-rata) 5.87s Waktu respons (total) 129.20s Waktu respons (maks) 30.23s Jawaban salah: 2 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#36#36	Gemini 3.5 Flashlow	8.8	Google	$0.449	5.76s
Lihat kartu model Total Tes 22 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 84.9% Tes tidak stabil 2 Token input 87,826 Token output 2,239 Token penalaran 32,956 Waktu respons (rata-rata) 5.76s Waktu respons (total) 126.71s Waktu respons (maks) 53.55s Jawaban salah: 3 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 7.8 Gabungan : 8.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#262#262	Qwen3.6 35B A3Bnone	5.3	Qwen	$0.051 ↓	5.57s
Lihat kartu model Total Tes 22 Tes Salah 18 Keandalan 10.0 Tingkat lulus per percobaan 28.8% Tes tidak stabil 5 Token input 93,990 Token output 45,905 Token penalaran 0 Waktu respons (rata-rata) 5.57s Waktu respons (total) 111.32s Waktu respons (maks) 39.54s Jawaban salah: 13 Kesalahan API: 2 Tidak mengikuti instruksi: 2 Tidak ada jawaban: 1 Trik anti-AI : 3.6 Pemrograman : 5.5 Gabungan : 3.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 4.4 Kepatuhan instruksi : 6.2 Pemecahan teka-teki : 3.2 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#104#104	GPT-5.6 Terralow	7.5	OpenAI	$0.420 ↓	5.45s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 74.2% Tes tidak stabil 6 Token input 80,304 Token output 4,714 Token penalaran 16,872 Waktu respons (rata-rata) 5.45s Waktu respons (total) 119.83s Waktu respons (maks) 19.85s Jawaban salah: 8 Pemanggilan alat tidak valid: 1 Trik anti-AI : 8.3 Pemrograman : 6.6 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.8 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 4.7 Pengetahuan umum : 3.0
#206#206	Gemma 4 31Bnone	6.1	Google	$0.016 ↓	5.41s
Lihat kartu model Total Tes 22 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 43.9% Tes tidak stabil 1 Token input 125,703 Token output 13,317 Token penalaran 0 Waktu respons (rata-rata) 5.41s Waktu respons (total) 108.12s Waktu respons (maks) 29.95s Jawaban salah: 10 Kesalahan API: 2 Tidak mengikuti instruksi: 1 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 3.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 6.5 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#225#225	Solar Pro 4none	5.8	Upstage	$0.017 ↑	5.37s
Lihat kartu model Total Tes 22 Tes Salah 15 Keandalan 10.0 Tingkat lulus per percobaan 33.3% Tes tidak stabil 1 Token input 130,863 Token output 11,912 Token penalaran 0 Waktu respons (rata-rata) 5.37s Waktu respons (total) 118.06s Waktu respons (maks) 64.67s Jawaban salah: 14 Tidak ada jawaban: 1 Trik anti-AI : 4.8 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 5.4 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#195#195	GPT-5.6 Lunalow	6.2	OpenAI	$0.051 ↓	5.20s
Lihat kartu model Total Tes 22 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 54.5% Tes tidak stabil 5 Token input 96,355 Token output 8,213 Token penalaran 18,073 Waktu respons (rata-rata) 5.20s Waktu respons (total) 114.46s Waktu respons (maks) 19.44s Jawaban salah: 10 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 8.3 Pemrograman : 5.5 Gabungan : 2.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.0 Kepatuhan instruksi : 8.5 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#187#187	LongCat 2.0none	6.4	Meituan	$0.044	5.17s
Lihat kartu model Total Tes 22 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 40.9% Tes tidak stabil 2 Token input 108,752 Token output 9,375 Token penalaran 0 Waktu respons (rata-rata) 5.17s Waktu respons (total) 113.83s Waktu respons (maks) 48.38s Jawaban salah: 13 Format tambahan: 1 Trik anti-AI : 4.8 Pemrograman : 5.5 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 4.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#85#85	Gemini 3.5 Flash Litemedium	7.8	Google	$0.272	5.12s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 78.8% Tes tidak stabil 6 Token input 103,916 Token output 8,892 Token penalaran 87,343 Waktu respons (rata-rata) 5.12s Waktu respons (total) 112.73s Waktu respons (maks) 26.41s Jawaban salah: 6 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 7.9 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 4.7 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#203#203	Inklinglow	6.1	Thinkingmachines	$0.187	5.11s
Lihat kartu model Total Tes 22 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 54.6% Tes tidak stabil 4 Token input 109,893 Token output 8,580 Token penalaran 10,324 Waktu respons (rata-rata) 5.11s Waktu respons (total) 112.46s Waktu respons (maks) 41.58s Jawaban salah: 8 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 2 Trik anti-AI : 8.3 Pemrograman : 5.1 Gabungan : 2.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 6.4 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#9#9	GPT-6 Astralow	9.5	OpenAI	$1.289	5.09s
Lihat kartu model Total Tes 22 Tes Salah 2 Keandalan 9.9 Tingkat lulus per percobaan 90.9% Tes tidak stabil 0 Token input 78,100 Token output 4,155 Token penalaran 5,989 Waktu respons (rata-rata) 5.09s Waktu respons (total) 112.04s Waktu respons (maks) 28.60s Jawaban salah: 2 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#42#42	Gemini 3.6 Flashlow	8.7	Google	$0.251 ↓	4.92s
Lihat kartu model Total Tes 22 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 89.4% Tes tidak stabil 3 Token input 85,886 Token output 5,489 Token penalaran 44,232 Waktu respons (rata-rata) 4.92s Waktu respons (total) 108.28s Waktu respons (maks) 30.83s Jawaban salah: 4 Trik anti-AI : 8.7 Pemrograman : 7.8 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#128#128	Claude Opus 4.8none	7.3	Anthropic	$1.166	4.92s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 2 Token input 149,203 Token output 16,797 Token penalaran 0 Waktu respons (rata-rata) 4.92s Waktu respons (total) 108.24s Waktu respons (maks) 35.03s Jawaban salah: 4 Format tambahan: 3 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 9.8 Parsing dan ekstraksi data : 7.3 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#112#112	Gemini 3.8 Flashlow	7.5	Google	$0.239	4.83s
Lihat kartu model Total Tes 22 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 81.8% Tes tidak stabil 4 Token input 111,773 Token output 8,035 Token penalaran 33,289 Waktu respons (rata-rata) 4.83s Waktu respons (total) 106.18s Waktu respons (maks) 35.14s Jawaban salah: 5 Tidak ada jawaban: 1 Trik anti-AI : 10.0 Pemrograman : 5.4 Gabungan : 3.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.8 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#173#173	Qwen3.5-27Bnone	6.6	Qwen	$0.058 ↓	4.77s
Lihat kartu model Total Tes 22 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 45.5% Tes tidak stabil 2 Token input 102,325 Token output 24,323 Token penalaran 0 Waktu respons (rata-rata) 4.77s Waktu respons (total) 105.00s Waktu respons (maks) 69.46s Jawaban salah: 11 Tidak mengikuti instruksi: 2 Trik anti-AI : 4.8 Pemrograman : 5.8 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 6.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#309#309	Hunter Alphanone	4.2	OpenRouter	$0.000	4.70s
Lihat kartu model Total Tes 18 Tes Salah 12 Keandalan T/A Tingkat lulus per percobaan 37.9% Tes tidak stabil 4 Token input 34,329 Token output 2,264 Token penalaran 0 Waktu respons (rata-rata) 4.70s Waktu respons (total) 79.86s Waktu respons (maks) 15.17s Jawaban salah: 9 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Trik anti-AI : 3.5 Pemrograman : 9.8 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 6.1 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 5.8 Pemanggilan alat : 10.0 Pengetahuan umum : 0.0
#272#272	MiMo-V2.5none	5.1	Xiaomi	$0.025 ↓	4.68s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 27.3% Tes tidak stabil 2 Token input 141,052 Token output 16,464 Token penalaran 0 Waktu respons (rata-rata) 4.68s Waktu respons (total) 103.02s Waktu respons (maks) 55.36s Jawaban salah: 14 Format tambahan: 1 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 3.5 Pemrograman : 5.5 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 2.9 Kecerdasan umum : 4.4 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.4 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#113#113	Gemini 3.1 Flash Lite Previewmedium	7.4	Google	$0.117	4.59s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 63.6% Tes tidak stabil 0 Token input 117,493 Token output 10,589 Token penalaran 47,189 Waktu respons (rata-rata) 4.59s Waktu respons (total) 101.04s Waktu respons (maks) 18.34s Jawaban salah: 6 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 9.1 Pemrograman : 5.5 Gabungan : 7.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#114#114	Qwen3.7 Maxnone	7.4	Qwen	$0.197 ↓	4.56s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 9.9 Tingkat lulus per percobaan 68.2% Tes tidak stabil 0 Token input 95,992 Token output 12,446 Token penalaran 0 Waktu respons (rata-rata) 4.56s Waktu respons (total) 100.30s Waktu respons (maks) 72.30s Jawaban salah: 7 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#125#125	Gemini 3.1 Flash Litemedium	7.3	Google	$0.120	4.38s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 62.1% Tes tidak stabil 2 Token input 104,925 Token output 9,168 Token penalaran 53,188 Waktu respons (rata-rata) 4.38s Waktu respons (total) 96.32s Waktu respons (maks) 26.22s Jawaban salah: 7 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 9.1 Pemrograman : 5.5 Gabungan : 7.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#193#193	Seed-2.0-Litenone	6.2	Bytedance Seed	$0.066	4.37s
Lihat kartu model Total Tes 22 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 40.9% Tes tidak stabil 3 Token input 142,206 Token output 14,744 Token penalaran 0 Waktu respons (rata-rata) 4.37s Waktu respons (total) 96.20s Waktu respons (maks) 44.58s Jawaban salah: 13 Tidak ada jawaban: 1 Trik anti-AI : 3.0 Pemrograman : 5.6 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#139#139	Mercury 2.5high	7.1	Inception	$0.031	4.32s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 9.7 Tingkat lulus per percobaan 62.1% Tes tidak stabil 4 Token input 120,068 Token output 3,402 Token penalaran 171,145 Waktu respons (rata-rata) 4.32s Waktu respons (total) 95.06s Waktu respons (maks) 23.63s Jawaban salah: 8 Kesalahan API: 1 Tidak ada jawaban: 1 Trik anti-AI : 10.0 Pemrograman : 6.4 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium