Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-09-18 Model Dievaluasi: 330

Model rekomendasi

GPT-6 Astra xhigh Cerdas Tingkat lulus per percobaan 97.0% Tes benar 21 / 22 Skor 9.9/10 GPT-5.6 Luna medium Cepat Waktu respons (rata-rata) 7.43s Total token output 44,525 Skor 7.4/10 DeepSeek V4 Flash 0731 high Terjangkau Harga input $0.060 / 1M Harga output $0.120 / 1M Skor 8.0/10

330/330

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#65#65	Claude Fable 5.1medium	8.3	Anthropic	$2.909	11.67s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 81.8% Tes tidak stabil 6 Token input 135,112 Token output 7,594 Token penalaran 23,558 Waktu respons (rata-rata) 11.67s Waktu respons (total) 256.73s Waktu respons (maks) 36.59s Jawaban salah: 3 Tidak ada jawaban: 2 Format tambahan: 1 Tidak mengikuti instruksi: 1 Trik anti-AI : 8.2 Pemrograman : 7.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 7.3 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#159#159	DeepSeek V4 Pronone	6.8	DeepSeek	$0.351 ↑	11.71s
Lihat kartu model Total Tes 22 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 47.0% Tes tidak stabil 4 Token input 148,078 Token output 35,547 Token penalaran 0 Waktu respons (rata-rata) 11.71s Waktu respons (total) 257.67s Waktu respons (maks) 119.44s Jawaban salah: 9 Tidak mengikuti instruksi: 2 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 3.2 Pemrograman : 5.6 Gabungan : 7.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#7#7	Gemini 3.6 Flashmedium	9.8	Google	$0.427 ↓	11.86s
Lihat kartu model Total Tes 22 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 95.5% Tes tidak stabil 2 Token input 64,446 Token output 1,974 Token penalaran 98,902 Waktu respons (rata-rata) 11.86s Waktu respons (total) 260.96s Waktu respons (maks) 77.15s Jawaban salah: 2 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.8 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#64#64	Muse Spark 1.1low	8.3	Meta	$0.673	11.89s
Lihat kartu model Total Tes 22 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 71.2% Tes tidak stabil 4 Token input 141,878 Token output 11,033 Token penalaran 105,456 Waktu respons (rata-rata) 11.89s Waktu respons (total) 261.69s Waktu respons (maks) 54.15s Jawaban salah: 5 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Trik anti-AI : 7.9 Pemrograman : 10.0 Gabungan : 6.6 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 7.3 Pemecahan teka-teki : 8.3 Pemanggilan alat : 9.8 Pengetahuan umum : 3.0
#237#237	Owl Alphamedium	5.6	Openrouter	$0.000	11.95s
Lihat kartu model Total Tes 21 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 37.9% Tes tidak stabil 1 Token input 43,478 Token output 2,974 Token penalaran 0 Waktu respons (rata-rata) 11.95s Waktu respons (total) 250.88s Waktu respons (maks) 58.63s Jawaban salah: 10 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Trik anti-AI : 4.8 Pemrograman : 5.4 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.3 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#126#126	Qwen3.7 Plusnone	7.3	Qwen	$0.106 ↓	12.11s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 54.6% Tes tidak stabil 0 Token input 98,833 Token output 58,097 Token penalaran 0 Waktu respons (rata-rata) 12.11s Waktu respons (total) 266.40s Waktu respons (maks) 206.03s Jawaban salah: 9 Tidak mengikuti instruksi: 1 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.3 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#6#6	Gemini 3.7 Flashhigh	9.8	Google	$0.646 ↑	12.22s
Lihat kartu model Total Tes 22 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 95.5% Tes tidak stabil 2 Token input 86,712 Token output 6,017 Token penalaran 148,829 Waktu respons (rata-rata) 12.22s Waktu respons (total) 268.78s Waktu respons (maks) 91.63s Jawaban salah: 2 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.8 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#291#291	KAT-Coder-Air V2.5none	4.8	Kwaipilot	$0.070	12.46s
Lihat kartu model Total Tes 22 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 36.4% Tes tidak stabil 7 Token input 69,376 Token output 97,752 Token penalaran 0 Waktu respons (rata-rata) 12.46s Waktu respons (total) 274.11s Waktu respons (maks) 121.05s Jawaban salah: 13 Format tambahan: 3 Kesalahan API: 1 Trik anti-AI : 5.3 Pemrograman : 3.3 Gabungan : 3.8 Parsing dan ekstraksi data : 6.3 Spesifik domain : 3.0 Kecerdasan umum : 5.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 2.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#68#68	Claude Sonnet 5medium	8.2	Anthropic	$0.922	12.54s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 75.8% Tes tidak stabil 3 Token input 145,953 Token output 52,330 Token penalaran 10,874 Waktu respons (rata-rata) 12.54s Waktu respons (total) 275.90s Waktu respons (maks) 66.71s Jawaban salah: 5 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 9.0 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.8 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#13#13	GPT-5.6 Solmedium	9.4	OpenAI	$0.508 ↓	12.63s
Lihat kartu model Total Tes 22 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 90.9% Tes tidak stabil 3 Token input 79,006 Token output 4,696 Token penalaran 30,281 Waktu respons (rata-rata) 12.63s Waktu respons (total) 277.88s Waktu respons (maks) 79.40s Jawaban salah: 4 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7
#216#216	Qwen3.5-35B-A3Bnone	5.9	Qwen	$0.135 ↑	12.73s
Lihat kartu model Total Tes 22 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 39.4% Tes tidak stabil 4 Token input 134,530 Token output 86,616 Token penalaran 0 Waktu respons (rata-rata) 12.73s Waktu respons (total) 279.97s Waktu respons (maks) 209.15s Jawaban salah: 13 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 3.4 Pemrograman : 5.5 Gabungan : 3.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 6.5 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#91#91	Claude Opus 4.8low	7.8	Anthropic	$2.089	12.88s
Lihat kartu model Total Tes 22 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 80.3% Tes tidak stabil 3 Token input 156,522 Token output 43,056 Token penalaran 9,181 Waktu respons (rata-rata) 12.88s Waktu respons (total) 283.32s Waktu respons (maks) 127.97s Jawaban salah: 4 Format tambahan: 1 Tidak ada jawaban: 1 Trik anti-AI : 10.0 Pemrograman : 6.6 Gabungan : 9.9 Parsing dan ekstraksi data : 6.3 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#312#312	Hy3 previewnone	4.0	Tencent	$0.007 ↕	12.92s
Lihat kartu model Total Tes 21 Tes Salah 17 Keandalan 10.0 Tingkat lulus per percobaan 22.7% Tes tidak stabil 2 Token input 27,172 Token output 2,661 Token penalaran 0 Waktu respons (rata-rata) 12.92s Waktu respons (total) 232.64s Waktu respons (maks) 35.84s Jawaban salah: 8 Kesalahan API: 4 Tidak mengikuti instruksi: 4 Format tambahan: 1 Trik anti-AI : 4.8 Pemrograman : 2.7 Gabungan : 1.5 Parsing dan ekstraksi data : 6.5 Spesifik domain : 3.6 Kecerdasan umum : 4.1 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#233#233	Qwen3.5-122B-A10Bnone	5.7	Qwen	$0.247 ↓	12.93s
Lihat kartu model Total Tes 22 Tes Salah 16 Keandalan 10.0 Tingkat lulus per percobaan 33.3% Tes tidak stabil 2 Token input 241,575 Token output 88,459 Token penalaran 0 Waktu respons (rata-rata) 12.93s Waktu respons (total) 284.39s Waktu respons (maks) 212.63s Jawaban salah: 13 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 4.8 Pemrograman : 3.7 Gabungan : 5.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.3 Pemecahan teka-teki : 3.8 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#40#40	Claude Opus 4.8medium	8.8	Anthropic	$1.983	12.97s
Lihat kartu model Total Tes 22 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 83.3% Tes tidak stabil 2 Token input 138,448 Token output 40,765 Token penalaran 11,162 Waktu respons (rata-rata) 12.97s Waktu respons (total) 285.29s Waktu respons (maks) 70.54s Jawaban salah: 4 Tidak ada jawaban: 1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 9.9 Parsing dan ekstraksi data : 7.1 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#207#207	Qwen3.5 Plus 2026-04-20none	6.1	Qwen	$0.122 ↓	13.10s
Lihat kartu model Total Tes 22 Tes Salah 14 Keandalan 10.0 Tingkat lulus per percobaan 43.9% Tes tidak stabil 4 Token input 94,477 Token output 51,487 Token penalaran 0 Waktu respons (rata-rata) 13.10s Waktu respons (total) 288.23s Waktu respons (maks) 206.05s Jawaban salah: 12 Tidak mengikuti instruksi: 2 Trik anti-AI : 4.8 Pemrograman : 3.9 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.8 Kepatuhan instruksi : 6.2 Pemecahan teka-teki : 6.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#103#103	GPT-5.4 Nanomedium	7.5	OpenAI	$0.142	13.32s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 65.2% Tes tidak stabil 4 Token input 82,828 Token output 7,100 Token penalaran 92,781 Waktu respons (rata-rata) 13.32s Waktu respons (total) 292.97s Waktu respons (maks) 94.06s Jawaban salah: 8 Tidak mengikuti instruksi: 2 Trik anti-AI : 8.3 Pemrograman : 6.1 Gabungan : 9.9 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 4.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 4.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#26#26	Claude Fable 5.1high	9.0	Anthropic	$3.364	13.59s
Lihat kartu model Total Tes 22 Tes Salah 3 Keandalan 10.0 Tingkat lulus per percobaan 89.4% Tes tidak stabil 1 Token input 135,958 Token output 7,930 Token penalaran 32,141 Waktu respons (rata-rata) 13.59s Waktu respons (total) 298.90s Waktu respons (maks) 40.17s Jawaban salah: 3 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#160#160	GLM 5.3low	6.8	Z.ai	$0.257	13.65s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 65.2% Tes tidak stabil 4 Token input 104,989 Token output 8,532 Token penalaran 16,276 Waktu respons (rata-rata) 13.65s Waktu respons (total) 300.22s Waktu respons (maks) 83.60s Jawaban salah: 8 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 6.9 Pemrograman : 6.2 Gabungan : 3.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.1 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#189#189	Ling-3.0-flashhigh	6.4	Inclusionai	$0.021 ↕	13.70s
Lihat kartu model Total Tes 22 Tes Salah 10 Keandalan 9.8 Tingkat lulus per percobaan 63.6% Tes tidak stabil 4 Token input 132,044 Token output 92,135 Token penalaran 207,321 Waktu respons (rata-rata) 13.70s Waktu respons (total) 287.75s Waktu respons (maks) 75.27s Jawaban salah: 7 Pemanggilan alat tidak valid: 2 Kesalahan API: 1 Trik anti-AI : 10.0 Pemrograman : 6.7 Gabungan : 2.9 Parsing dan ekstraksi data : 7.3 Spesifik domain : 3.0 Kecerdasan umum : 5.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#314#314	Ling 3.0 Tinynone	4.0	Inclusionai	$0.000	14.02s
Lihat kartu model Total Tes 22 Tes Salah 20 Keandalan 9.8 Tingkat lulus per percobaan 9.1% Tes tidak stabil 0 Token input 184,579 Token output 110,071 Token penalaran 0 Waktu respons (rata-rata) 14.02s Waktu respons (total) 294.46s Waktu respons (maks) 240.61s Jawaban salah: 13 Tidak mengikuti instruksi: 4 Kesalahan API: 1 Format tambahan: 1 Pemanggilan alat tidak valid: 1 Trik anti-AI : 4.8 Pemrograman : 4.2 Gabungan : 3.0 Parsing dan ekstraksi data : 6.3 Spesifik domain : 3.0 Kecerdasan umum : 3.4 Kepatuhan instruksi : 3.1 Pemecahan teka-teki : 3.0 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#22#22	Gemini 3.8 Flashmedium	9.1	Google	$0.653	14.50s
Lihat kartu model Total Tes 22 Tes Salah 3 Keandalan 10.0 Tingkat lulus per percobaan 92.4% Tes tidak stabil 2 Token input 95,793 Token output 7,066 Token penalaran 147,842 Waktu respons (rata-rata) 14.50s Waktu respons (total) 318.92s Waktu respons (maks) 108.60s Jawaban salah: 2 Pemanggilan alat tidak valid: 1 Trik anti-AI : 10.0 Pemrograman : 8.0 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 8.2 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#119#119	Grok 4.6low	7.4	X AI	$0.449	14.55s
Lihat kartu model Total Tes 22 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 69.7% Tes tidak stabil 1 Token input 109,960 Token output 5,124 Token penalaran 32,924 Waktu respons (rata-rata) 14.55s Waktu respons (total) 320.17s Waktu respons (maks) 26.46s Jawaban salah: 7 Trik anti-AI : 10.0 Pemrograman : 5.5 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#259#259	Seed-2.0-Codenone	5.3	Bytedance Seed	$0.151	14.67s
Lihat kartu model Total Tes 22 Tes Salah 16 Keandalan 8.6 Tingkat lulus per percobaan 36.4% Tes tidak stabil 5 Token input 159,749 Token output 23,433 Token penalaran 0 Waktu respons (rata-rata) 14.67s Waktu respons (total) 322.71s Waktu respons (maks) 132.84s Jawaban salah: 11 Format tambahan: 2 Tidak mengikuti instruksi: 2 Tidak ada jawaban: 1 Trik anti-AI : 3.0 Pemrograman : 3.6 Gabungan : 3.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 5.0 Kepatuhan instruksi : 6.2 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#296#296	Laguna M.1medium	4.7	Poolside	$0.033 ↕	14.73s
Lihat kartu model Total Tes 19 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 45.5% Tes tidak stabil 2 Token input 44,969 Token output 58,087 Token penalaran 0 Waktu respons (rata-rata) 14.73s Waktu respons (total) 220.93s Waktu respons (maks) 53.14s Kesalahan API: 4 Jawaban salah: 4 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Trik anti-AI : 6.5 Pemrograman : 1.5 Gabungan : 1.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 3.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6 Astrahigh GPT-6 AstrahighvsGPT-6 Astraxhigh GPT-6 AstraxhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow GPT-6 AstralowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium