Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-17 Model Dievaluasi: 442

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

442/442

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#171#171	LongCat 2.0medium	7.2	Meituan	$0.767 ↑	144.88s
Lihat kartu model Total Tes 23 Tes Salah 11 Keandalan 10.0 Tingkat lulus per percobaan 59.4% Tes tidak stabil 3 Token input 287,669 Token output 47,204 Token penalaran 375,030 Waktu respons (rata-rata) 144.88s Waktu respons (total) 3332.19s Waktu respons (maks) 939.52s Jawaban salah: 8 Kesalahan API: 1 Tidak ada jawaban: 1 Kedaluwarsa: 1 Tugas agen : 6.1 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 7.3 Parsing dan ekstraksi data : 6.3 Spesifik domain : 3.0 Kecerdasan umum : 4.8 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 5.4 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#206#206	Solar Pro 4low	6.7	Upstage	$0.101 ↑	145.21s
Lihat kartu model Total Tes 23 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 60.9% Tes tidak stabil 7 Token input 384,974 Token output 13,946 Token penalaran 371,916 Waktu respons (rata-rata) 145.21s Waktu respons (total) 3339.87s Waktu respons (maks) 640.89s Jawaban salah: 7 Tidak mengikuti instruksi: 2 Kesalahan API: 1 Tidak ada jawaban: 1 Kedaluwarsa: 1 Tugas agen : 6.1 Trik anti-AI : 8.2 Pemrograman : 5.5 Gabungan : 6.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 5.5 Kepatuhan instruksi : 8.0 Pemecahan teka-teki : 9.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#67#67	MiMo-V2.6-Promedium	8.7	Xiaomi	$0.586	148.11s
Lihat kartu model Total Tes 23 Tes Salah 9 Keandalan 9.5 Tingkat lulus per percobaan 78.3% Tes tidak stabil 7 Token input 298,476 Token output 7,762 Token penalaran 515,918 Waktu respons (rata-rata) 148.11s Waktu respons (total) 3406.53s Waktu respons (maks) 904.91s Format tambahan: 3 Jawaban salah: 3 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 7.3 Pemrograman : 8.2 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 8.4 Pemecahan teka-teki : 8.4 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#385#385	GLM 4.7 Flashmedium	4.2	Z.ai	$0.193	150.90s
Lihat kartu model Total Tes 23 Tes Salah 19 Keandalan 9.4 Tingkat lulus per percobaan 30.4% Tes tidak stabil 8 Token input 228,711 Token output 42,254 Token penalaran 422,121 Waktu respons (rata-rata) 150.90s Waktu respons (total) 2414.33s Waktu respons (maks) 1539.97s Jawaban salah: 10 Tidak ada jawaban: 3 Tidak mengikuti instruksi: 2 Pemanggilan alat tidak valid: 2 Kedaluwarsa: 2 Tugas agen : 3.9 Trik anti-AI : 4.7 Pemrograman : 3.2 Gabungan : 2.9 Parsing dan ekstraksi data : 6.3 Spesifik domain : 3.5 Kecerdasan umum : 3.6 Kepatuhan instruksi : 6.2 Pemecahan teka-teki : 2.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#162#162	LongCat 2.0high	7.3	Meituan	$0.778 ↑	151.67s
Lihat kartu model Total Tes 23 Tes Salah 13 Keandalan 10.0 Tingkat lulus per percobaan 53.6% Tes tidak stabil 4 Token input 275,080 Token output 32,447 Token penalaran 372,188 Waktu respons (rata-rata) 151.67s Waktu respons (total) 3488.43s Waktu respons (maks) 941.66s Jawaban salah: 7 Tidak mengikuti instruksi: 2 Tidak ada jawaban: 2 Kedaluwarsa: 2 Tugas agen : 10.0 Trik anti-AI : 8.9 Pemrograman : 7.8 Gabungan : 10.0 Parsing dan ekstraksi data : 3.6 Spesifik domain : 3.6 Kecerdasan umum : 5.1 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 3.1 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#30#30	Muse Spark Openhigh	9.2	Meta	$1.782	151.96s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 9.4 Tingkat lulus per percobaan 76.8% Tes tidak stabil 1 Token input 270,889 Token output 10,688 Token penalaran 328,857 Waktu respons (rata-rata) 151.96s Waktu respons (total) 3495.01s Waktu respons (maks) 960.01s Kedaluwarsa: 2 Jawaban salah: 2 Kesalahan API: 1 Tidak mengikuti instruksi: 1 Tugas agen : 10.0 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#185#185	Step 5 Previewhigh	7.0	Stepfun	$4.513	154.41s
Lihat kartu model Total Tes 23 Tes Salah 13 Keandalan 9.5 Tingkat lulus per percobaan 52.2% Tes tidak stabil 4 Token input 243,381 Token output 1,581,325 Token penalaran 0 Waktu respons (rata-rata) 154.41s Waktu respons (total) 3551.40s Waktu respons (maks) 455.72s Tidak ada jawaban: 7 Jawaban salah: 3 Kesalahan API: 2 Tidak mengikuti instruksi: 1 Tugas agen : 10.0 Trik anti-AI : 6.5 Pemrograman : 2.9 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 3.4 Kepatuhan instruksi : 7.3 Pemecahan teka-teki : 5.8 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#29#29	Seed 2.1 Turbolow	9.3	Bytedance Seed	$1.645	161.25s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 81.2% Tes tidak stabil 2 Token input 241,855 Token output 8,387 Token penalaran 600,946 Waktu respons (rata-rata) 161.25s Waktu respons (total) 3708.70s Waktu respons (maks) 739.98s Jawaban salah: 3 Tidak ada jawaban: 2 Tugas agen : 10.0 Trik anti-AI : 8.2 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#66#66	Qwen3.8 27Bhigh	8.7	Qwen	~$0.298	166.34s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 9.7 Tingkat lulus per percobaan 78.3% Tes tidak stabil 2 Token input 348,967 Token output 1,005 Token penalaran 676,075 Waktu respons (rata-rata) 166.34s Waktu respons (total) 3825.81s Waktu respons (maks) 640.85s Tidak mengikuti instruksi: 2 Tidak ada jawaban: 2 Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.1 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 5.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.6 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#42#42	Seed 2.1 Turbohigh	9.1	Bytedance Seed	$1.892	170.52s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 3 Token input 246,954 Token output 8,378 Token penalaran 698,942 Waktu respons (rata-rata) 170.52s Waktu respons (total) 3922.04s Waktu respons (maks) 584.71s Jawaban salah: 4 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 8.2 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#36#36	Qwen3.8 Max (0902)high	9.1	Qwen	$3.306	186.06s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 9.8 Tingkat lulus per percobaan 87.0% Tes tidak stabil 3 Token input 328,637 Token output 8,619 Token penalaran 432,733 Waktu respons (rata-rata) 186.06s Waktu respons (total) 4279.49s Waktu respons (maks) 912.78s Jawaban salah: 2 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#68#68	Seed 2.1 Turbomedium	8.7	Bytedance Seed	$2.042	189.13s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 5 Token input 234,572 Token output 8,019 Token penalaran 761,563 Waktu respons (rata-rata) 189.13s Waktu respons (total) 4349.92s Waktu respons (maks) 885.33s Jawaban salah: 5 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 8.2 Pemrograman : 8.2 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 9.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#319#319	Step 3.5 Flashmedium	5.4	Stepfun	$0.105	190.48s
Lihat kartu model Total Tes 22 Tes Salah 12 Keandalan 10.0 Tingkat lulus per percobaan 49.3% Tes tidak stabil 3 Token input 139,086 Token output 193,584 Token penalaran 413,546 Waktu respons (rata-rata) 190.48s Waktu respons (total) 3238.23s Waktu respons (maks) 1597.85s Jawaban salah: 6 Tidak mengikuti instruksi: 3 Kesalahan API: 1 Tidak ada jawaban: 1 Kedaluwarsa: 1 Tugas agen : 2.8 Trik anti-AI : 10.0 Pemrograman : 2.4 Gabungan : 6.5 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 5.5 Kepatuhan instruksi : 8.3 Pemecahan teka-teki : 5.3 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#317#317	Hy4 previewlow	5.4	Tencent	$1.844	207.21s
Lihat kartu model Total Tes 23 Tes Salah 20 Keandalan 6.5 Tingkat lulus per percobaan 21.7% Tes tidak stabil 4 Token input 162,180 Token output 5,030 Token penalaran 682,447 Waktu respons (rata-rata) 207.21s Waktu respons (total) 4765.91s Waktu respons (maks) 597.45s Jawaban salah: 13 Kesalahan API: 5 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 4.7 Trik anti-AI : 6.0 Pemrograman : 5.2 Gabungan : 2.9 Parsing dan ekstraksi data : 8.7 Spesifik domain : 4.5 Kecerdasan umum : 7.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.3 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#362#362	Granite 4.2 8Bhigh	4.7	IBM Granite	$0.111	235.35s
Lihat kartu model Total Tes 23 Tes Salah 19 Keandalan 8.2 Tingkat lulus per percobaan 37.7% Tes tidak stabil 10 Token input 282,658 Token output 198,563 Token penalaran 462,804 Waktu respons (rata-rata) 235.35s Waktu respons (total) 5413.09s Waktu respons (maks) 685.87s Kedaluwarsa: 10 Jawaban salah: 7 Pemanggilan alat tidak valid: 1 Tidak ada jawaban: 1 Tugas agen : 5.0 Trik anti-AI : 6.9 Pemrograman : 3.8 Gabungan : 5.0 Parsing dan ekstraksi data : 3.8 Spesifik domain : 2.9 Kecerdasan umum : 5.5 Kepatuhan instruksi : 6.4 Pemecahan teka-teki : 2.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#146#146	Mistral Large 4high	7.5	Mistral	$1.391	263.69s
Lihat kartu model Total Tes 23 Tes Salah 11 Keandalan 9.0 Tingkat lulus per percobaan 65.2% Tes tidak stabil 6 Token input 230,895 Token output 161,281 Token penalaran 510,655 Waktu respons (rata-rata) 263.69s Waktu respons (total) 6064.89s Waktu respons (maks) 1727.29s Jawaban salah: 6 Tidak mengikuti instruksi: 2 Tidak ada jawaban: 2 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 8.3 Pemrograman : 3.3 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 10.0 Kepatuhan instruksi : 8.4 Pemecahan teka-teki : 5.4 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#398#398	Xing4.0 29b A4bmedium	3.7	Xingchen AGI	$0.000	371.69s
Lihat kartu model Total Tes 23 Tes Salah 22 Keandalan 7.3 Tingkat lulus per percobaan 26.1% Tes tidak stabil 11 Token input 98,467 Token output 3,385 Token penalaran 104,595 Waktu respons (rata-rata) 371.69s Waktu respons (total) 8548.88s Waktu respons (maks) 971.85s Jawaban salah: 9 Kedaluwarsa: 6 Kesalahan API: 4 Tidak mengikuti instruksi: 3 Tugas agen : 3.0 Trik anti-AI : 3.8 Pemrograman : 4.2 Gabungan : 3.0 Parsing dan ekstraksi data : 2.9 Spesifik domain : 3.6 Kecerdasan umum : 3.2 Kepatuhan instruksi : 4.3 Pemecahan teka-teki : 2.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

←

1 17 18

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow