Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-17 Model Dievaluasi: 442

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

442/442

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#20#20	GPT-5.6 Solmedium	9.5	OpenAI	$1.700	14.57s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 91.3% Tes tidak stabil 3 Token input 191,341 Token output 5,665 Token penalaran 32,340 Waktu respons (rata-rata) 14.57s Waktu respons (total) 335.16s Waktu respons (maks) 79.40s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7
#47#47	Muse Spark 1.3medium	9.0	Meta	$1.712	39.83s
Lihat kartu model Total Tes 23 Tes Salah 5 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 3 Token input 250,676 Token output 13,511 Token penalaran 315,400 Waktu respons (rata-rata) 39.83s Waktu respons (total) 916.20s Waktu respons (maks) 219.77s Jawaban salah: 4 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.5 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 9.6 Pengetahuan umum : 3.0
#24#24	Claude Opus 5.5low	9.4	Anthropic	$1.733	25.68s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 88.4% Tes tidak stabil 2 Token input 308,056 Token output 9,434 Token penalaran 15,572 Waktu respons (rata-rata) 25.68s Waktu respons (total) 590.71s Waktu respons (maks) 89.16s Jawaban salah: 2 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#265#265	Gemini 3.5 Flashnone	6.1	Google	$1.752	14.13s
Lihat kartu model Total Tes 23 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 68.1% Tes tidak stabil 4 Token input 246,061 Token output 3,828 Token penalaran 149,767 Waktu respons (rata-rata) 14.13s Waktu respons (total) 268.55s Waktu respons (maks) 85.26s Kesalahan API: 4 Jawaban salah: 4 Pemanggilan alat tidak valid: 1 Tugas agen : 2.8 Trik anti-AI : 10.0 Pemrograman : 8.8 Gabungan : 3.0 Parsing dan ekstraksi data : 6.5 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 3.0 Pengetahuan umum : 2.8
#30#30	Muse Spark Openhigh	9.2	Meta	$1.782	151.96s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 9.4 Tingkat lulus per percobaan 76.8% Tes tidak stabil 1 Token input 270,889 Token output 10,688 Token penalaran 328,857 Waktu respons (rata-rata) 151.96s Waktu respons (total) 3495.01s Waktu respons (maks) 960.01s Kedaluwarsa: 2 Jawaban salah: 2 Kesalahan API: 1 Tidak mengikuti instruksi: 1 Tugas agen : 10.0 Trik anti-AI : 8.3 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#17#17	Gemini 4 Argonhigh	9.5	Google	$1.802	19.03s
Lihat kartu model Total Tes 23 Tes Salah 2 Keandalan 9.9 Tingkat lulus per percobaan 97.1% Tes tidak stabil 2 Token input 240,264 Token output 5,707 Token penalaran 126,366 Waktu respons (rata-rata) 19.03s Waktu respons (total) 437.77s Waktu respons (maks) 82.53s Kesalahan API: 1 Jawaban salah: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 8.2 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#31#31	Claude Opus 5.5medium	9.2	Anthropic	$1.804	25.85s
Lihat kartu model Total Tes 23 Tes Salah 3 Keandalan 10.0 Tingkat lulus per percobaan 89.9% Tes tidak stabil 1 Token input 290,117 Token output 9,805 Token penalaran 22,322 Waktu respons (rata-rata) 25.85s Waktu respons (total) 594.63s Waktu respons (maks) 90.20s Jawaban salah: 2 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#23#23	GPT-5.5low	9.5	OpenAI	$1.822	11.91s
Lihat kartu model Total Tes 23 Tes Salah 3 Keandalan 10.0 Tingkat lulus per percobaan 87.0% Tes tidak stabil 0 Token input 177,939 Token output 6,283 Token penalaran 24,782 Waktu respons (rata-rata) 11.91s Waktu respons (total) 273.82s Waktu respons (maks) 56.19s Jawaban salah: 3 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#317#317	Hy4 previewlow	5.4	Tencent	$1.844	207.21s
Lihat kartu model Total Tes 23 Tes Salah 20 Keandalan 6.5 Tingkat lulus per percobaan 21.7% Tes tidak stabil 4 Token input 162,180 Token output 5,030 Token penalaran 682,447 Waktu respons (rata-rata) 207.21s Waktu respons (total) 4765.91s Waktu respons (maks) 597.45s Jawaban salah: 13 Kesalahan API: 5 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 4.7 Trik anti-AI : 6.0 Pemrograman : 5.2 Gabungan : 2.9 Parsing dan ekstraksi data : 8.7 Spesifik domain : 4.5 Kecerdasan umum : 7.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 5.3 Pemanggilan alat : 3.0 Pengetahuan umum : 3.0
#58#58	Pareto 26.9default	8.9	Unbiased	$1.864	28.26s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 6 Token input 218,199 Token output 175,696 Token penalaran 0 Waktu respons (rata-rata) 28.26s Waktu respons (total) 649.90s Waktu respons (maks) 151.76s Jawaban salah: 6 Tidak mengikuti instruksi: 1 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 7.5 Pemrograman : 10.0 Gabungan : 8.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#39#39	Muse Spark 1.3high	9.1	Meta	$1.891	52.87s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 78.3% Tes tidak stabil 2 Token input 257,320 Token output 14,459 Token penalaran 354,683 Waktu respons (rata-rata) 52.87s Waktu respons (total) 1216.04s Waktu respons (maks) 251.53s Jawaban salah: 3 Tidak mengikuti instruksi: 2 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 6.5 Pemecahan teka-teki : 8.7 Pemanggilan alat : 9.6 Pengetahuan umum : 3.0
#42#42	Seed 2.1 Turbohigh	9.1	Bytedance Seed	$1.892	170.52s
Lihat kartu model Total Tes 23 Tes Salah 6 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 3 Token input 246,954 Token output 8,378 Token penalaran 698,942 Waktu respons (rata-rata) 170.52s Waktu respons (total) 3922.04s Waktu respons (maks) 584.71s Jawaban salah: 4 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 8.2 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#2🥈 #2	Gemini 3.8 Flashhigh	9.9	Google	$1.927	40.60s
Lihat kartu model Total Tes 23 Tes Salah 1 Keandalan 10.0 Tingkat lulus per percobaan 98.6% Tes tidak stabil 1 Token input 334,568 Token output 11,394 Token penalaran 435,334 Waktu respons (rata-rata) 40.60s Waktu respons (total) 933.73s Waktu respons (maks) 177.08s Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 8.2 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#153#153	Grok 4.7low	7.4	X AI	$1.933	63.19s
Lihat kartu model Total Tes 23 Tes Salah 9 Keandalan 10.0 Tingkat lulus per percobaan 73.9% Tes tidak stabil 5 Token input 365,119 Token output 8,118 Token penalaran 247,211 Waktu respons (rata-rata) 63.19s Waktu respons (total) 1453.28s Waktu respons (maks) 389.63s Jawaban salah: 6 Tidak ada jawaban: 2 Tidak mengikuti instruksi: 1 Tugas agen : 5.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.1 Kepatuhan instruksi : 8.4 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#54#54	Muse Spark 1.2high	8.9	Meta	$2.018	28.15s
Lihat kartu model Total Tes 23 Tes Salah 8 Keandalan 9.9 Tingkat lulus per percobaan 75.4% Tes tidak stabil 5 Token input 277,967 Token output 9,240 Token penalaran 383,606 Waktu respons (rata-rata) 28.15s Waktu respons (total) 647.40s Waktu respons (maks) 192.00s Jawaban salah: 4 Tidak mengikuti instruksi: 3 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 7.1 Pemrograman : 10.0 Gabungan : 8.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 4.1 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#68#68	Seed 2.1 Turbomedium	8.7	Bytedance Seed	$2.042	189.13s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 79.7% Tes tidak stabil 5 Token input 234,572 Token output 8,019 Token penalaran 761,563 Waktu respons (rata-rata) 189.13s Waktu respons (total) 4349.92s Waktu respons (maks) 885.33s Jawaban salah: 5 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 8.2 Pemrograman : 8.2 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 9.9 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#366#366	Gemini 3.1 Flash Litehigh	4.6	Google	$2.044	61.96s
Lihat kartu model Total Tes 18 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 53.6% Tes tidak stabil 4 Token input 29,134 Token output 1,984 Token penalaran 1,355,583 Waktu respons (rata-rata) 61.96s Waktu respons (total) 1115.31s Waktu respons (maks) 149.23s Jawaban salah: 4 Tidak mengikuti instruksi: 3 Tidak ada jawaban: 1 Tugas agen : 0.0 Trik anti-AI : 8.7 Pemrograman : 3.3 Gabungan : 5.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.6 Kecerdasan umum : 5.0 Kepatuhan instruksi : 7.3 Pemecahan teka-teki : 5.7 Pemanggilan alat : 10.0 Pengetahuan umum : 0.0
#44#44	Muse Spark Openxhigh	9.0	Meta	$2.081	92.38s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 9.6 Tingkat lulus per percobaan 81.2% Tes tidak stabil 5 Token input 271,242 Token output 11,803 Token penalaran 397,838 Waktu respons (rata-rata) 92.38s Waktu respons (total) 2124.67s Waktu respons (maks) 482.30s Kesalahan API: 2 Jawaban salah: 2 Format tambahan: 1 Tidak ada jawaban: 1 Kedaluwarsa: 1 Tugas agen : 10.0 Trik anti-AI : 8.7 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 6.5 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#236#236	Claude Sonnet 4.6medium	6.4	Anthropic	$2.126	28.08s
Lihat kartu model Total Tes 22 Tes Salah 8 Keandalan 10.0 Tingkat lulus per percobaan 62.3% Tes tidak stabil 1 Token input 106,316 Token output 79,338 Token penalaran 41,089 Waktu respons (rata-rata) 28.08s Waktu respons (total) 421.15s Waktu respons (maks) 140.96s Jawaban salah: 4 Format tambahan: 3 Kedaluwarsa: 1 Tugas agen : 0.0 Trik anti-AI : 6.5 Pemrograman : 5.7 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#25#25	Claude Opus 5.5high	9.4	Anthropic	$2.133	27.55s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 87.0% Tes tidak stabil 2 Token input 319,095 Token output 10,371 Token penalaran 32,411 Waktu respons (rata-rata) 27.55s Waktu respons (total) 633.73s Waktu respons (maks) 95.95s Jawaban salah: 2 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#14#14	GPT-6 Astralow	9.6	OpenAI	$2.160	7.01s
Lihat kartu model Total Tes 23 Tes Salah 2 Keandalan 9.9 Tingkat lulus per percobaan 91.3% Tes tidak stabil 0 Token input 159,023 Token output 4,935 Token penalaran 6,454 Waktu respons (rata-rata) 7.01s Waktu respons (total) 161.20s Waktu respons (maks) 49.16s Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#60#60	GPT-5.4medium	8.8	OpenAI	$2.213 ↑	24.81s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 78.3% Tes tidak stabil 4 Token input 223,210 Token output 7,312 Token penalaran 89,190 Waktu respons (rata-rata) 24.81s Waktu respons (total) 570.60s Waktu respons (maks) 100.41s Jawaban salah: 5 Tidak mengikuti instruksi: 2 Tugas agen : 10.0 Trik anti-AI : 8.3 Pemrograman : 8.8 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.7 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#127#127	Grok 4.6medium	7.8	X AI	$2.270	74.77s
Lihat kartu model Total Tes 23 Tes Salah 7 Keandalan 10.0 Tingkat lulus per percobaan 78.3% Tes tidak stabil 4 Token input 336,351 Token output 6,180 Token penalaran 260,017 Waktu respons (rata-rata) 74.77s Waktu respons (total) 1719.73s Waktu respons (maks) 514.35s Jawaban salah: 6 Tidak mengikuti instruksi: 1 Tugas agen : 5.0 Trik anti-AI : 10.0 Pemrograman : 8.2 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 4.1 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#383#383	Gemini 3.1 Flash Lite Previewhigh	4.3	Google	$2.310	68.14s
Lihat kartu model Total Tes 16 Tes Salah 3 Keandalan T/A Tingkat lulus per percobaan 56.5% Tes tidak stabil 0 Token input 28,980 Token output 1,283 Token penalaran 1,533,310 Waktu respons (rata-rata) 68.14s Waktu respons (total) 1090.28s Waktu respons (maks) 280.52s Jawaban salah: 2 Tidak mengikuti instruksi: 1 Tugas agen : 0.0 Trik anti-AI : 7.5 Pemrograman : 0.0 Gabungan : 5.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 0.0
#195#195	Claude Opus 4.8none	6.9	Anthropic	$2.334	7.54s
Lihat kartu model Total Tes 23 Tes Salah 10 Keandalan 10.0 Tingkat lulus per percobaan 60.9% Tes tidak stabil 2 Token input 345,059 Token output 24,343 Token penalaran 0 Waktu respons (rata-rata) 7.54s Waktu respons (total) 173.31s Waktu respons (maks) 65.07s Jawaban salah: 5 Format tambahan: 3 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 5.0 Trik anti-AI : 6.5 Pemrograman : 5.5 Gabungan : 9.8 Parsing dan ekstraksi data : 7.3 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 7.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow