Leaderboard AI Benchy

Name: Hasil Benchmark Model AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-10-17 Model Dievaluasi: 442

Model rekomendasi

GPT-6.1 Sol xhigh Cerdas Tingkat lulus per percobaan 97.1% Tes benar 22 / 23 Skor 9.9/10 Gemini 3.7 Flash low Cepat Waktu respons (rata-rata) 6.24s Total token output 38,453 Skor 9.4/10 GPT-6 Luna high Terjangkau Harga input $0.100 / 1M Harga output $0.500 / 1M Harga baca cache $0.010 / 1M Harga tulis cache $0.125 / 1M Skor 7.7/10

442/442

Peringkat	Model	Skor	Perusahaan	Total Biaya	Waktu respons (rata-rata)
#22#22	GPT-5.6 Solhigh	9.5	OpenAI	$1.595 ↑	13.59s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 89.9% Tes tidak stabil 3 Token input 195,567 Token output 5,841 Token penalaran 26,230 Waktu respons (rata-rata) 13.59s Waktu respons (total) 312.61s Waktu respons (maks) 59.99s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 8.7 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7
#24#24	Claude Opus 5.5low	9.4	Anthropic	$1.733	25.68s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 88.4% Tes tidak stabil 2 Token input 308,056 Token output 9,434 Token penalaran 15,572 Waktu respons (rata-rata) 25.68s Waktu respons (total) 590.71s Waktu respons (maks) 89.16s Jawaban salah: 2 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#25#25	Claude Opus 5.5high	9.4	Anthropic	$2.133	27.55s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 87.0% Tes tidak stabil 2 Token input 319,095 Token output 10,371 Token penalaran 32,411 Waktu respons (rata-rata) 27.55s Waktu respons (total) 633.73s Waktu respons (maks) 95.95s Jawaban salah: 2 Tidak mengikuti instruksi: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.7 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#27#27	Claude Opus 5high	9.4	Anthropic	$4.524	25.31s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 0 Token input 376,421 Token output 67,688 Token penalaran 37,974 Waktu respons (rata-rata) 25.31s Waktu respons (total) 582.11s Waktu respons (maks) 159.01s Jawaban salah: 2 Format tambahan: 1 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 3.0 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#28#28	Claude Opus 5medium	9.4	Anthropic	$2.870	13.24s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 1 Token input 356,605 Token output 26,715 Token penalaran 17,041 Waktu respons (rata-rata) 13.24s Waktu respons (total) 304.46s Waktu respons (maks) 78.80s Jawaban salah: 3 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 2.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#33#33	GPT-5.5medium	9.2	OpenAI	$4.809	39.86s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 88.4% Tes tidak stabil 3 Token input 180,959 Token output 6,472 Token penalaran 123,635 Waktu respons (rata-rata) 39.86s Waktu respons (total) 916.82s Waktu respons (maks) 332.10s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.8 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#41#41	Paretodefault	9.1	Unbiased	$1.520	33.47s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 87.0% Tes tidak stabil 2 Token input 223,559 Token output 128,144 Token penalaran 0 Waktu respons (rata-rata) 33.47s Waktu respons (total) 769.84s Waktu respons (maks) 143.33s Jawaban salah: 3 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 7.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 8.2 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#45#45	Gemini 3.5 Flashlow	9.0	Google	$0.752	7.85s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 2 Token input 244,533 Token output 3,450 Token penalaran 39,280 Waktu respons (rata-rata) 7.85s Waktu respons (total) 180.45s Waktu respons (maks) 53.74s Jawaban salah: 3 Pemanggilan alat tidak valid: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 7.8 Gabungan : 8.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#49#49	Gemini 4 Argonmedium	9.0	Google	$0.674	6.63s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 1 Token input 215,326 Token output 6,668 Token penalaran 17,615 Waktu respons (rata-rata) 6.63s Waktu respons (total) 152.50s Waktu respons (maks) 62.49s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 6.4 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 9.8 Pengetahuan umum : 3.0
#50#50	Claude Opus 5low	9.0	Anthropic	$2.350	9.87s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 84.1% Tes tidak stabil 1 Token input 352,845 Token output 16,553 Token penalaran 7,007 Waktu respons (rata-rata) 9.87s Waktu respons (total) 226.95s Waktu respons (maks) 73.15s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 7.8 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#51#51	Gemini 3.6 Flashlow	9.0	Google	$0.363 ↓	6.82s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 89.9% Tes tidak stabil 3 Token input 197,570 Token output 6,364 Token penalaran 50,704 Waktu respons (rata-rata) 6.82s Waktu respons (total) 156.81s Waktu respons (maks) 48.53s Jawaban salah: 4 Tugas agen : 10.0 Trik anti-AI : 8.7 Pemrograman : 7.8 Gabungan : 7.3 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.6 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#76#76	Grok 4.6high	8.5	X AI	$2.629	87.48s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 82.6% Tes tidak stabil 0 Token input 376,233 Token output 6,687 Token penalaran 305,927 Waktu respons (rata-rata) 87.48s Waktu respons (total) 2012.15s Waktu respons (maks) 618.49s Jawaban salah: 3 Tidak ada jawaban: 1 Tugas agen : 5.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.8 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#80#80	Claude Haiku 5.5max	8.5	Anthropic	$0.509	61.71s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 1 Token input 487,516 Token output 10,212 Token penalaran 909,487 Waktu respons (rata-rata) 61.71s Waktu respons (total) 1419.40s Waktu respons (maks) 288.94s Tidak ada jawaban: 3 Jawaban salah: 1 Tugas agen : 4.7 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#92#92	Gemini 3.5 Flashhigh	8.3	Google	$2.737	18.59s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 2 Token input 348,103 Token output 11,045 Token penalaran 234,967 Waktu respons (rata-rata) 18.59s Waktu respons (total) 427.52s Waktu respons (maks) 145.92s Pemanggilan alat tidak valid: 2 Jawaban salah: 2 Tugas agen : 3.4 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 8.2 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 9.8 Pengetahuan umum : 10.0
#111#111	Gemini 3.8 Flashmedium	8.0	Google	$0.769	16.64s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 9.9 Tingkat lulus per percobaan 89.9% Tes tidak stabil 3 Token input 187,331 Token output 7,555 Token penalaran 159,931 Waktu respons (rata-rata) 16.64s Waktu respons (total) 382.64s Waktu respons (maks) 108.60s Jawaban salah: 2 Pemanggilan alat tidak valid: 1 Kedaluwarsa: 1 Tugas agen : 2.8 Trik anti-AI : 10.0 Pemrograman : 8.0 Gabungan : 8.7 Parsing dan ekstraksi data : 10.0 Spesifik domain : 8.2 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#116#116	Claude Fable 5.1high	7.9	Anthropic	$3.471	13.30s
Lihat kartu model Total Tes 23 Tes Salah 4 Keandalan 10.0 Tingkat lulus per percobaan 85.5% Tes tidak stabil 1 Token input 144,676 Token output 8,184 Token penalaran 32,282 Waktu respons (rata-rata) 13.30s Waktu respons (total) 305.83s Waktu respons (maks) 40.17s Jawaban salah: 3 Kesalahan API: 1 Tugas agen : 3.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#314#314	Claude Opus 4.7none	5.4	Anthropic	$0.505	3.02s
Lihat kartu model Total Tes 19 Tes Salah 3 Keandalan 10.0 Tingkat lulus per percobaan 69.6% Tes tidak stabil 0 Token input 69,576 Token output 6,265 Token penalaran 0 Waktu respons (rata-rata) 3.02s Waktu respons (total) 57.44s Waktu respons (maks) 18.27s Jawaban salah: 3 Tugas agen : 0.0 Trik anti-AI : 8.3 Pemrograman : 3.3 Gabungan : 4.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#21#21	GPT-6 Astramedium	9.5	OpenAI	$2.707	9.90s
Lihat kartu model Total Tes 23 Tes Salah 3 Keandalan 9.9 Tingkat lulus per percobaan 91.3% Tes tidak stabil 2 Token input 165,464 Token output 5,591 Token penalaran 15,454 Waktu respons (rata-rata) 9.90s Waktu respons (total) 227.67s Waktu respons (maks) 73.48s Jawaban salah: 3 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.9 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 2.8
#23#23	GPT-5.5low	9.5	OpenAI	$1.822	11.91s
Lihat kartu model Total Tes 23 Tes Salah 3 Keandalan 10.0 Tingkat lulus per percobaan 87.0% Tes tidak stabil 0 Token input 177,939 Token output 6,283 Token penalaran 24,782 Waktu respons (rata-rata) 11.91s Waktu respons (total) 273.82s Waktu respons (maks) 56.19s Jawaban salah: 3 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.3 Kecerdasan umum : 10.0 Kepatuhan instruksi : 9.9 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#31#31	Claude Opus 5.5medium	9.2	Anthropic	$1.804	25.85s
Lihat kartu model Total Tes 23 Tes Salah 3 Keandalan 10.0 Tingkat lulus per percobaan 89.9% Tes tidak stabil 1 Token input 290,117 Token output 9,805 Token penalaran 22,322 Waktu respons (rata-rata) 25.85s Waktu respons (total) 594.63s Waktu respons (maks) 90.20s Jawaban salah: 2 Tidak ada jawaban: 1 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 8.4 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 3.0
#85#85	Gemini 3.1 Pro Previewmedium	8.4	Google	$1.585	22.71s
Lihat kartu model Total Tes 23 Tes Salah 3 Keandalan 9.8 Tingkat lulus per percobaan 89.9% Tes tidak stabil 1 Token input 176,208 Token output 6,093 Token penalaran 96,598 Waktu respons (rata-rata) 22.71s Waktu respons (total) 386.11s Waktu respons (maks) 88.68s Jawaban salah: 2 Kedaluwarsa: 1 Tugas agen : 4.7 Trik anti-AI : 10.0 Pemrograman : 7.9 Gabungan : 9.8 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#9#9	Gemini 3.7 Flashhigh	9.8	Google	$0.528	15.10s
Lihat kartu model Total Tes 23 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 95.7% Tes tidak stabil 2 Token input 233,400 Token output 6,922 Token penalaran 173,178 Waktu respons (rata-rata) 15.10s Waktu respons (total) 347.23s Waktu respons (maks) 91.63s Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.8 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#10#10	Gemini 3.6 Flashmedium	9.8	Google	$0.577 ↓	14.03s
Lihat kartu model Total Tes 23 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 95.7% Tes tidak stabil 2 Token input 188,003 Token output 2,914 Token penalaran 113,210 Waktu respons (rata-rata) 14.03s Waktu respons (total) 322.73s Waktu respons (maks) 77.15s Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 5.8 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 10.0
#11#11	GPT-6.1 Solmedium	9.6	OpenAI	$0.530	8.90s
Lihat kartu model Total Tes 23 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 94.2% Tes tidak stabil 1 Token input 172,860 Token output 5,172 Token penalaran 13,179 Waktu respons (rata-rata) 8.90s Waktu respons (total) 204.78s Waktu respons (maks) 51.03s Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7
#12#12	GPT-6.1 Solhigh	9.6	OpenAI	$0.755	15.46s
Lihat kartu model Total Tes 23 Tes Salah 2 Keandalan 10.0 Tingkat lulus per percobaan 94.2% Tes tidak stabil 1 Token input 174,960 Token output 5,780 Token penalaran 34,728 Waktu respons (rata-rata) 15.46s Waktu respons (total) 355.66s Waktu respons (maks) 139.76s Jawaban salah: 2 Tugas agen : 10.0 Trik anti-AI : 10.0 Pemrograman : 10.0 Gabungan : 10.0 Parsing dan ekstraksi data : 10.0 Spesifik domain : 7.7 Kecerdasan umum : 10.0 Kepatuhan instruksi : 10.0 Pemecahan teka-teki : 10.0 Pemanggilan alat : 10.0 Pengetahuan umum : 4.7

Tren benchmark global

Lihat bagaimana model saat ini menyeimbangkan skor, biaya, kecepatan, panjang output, dan kekuatan per kategori.

Grafik →

Frontier Pareto: kecerdasan vs biaya

Perkembangan skor terbaik perusahaan terdepan

Frontier Pareto: kecerdasan vs kecepatan respons

Frontier Pareto Skor vs Token Output

Tingkat kesulitan kategori lintas model

Perbandingan Cepat

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow