Perbandingan benchmark Gemini 3 Flash Preview vs Grok 4.1 Fast: Gemini 3 Flash Preview unggul dalam skor rata-rata dengan 9.6 vs 4.0. Grok 4.1 Fast memiliki biaya benchmark lebih rendah di $0.008 vs $0.667. Grok 4.1 Fast lebih cepat di 1.62s vs 18.64s, dengan tingkat keberhasilan 98.4% vs 20.6%.
Model yang direkomendasikan: Gemini 3 Flash Preview - It has the strongest score in this comparison (9.6) and the best overall balance of cost and response time across all 2 models.
Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-02
Grok 4.1 FastGrok 4.1 FastnoneModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.Rilis: 2025-11-19
Skor
9.6Skor rata-rata di semua tes benchmark.…
4.0Skor rata-rata di semua tes benchmark.…
Peringkat
#2
#166
Keandalan
10.0Skor sukses percobaan pertama: 10.0 berarti tidak ada kegagalan API target atau batas laju yang dapat dicoba ulang sebelum panggilan berhasil; kegagalan yang tercatat menurunkan skor.…
10.0Skor sukses percobaan pertama: 10.0 berarti tidak ada kegagalan API target atau batas laju yang dapat dicoba ulang sebelum panggilan berhasil; kegagalan yang tercatat menurunkan skor.…
Konsistensi
9.7Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
7.9Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
Tes benar
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)18.64sWaktu respons (maks)117.26sWaktu respons (total)391.35sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 13Tidak mengikuti instruksi: 3Waktu respons (rata-rata)1.62sWaktu respons (maks)5.51sWaktu respons (total)19.48sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
Tingkat lulus per percobaan
98.4%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
20.6%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
Tes tidak stabil
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
3Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Total Run
63Total Run…
57Total Run…
Biaya per hasil
3.335Menampilkan biaya rata-rata per jawaban benchmark yang benar dalam sen (semakin rendah semakin baik).…
0.273Menampilkan biaya rata-rata per jawaban benchmark yang benar dalam sen (semakin rendah semakin baik).…
Total Biaya
$0.667Total biaya (harga saat ini)…
$0.008Total biaya (harga saat ini)…
Harga input
$0.500 / 1MHarga input…
$0.202 / 1MHarga input…
Harga output
$3.000 / 1MHarga output…
$0.202 / 1MHarga output…
Total token input
37,017Total token input…
36,608Total token input…
Token output
2,006Token output…
1,723Token output…
Token penalaran
214,153Token penalaran…
0Token penalaran…
Waktu respons (rata-rata)
18.64sWaktu respons (rata-rata)…
1.62sWaktu respons (rata-rata)…
Waktu respons (maks)
117.26sWaktu respons (maks)…
5.51sWaktu respons (maks)…
Waktu respons (total)
391.35sWaktu respons (total)…
19.48sWaktu respons (total)…
Showcase generasi
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#2 Gemini 3 Flash Preview
medium
Biaya
$0.010
Waktu
17.9s
Token
3,236 tok
#166 Grok 4.1 Fast
none
Grok 4.1 Fast is deprecated. xAI recommends switching to Grok 4.3 (https://openrouter.ai/x-ai/grok-4.3)
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)3.88sWaktu respons (maks)5.73sWaktu respons (total)15.53sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
3.88sWaktu respons (rata-rata)…
494Total token input…
330Token output…
3,216Token penalaran…
Grok 4.1 FastModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
3.2Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 3Tidak mengikuti instruksi: 1Waktu respons (rata-rata)1.07sWaktu respons (maks)1.73sWaktu respons (total)2.15sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
7.6Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
88.9%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)84.40sWaktu respons (maks)117.26sWaktu respons (total)253.21sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
84.40sWaktu respons (rata-rata)…
8,122Total token input…
462Token output…
161,084Token penalaran…
Grok 4.1 FastModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
1.8Skor rata-rata di semua tes benchmark.…
1.1Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
11.1%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)1.79sWaktu respons (maks)1.79sWaktu respons (total)1.79sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)22.42sWaktu respons (maks)22.42sWaktu respons (total)22.42sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
22.42sWaktu respons (rata-rata)…
12,873Total token input…
351Token output…
10,485Token penalaran…
Grok 4.1 FastModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
3.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)3.33sWaktu respons (maks)3.33sWaktu respons (total)3.33sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)5.43sWaktu respons (maks)6.18sWaktu respons (total)10.86sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
5.43sWaktu respons (rata-rata)…
7,548Total token input…
279Token output…
4,893Token penalaran…
Grok 4.1 FastModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)943msWaktu respons (maks)943msWaktu respons (total)943msTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)15.27sWaktu respons (maks)34.09sWaktu respons (total)45.80sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
15.27sWaktu respons (rata-rata)…
633Total token input…
12Token output…
21,684Token penalaran…
Grok 4.1 FastModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
5.9Skor rata-rata di semua tes benchmark.…
7.2Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
55.6%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 2Waktu respons (rata-rata)1.06sWaktu respons (maks)1.06sWaktu respons (total)1.06sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)5.19sWaktu respons (maks)5.19sWaktu respons (total)5.19sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
5.19sWaktu respons (rata-rata)…
486Total token input…
72Token output…
1,905Token penalaran…
Grok 4.1 FastModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
4.4Skor rata-rata di semua tes benchmark.…
9.9Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak mengikuti instruksi: 1Waktu respons (rata-rata)1.08sWaktu respons (maks)1.08sWaktu respons (total)1.08sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)4.04sWaktu respons (maks)4.70sWaktu respons (total)8.08sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
4.04sWaktu respons (rata-rata)…
615Total token input…
72Token output…
2,709Token penalaran…
Grok 4.1 FastModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
3.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak mengikuti instruksi: 1Jawaban salah: 1Waktu respons (rata-rata)685msWaktu respons (maks)685msWaktu respons (total)685msTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)4.05sWaktu respons (maks)5.64sWaktu respons (total)12.15sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
4.05sWaktu respons (rata-rata)…
558Total token input…
183Token output…
4,365Token penalaran…
Grok 4.1 FastModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
3.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 3Waktu respons (rata-rata)1.10sWaktu respons (maks)1.36sWaktu respons (total)2.21sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)12.60sWaktu respons (maks)12.60sWaktu respons (total)12.60sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
12.60sWaktu respons (rata-rata)…
5,532Total token input…
234Token output…
1,487Token penalaran…
Grok 4.1 FastModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
2.8Skor rata-rata di semua tes benchmark.…
1.6Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
33.3%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)5.51sWaktu respons (maks)5.51sWaktu respons (total)5.51sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)5.50sWaktu respons (maks)5.50sWaktu respons (total)5.50sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
5.50sWaktu respons (rata-rata)…
156Total token input…
11Token output…
2,325Token penalaran…
Grok 4.1 FastModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
3.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)731msWaktu respons (maks)731msWaktu respons (total)731msTes dianggap lulus penuh hanya jika semua run-nya lulus.…