Navigasi
AI BENCHY
Advertise here

AI BENCHY Compare

Google: Gemma 4 31B vs StepFun: Step 3.5 Flash

Ringkasan

Perbandingan benchmark Gemma 4 31B vs Step 3.5 Flash: Step 3.5 Flash unggul dalam skor rata-rata dengan 6.6 vs 6.1. Gemma 4 31B memiliki biaya benchmark lebih rendah di $0.004 vs $0.070. Gemma 4 31B lebih cepat di 4.05s vs 72.53s, dengan tingkat keberhasilan 47.6% vs 54.0%.

Model yang direkomendasikan: Gemma 4 31B - Its score stays close to the best score here (6.1 vs 6.6), while costing about 23.0x less than Step 3.5 Flash.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-18

Metrik Gemma 4 31B Gemma 4 31B none Rilis: 2026-04-02 Tersedia gratis Step 3.5 Flash Step 3.5 Flash medium Rilis: 2026-02-01
Skor 6.1 6.6
Peringkat #98 #80
Keandalan 10.0 10.0
Konsistensi 10.0 8.9
Tes benar
Tingkat lulus per percobaan 47.6% 54.0%
Tes tidak stabil 0 1
Total Run 63 60
Biaya per hasil 0.034 0.198
Total Biaya $0.004 $0.070
Harga input $0.120 / 1M $0.090 / 1M
Harga output $0.350 / 1M $0.300 / 1M
Total token input 20,911 34,431
Token output 1,407 91,587
Token penalaran 0 195,973
Waktu respons (rata-rata) 4.05s 72.53s
Waktu respons (maks) 26.13s 453.94s
Waktu respons (total) 76.87s 1015.47s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#98 Gemma 4 31B

none
Biaya
$0.001
Waktu
12.8s
Token
795 tok

#80 Step 3.5 Flash

medium
Biaya
$0.008
Waktu
277.1s
Token
23,695 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Gemma 4 31B 6.5 10.0 50.0% 0 1.85s 852 45 0
Step 3.5 Flash 10.0 10.0 100.0% 0 40.57s 694 20,391 24,176
Pemrograman Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Gemma 4 31B 5.5 10.0 33.3% 0 11.19s 8,381 735 0
Step 3.5 Flash 2.4 5.2 0.0% 0 258.38s 2,211 13,207 22,429
Gabungan Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Gemma 4 31B 3.0 10.0 0.0% 0 0ms 0 0 0
Step 3.5 Flash 10.0 10.0 100.0% 0 29.57s 13,638 1,176 12,984
Parsing dan ekstraksi data Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Gemma 4 31B 10.0 10.0 100.0% 0 2.25s 8,352 285 0
Step 3.5 Flash 10.0 10.0 100.0% 0 15.01s 7,368 600 13,886
Spesifik domain Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Gemma 4 31B 7.7 10.0 66.7% 0 3.22s 903 27 0
Step 3.5 Flash 5.3 7.2 44.4% 1 170.45s 673 45,350 90,436
Kecerdasan umum Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Gemma 4 31B 10.0 10.0 100.0% 0 2.09s 576 117 0
Step 3.5 Flash 5.5 10.0 0.0% 0 22.39s 509 240 3,506
Kepatuhan instruksi Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Gemma 4 31B 6.5 10.0 50.0% 0 2.84s 795 78 0
Step 3.5 Flash 8.3 10.0 50.0% 0 4.78s 705 2,364 3,521
Pemecahan teka-teki Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Gemma 4 31B 6.5 10.0 33.3% 0 4.23s 828 108 0
Step 3.5 Flash 5.3 10.0 33.3% 0 7.22s 711 5,630 10,861
Pemanggilan alat Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Gemma 4 31B 3.0 10.0 0.0% 0 0ms 0 0 0
Step 3.5 Flash 10.0 10.0 100.0% 0 11.91s 7,701 275 3,802
Pengetahuan umum Skor Konsistensi Tingkat lulus per percobaan Tes tidak stabil Tes benar Waktu respons (rata-rata) Token input Token output Token penalaran
Gemma 4 31B 3.0 10.0 0.0% 0 1.25s 224 12 0
Step 3.5 Flash 3.0 10.0 0.0% 0 108.45s 221 2,354 10,372

Perbandingan Cepat

Ganti Pasangan Perbandingan

Gemini 3.1 Flash Lite PreviewlowvsStep 3.5 FlashmediumGemini 3.1 Flash Lite PreviewnonevsStep 3.5 FlashmediumGemini 3.1 Flash LitelowvsStep 3.5 FlashmediumGemini 3.5 FlashminimalvsStep 3.5 FlashmediumGemma 4 31BnoneTersedia gratisvsQwen3.5-35B-A3BmediumNorth Mini CodemediumTersedia gratisvsGemma 4 31BnoneTersedia gratisQwen3.7 MaxnonevsStep 3.5 FlashmediumGemma 4 31BnoneTersedia gratisvsNemotron 3 SupermediumTersedia gratisGemini 3 Flash PreviewnonevsStep 3.5 FlashmediumGPT-5.5nonevsStep 3.5 FlashmediumGemini 3.5 FlashnonevsStep 3.5 FlashmediumSeed-2.0-LitenonevsStep 3.5 Flashmedium