AI BENCHY Compare

Google: Gemma 4 26B A4B vs StepFun: Step 3.5 Flash

Zusammenfassung

Gemma 4 26B A4B vs Step 3.5 Flash Benchmark-Vergleich: Step 3.5 Flash führt beim Durchschnittsscore mit 6.6 vs 5.5. Gemma 4 26B A4B hat die niedrigeren Benchmark-Kosten mit $0.004 vs $0.070. Gemma 4 26B A4B ist schneller mit 5.91s vs 72.53s, mit Erfolgsraten von 44.4% vs 54.0%.

Empfohlenes Modell: Step 3.5 Flash - Es hat die stärkste Punktzahl in diesem Vergleich (6.6) und die beste Gesamtbalance aus Kosten und Antwortzeit über alle 2 Modelle.

Benchmarks aus AI BENCHY-Test-Suites generiert am: 2026-07-02

Metrik	Gemma 4 26B A4B Gemma 4 26B A4B none Veröffentlichung: 2026-04-03 Kostenlos verfügbar	Step 3.5 Flash Step 3.5 Flash medium Veröffentlichung: 2026-02-01

Metrik	Gemma 4 26B A4B Gemma 4 26B A4B none Veröffentlichung: 2026-04-03 Kostenlos verfügbar	Step 3.5 Flash Step 3.5 Flash medium Veröffentlichung: 2026-02-01
Punktzahl	5.5	6.6
Rang	#125	#83
Zuverlässigkeit	10.0	10.0
Konsistenz	9.2	8.9
Korrekte Tests
Erfolgsquote pro Versuch	44.4%	54.0%
Instabile Tests	2	1
Gesamtläufe	63	60
Kosten pro Ergebnis	0.068	0.198
Gesamtkosten	$0.004	$0.070
Eingabepreis	$0.060 / 1M	$0.100 / 1M
Ausgabepreis	$0.330 / 1M	$0.300 / 1M
Gesamte Eingabe-Token	40,038	34,431
Ausgabe-Token	1,824	91,587
Denk-Token	0	195,973
Antwortzeit (Durchschnitt)	5.91s	72.53s
Antwortzeit (Maximum)	57.10s	453.94s
Antwortzeit (Gesamt)	124.05s	1015.47s

Generierungs-Showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#125 Gemma 4 26B A4B

none

Kosten: $0.001
Zeit: 39.5s
Token: 790 tok

#83 Step 3.5 Flash

medium

Kosten: $0.008
Zeit: 277.1s
Token: 23,695 tok

Top-Modelle nach Score

Score vs. Gesamtkosten

Antwortzeit (Durchschnitt)

Punktzahl vs Antwortzeit (Durchschnitt)

Gesamte Ausgabe-Token

Punktzahl vs Gesamte Ausgabe-Token

Kategorieaufschlüsselung

Anti-KI-Tricks	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 26B A4B	8.3	10.0	75.0%	0		1.28s	852	230	0
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

Programmierung	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 26B A4B	3.7	7.2	22.2%	1		4.16s	7,736	476	0
Step 3.5 Flash	2.4	5.2	0.0%	0		258.38s	2,211	13,207	22,429

Kombiniert	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 26B A4B	3.0	10.0	0.0%	0		30.53s	13,650	309	0
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	13,638	1,176	12,984

Datenanalyse und -extraktion	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 26B A4B	10.0	10.0	100.0%	0		1.70s	8,352	285	0
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

Domänenspezifisch	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 26B A4B	3.6	7.2	22.2%	1		2.49s	903	27	0
Step 3.5 Flash	5.3	7.2	44.4%	1		170.45s	673	45,350	90,436

Allgemeine Intelligenz	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 26B A4B	4.0	10.0	0.0%	0		3.54s	576	85	0
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

Befolgung von Anweisungen	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 26B A4B	6.3	10.0	50.0%	0		690ms	795	75	0
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

Rätsellösen	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 26B A4B	6.2	10.0	33.3%	0		744ms	828	114	0
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

Werkzeugaufrufe	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 26B A4B	10.0	10.0	100.0%	0		57.10s	6,123	210	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

Allgemeinwissen	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 26B A4B	3.0	10.0	0.0%	0		778ms	223	13	0
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

Schnellvergleich

Vergleichspaar wechseln

Gemini 3.1 Flash Lite PreviewlowvsStep 3.5 Flashmedium Gemini 3.1 Flash Lite PreviewnonevsStep 3.5 Flashmedium Gemini 3.1 Flash LitelowvsStep 3.5 Flashmedium Gemini 3.5 FlashminimalvsStep 3.5 Flashmedium Qwen3.7 MaxnonevsStep 3.5 Flashmedium Gemini 3 Flash PreviewnonevsStep 3.5 Flashmedium Gemma 4 26B A4BnoneKostenlos verfügbarvsMiniMax M2.7medium GPT-5.5nonevsStep 3.5 Flashmedium North Mini CodemediumKostenlos verfügbarvsGemma 4 26B A4BnoneKostenlos verfügbar Gemma 4 26B A4BnoneKostenlos verfügbarvsMistral Small 4medium Gemini 3.5 FlashnonevsStep 3.5 Flashmedium Seed-2.0-LitenonevsStep 3.5 Flashmedium