AI BENCHY Compare

Google: Gemma 4 31B vs StepFun: Step 3.7 Flash

Zusammenfassung

Gemma 4 31B vs Step 3.7 Flash Benchmark-Vergleich: Step 3.7 Flash führt beim Durchschnittsscore mit 7.1 vs 6.1. Gemma 4 31B hat die niedrigeren Benchmark-Kosten mit $0.004 vs $1.148. Gemma 4 31B ist schneller mit 4.05s vs 64.46s, mit Erfolgsraten von 47.6% vs 63.5%.

Empfohlenes Modell: Gemma 4 31B - Es bietet den besten Gesamtkompromiss: wettbewerbsfähige Punktzahl (6.1), niedrigere Kosten als Step 3.7 Flash und ausgewogene Antwortzeit.

Benchmarks aus AI BENCHY-Test-Suites generiert am: 2026-06-18

Metrik	Gemma 4 31B Gemma 4 31B none Veröffentlichung: 2026-04-02 Kostenlos verfügbar	Step 3.7 Flash Step 3.7 Flash high Veröffentlichung: 2026-05-29

Metrik	Gemma 4 31B Gemma 4 31B none Veröffentlichung: 2026-04-02 Kostenlos verfügbar	Step 3.7 Flash Step 3.7 Flash high Veröffentlichung: 2026-05-29
Punktzahl	6.1	7.1
Rang	#98	#63
Zuverlässigkeit	10.0	10.0
Konsistenz	10.0	8.2
Korrekte Tests
Erfolgsquote pro Versuch	47.6%	63.5%
Instabile Tests	0	4
Gesamtläufe	63	63
Kosten pro Ergebnis	0.034	10.434
Gesamtkosten	$0.004	$1.148
Eingabepreis	$0.120 / 1M	$0.200 / 1M
Ausgabepreis	$0.350 / 1M	$1.150 / 1M
Gesamte Eingabe-Token	20,911	38,391
Ausgabe-Token	1,407	991,355
Denk-Token	0	0
Antwortzeit (Durchschnitt)	4.05s	64.46s
Antwortzeit (Maximum)	26.13s	364.99s
Antwortzeit (Gesamt)	76.87s	1353.57s

Generierungs-Showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#98 Gemma 4 31B

none

Kosten: $0.001
Zeit: 12.8s
Token: 795 tok

#63 Step 3.7 Flash

high

Kosten: $0.007
Zeit: 63.6s
Token: 6,030 tok

Top-Modelle nach Score

Score vs. Gesamtkosten

Antwortzeit (Durchschnitt)

Punktzahl vs Antwortzeit (Durchschnitt)

Gesamte Ausgabe-Token

Punktzahl vs Gesamte Ausgabe-Token

Kategorieaufschlüsselung

Anti-KI-Tricks	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 31B	6.5	10.0	50.0%	0		1.85s	852	45	0
Step 3.7 Flash	10.0	10.0	100.0%	0		13.40s	696	42,656	0

Programmierung	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 31B	5.5	10.0	33.3%	0		11.19s	8,381	735	0
Step 3.7 Flash	4.0	6.0	22.2%	1		206.21s	6,057	327,340	0

Kombiniert	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0
Step 3.7 Flash	10.0	10.0	100.0%	0		13.01s	13,638	8,802	0

Datenanalyse und -extraktion	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 31B	10.0	10.0	100.0%	0		2.25s	8,352	285	0
Step 3.7 Flash	10.0	10.0	100.0%	0		14.72s	7,368	23,113	0

Domänenspezifisch	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 31B	7.7	10.0	66.7%	0		3.22s	903	27	0
Step 3.7 Flash	4.1	4.4	44.5%	2		149.64s	783	410,502	0

Allgemeine Intelligenz	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 31B	10.0	10.0	100.0%	0		2.09s	576	117	0
Step 3.7 Flash	5.5	10.0	0.0%	0		4.17s	510	2,862	0

Befolgung von Anweisungen	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 31B	6.5	10.0	50.0%	0		2.84s	795	78	0
Step 3.7 Flash	9.8	10.0	100.0%	0		1.52s	705	2,010	0

Rätsellösen	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 31B	6.5	10.0	33.3%	0		4.23s	828	108	0
Step 3.7 Flash	5.3	7.2	44.4%	1		10.22s	711	25,422	0

Werkzeugaufrufe	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 31B	3.0	10.0	0.0%	0		0ms	0	0	0
Step 3.7 Flash	10.0	10.0	100.0%	0		2.79s	7,701	1,172	0

Allgemeinwissen	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemma 4 31B	3.0	10.0	0.0%	0		1.25s	224	12	0
Step 3.7 Flash	3.0	10.0	0.0%	0		149.34s	222	147,476	0

Schnellvergleich

Vergleichspaar wechseln