AI BENCHY Compare

Google: Gemini 3.5 Flash vs IBM: Granite 4.1 8B

Zusammenfassung

Gemini 3.5 Flash vs Granite 4.1 8B Benchmark-Vergleich: Gemini 3.5 Flash führt beim Durchschnittsscore mit 9.8 vs 4.0. Granite 4.1 8B hat die niedrigeren Benchmark-Kosten mit $0.003 vs $1.115. Granite 4.1 8B ist schneller mit 728ms vs 8.84s, mit Erfolgsraten von 96.8% vs 9.5%.

Empfohlenes Modell: Granite 4.1 8B - Es bietet den besten Gesamtkompromiss: wettbewerbsfähige Punktzahl (4.0), niedrigere Kosten als Gemini 3.5 Flash und ausgewogene Antwortzeit.

Benchmarks aus AI BENCHY-Test-Suites generiert am: 2026-06-12

Metrik	Gemini 3.5 Flash Gemini 3.5 Flash high Veröffentlichung: 2026-05-19	Granite 4.1 8B Granite 4.1 8B none Veröffentlichung: 2026-05-01

Metrik	Gemini 3.5 Flash Gemini 3.5 Flash high Veröffentlichung: 2026-05-19	Granite 4.1 8B Granite 4.1 8B none Veröffentlichung: 2026-05-01
Punktzahl	9.8	4.0
Rang	#1	#163
Zuverlässigkeit	10.0	10.0
Konsistenz	9.6	10.0
Korrekte Tests
Erfolgsquote pro Versuch	96.8%	9.5%
Instabile Tests	1	0
Gesamtläufe	63	63
Kosten pro Ergebnis	5.575	0.131
Gesamtkosten	$1.115	$0.003
Eingabepreis	$1.500 / 1M	$0.050 / 1M
Ausgabepreis	$9.000 / 1M	$0.100 / 1M
Gesamte Eingabe-Token	37,594	46,285
Ausgabe-Token	1,975	2,911
Denk-Token	115,638	0
Antwortzeit (Durchschnitt)	8.84s	728ms
Antwortzeit (Maximum)	34.82s	2.17s
Antwortzeit (Gesamt)	185.57s	15.29s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#1 Gemini 3.5 Flash

high

Cost: $0.208
Time: 118.2s
Tokens: 23,158 tok

#163 IBM: Granite 4.1 8B

none

Cost: $0.001
Time: 3.2s
Tokens: 491 tok

Top-Modelle nach Score

Score vs. Gesamtkosten

Antwortzeit (Durchschnitt)

Punktzahl vs Antwortzeit (Durchschnitt)

Gesamte Ausgabe-Token

Punktzahl vs Gesamte Ausgabe-Token

Kategorieaufschlüsselung

Anti-KI-Tricks	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemini 3.5 Flash	10.0	10.0	100.0%	0		2.57s	492	174	4,997
Granite 4.1 8B	4.9	10.0	25.0%	0		844ms	645	903	0

Programmierung	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemini 3.5 Flash	10.0	10.0	100.0%	0		22.96s	8,118	456	47,129
Granite 4.1 8B	4.5	10.0	0.0%	0		775ms	8,344	525	0

Kombiniert	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemini 3.5 Flash	10.0	10.0	100.0%	0		22.37s	12,873	351	16,323
Granite 4.1 8B	3.0	10.0	0.0%	0		1.88s	19,089	396	0

Datenanalyse und -extraktion	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemini 3.5 Flash	10.0	10.0	100.0%	0		6.43s	7,548	279	8,466
Granite 4.1 8B	3.0	10.0	0.0%	0		575ms	7,617	195	0

Domänenspezifisch	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemini 3.5 Flash	7.6	7.2	77.8%	1		14.09s	633	12	24,721
Granite 4.1 8B	3.0	10.0	0.0%	0		357ms	768	24	0

Allgemeine Intelligenz	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.63s	486	115	1,650
Granite 4.1 8B	4.0	10.0	0.0%	0		499ms	528	115	0

Befolgung von Anweisungen	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.35s	615	70	3,799
Granite 4.1 8B	3.6	9.9	0.0%	0		344ms	687	66	0

Rätsellösen	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.23s	558	241	4,940
Granite 4.1 8B	3.2	10.0	0.0%	0		608ms	672	432	0

Werkzeugaufrufe	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemini 3.5 Flash	9.8	10.0	100.0%	0		4.96s	6,115	265	1,608
Granite 4.1 8B	10.0	10.0	100.0%	0		2.17s	7,719	243	0

Allgemeinwissen	Punktzahl	Konsistenz	Erfolgsquote pro Versuch	Instabile Tests	Korrekte Tests	Antwortzeit (Durchschnitt)	Eingabe-Token	Ausgabe-Token	Denk-Token
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.94s	156	12	2,005
Granite 4.1 8B	3.0	10.0	0.0%	0		306ms	216	12	0

Schnellvergleich

Vergleichspaar wechseln

Granite 4.1 8BnonevsQwen3.5-9Bmedium Granite 4.1 8BnonevsGLM 4.7 Flashmedium Gemini 3.5 FlashhighvsQwen3.7 Maxmedium Gemini 3.5 FlashhighvsGPT-5.5low Claude Fable 5mediumvsGemini 3.5 Flashhigh Granite 4.1 8BnonevsQwen3 Coder Nextmedium Granite 4.1 8BnonevsMiniMax M2.5medium Gemini 3.5 FlashhighvsGPT-5.5medium Gemini 3.5 FlashhighvsGPT-5.3-Codexmedium CobuddymediumvsGranite 4.1 8Bnone Gemini 3.5 FlashhighvsQwen3.6 Max Previewmedium Claude Opus 4.8mediumvsGemini 3.5 Flashhigh