AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#48

Gemma 4 26B A4B

Google Lansare: 2026-04-03 Testat la: 2026-05-22 00:42 google/gemma-4-26b-a4b-it::medium
25.2B în total (3.8B activi)MoESursă deschisă
(medium) (none)

Rezumat

Gemma 4 26B A4B obține 7.5 pe AI BENCHY și este pe #48. Are fiabilitate 10.0, rată de reușită 70.0%, cost total $0.045 și timp mediu de răspuns 51.35s.

Ce face Gemma 4 26B A4B unic: Se remarcă cel mai mult la Respectarea instrucțiunilor, unde este pe #1, iar Programare este zona cea mai slabă, la #18. Costul total al benchmarkului este neobișnuit de mic pentru acest nivel de scor.

Date despre model

Documentat la 2026-08-12

Raportat
Parametri
25.2B în total (3.8B activi)
Arhitectură
MoE
Disponibilitate
Sursă deschisă
Licență
Apache-2.0

Scor

7.5

Consistență

8.8

Total tokenuri de ieșire

111,029

Total tokenuri de intrare

0

Preț de intrare

$0.060 / 1M

Preț de ieșire

$0.330 / 1M

Teste corecte

Teste greșite: 7

Rată de trecere pe încercare: 70.0%

Teste instabile

3

Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).

Timp de răspuns (mediu)

51.35s

Timp de răspuns (maxim): 369.32s

Timp de răspuns (total): 975.67s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#48 Gemma 4 26B A4B

medium
SVG invalid
Cost
$0.000
Timp
300.0s
Tokenuri
0 tok

Istoric rulări

Testat la Scor Fiabilitate Teste corecte Cost total Compară
2026-08-14 02:53 Retestare 6.8 10.0 $0.111 Compară
2026-07-16 23:43 Test nou adăugat 6.6 9.4 $0.082 Compară
2026-06-04 14:22 Test nou adăugat 7.6 8.9 $0.045 Compară
2026-05-22 00:42 Suită modificată 7.5 10.0 $0.045 Rularea curentă
2026-04-22 21:39 Prima rulare înregistrată 8.0 N/D $0.028 Compară

Această rulare a folosit o suită de benchmark diferită. Ține cont de schimbările suitei când interpretezi evoluția istorică.

Grafice

Alege primul model, apoi fă clic pe al doilea model pentru a deschide o pagină alăturată.

Total tokenuri de ieșire

Scor vs Total tokenuri de ieșire

Comparație rapidă

Defalcare pe categorii

Categorie Scor Consistență Teste corecte
Trucuri anti-AI 10.0 10.0
Programare 2.9 10.0
Combinat 9.6 10.0
Parsare și extragere de date 10.0 10.0
Specific domeniului 2.9 4.4
Inteligență generală 10.0 10.0
Respectarea instrucțiunilor 10.0 10.0
Rezolvare de puzzle-uri 7.7 7.3
Apelare instrumente 10.0 10.0
Cultură generală 3.0 10.0

Modele comparate