Baseten
Lansare: 2026-10-24
Testat la: 2026-10-24 15:07
baseten/mammoth-1::none
27BDensSursă deschisă Rezumat
Mammoth 1 obține 2.2 pe AI BENCHY și este pe #442. Are fiabilitate 8.9, rată de reușită 18.8%, cost total $0.000 și timp mediu de răspuns 1.80s.
Ce face Mammoth 1 unic: Se remarcă cel mai mult la Programare, unde este pe #1, iar Parsare și extragere de date este zona cea mai slabă, la #13. Costul total al benchmarkului este neobișnuit de mic pentru acest nivel de scor.
Date despre model
Documentat la 2026-10-24
- Parametri
- 27B
- Arhitectură
- Dens
- Disponibilitate
- Sursă deschisă
- Licență
- MIT
2.2
Consistență
4.2
8.9
$0.000
Total tokenuri de ieșire
54
Total tokenuri de intrare
45,468
Preț de intrare
$0.000 / 1M
Preț de ieșire
$0.000 / 1M
Preț citire cache
N/D
Preț scriere cache
N/D
Prețurile de cache se aplică tokenurilor de intrare. Citirea reutilizează prompturi salvate; scrierea le stochează și poate costa în plus. Tokenurile de ieșire folosesc prețul de ieșire.
Teste greșite: 9
Rată de trecere pe încercare: 18.8%
Acoperire benchmark: 36/69 încercări. Adaptoarele oferă variantele de răspuns. Acceptă 12/23 teste. Celelalte teste sunt incompatibile, nu eșuate. Scorul folosește suita completă.
Teste instabile
3
Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).
Grafice
Alege primul model, apoi fă clic pe al doilea model pentru a deschide o pagină alăturată.
Scor vs Cost total
Timp de răspuns (mediu)
Scor vs Timp de răspuns (mediu)
Total tokenuri de ieșire
Scor vs Total tokenuri de ieșire
Comparație rapidă
Mammoth 1defaultDisponibil gratuitvsJev 1.14defaultMammoth 1defaultDisponibil gratuitvsClassify-1defaultMammoth 1defaultDisponibil gratuitvsKev 4BdefaultMammoth 1defaultDisponibil gratuitvsClef OmnidefaultMammoth 1defaultDisponibil gratuitvsGPT-6 Luna DecisionsdefaultMammoth 1defaultDisponibil gratuitvsDecider Flash V1.2defaultMammoth 1defaultDisponibil gratuitvsDrex v1.5defaultMammoth 1defaultDisponibil gratuitvsD1defaultMammoth 1defaultDisponibil gratuitvsDecider V1.1 27BdefaultMammoth 1defaultDisponibil gratuitvsGemini 3 Flash Previewhigh
Defalcare pe categorii
| Categorie | Scor | Consistență | Teste corecte |
|---|---|---|---|
| Sarcini agentice | 0.0 | 0.0 | |
| Trucuri anti-AI | 4.0 | 7.5 | |
| Programare | 4.9 | 6.7 | |
| Combinat | 0.0 | 0.0 | |
| Parsare și extragere de date | 3.7 | 1.7 | |
| Specific domeniului | 5.3 | 10.0 | |
| Inteligență generală | 0.0 | 0.0 | |
| Respectarea instrucțiunilor | 1.5 | 5.0 | |
| Rezolvare de puzzle-uri | 1.6 | 1.0 | |
| Apelare instrumente | 0.0 | 0.0 | |
| Cultură generală | 0.0 | 0.0 |