Baseten
Releasedatum: 2026-10-24
Getest op: 2026-10-24 15:07
baseten/mammoth-1::none
27BDichtOpen-source Samenvatting
Mammoth 1 scoort 2.2 op AI BENCHY en staat op #442. Het model heeft 8.9 betrouwbaarheid, een slagingspercentage van 18.8%, $0.000 totale kosten en 1.80s gemiddelde responstijd.
Wat Mammoth 1 uniek maakt: Het valt het meest op in Programmeren, waar het #1 staat, terwijl Gegevensparsering en extractie het zwakste gebied is met #13. De totale benchmarkkosten zijn ongewoon laag voor dit scoreniveau.
Modelgegevens
Onderzocht op 2026-10-24
- Parameters
- 27B
- Architectuur
- Dicht
- Beschikbaarheid
- Open-source
- Licentie
- MIT
2.2
Consistentie
4.2
Totaal aantal uitvoer-tokens
54
Totaal aantal invoer-tokens
45,468
Invoerprijs
$0.000 / 1M
Uitvoerprijs
$0.000 / 1M
Prijs voor cachelezen
n.v.t.
Prijs voor cacheschrijven
n.v.t.
Cacheprijzen gelden voor invoertokens. Lezen hergebruikt opgeslagen prompts; schrijven slaat ze op en kan extra kosten. Voor uitvoertokens geldt de uitvoerprijs.
Foute tests: 9
Slaagpercentage per poging: 18.8%
Benchmarkdekking: 36/69 pogingen. Adapters leveren de keuzes. Ondersteunt 12/23 tests. Andere tests worden niet ondersteund en tellen niet als mislukt. De score gebruikt de volledige testreeks.
Instabiele tests
3
Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).
Grafieken
Kies eerst het eerste model en klik daarna op een tweede model om een zij-aan-zijpagina te openen.
Score vs Totale kosten
Responstijd (gem.)
Score vs Responstijd (gem.)
Totaal aantal uitvoer-tokens
Score vs Totaal aantal uitvoer-tokens
Snelle vergelijking
Mammoth 1defaultGratis beschikbaarvsJev 1.14defaultMammoth 1defaultGratis beschikbaarvsClassify-1defaultMammoth 1defaultGratis beschikbaarvsKev 4BdefaultMammoth 1defaultGratis beschikbaarvsClef OmnidefaultMammoth 1defaultGratis beschikbaarvsGPT-6 Luna DecisionsdefaultMammoth 1defaultGratis beschikbaarvsDecider Flash V1.2defaultMammoth 1defaultGratis beschikbaarvsDrex v1.5defaultMammoth 1defaultGratis beschikbaarvsD1defaultMammoth 1defaultGratis beschikbaarvsDecider V1.1 27BdefaultMammoth 1defaultGratis beschikbaarvsGemini 3 Flash Previewhigh
Categorie-uitsplitsing
| Categorie | Score | Consistentie | Correcte tests |
|---|---|---|---|
| Agenttaken | 0.0 | 0.0 | |
| Anti-AI-trucs | 4.0 | 7.5 | |
| Programmeren | 4.9 | 6.7 | |
| Gecombineerd | 0.0 | 0.0 | |
| Gegevensparsering en extractie | 3.7 | 1.7 | |
| Domeinspecifiek | 5.3 | 10.0 | |
| Algemene intelligentie | 0.0 | 0.0 | |
| Instructies opvolgen | 1.5 | 5.0 | |
| Puzzeloplossing | 1.6 | 1.0 | |
| Toolaanroepen | 0.0 | 0.0 | |
| Algemene kennis | 0.0 | 0.0 |