Baseten
Veröffentlichung: 2026-10-24
Getestet am: 2026-10-24 15:07
baseten/mammoth-1::none
27BDichtOpen Source Zusammenfassung
Mammoth 1 erreicht 2.2 bei AI BENCHY und liegt auf #442. Das Modell hat 8.9 Zuverlässigkeit, 18.8% Erfolgsrate, $0.000 Gesamtkosten und 1.80s durchschnittliche Antwortzeit.
Was Mammoth 1 besonders macht: Am stärksten ist es in Programmierung, wo es #1 erreicht; am schwächsten ist Datenanalyse und -extraktion mit #13. Die Benchmark-Gesamtkosten sind für diese Leistungsklasse ungewöhnlich niedrig.
Modelldaten
Recherchiert am 2026-10-24
- Parameter
- 27B
- Architektur
- Dicht
- Verfügbarkeit
- Open Source
- Lizenz
- MIT
2.2
Konsistenz
4.2
Gesamte Ausgabe-Token
54
Gesamte Eingabe-Token
45,468
Eingabepreis
$0.000 / 1M
Ausgabepreis
$0.000 / 1M
Preis für Cache-Lesen
k. A.
Preis für Cache-Schreiben
k. A.
Cache-Preise gelten für Eingabetokens. Lesen nutzt gespeicherte Prompts erneut; Schreiben speichert sie und kann mehr kosten. Für Ausgabetokens gilt der Ausgabepreis.
Falsche Tests: 9
Erfolgsquote pro Versuch: 18.8%
Benchmark-Abdeckung: 36/69 Versuche. Adapter liefern die Auswahlmöglichkeiten. Unterstützt 12/23 Tests. Andere Tests werden nicht unterstützt und gelten nicht als fehlgeschlagen. Die Bewertung nutzt die gesamte Testsuite.
Instabile Tests
3
Instabile Tests hatten gemischte Ergebnisse über Läufe hinweg (mindestens ein Erfolg und ein Fehlschlag).
Diagramme
Wähle zuerst das erste Modell und klicke dann ein zweites Modell, um eine Seite im direkten Vergleich zu öffnen.
Punktzahl vs Gesamtkosten
Antwortzeit (Durchschnitt)
Punktzahl vs Antwortzeit (Durchschnitt)
Gesamte Ausgabe-Token
Punktzahl vs Gesamte Ausgabe-Token
Schnellvergleich
Mammoth 1defaultKostenlos verfügbarvsJev 1.14defaultMammoth 1defaultKostenlos verfügbarvsClassify-1defaultMammoth 1defaultKostenlos verfügbarvsKev 4BdefaultMammoth 1defaultKostenlos verfügbarvsClef OmnidefaultMammoth 1defaultKostenlos verfügbarvsGPT-6 Luna DecisionsdefaultMammoth 1defaultKostenlos verfügbarvsDecider Flash V1.2defaultMammoth 1defaultKostenlos verfügbarvsDrex v1.5defaultMammoth 1defaultKostenlos verfügbarvsD1defaultMammoth 1defaultKostenlos verfügbarvsDecider V1.1 27BdefaultMammoth 1defaultKostenlos verfügbarvsGemini 3 Flash Previewhigh
Kategorieaufschlüsselung
| Kategorie | Punktzahl | Konsistenz | Korrekte Tests |
|---|---|---|---|
| Agentenaufgaben | 0.0 | 0.0 | |
| Anti-KI-Tricks | 4.0 | 7.5 | |
| Programmierung | 4.9 | 6.7 | |
| Kombiniert | 0.0 | 0.0 | |
| Datenanalyse und -extraktion | 3.7 | 1.7 | |
| Domänenspezifisch | 5.3 | 10.0 | |
| Allgemeine Intelligenz | 0.0 | 0.0 | |
| Befolgung von Anweisungen | 1.5 | 5.0 | |
| Rätsellösen | 1.6 | 1.0 | |
| Werkzeugaufrufe | 0.0 | 0.0 | |
| Allgemeinwissen | 0.0 | 0.0 |