Baseten
Sortie: 2026-10-24
Testé le: 2026-10-24 15:07
baseten/mammoth-1::none
27BDenseOpen source Résumé
Mammoth 1 obtient 2.2 sur AI BENCHY et se classe #442. Il affiche une fiabilité de 8.9, un taux de réussite de 18.8%, un coût total de $0.000 et un temps de réponse moyen de 1.80s.
Ce qui rend Mammoth 1 unique : Il se distingue surtout en Programmation, où il se classe #1, tandis que Analyse et extraction des données est son point le plus faible avec #13. Son coût total de benchmark est inhabituellement bas pour son niveau de score.
Données du modèle
Date de recherche : 2026-10-24
- Paramètres
- 27B
- Architecture
- Dense
- Disponibilité
- Open source
- Licence
- MIT
2.2
Cohérence
4.2
8.9
$0.000
Total des jetons de sortie
54
Total des jetons d'entrée
45,468
Prix d'entrée
$0.000 / 1M
Prix de sortie
$0.000 / 1M
Prix de lecture du cache
N/D
Prix d’écriture du cache
N/D
Les prix du cache concernent les tokens d’entrée. La lecture réutilise les prompts en cache ; l’écriture les stocke et peut coûter plus cher. Les tokens de sortie utilisent le prix de sortie.
Tests incorrects: 9
Taux de réussite par tentative: 18.8%
Couverture du benchmark: 36/69 tentatives. Les adaptateurs fournissent les choix. 12/23 tests sont pris en charge. Les autres sont incompatibles, pas échoués. Le score utilise la suite complète.
Tests instables
3
Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).
Graphiques
Choisissez d'abord le premier modèle, puis cliquez sur un second modèle pour ouvrir une page côte à côte.
Score vs Coût total
Temps de réponse (moy.)
Score vs Temps de réponse (moy.)
Total des jetons de sortie
Score vs Total des jetons de sortie
Comparaison rapide
Mammoth 1defaultDisponible gratuitementvsJev 1.14defaultMammoth 1defaultDisponible gratuitementvsClassify-1defaultMammoth 1defaultDisponible gratuitementvsKev 4BdefaultMammoth 1defaultDisponible gratuitementvsClef OmnidefaultMammoth 1defaultDisponible gratuitementvsGPT-6 Luna DecisionsdefaultMammoth 1defaultDisponible gratuitementvsDecider Flash V1.2defaultMammoth 1defaultDisponible gratuitementvsDrex v1.5defaultMammoth 1defaultDisponible gratuitementvsD1defaultMammoth 1defaultDisponible gratuitementvsDecider V1.1 27BdefaultMammoth 1defaultDisponible gratuitementvsGemini 3 Flash Previewhigh
Répartition par catégorie
| Catégorie | Score | Cohérence | Tests corrects |
|---|---|---|---|
| Tâches agentiques | 0.0 | 0.0 | |
| Astuces anti-IA | 4.0 | 7.5 | |
| Programmation | 4.9 | 6.7 | |
| Combiné | 0.0 | 0.0 | |
| Analyse et extraction des données | 3.7 | 1.7 | |
| Spécifique au domaine | 5.3 | 10.0 | |
| Intelligence générale | 0.0 | 0.0 | |
| Suivi des instructions | 1.5 | 5.0 | |
| Résolution d'énigmes | 1.6 | 1.0 | |
| Appel d'outils | 0.0 | 0.0 | |
| Culture générale | 0.0 | 0.0 |