Baseten
Rilis: 2026-10-24
Diuji pada: 2026-10-24 15:07
baseten/mammoth-1::none
27BPadatSumber terbuka Ringkasan
Mammoth 1 mendapat skor 2.2 di AI BENCHY dan berada di peringkat #442. Model ini memiliki reliabilitas 8.9, tingkat keberhasilan 18.8%, total biaya $0.000, dan waktu respons rata-rata 1.80s.
Yang membuat Mammoth 1 unik: Model ini paling menonjol di Pemrograman, dengan peringkat #1, sementara Parsing dan ekstraksi data adalah area terlemahnya di #13. Total biaya benchmark-nya sangat rendah untuk kisaran skornya.
Fakta model
Ditelaah pada 2026-10-24
- Parameter
- 27B
- Arsitektur
- Padat
- Ketersediaan
- Sumber terbuka
- Lisensi
- MIT
2.2
Konsistensi
4.2
8.9
$0.000
Total token output
54
Total token input
45,468
Harga input
$0.000 / 1M
Harga output
$0.000 / 1M
Harga baca cache
T/A
Harga tulis cache
T/A
Harga cache berlaku untuk token input. Pembacaan memakai kembali prompt tersimpan; penulisan menyimpannya dan dapat menambah biaya. Token output menggunakan harga output.
Tes Salah: 9
Tingkat lulus per percobaan: 18.8%
Cakupan benchmark: 36/69 percobaan. Adaptor menyediakan pilihan. Mendukung 12/23 pengujian. Pengujian lain tidak didukung, bukan gagal. Skor memakai seluruh rangkaian.
Tes tidak stabil
3
Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).
Grafik
Pilih model pertama, lalu klik model kedua untuk membuka halaman berdampingan.
Skor vs Total Biaya
Waktu respons (rata-rata)
Skor vs Waktu respons (rata-rata)
Total token output
Skor vs Total token output
Perbandingan Cepat
Mammoth 1defaultTersedia gratisvsJev 1.14defaultMammoth 1defaultTersedia gratisvsClassify-1defaultMammoth 1defaultTersedia gratisvsKev 4BdefaultMammoth 1defaultTersedia gratisvsClef OmnidefaultMammoth 1defaultTersedia gratisvsGPT-6 Luna DecisionsdefaultMammoth 1defaultTersedia gratisvsDecider Flash V1.2defaultMammoth 1defaultTersedia gratisvsDrex v1.5defaultMammoth 1defaultTersedia gratisvsD1defaultMammoth 1defaultTersedia gratisvsDecider V1.1 27BdefaultMammoth 1defaultTersedia gratisvsGemini 3 Flash Previewhigh
Rincian Kategori
| Kategori | Skor | Konsistensi | Tes benar |
|---|---|---|---|
| Tugas agen | 0.0 | 0.0 | |
| Trik anti-AI | 4.0 | 7.5 | |
| Pemrograman | 4.9 | 6.7 | |
| Gabungan | 0.0 | 0.0 | |
| Parsing dan ekstraksi data | 3.7 | 1.7 | |
| Spesifik domain | 5.3 | 10.0 | |
| Kecerdasan umum | 0.0 | 0.0 | |
| Kepatuhan instruksi | 1.5 | 5.0 | |
| Pemecahan teka-teki | 1.6 | 1.0 | |
| Pemanggilan alat | 0.0 | 0.0 | |
| Pengetahuan umum | 0.0 | 0.0 |