Baseten
Toleo: 2026-10-24
Imepimwa tarehe: 2026-10-24 15:07
baseten/mammoth-1::none
27BMneneChanzo huria Muhtasari
Mammoth 1 hupata alama 2.2 kwenye AI BENCHY na iko nafasi ya #442. Ina reliability 8.9, pass rate 18.8%, gharama jumla $0.000, na wastani wa response time 1.80s.
Kinachofanya Mammoth 1 iwe ya kipekee: Inaonekana zaidi kwenye Uandishi wa msimbo, ambako iko #1; huku Uchanganuzi na uchimbaji wa data ikiwa eneo lake dhaifu zaidi kwenye #13. Gharama yake ya benchmark ni ya chini isivyo kawaida kwa kiwango hiki cha score.
Taarifa za modeli
Ilifanyiwa utafiti tarehe 2026-10-24
- Vigezo
- 27B
- Muundo
- Mnene
- Upatikanaji
- Chanzo huria
- Leseni
- MIT
2.2
Uthabiti
4.2
8.9
Jumla ya tokeni za matokeo
54
Jumla ya tokeni za ingizo
45,468
Bei ya ingizo
$0.000 / 1M
Bei ya toleo
$0.000 / 1M
Bei ya kusoma akiba
Haipo
Bei ya kuandika akiba
Haipo
Bei za akiba zinahusu tokeni za ingizo. Kusoma hutumia tena maelekezo yaliyohifadhiwa; kuandika huyahifadhi na kunaweza kuongeza gharama. Tokeni za matokeo hutumia bei ya matokeo.
Majaribio yenye makosa: 9
Kiwango cha kupita kwa kila jaribio: 18.8%
Ufunikaji wa benchmark: marudio 36/69. Adapta hutoa chaguo. Inasaidia majaribio 12/23. Majaribio mengine hayatumiki, hayajahesabiwa kama kushindwa. Alama hutumia kundi lote la majaribio.
Majaribio yasiyo thabiti
3
Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).
Chati
Chagua modeli ya kwanza, kisha bofya modeli ya pili kufungua ukurasa wa kulinganisha bega kwa bega.
Alama vs Jumla ya gharama
Muda wa majibu (wastani)
Alama vs Muda wa majibu (wastani)
Jumla ya tokeni za matokeo
Alama vs Jumla ya tokeni za matokeo
Ulinganisho wa haraka
Mammoth 1defaultInapatikana burevsJev 1.14defaultMammoth 1defaultInapatikana burevsClassify-1defaultMammoth 1defaultInapatikana burevsKev 4BdefaultMammoth 1defaultInapatikana burevsClef OmnidefaultMammoth 1defaultInapatikana burevsGPT-6 Luna DecisionsdefaultMammoth 1defaultInapatikana burevsDecider Flash V1.2defaultMammoth 1defaultInapatikana burevsDrex v1.5defaultMammoth 1defaultInapatikana burevsD1defaultMammoth 1defaultInapatikana burevsDecider V1.1 27BdefaultMammoth 1defaultInapatikana burevsGemini 3 Flash Previewhigh
Mgawanyo wa kategoria
| Kategoria | Alama | Uthabiti | Majaribio sahihi |
|---|---|---|---|
| Kazi za mawakala | 0.0 | 0.0 | |
| Mbinu za kupinga AI | 4.0 | 7.5 | |
| Uandishi wa msimbo | 4.9 | 6.7 | |
| Mchanganyiko | 0.0 | 0.0 | |
| Uchanganuzi na uchimbaji wa data | 3.7 | 1.7 | |
| Mahususi kwa domeni | 5.3 | 10.0 | |
| Akili ya jumla | 0.0 | 0.0 | |
| Ufuataji wa maagizo | 1.5 | 5.0 | |
| Utatuzi wa mafumbo | 1.6 | 1.0 | |
| Mwito wa zana | 0.0 | 0.0 | |
| Maarifa ya jumla | 0.0 | 0.0 |