Baseten
रिलीज़: 2026-10-24
परीक्षण किया गया: 2026-10-24 15:07
baseten/mammoth-1::none
27Bसघनमुक्त स्रोत सारांश
Mammoth 1 AI BENCHY पर 2.2 स्कोर करता है और #442 पर है। इसकी reliability 8.9, pass rate 18.8%, कुल लागत $0.000, और औसत response time 1.80s है।
Mammoth 1 को अलग क्या बनाता है: यह कोडिंग में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि डेटा पार्सिंग और निष्कर्षण इसकी सबसे कमजोर जगह है, जहाँ यह #13 पर है। इस score range के लिए इसकी कुल benchmark लागत असामान्य रूप से कम है।
मॉडल विवरण
शोध की तारीख: 2026-10-24
- पैरामीटर
- 27B
- आर्किटेक्चर
- सघन
- उपलब्धता
- मुक्त स्रोत
- लाइसेंस
- MIT
2.2
संगति
4.2
8.9
$0.000
कुल आउटपुट टोकन
54
कुल इनपुट टोकन
45,468
इनपुट कीमत
$0.000 / 1M
आउटपुट कीमत
$0.000 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
गलत टेस्ट: 9
प्रति प्रयास पास दर: 18.8%
बेंचमार्क कवरेज: 36/69 प्रयास. विकल्प अडैप्टर देते हैं। 12/23 परीक्षण समर्थित हैं। अन्य परीक्षण असमर्थित हैं, विफल नहीं। स्कोर पूरे परीक्षण समूह पर आधारित है।
अस्थिर टेस्ट
3
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
चार्ट
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
स्कोर vs कुल लागत
प्रतिक्रिया समय (औसत)
स्कोर vs प्रतिक्रिया समय (औसत)
कुल आउटपुट टोकन
स्कोर vs कुल आउटपुट टोकन
त्वरित तुलना
Mammoth 1defaultनिःशुल्क उपलब्धvsJev 1.14defaultMammoth 1defaultनिःशुल्क उपलब्धvsClassify-1defaultMammoth 1defaultनिःशुल्क उपलब्धvsKev 4BdefaultMammoth 1defaultनिःशुल्क उपलब्धvsClef OmnidefaultMammoth 1defaultनिःशुल्क उपलब्धvsGPT-6 Luna DecisionsdefaultMammoth 1defaultनिःशुल्क उपलब्धvsDecider Flash V1.2defaultMammoth 1defaultनिःशुल्क उपलब्धvsDrex v1.5defaultMammoth 1defaultनिःशुल्क उपलब्धvsD1defaultMammoth 1defaultनिःशुल्क उपलब्धvsDecider V1.1 27BdefaultMammoth 1defaultनिःशुल्क उपलब्धvsGemini 3 Flash Previewhigh
श्रेणी विवरण
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| स्वायत्त एजेंट कार्य | 0.0 | 0.0 | |
| एंटी-एआई ट्रिक्स | 4.0 | 7.5 | |
| कोडिंग | 4.9 | 6.7 | |
| संयुक्त | 0.0 | 0.0 | |
| डेटा पार्सिंग और निष्कर्षण | 3.7 | 1.7 | |
| डोमेन-विशिष्ट | 5.3 | 10.0 | |
| Samanya Buddhimatta | 0.0 | 0.0 | |
| निर्देश पालन | 1.5 | 5.0 | |
| पहेली समाधान | 1.6 | 1.0 | |
| टूल कॉलिंग | 0.0 | 0.0 | |
| सामान्य ज्ञान | 0.0 | 0.0 |