Baseten
প্রকাশ: 2026-10-24
পরীক্ষিত হয়েছে: 2026-10-24 15:07
baseten/mammoth-1::none
27Bঘনউন্মুক্ত উৎস সারাংশ
Mammoth 1 AI BENCHY-তে 2.2 স্কোর করে এবং #442 স্থানে আছে। এর reliability 8.9, pass rate 18.8%, মোট খরচ $0.000, এবং গড় response time 1.80s.
Mammoth 1 কে আলাদা করে যা: এটি কোডিং-তে সবচেয়ে ভালোভাবে নজর কাড়ে, যেখানে এর rank #1; আর ডেটা পার্সিং ও নিষ্কাশন এর দুর্বলতম ক্ষেত্র, rank #13. এই score range-এর জন্য মোট benchmark খরচ অস্বাভাবিকভাবে কম।
মডেলের তথ্য
গবেষণার তারিখ: 2026-10-24
- প্যারামিটার
- 27B
- আর্কিটেকচার
- ঘন
- উপলভ্যতা
- উন্মুক্ত উৎস
- লাইসেন্স
- MIT
2.2
ধারাবাহিকতা
4.2
$0.000
মোট আউটপুট টোকেন
54
মোট ইনপুট টোকেন
45,468
ইনপুট মূল্য
$0.000 / 1M
আউটপুট মূল্য
$0.000 / 1M
ক্যাশ পড়ার মূল্য
প্রযোজ্য নয়
ক্যাশ লেখার মূল্য
প্রযোজ্য নয়
ক্যাশের মূল্য ইনপুট টোকেনের জন্য প্রযোজ্য। পড়ার সময় ক্যাশ করা প্রম্পট আবার ব্যবহার হয়; লেখার সময় সেগুলি সংরক্ষিত হয় এবং বাড়তি খরচ হতে পারে। আউটপুট টোকেনের জন্য আউটপুট মূল্য প্রযোজ্য।
ভুল টেস্ট: 9
প্রতি চেষ্টায় পাস রেট: 18.8%
বেঞ্চমার্ক কভারেজ: 36/69 প্রচেষ্টা. অ্যাডাপ্টার বিকল্প সরবরাহ করে। 12/23টি পরীক্ষা সমর্থিত। অন্য পরীক্ষাগুলো অসমর্থিত, ব্যর্থ নয়। স্কোর সম্পূর্ণ পরীক্ষাসেটের ভিত্তিতে গণনা করা হয়।
অস্থির টেস্ট
3
অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।
চার্ট
প্রথম মডেলটি নির্বাচন করুন, তারপর দ্বিতীয় মডেলে ক্লিক করে পাশাপাশি তুলনা পৃষ্ঠা খুলুন।
স্কোর vs মোট খরচ
প্রতিক্রিয়া সময় (গড়)
স্কোর vs প্রতিক্রিয়া সময় (গড়)
মোট আউটপুট টোকেন
স্কোর vs মোট আউটপুট টোকেন
দ্রুত তুলনা
Mammoth 1defaultবিনামূল্যে উপলভ্যvsJev 1.14defaultMammoth 1defaultবিনামূল্যে উপলভ্যvsClassify-1defaultMammoth 1defaultবিনামূল্যে উপলভ্যvsKev 4BdefaultMammoth 1defaultবিনামূল্যে উপলভ্যvsClef OmnidefaultMammoth 1defaultবিনামূল্যে উপলভ্যvsGPT-6 Luna DecisionsdefaultMammoth 1defaultবিনামূল্যে উপলভ্যvsDecider Flash V1.2defaultMammoth 1defaultবিনামূল্যে উপলভ্যvsDrex v1.5defaultMammoth 1defaultবিনামূল্যে উপলভ্যvsD1defaultMammoth 1defaultবিনামূল্যে উপলভ্যvsDecider V1.1 27BdefaultMammoth 1defaultবিনামূল্যে উপলভ্যvsGemini 3 Flash Previewhigh
বিভাগভিত্তিক বিশ্লেষণ
| বিভাগ | স্কোর | ধারাবাহিকতা | সঠিক টেস্ট |
|---|---|---|---|
| স্বায়ত্তশাসিত এজেন্টের কাজ | 0.0 | 0.0 | |
| অ্যান্টি-এআই কৌশল | 4.0 | 7.5 | |
| কোডিং | 4.9 | 6.7 | |
| সমন্বিত | 0.0 | 0.0 | |
| ডেটা পার্সিং ও নিষ্কাশন | 3.7 | 1.7 | |
| ডোমেইন-নির্দিষ্ট | 5.3 | 10.0 | |
| Sadharon Buddhimotta | 0.0 | 0.0 | |
| নির্দেশনা অনুসরণ | 1.5 | 5.0 | |
| ধাঁধা সমাধান | 1.6 | 1.0 | |
| টুল কলিং | 0.0 | 0.0 | |
| সাধারণ জ্ঞান | 0.0 | 0.0 |