Baseten
اجرا: 2026-10-24
ٹیسٹ کیا گیا: 2026-10-24 15:07
baseten/mammoth-1::none
27Bگنجانکھلا ماخذ خلاصہ
Mammoth 1 AI BENCHY پر 2.2 اسکور کرتا ہے اور #442 پر ہے۔ اس کی reliability 8.9، pass rate 18.8%، کل لاگت $0.000، اور اوسط response time 1.80s ہے۔
Mammoth 1 کو منفرد کیا بناتا ہے: یہ کوڈنگ میں سب سے نمایاں ہے، جہاں اس کا rank #1 ہے؛ جبکہ ڈیٹا پارسنگ اور استخراج اس کا کمزور ترین حصہ ہے، rank #13. اس score range کے لیے اس کی کل benchmark لاگت غیر معمولی طور پر کم ہے۔
ماڈل کی تفصیلات
تحقیق کی تاریخ: 2026-10-24
- پیرامیٹرز
- 27B
- ساخت
- گنجان
- دستیابی
- کھلا ماخذ
- لائسنس
- MIT
2.2
تسلسل
4.2
8.9
$0.000
کل آؤٹ پٹ ٹوکنز
54
کل ان پٹ ٹوکنز
45,468
ان پٹ قیمت
$0.000 / 1M
آؤٹ پٹ قیمت
$0.000 / 1M
کیش پڑھنے کی قیمت
دستیاب نہیں
کیش میں لکھنے کی قیمت
دستیاب نہیں
کیش کی قیمتیں ان پٹ ٹوکنز پر لاگو ہوتی ہیں۔ پڑھنے سے محفوظ پرامپٹ دوبارہ استعمال ہوتے ہیں؛ لکھنے سے وہ محفوظ ہوتے ہیں اور اضافی لاگت آ سکتی ہے۔ آؤٹ پٹ ٹوکنز پر آؤٹ پٹ کی قیمت لاگو ہوتی ہے۔
غلط ٹیسٹس: 9
فی کوشش کامیابی کی شرح: 18.8%
بینچ مارک کوریج: 36/69 کوششیں. اڈاپٹر انتخاب فراہم کرتے ہیں۔ 12/23 ٹیسٹ معاونت یافتہ ہیں۔ باقی ٹیسٹ غیر معاون ہیں، ناکام نہیں۔ اسکور پورے ٹیسٹ مجموعے پر مبنی ہے۔
غیر مستحکم ٹیسٹ
3
غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).
چارٹس
پہلا ماڈل منتخب کریں، پھر دوسرا ماڈل کلک کریں تاکہ سائیڈ بائی سائیڈ صفحہ کھلے۔
اسکور vs کل لاگت
ردِعمل کا وقت (اوسط)
اسکور vs ردِعمل کا وقت (اوسط)
کل آؤٹ پٹ ٹوکنز
اسکور vs کل آؤٹ پٹ ٹوکنز
فوری موازنہ
Mammoth 1defaultمفت دستیابvsJev 1.14defaultMammoth 1defaultمفت دستیابvsClassify-1defaultMammoth 1defaultمفت دستیابvsKev 4BdefaultMammoth 1defaultمفت دستیابvsClef OmnidefaultMammoth 1defaultمفت دستیابvsGPT-6 Luna DecisionsdefaultMammoth 1defaultمفت دستیابvsDecider Flash V1.2defaultMammoth 1defaultمفت دستیابvsDrex v1.5defaultMammoth 1defaultمفت دستیابvsD1defaultMammoth 1defaultمفت دستیابvsDecider V1.1 27BdefaultMammoth 1defaultمفت دستیابvsGemini 3 Flash Previewhigh
زمرہ وار تفصیل
| زمرہ | اسکور | تسلسل | درست ٹیسٹس |
|---|---|---|---|
| خودمختار ایجنٹ کے کام | 0.0 | 0.0 | |
| اینٹی اے آئی چالیں | 4.0 | 7.5 | |
| کوڈنگ | 4.9 | 6.7 | |
| مشترکہ | 0.0 | 0.0 | |
| ڈیٹا پارسنگ اور استخراج | 3.7 | 1.7 | |
| ڈومین مخصوص | 5.3 | 10.0 | |
| عمومی ذہانت | 0.0 | 0.0 | |
| ہدایات کی پیروی | 1.5 | 5.0 | |
| پہیلی حل کرنا | 1.6 | 1.0 | |
| ٹول کالنگ | 0.0 | 0.0 | |
| معلومات عامہ | 0.0 | 0.0 |