#334 North Mini Code
medium- लागत
- $0.000
- समय
- 51.8s
- टोकन
- 12,460 tok
Cohere
रिलीज़: 2026-06-18
परीक्षण किया गया: 2026-10-01 03:03
cohere/north-mini-code::medium
30B कुल (3B सक्रिय)MoEमुक्त स्रोत
(medium)
(default)
सारांश
North Mini Code AI BENCHY पर 5.4 स्कोर करता है और #334 पर है। इसकी reliability 8.9, pass rate 42.0%, कुल लागत $0.000, और औसत response time 140.39s है।
North Mini Code को अलग क्या बनाता है: यह एंटी-एआई ट्रिक्स में सबसे अलग दिखता है, जहाँ इसकी रैंक #2 है; जबकि डोमेन-विशिष्ट इसकी सबसे कमजोर जगह है, जहाँ यह #14 पर है। इस score range के लिए इसकी कुल benchmark लागत असामान्य रूप से कम है। यह असामान्य रूप से अधिक reasoning tokens इस्तेमाल करता है, जिससे धीमे या महंगे runs समझ में आ सकते हैं।
मॉडल विवरण
शोध की तारीख: 2026-08-12
- पैरामीटर
- 30B कुल (3B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- मुक्त स्रोत
- लाइसेंस
- Apache-2.0
5.4
संगति
8.6
8.9
$0.000
कुल आउटपुट टोकन
1,359,341
कुल इनपुट टोकन
166,347
इनपुट कीमत
$0.000 / 1M
आउटपुट कीमत
$0.000 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
गलत टेस्ट: 15
प्रति प्रयास पास दर: 42.0%
बेंचमार्क कवरेज: 61/69 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)
अस्थिर टेस्ट
4
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-10-01 03:03 दोबारा परीक्षण | 5.4 | 8.9 | $0.000 | वर्तमान रन | |
| 2026-07-16 23:46 नया टेस्ट जोड़ा गया | 5.9 | 8.6 | $0.000 | तुलना करें | |
| 2026-06-18 09:44 पहला रन | 5.8 | 8.5 | $0.000 | तुलना करें |
इस रन में अलग बेंचमार्क सूट इस्तेमाल हुआ था। ऐतिहासिक बदलाव पढ़ते समय सूट बदलाव को ध्यान में रखें।
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-10-01 03:03 · वर्तमान रन | 61/69 प्रयास | 5.4 | 8.6 | 8.9 | 8/23 | 4 | 1,359,341 | 166,347 | $0.000 | 140.39s |
| 2026-06-18 09:44 · पहला रन | 55/63 प्रयास | 5.8 | 8.5 | 8.5 | 9/21 | 4 | 1,446,261 | 32,891 | $0.000 | 106.18s |
| अंतर | — | -0.5 | +0.1 | +0.4 | -1 | 0 | -86920 | +133456 | $0.000 | +34218ms |
बेंचमार्क कवरेज अलग है: 61/69 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 55/63 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
चार्ट
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
स्कोर के अनुसार शीर्ष मॉडल
स्कोर vs कुल लागत
प्रतिक्रिया समय (औसत)
स्कोर vs प्रतिक्रिया समय (औसत)
कुल आउटपुट टोकन
स्कोर vs कुल आउटपुट टोकन
त्वरित तुलना
North Mini Codemediumनिःशुल्क उपलब्धvsQwen3.8 27Bnoneनिःशुल्क उपलब्धNorth Mini Codemediumनिःशुल्क उपलब्धvsHy4 previewlowNorth Mini Codemediumनिःशुल्क उपलब्धvsSeed-2.0-CodenoneNorth Mini Codemediumनिःशुल्क उपलब्धvsMiMo-V2.6-FlashnoneNorth Mini Codemediumनिःशुल्क उपलब्धvsGemma 4 26B A4Bnoneनिःशुल्क उपलब्धNorth Mini Codemediumनिःशुल्क उपलब्धvsStep 3.5 FlashmediumNorth Mini Codemediumनिःशुल्क उपलब्धvsGPT-6 LunanoneNorth Mini Codemediumनिःशुल्क उपलब्धvsEmber-1noneNorth Mini Codemediumनिःशुल्क उपलब्धvsGemini 2.5 FlashnoneNorth Mini Codemediumनिःशुल्क उपलब्धvsGPT-5.6 Lunanone
श्रेणी विवरण
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| स्वायत्त एजेंट कार्य | 3.9 | 9.6 | |
| एंटी-एआई ट्रिक्स | 8.4 | 10.0 | |
| कोडिंग | 4.5 | 4.9 | |
| संयुक्त | 2.9 | 5.8 | |
| डेटा पार्सिंग और निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 2.9 | 7.2 | |
| Samanya Buddhimatta | 5.1 | 10.0 | |
| निर्देश पालन | 9.8 | 10.0 | |
| पहेली समाधान | 3.3 | 10.0 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |