AI BENCHY
Advertise here
#46

Muse Spark 1.1

Meta प्रकाशन: 2026-07-16 चाचणी तारीख: 2026-08-14 03:25 meta/muse-spark-1.1::low
~1T एकूण (~50B सक्रिय)MoEबंद स्रोतअंदाजित
(high) (medium) (low)

सारांश

Muse Spark 1.1 AI BENCHY वर 8.3 स्कोर करते आणि #46 वर आहे. याची reliability 10.0, pass rate 71.2%, एकूण खर्च $0.673, आणि सरासरी response time 11.89s आहे.

Muse Spark 1.1 खास का आहे: हे Samanya Buddhimatta मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर सूचनांचे पालन हा सर्वात कमकुवत भाग आहे, rank #16. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~1T एकूण (~50B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

8.3

सुसंगतता

8.5

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$0.673

एकूण आउटपुट टोकन्स

116,489

एकूण इनपुट टोकन्स

141,878

इनपुट किंमत

$1.250 / 1M

आउटपुट किंमत

$4.250 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 9

प्रति प्रयत्न पास दर: 71.2%

अस्थिर चाचण्या

4

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

11.89s

प्रतिसाद वेळ (कमाल): 54.15s

प्रतिसाद वेळ (एकूण): 261.69s

चुकीचे उत्तर: 5 सूचनांचे पालन केले नाही: 3 अवैध टूल कॉल: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#46 Muse Spark 1.1

low
खर्च
$0.020
वेळ
39.2s
टोकन्स
4,947 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:25 पुन्हा चाचणी 8.3 10.0 $0.673 सध्याची रन
2026-07-16 23:35 नवीन चाचणी जोडली 8.3 10.0 $0.647 तुलना करा
2026-07-16 18:41 पहिला रन 8.8 10.0 $0.469 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-08-14 03:25 · सध्याची रन66/66 प्रयत्न8.38.510.013/224116,489141,878$0.67311.89s
2026-07-16 23:35 · नवीन चाचणी जोडली66/66 प्रयत्न8.38.510.013/224110,314142,298$0.64711.45s
फरक—0.00.00.000+6175-420+$0.026+444ms

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-08-14 12:51 $1.250 / 1M $4.250 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

Muse Spark 1.1lowvsInkling SmallhighMuse Spark 1.1lowvsGemini 2.5 FlashmediumMuse Spark 1.1lowvsSeed 2.1 TurbomediumMuse Spark 1.1lowvsClaude Sonnet 5mediumMuse Spark 1.1lowvsQwen3.8 27BhighMuse Spark 1.1lowvsQwen3.8 2.4T A95BlowMuse Spark 1.1lowvsGPT-5.2mediumMuse Spark 1.1lowvsGPT-5 MinimediumMuse Spark 1.1lowvsGrok 4.5lowMuse Spark 1.1lowvsMuse Glimmer 30Bxhigh

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 7.9 6.3
कोडिंग 10.0 10.0
संयुक्त 6.6 9.1
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 3.6 7.2
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 7.3 6.0
कोडी सोडवणे 8.3 10.0
टूल कॉलिंग 9.8 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स