ERNIE-Light-DT-1.0 (max) vs Muse Spark Open (low)

ERNIE-Light-DT-1.0 (max) average score मध्ये पुढे आहे: 9.0 vs 8.9. Muse Spark Open (low) चा benchmark खर्च कमी आहे: $0.600 vs $4.353. Muse Spark Open (low) वेगवान आहे: 21.62s vs 103.37s, pass rates 81.2% vs 76.8%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-11-13

तुलना केलेली मॉडेल्स

क्रमांक: #66
एकूण आउटपुट टोकन्स: 1,003,960
प्रतिसाद वेळ (सरासरी): 103.37s
एकूण खर्च: $4.353

क्रमांक: #72
एकूण आउटपुट टोकन्स: 59,058
प्रतिसाद वेळ (सरासरी): 21.62s
एकूण खर्च: $0.600

शिफारस केलेले मॉडेल Muse Spark Open (low)

Its score stays close to the best score here (8.9 vs 9.0), while costing about 7.3x less than ERNIE-Light-DT-1.0 (max).

तपशीलवार तुलना

मेट्रिक	ERNIE-Light-DT-1.0 ERNIE-Light-DT-1.0 max प्रकाशन: 2026-11-12	Muse Spark Open Muse Spark Open low प्रकाशन: 2026-10-15

मेट्रिक	ERNIE-Light-DT-1.0 ERNIE-Light-DT-1.0 max प्रकाशन: 2026-11-12	Muse Spark Open Muse Spark Open low प्रकाशन: 2026-10-15
स्कोअर	9.0	8.9
क्रमांक	#66	#72
विश्वसनीयता	8.9	9.9
सुसंगतता	9.6	9.1
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	81.2%	76.8%
अस्थिर चाचण्या	1	3
एकूण रन	69	69
प्रति निकाल खर्च	24.179	3.746
एकूण खर्च	$4.353	$0.600
इनपुट किंमत	$1.130 / 1M	$1.250 / 1M
आउटपुट किंमत	$3.941 / 1M	$4.250 / 1M
कॅश वाचण्याची किंमत	$0.113 / 1M	$0.150 / 1M
कॅश लिहिण्याची किंमत	लागू नाही	लागू नाही
एकूण इनपुट टोकन्स	350,977	278,684
आउटपुट टोकन्स	6,155	10,151
रिझनिंग टोकन्स	997,807	48,907
प्रतिसाद वेळ (सरासरी)	103.37s	21.62s
प्रतिसाद वेळ (कमाल)	473.48s	119.16s
प्रतिसाद वेळ (एकूण)	2377.50s	497.25s
पॅरामीटर्स	~320B एकूण (~18B सक्रिय)	816B एकूण (42B सक्रिय)
उपलब्धता	बंद स्रोत	वेट्स उपलब्ध

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#66 ERNIE-Light-DT-1.0

max

OpenRouter returned no showcase content (finish_reason: length).

खर्च: $0.259
वेळ: 533.2s
टोकन्स: 65,656 tok

#72 Muse Spark Open

low

खर्च: $0.014
वेळ: 38.9s
टोकन्स: 3,372 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	10.0	10.0	100.0%	0		66.71s	163,484	1,425	9,658
Muse Spark Open	10.0	10.0	100.0%	0		55.04s	135,775	2,192	1,792

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	10.0	10.0	100.0%	0		2.68s	639	223	2,335
Muse Spark Open	9.2	8.4	91.7%	1		10.50s	2,218	600	4,374

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	10.0	10.0	100.0%	0		97.26s	7,317	602	123,649
Muse Spark Open	10.0	10.0	100.0%	0		9.97s	8,479	347	10,835

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	7.3	5.8	83.3%	1		182.42s	161,595	2,844	171,623
Muse Spark Open	8.4	10.0	50.0%	0		32.84s	105,334	5,543	3,978

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	10.0	10.0	100.0%	0		5.19s	7,149	210	3,302
Muse Spark Open	10.0	10.0	100.0%	0		4.53s	7,989	220	1,070

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	3.0	10.0	0.0%	0		460.57s	759	5	584,355
Muse Spark Open	5.3	10.0	33.3%	0		75.55s	1,759	75	16,620

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	10.0	10.0	100.0%	0		4.03s	498	148	1,067
Muse Spark Open	6.1	3.1	66.7%	1		5.85s	877	137	1,576

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	9.8	10.0	100.0%	0		2.47s	678	72	1,061
Muse Spark Open	8.0	6.8	66.7%	1		10.26s	1,467	99	2,323

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	10.0	10.0	100.0%	0		2.95s	672	334	1,714
Muse Spark Open	10.0	10.0	100.0%	0		7.99s	1,849	417	3,579

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	10.0	10.0	100.0%	0		6.43s	7,979	231	761
Muse Spark Open	10.0	10.0	100.0%	0		4.37s	12,354	417	626

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	3.0	10.0	0.0%	0		227.09s	207	61	98,282
Muse Spark Open	3.0	10.0	0.0%	0		14.23s	583	104	2,134

तुलना जोडी बदला