ERNIE-Light-DT-1.0 (low) vs Muse Ember (minimal)

Muse Ember (minimal) average score मध्ये पुढे आहे: 8.9 vs 6.4. Muse Ember (minimal) चा benchmark खर्च कमी आहे: $0.047 vs $0.489. Muse Ember (minimal) वेगवान आहे: 5.30s vs 8.91s, pass rates 65.2% vs 76.8%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-11-13

तुलना केलेली मॉडेल्स

क्रमांक: #288
एकूण आउटपुट टोकन्स: 43,895
प्रतिसाद वेळ (सरासरी): 8.91s
एकूण खर्च: $0.489

क्रमांक: #76
एकूण आउटपुट टोकन्स: 40,577
प्रतिसाद वेळ (सरासरी): 5.30s
एकूण खर्च: $0.047

शिफारस केलेले मॉडेल Muse Ember (minimal)

It has the best score here (8.9), while costing about 10.4x less than ERNIE-Light-DT-1.0 (low).

तपशीलवार तुलना

मेट्रिक	ERNIE-Light-DT-1.0 ERNIE-Light-DT-1.0 low प्रकाशन: 2026-11-12	Muse Ember Muse Ember minimal प्रकाशन: 2026-11-09

मेट्रिक	ERNIE-Light-DT-1.0 ERNIE-Light-DT-1.0 low प्रकाशन: 2026-11-12	Muse Ember Muse Ember minimal प्रकाशन: 2026-11-09
स्कोअर	6.4	8.9
क्रमांक	#288	#76
विश्वसनीयता	9.3	9.7
सुसंगतता	7.0	9.6
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	65.2%	76.8%
अस्थिर चाचण्या	9	1
एकूण रन	69	69
प्रति निकाल खर्च	4.441	0.276
एकूण खर्च	$0.489	$0.047
इनपुट किंमत	$1.130 / 1M	$0.100 / 1M
आउटपुट किंमत	$3.941 / 1M	$0.500 / 1M
कॅश वाचण्याची किंमत	$0.113 / 1M	$0.004 / 1M
कॅश लिहिण्याची किंमत	लागू नाही	$0.125 / 1M
एकूण इनपुट टोकन्स	279,234	265,844
आउटपुट टोकन्स	13,328	10,584
रिझनिंग टोकन्स	30,567	29,993
प्रतिसाद वेळ (सरासरी)	8.91s	5.30s
प्रतिसाद वेळ (कमाल)	96.92s	48.15s
प्रतिसाद वेळ (एकूण)	204.98s	121.82s
पॅरामीटर्स	~320B एकूण (~18B सक्रिय)	~150B एकूण (~10B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#288 ERNIE-Light-DT-1.0

low

खर्च: $0.005
वेळ: 7.7s
टोकन्स: 1,177 tok

#76 Muse Ember

minimal

खर्च: $0.002
वेळ: 4.5s
टोकन्स: 2,690 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	6.1	3.1	66.7%	1		96.92s	159,153	1,327	14,302
Muse Ember	10.0	10.0	100.0%	0		48.15s	147,537	2,489	1,109

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	7.4	6.3	75.0%	2		1.80s	639	566	220
Muse Ember	10.0	10.0	100.0%	0		2.03s	798	330	1,076

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	5.7	4.8	55.6%	2		5.33s	7,317	468	4,231
Muse Ember	10.0	10.0	100.0%	0		2.66s	7,410	577	6,099

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	2.9	5.8	16.7%	1		22.98s	95,301	9,893	5,707
Muse Ember	7.3	5.8	83.3%	1		9.58s	89,458	5,369	4,624

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	10.0	10.0	100.0%	0		1.60s	7,149	210	58
Muse Ember	10.0	10.0	100.0%	0		1.57s	7,215	234	570

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	5.9	7.2	55.6%	1		6.65s	759	36	5,383
Muse Ember	5.3	10.0	33.3%	0		3.96s	873	344	7,621

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	5.1	3.4	33.3%	1		1.45s	498	184	18
Muse Ember	10.0	10.0	100.0%	0		1.65s	522	109	567

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	10.0	10.0	100.0%	0		1.43s	678	72	80
Muse Ember	9.8	10.0	100.0%	0		2.10s	759	111	824

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	7.6	7.2	77.8%	1		1.77s	672	292	277
Muse Ember	5.3	10.0	33.3%	0		3.33s	786	412	5,631

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	10.0	10.0	100.0%	0		4.27s	6,861	231	0
Muse Ember	10.0	10.0	100.0%	0		4.67s	10,258	539	175

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
ERNIE-Light-DT-1.0	3.0	10.0	0.0%	0		1.89s	207	49	291
Muse Ember	3.0	10.0	0.0%	0		2.88s	228	70	1,697

तुलना जोडी बदला