Mercury 2.5 Preview (low) vs Inkling Small

Mercury 2.5 Preview (low) average score मध्ये पुढे आहे: 5.0 vs 4.9. Mercury 2.5 Preview (low) चा benchmark खर्च कमी आहे: $0.015 vs $0.058. Inkling Small वेगवान आहे: 1.45s vs 4.92s, pass rates 44.9% vs 23.2%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #297
एकूण आउटपुट टोकन्स: 36,870
प्रतिसाद वेळ (सरासरी): 4.92s
एकूण खर्च: $0.015

क्रमांक: #303
एकूण आउटपुट टोकन्स: 8,770
प्रतिसाद वेळ (सरासरी): 1.45s
एकूण खर्च: $0.058

शिफारस केलेले मॉडेल Inkling Small

Its score stays close to the best score here (4.9 vs 5.0), while responding about 3.4x faster than Mercury 2.5 Preview (low).

तपशीलवार तुलना

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview low प्रकाशन: 2026-09-02	Inkling Small Inkling Small none प्रकाशन: 2026-08-01 मोफत उपलब्ध

मेट्रिक	Mercury 2.5 Preview Mercury 2.5 Preview low प्रकाशन: 2026-09-02	Inkling Small Inkling Small none प्रकाशन: 2026-08-01 मोफत उपलब्ध
स्कोअर	5.0	4.9
क्रमांक	#297	#303
विश्वसनीयता	9.9	10.0
सुसंगतता	7.1	9.6
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	44.9%	23.2%
अस्थिर चाचण्या	8	1
एकूण रन	69	69
प्रति निकाल खर्च	0.244	1.158
एकूण खर्च	$0.015	$0.058
इनपुट किंमत	$0.000 / 1M	$0.450 / 1M
आउटपुट किंमत	$0.000 / 1M	$1.200 / 1M
एकूण इनपुट टोकन्स	235,438	94,733
आउटपुट टोकन्स	8,136	8,770
रिझनिंग टोकन्स	28,734	0
प्रतिसाद वेळ (सरासरी)	4.92s	1.45s
प्रतिसाद वेळ (कमाल)	84.47s	12.35s
प्रतिसाद वेळ (एकूण)	113.24s	33.24s
पॅरामीटर्स	~100B	276B एकूण (12B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#297 Mercury 2.5 Preview

low

खर्च: $0.001
वेळ: 1.5s
टोकन्स: 1,169 tok

#303 Thinking Machines: Inkling Small

none

खर्च: $0.008
वेळ: 42.1s
टोकन्स: 6,319 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.0	10.0	0.0%	0		84.47s	101,913	877	4,018
Inkling Small	3.0	10.0	0.0%	0		31ms	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.6	3.8	66.7%	3		759ms	786	290	3,019
Inkling Small	3.1	8.0	8.3%	1		526ms	678	250	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.5	10.0	33.3%	0		972ms	7,794	695	2,263
Inkling Small	3.6	10.0	0.0%	0		759ms	7,356	454	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		4.77s	110,517	5,013	9,661
Inkling Small	6.5	10.0	50.0%	0		9.33s	68,294	6,854	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	6.3	5.8	66.7%	1		1.12s	8,309	611	1,521
Inkling Small	10.0	10.0	100.0%	0		782ms	7,056	279	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	4.1	4.4	44.5%	2		836ms	849	45	2,247
Inkling Small	5.3	10.0	33.3%	0		442ms	786	42	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	5.0	10.0	0.0%	0		1.05s	540	105	749
Inkling Small	5.0	10.0	0.0%	0		964ms	495	178	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	6.3	10.0	50.0%	0		1.60s	745	99	1,492
Inkling Small	6.3	10.0	50.0%	0		767ms	696	72	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	8.2	7.2	88.9%	1		710ms	777	312	2,271
Inkling Small	3.2	9.7	0.0%	0		665ms	696	332	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	2.8	1.6	33.3%	1		1.57s	2,983	76	739
Inkling Small	3.0	10.0	0.0%	0		2.31s	8,463	291	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5 Preview	3.0	10.0	0.0%	0		591ms	225	13	754
Inkling Small	3.0	10.0	0.0%	0		481ms	213	18	0

झटपट तुलना

तुलना जोडी बदला