Mercury 2.5 (low) vs KAT Coder AIR V2.5 (high)

KAT Coder AIR V2.5 (high) average score मध्ये पुढे आहे: 5.2 vs 5.1. Mercury 2.5 (low) चा benchmark खर्च कमी आहे: $0.020 vs $0.077. Mercury 2.5 (low) वेगवान आहे: 3.34s vs 15.23s, pass rates 37.7% vs 40.6%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #293
एकूण आउटपुट टोकन्स: 40,302
प्रतिसाद वेळ (सरासरी): 3.34s
एकूण खर्च: $0.020

क्रमांक: #288
एकूण आउटपुट टोकन्स: 114,654
प्रतिसाद वेळ (सरासरी): 15.23s
एकूण खर्च: $0.077

शिफारस केलेले मॉडेल Mercury 2.5 (low)

Its score stays close to the best score here (5.1 vs 5.2), while costing about 4.0x less than KAT Coder AIR V2.5 (high).

तपशीलवार तुलना

मेट्रिक	Mercury 2.5 Mercury 2.5 low प्रकाशन: 2026-09-08	KAT Coder AIR V2.5 KAT Coder AIR V2.5 high प्रकाशन: 2026-07-14

मेट्रिक	Mercury 2.5 Mercury 2.5 low प्रकाशन: 2026-09-08	KAT Coder AIR V2.5 KAT Coder AIR V2.5 high प्रकाशन: 2026-07-14
स्कोअर	5.1	5.2
क्रमांक	#293	#288
विश्वसनीयता	9.8	9.8
सुसंगतता	8.2	8.2
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	37.7%	40.6%
अस्थिर चाचण्या	5	5
एकूण रन	69	69
प्रति निकाल खर्च	0.319	1.091
एकूण खर्च	$0.020	$0.077
इनपुट किंमत	$0.040 / 1M	$0.000 / 1M
आउटपुट किंमत	$0.150 / 1M	$0.000 / 1M
एकूण इनपुट टोकन्स	326,083	50,423
आउटपुट टोकन्स	7,224	4,144
रिझनिंग टोकन्स	33,078	110,510
प्रतिसाद वेळ (सरासरी)	3.34s	15.23s
प्रतिसाद वेळ (कमाल)	47.06s	118.35s
प्रतिसाद वेळ (एकूण)	76.80s	350.26s
पॅरामीटर्स	~100B	~35B एकूण (~3B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#293 Mercury 2.5

low

खर्च: $0.001
वेळ: 2.4s
टोकन्स: 1,236 tok

#288 KAT Coder AIR V2.5

high

Reached the allocated time limit (300 seconds) without receiving showcase output.

खर्च: $0.000
वेळ: 300.0s
टोकन्स: 0 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	5.0	10.0	0.0%	0		47.06s	188,063	1,141	5,442
KAT Coder AIR V2.5	3.0	10.0	0.0%	0		1.10s	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.9	7.9	66.7%	1		799ms	772	209	2,969
KAT Coder AIR V2.5	6.9	5.8	75.0%	2		2.49s	615	204	1,290

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	5.5	10.0	33.3%	0		972ms	7,909	521	2,269
KAT Coder AIR V2.5	4.3	7.3	11.1%	1		39.07s	6,948	1,166	55,883

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	3.0	10.0	0.0%	0		5.16s	107,683	3,750	11,351
KAT Coder AIR V2.5	6.5	10.0	50.0%	0		74.48s	23,854	485	28,559

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.5	10.0	50.0%	0		1.06s	8,322	739	1,499
KAT Coder AIR V2.5	6.5	10.0	50.0%	0		3.59s	7,776	284	2,140

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	3.6	7.2	22.2%	1		846ms	851	57	2,265
KAT Coder AIR V2.5	3.0	10.0	0.0%	0		7.28s	724	1,101	7,738

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	4.4	9.9	0.0%	0		819ms	525	99	748
KAT Coder AIR V2.5	5.1	10.0	0.0%	0		7.10s	516	179	539

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	2.9	6.0	16.7%	1		972ms	518	48	1,026
KAT Coder AIR V2.5	9.8	10.0	100.0%	0		1.51s	699	90	675

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	5.9	4.5	66.7%	2		792ms	768	249	2,214
KAT Coder AIR V2.5	3.5	4.4	33.3%	2		2.47s	696	285	1,576

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	9.8	10.0	100.0%	0		2.72s	10,440	388	2,537
KAT Coder AIR V2.5	10.0	10.0	100.0%	0		4.77s	8,391	330	1,082

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	3.0	10.0	0.0%	0		782ms	232	23	758
KAT Coder AIR V2.5	3.0	10.0	0.0%	0		21.72s	204	20	11,028

झटपट तुलना

तुलना जोडी बदला

Mercury 2.5lowvsKAT Coder AIR V2.5medium Mercury 2.5lowvsMiMo-V2.5-Pronone Mercury 2.5lowvsMistral Small 4none Mercury 2.5lowvsMistral Small 4medium Ling 3.0 FlashnonevsKAT Coder AIR V2.5high KAT Coder AIR V2.5highvsInkling Smalllowमोफत उपलब्ध KAT Coder AIR V2.5highvsMistral Small 4medium KAT Coder AIR V2.5highvsMistral Small 4none Mercury 2.5lowvsLaguna S 2.1mediumमोफत उपलब्ध KAT Coder AIR V2.5highvsMiMo-V2.5-Pronone Mercury 2.5lowvsNemotron 3.5 Lightninghighमोफत उपलब्ध Mercury 2.5lowvsLing 3.0 Flashnone