Mercury 2.5 (high) vs KAT-Coder-Pro V2.5 (low)

KAT-Coder-Pro V2.5 (low) average score मध्ये पुढे आहे: 6.5 vs 6.5. Mercury 2.5 (high) चा benchmark खर्च कमी आहे: $0.044 vs $0.400. Mercury 2.5 (high) वेगवान आहे: 7.62s vs 19.40s, pass rates 59.4% vs 65.2%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #195
एकूण आउटपुट टोकन्स: 193,676
प्रतिसाद वेळ (सरासरी): 7.62s
एकूण खर्च: $0.044

क्रमांक: #191
एकूण आउटपुट टोकन्स: 113,193
प्रतिसाद वेळ (सरासरी): 19.40s
एकूण खर्च: $0.400

शिफारस केलेले मॉडेल Mercury 2.5 (high)

Its score stays close to the best score here (6.5 vs 6.5), while costing about 9.2x less than KAT-Coder-Pro V2.5 (low).

तपशीलवार तुलना

मेट्रिक	Mercury 2.5 Mercury 2.5 high प्रकाशन: 2026-09-08	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low प्रकाशन: 2026-07-14

मेट्रिक	Mercury 2.5 Mercury 2.5 high प्रकाशन: 2026-09-08	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low प्रकाशन: 2026-07-14
स्कोअर	6.5	6.5
क्रमांक	#195	#191
विश्वसनीयता	9.8	10.0
सुसंगतता	8.7	7.1
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	59.4%	65.2%
अस्थिर चाचण्या	4	8
एकूण रन	69	69
प्रति निकाल खर्च	0.362	3.636
एकूण खर्च	$0.044	$0.400
इनपुट किंमत	$0.040 / 1M	$0.740 / 1M
आउटपुट किंमत	$0.150 / 1M	$2.960 / 1M
एकूण इनपुट टोकन्स	358,562	87,682
आउटपुट टोकन्स	4,266	7,166
रिझनिंग टोकन्स	189,410	106,027
प्रतिसाद वेळ (सरासरी)	7.62s	19.40s
प्रतिसाद वेळ (कमाल)	80.30s	209.15s
प्रतिसाद वेळ (एकूण)	175.36s	446.11s
पॅरामीटर्स	~100B	~700B एकूण (~72B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#195 Mercury 2.5

high

खर्च: $0.001
वेळ: 3.5s
टोकन्स: 2,447 tok

#191 KAT-Coder-Pro V2.5

low

खर्च: $0.016
वेळ: 47.6s
टोकन्स: 5,182 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	3.9	9.6	0.0%	0		80.30s	238,494	864	18,265
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		1.75s	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		1.33s	782	218	7,913
KAT-Coder-Pro V2.5	6.9	5.8	75.0%	2		4.20s	672	277	4,228

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.4	7.8	44.4%	1		6.58s	7,757	415	44,012
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		24.87s	7,893	402	24,945

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.4	5.8	66.7%	1		16.00s	91,255	1,478	62,200
KAT-Coder-Pro V2.5	6.4	5.8	66.7%	1		111.87s	60,055	5,393	43,732

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		3.08s	8,355	557	9,430
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		4.19s	7,776	288	1,917

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	2.9	7.2	11.1%	1		4.86s	857	78	22,452
KAT-Coder-Pro V2.5	3.5	4.4	33.3%	2		22.86s	780	35	21,430

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	5.0	10.0	0.0%	0		2.69s	528	93	3,609
KAT-Coder-Pro V2.5	4.1	2.7	33.3%	1		2.32s	516	99	412

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	6.5	10.0	50.0%	0		934ms	401	27	1,770
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		2.53s	699	83	1,008

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	8.7	7.7	88.9%	1		1.39s	771	227	5,812
KAT-Coder-Pro V2.5	6.4	4.4	77.8%	2		3.11s	696	289	1,820

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	10.0	10.0	100.0%	0		3.06s	9,130	283	4,484
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		18.45s	8,391	282	834

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Mercury 2.5	3.0	10.0	0.0%	0		5.48s	232	26	9,463
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		17.06s	204	18	5,701

झटपट तुलना

तुलना जोडी बदला

Mercury 2.5highvsGLM 5.3low KAT-Coder-Pro V2.5lowvsStep 3.7 Flashhigh Mercury 2.5highvsQwen3.6 35B A3Bmedium Mercury 2.5highvsGLM 5.1none Mercury 2mediumvsKAT-Coder-Pro V2.5low Claude Sonnet 5.5mediumvsMercury 2.5high Mercury 2.5highvsGrok 4.3medium Claude Sonnet 5.5mediumvsKAT-Coder-Pro V2.5low Mercury 2.5highvsLaguna XS 2.1mediumमोफत उपलब्ध KAT-Coder-Pro V2.5lowvsQwen3.6 35B A3Bmedium Mercury 2.5highvsQwen3.5-122B-A10Bnone Gemini 3 Flash PreviewnonevsMercury 2.5high