KAT-Coder-Pro V2.5 (medium) vs Mistral Large 4 (medium)

KAT-Coder-Pro V2.5 (medium) average score में आगे है: 6.2 vs 6.2. KAT-Coder-Pro V2.5 (medium) की benchmark लागत कम है: $0.669 vs $1.456. KAT-Coder-Pro V2.5 (medium) तेज है: 23.94s vs 265.03s, pass rates 62.3% vs 55.1%.

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-10-06

तुलना किए गए मॉडल

रैंक: #235
कुल आउटपुट टोकन: 139,375
प्रतिक्रिया समय (औसत): 23.94s
कुल लागत: $0.669

रैंक: #240
कुल आउटपुट टोकन: 627,233
प्रतिक्रिया समय (औसत): 265.03s
कुल लागत: $1.456

अनुशंसित मॉडल KAT-Coder-Pro V2.5 (medium)

It has the best score here (6.2), while costing about 2.2x less than Mistral Large 4 (medium).

विस्तृत तुलना

मेट्रिक	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium रिलीज़: 2026-07-14	Mistral Large 4 Mistral Large 4 medium रिलीज़: 2026-10-06

मेट्रिक	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium रिलीज़: 2026-07-14	Mistral Large 4 Mistral Large 4 medium रिलीज़: 2026-10-06
स्कोर	6.2	6.2
रैंक	#235	#240
विश्वसनीयता	10.0	9.2
संगति	7.2	7.6
प्रयास	69/69	69/69
सही परीक्षण
प्रति प्रयास पास दर	62.3%	55.1%
अस्थिर टेस्ट	8	7
कुल रन	69	69
प्रति परिणाम लागत	4.342	16.168
कुल लागत	$0.669	$1.456
इनपुट कीमत	$0.740 / 1M	$0.680 / 1M
आउटपुट कीमत	$2.960 / 1M	$2.090 / 1M
कैश पढ़ने की कीमत	$0.150 / 1M	$0.070 / 1M
कैश लिखने की कीमत	लागू नहीं	लागू नहीं
कुल इनपुट टोकन	87,916	212,024
आउटपुट टोकन	7,213	166,422
रीजनिंग टोकन	132,162	562,095
प्रतिक्रिया समय (औसत)	23.94s	265.03s
प्रतिक्रिया समय (अधिकतम)	257.00s	1760.20s
प्रतिक्रिया समय (कुल)	550.52s	6095.69s
पैरामीटर	~700B कुल (~72B सक्रिय)	1.05T कुल (49B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।

मॉडल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#235 KAT-Coder-Pro V2.5

medium

लागत: $0.009
समय: 25.6s
टोकन: 2,939 tok

#240 Mistral Large 4

medium

लागत: $0.011
समय: 63.4s
टोकन: 5,291 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

श्रेणी:

स्वायत्त एजेंट कार्य	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		3.38s	0	0	0
Mistral Large 4	6.1	3.1	66.7%	1		173.21s	135,844	7,482	13,709

एंटी-एआई ट्रिक्स	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
KAT-Coder-Pro V2.5	8.2	7.9	83.3%	1		3.90s	672	208	3,868
Mistral Large 4	8.3	10.0	75.0%	0		15.73s	705	1,087	7,308

कोडिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		33.10s	7,893	416	33,658
Mistral Large 4	3.4	7.2	22.2%	1		1201.87s	7,189	33,530	303,140

संयुक्त	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
KAT-Coder-Pro V2.5	6.4	5.8	66.7%	1		135.75s	60,289	5,478	51,591
Mistral Large 4	7.3	5.8	83.3%	1		510.65s	51,756	8,436	82,002

डेटा पार्सिंग और निष्कर्षण	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
KAT-Coder-Pro V2.5	7.3	5.9	83.3%	1		4.70s	7,776	275	2,122
Mistral Large 4	10.0	10.0	100.0%	0		25.95s	7,314	1,046	7,861

डोमेन-विशिष्ट	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		35.11s	780	36	33,495
Mistral Large 4	2.9	7.2	11.1%	1		288.04s	798	85,691	114,373

Samanya Buddhimatta	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
KAT-Coder-Pro V2.5	4.7	3.1	33.3%	1		2.35s	516	92	381
Mistral Large 4	3.5	2.2	33.3%	1		39.33s	516	4,704	4,909

निर्देश पालन	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.58s	699	83	971
Mistral Large 4	8.3	10.0	50.0%	0		24.62s	708	6,709	7,691

पहेली समाधान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
KAT-Coder-Pro V2.5	5.9	4.5	66.7%	2		3.20s	696	325	1,867
Mistral Large 4	6.1	4.7	66.7%	2		41.40s	717	8,254	10,519

टूल कॉलिंग	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		19.02s	8,391	282	1,010
Mistral Large 4	10.0	10.0	100.0%	0		19.19s	6,267	303	1,104

सामान्य ज्ञान	स्कोर	संगति	प्रति प्रयास पास दर	अस्थिर टेस्ट	सही परीक्षण	प्रतिक्रिया समय (औसत)	इनपुट टोकन	आउटपुट टोकन	रीजनिंग टोकन
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.87s	204	18	3,199
Mistral Large 4	3.0	10.0	0.0%	0		84.68s	210	9,180	9,479

त्वरित तुलना

तुलना जोड़ी बदलें

KAT-Coder-Pro V2.5mediumvsSpace Bunny Alphaxhigh DeepSeek V4 Flash 0731nonevsKAT-Coder-Pro V2.5medium Claude Fable 5.1lowvsMistral Large 4medium Gemini 3.1 Flash Lite PreviewnonevsKAT-Coder-Pro V2.5medium Gemini 3.5 FlashnonevsMistral Large 4medium Gemini 3.1 Flash Lite PreviewnonevsMistral Large 4medium DeepSeek V4 Flash 0423nonevsKAT-Coder-Pro V2.5medium Claude Fable 5.1lowvsKAT-Coder-Pro V2.5medium DeepSeek V4 Flash 0731nonevsMistral Large 4medium Trinity Large ThinkinglowvsKAT-Coder-Pro V2.5medium Apodex 1.1 Minilowनिःशुल्क उपलब्धvsMistral Large 4medium Mistral Large 4mediumvsInklingnoneनिःशुल्क उपलब्ध