Microsoft-Decision-1 (default) vs Decider V1.1 27B (default)

Decider V1.1 27B (default) average score मध्ये पुढे आहे: 2.6 vs 1.4. Decider V1.1 27B (default) चा benchmark खर्च कमी आहे: $0.002 vs $0.002. Decider V1.1 27B (default) वेगवान आहे: 320ms vs 982ms, pass rates 7.3% vs 17.4%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-12

तुलना केलेली मॉडेल्स

क्रमांक: #408
एकूण आउटपुट टोकन्स: 69
प्रतिसाद वेळ (सरासरी): 982ms
एकूण खर्च: $0.002

क्रमांक: #398
एकूण आउटपुट टोकन्स: 69
प्रतिसाद वेळ (सरासरी): 320ms
एकूण खर्च: $0.002

शिफारस केलेले मॉडेल Decider V1.1 27B (default)

It has the best score here (2.6), while responding about 3.1x faster than Microsoft-Decision-1 (default).

तपशीलवार तुलना

मेट्रिक	Microsoft-Decision-1 Microsoft-Decision-1 default प्रकाशन: 2026-10-12	Decider V1.1 27B Decider V1.1 27B default प्रकाशन: 2026-10-07

मेट्रिक	Microsoft-Decision-1 Microsoft-Decision-1 default प्रकाशन: 2026-10-12	Decider V1.1 27B Decider V1.1 27B default प्रकाशन: 2026-10-07
स्कोअर	1.4	2.6
क्रमांक	#408	#398
विश्वसनीयता	10.0	10.0
सुसंगतता	4.9	5.2
प्रयत्न	36/69	36/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	7.3%	17.4%
अस्थिर चाचण्या	1	0
एकूण रन	36	36
प्रति निकाल खर्च	0.175	0.037
एकूण खर्च	$0.002	$0.002
इनपुट किंमत	$0.042 / 1M	$0.020 / 1M
आउटपुट किंमत	$0.000 / 1M	$0.000 / 1M
कॅश वाचण्याची किंमत	लागू नाही	लागू नाही
कॅश लिहिण्याची किंमत	लागू नाही	लागू नाही
एकूण इनपुट टोकन्स	41,466	73,557
आउटपुट टोकन्स	69	69
रिझनिंग टोकन्स	0	0
प्रतिसाद वेळ (सरासरी)	982ms	320ms
प्रतिसाद वेळ (कमाल)	1.41s	491ms
प्रतिसाद वेळ (एकूण)	11.78s	3.84s
पॅरामीटर्स	~9B	27B
उपलब्धता	बंद स्रोत	मुक्त स्रोत

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Microsoft-Decision-1	0.0	0.0	0.0%	0		0ms	0	0	0
Decider V1.1 27B	0.0	0.0	0.0%	0		0ms	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Microsoft-Decision-1	4.4	5.4	41.7%	1		992ms	4,272	9	0
Decider V1.1 27B	4.0	7.5	25.0%	0		321ms	7,161	9	0

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Microsoft-Decision-1	2.2	6.7	0.0%	0		857ms	21,363	12	0
Decider V1.1 27B	4.9	6.7	33.3%	0		305ms	32,733	12	0

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Microsoft-Decision-1	0.0	0.0	0.0%	0		0ms	0	0	0
Decider V1.1 27B	0.0	0.0	0.0%	0		0ms	0	0	0

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Microsoft-Decision-1	3.0	10.0	0.0%	0		1.16s	11,061	15	0
Decider V1.1 27B	6.5	10.0	50.0%	0		286ms	24,396	15	0

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Microsoft-Decision-1	3.0	10.0	0.0%	0		1.03s	2,208	9	0
Decider V1.1 27B	5.3	10.0	33.3%	0		313ms	2,874	9	0

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Microsoft-Decision-1	0.0	0.0	0.0%	0		0ms	0	0	0
Decider V1.1 27B	0.0	0.0	0.0%	0		0ms	0	0	0

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Microsoft-Decision-1	1.5	5.0	0.0%	0		997ms	2,190	21	0
Decider V1.1 27B	1.5	5.0	0.0%	0		333ms	5,862	21	0

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Microsoft-Decision-1	1.7	3.3	0.0%	0		669ms	372	3	0
Decider V1.1 27B	1.7	3.3	0.0%	0		422ms	531	3	0

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Microsoft-Decision-1	0.0	0.0	0.0%	0		0ms	0	0	0
Decider V1.1 27B	0.0	0.0	0.0%	0		0ms	0	0	0

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Microsoft-Decision-1	0.0	0.0	0.0%	0		0ms	0	0	0
Decider V1.1 27B	0.0	0.0	0.0%	0		0ms	0	0	0

तुलना जोडी बदला