Samanya Buddhimatta x सूचनांचे पालन केले नाही क्रमवारी

Samanya Buddhimatta मध्ये कोणत्या AI मॉडेल्सना सूचनांचे पालन केले नाही येण्याची शक्यता जास्त आहे ते पाहा, म्हणजे कमकुवत बाजू लवकर ओळखता येतील.

दाखवलेली मॉडेल्स

एकूण अपयशे

115

सर्वाधिक प्रभावित मॉडेल

Grok 4.5 1

अयशस्वी होण्याची कारणे

सूचनांचे पालन केले नाही115 चुकीचे उत्तर90 API त्रुटी14 वेळ संपला4

श्रेणी

कोडी सोडवणे128 Samanya Buddhimatta115 सूचनांचे पालन48 अँटी-एआय युक्त्या44 कोडिंग29 टूल कॉलिंग12 डेटा पार्सिंग आणि निष्कर्षण7 डोमेन-विशिष्ट2 संयुक्त1

115/115

क्रमांक	मॉडेल	कंपनी	सूचनांचे पालन केले नाही संख्या	श्रेणी स्कोअर	एकूण खर्च	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#24	Grok 4.5 high	X AI	1	4.7	$2.252	0/1	9.82s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $2.252 प्रतिसाद वेळ (सरासरी) 9.82s
#25	GPT-5.3-Codex medium	OpenAI	1	4.6	$0.988	0/1	4.87s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $0.988 प्रतिसाद वेळ (सरासरी) 4.87s
#27	Seed 2.1 Turbo high	Bytedance Seed	1	6.5	$1.797	0/1	25.7s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $1.797 प्रतिसाद वेळ (सरासरी) 25.7s
#37	Muse Spark 1.2 medium	Meta	1	6.1	$1.339	0/1	10.7s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $1.339 प्रतिसाद वेळ (सरासरी) 10.7s
#41	Qwen3.8 Max low	Qwen	1	6.5	$0.702	0/1	5.29s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $0.702 प्रतिसाद वेळ (सरासरी) 5.29s
#42	GPT-5.4 medium	OpenAI	1	4.7	$1.560	0/1	4.92s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $1.560 प्रतिसाद वेळ (सरासरी) 4.92s
#44	Muse Spark 1.2 low	Meta	1	5.0	$0.655	0/1	8.46s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $0.655 प्रतिसाद वेळ (सरासरी) 8.46s
#47	GPT-5.2 medium	OpenAI	1	3.7	$1.182	0/1	4.32s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $1.182 प्रतिसाद वेळ (सरासरी) 4.32s
#48	Qwen3.8 27B high	Qwen	1	5.0	~$0.287	0/1	8.45s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च ~$0.287 प्रतिसाद वेळ (सरासरी) 8.45s
#49	Seed 2.1 Turbo medium	Bytedance Seed	1	6.1	$1.951	0/1	40.6s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $1.951 प्रतिसाद वेळ (सरासरी) 40.6s
#53	Gemini 2.5 Flash medium	Google	1	4.8	$0.644	0/1	4.86s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $0.644 प्रतिसाद वेळ (सरासरी) 4.86s
#55	Claude Sonnet 5 medium	Anthropic	1	4.8	$0.922	0/1	4.32s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $0.922 प्रतिसाद वेळ (सरासरी) 4.32s
#57	GPT-5 Mini medium	OpenAI	1	4.5	$0.241	0/1	13.5s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $0.241 प्रतिसाद वेळ (सरासरी) 13.5s
#67	GPT-5.2 Chat none	OpenAI	1	4.4	$0.594	0/1	3.20s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च $0.594 प्रतिसाद वेळ (सरासरी) 3.20s
#69	Qwen3.8 27B low	Qwen	1	5.0	~$0.071	0/1	5.37s
एकूण चाचण्या 1 चुकीच्या चाचण्या 1 एकूण खर्च ~$0.071 प्रतिसाद वेळ (सरासरी) 5.37s

मॉडेल फिल्टर करा

सूचनांचे पालन केले नाही संख्या नुसार शीर्ष मॉडेल्स

सूचनांचे पालन केले नाही संख्या वि स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स

अंदाजित वाया गेलेला खर्च नुसार शीर्ष मॉडेल्स

Samanya Buddhimatta: सूचनांचे पालन केले नाही

मॉडेल फिल्टर करा

सूचनांचे पालन केले नाही संख्या नुसार शीर्ष मॉडेल्स

सूचनांचे पालन केले नाही संख्या वि स्कोअर

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स