सूचनांचे पालन मॉडेल क्रमवारी

सूचनांचे पालन मध्ये कोणती AI मॉडेल्स सर्वोत्तम काम करतात, कोणती विश्वासार्ह राहतात आणि सर्वात मोठी दरी कुठे दिसते ते पाहा. क्रम लावा: एकूण खर्च ↓.

दाखवलेली मॉडेल्स

सरासरी सूचनांचे पालन स्कोअर

0.8

सर्वोत्तम मॉडेल

Claude Sonnet 5.5 0.9

अयशस्वी होण्याची कारणे

अयशस्वी होण्याचे कारण चुकीचे उत्तर सह117 अयशस्वी होण्याचे कारण सूचनांचे पालन केले नाही सह77 अयशस्वी होण्याचे कारण API त्रुटी सह25 अयशस्वी होण्याचे कारण अतिरिक्त फॉरमॅटिंग सह8 अयशस्वी होण्याचे कारण वेळ संपला सह5 अयशस्वी होण्याचे कारण उत्तर नाही सह2

451/451

क्रमांक	मॉडेल	कंपनी	सूचनांचे पालन स्कोअर	स्कोअर	एकूण खर्च	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#423	Command A+ high	Cohere	0.3	0.3	$0.079	0/2	110.3s
एकूण चाचण्या 2 चुकीच्या चाचण्या 2 एकूण खर्च $0.079 प्रतिसाद वेळ (सरासरी) 110.3s
#258	Solar Pro 4 high	Upstage	0.8	0.6	$0.077	1/2	41.5s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.077 प्रतिसाद वेळ (सरासरी) 41.5s
#340	KAT Coder AIR V2.5 high	Kwaipilot	1.0	0.5	$0.077	2/2	1.51s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.077 प्रतिसाद वेळ (सरासरी) 1.51s
#221	Qwen3.7 Flash medium	Qwen	0.6	0.7	$0.076	0/2	9.27s
एकूण चाचण्या 2 चुकीच्या चाचण्या 2 एकूण खर्च $0.076 प्रतिसाद वेळ (सरासरी) 9.27s
#135	GPT-6 Luna high	OpenAI	0.8	0.8	$0.074	1/2	1.92s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.074 प्रतिसाद वेळ (सरासरी) 1.92s
#427	Command A+ low	Cohere	0.3	0.3	$0.073	0/2	105.7s
एकूण चाचण्या 2 चुकीच्या चाचण्या 2 एकूण खर्च $0.073 प्रतिसाद वेळ (सरासरी) 105.7s
#170	Qwen3.8 27B medium	Qwen	1.0	0.7	~$0.073	2/2	2.54s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च ~$0.073 प्रतिसाद वेळ (सरासरी) 2.54s
#140	Qwen3.7 Flash low	Qwen	0.8	0.8	$0.071	1/2	9.88s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.071 प्रतिसाद वेळ (सरासरी) 9.88s
#372	Qwen3 Coder Next medium	Qwen	0.6	0.5	$0.071	1/2	7.49s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.071 प्रतिसाद वेळ (सरासरी) 7.49s
#387	KAT Coder AIR V2.5 default	Kwaipilot	1.0	0.4	$0.070	2/2	1.75s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.070 प्रतिसाद वेळ (सरासरी) 1.75s
#290	Gemini 3.1 Flash Lite none	Google	1.0	0.6	$0.069	2/2	859ms
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.069 प्रतिसाद वेळ (सरासरी) 859ms
#402	Grok 4.1 Fast medium	X AI	0.7	0.4	$0.069	1/2	4.63s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.069 प्रतिसाद वेळ (सरासरी) 4.63s
#374	GPT-5.4 Nano none	OpenAI	0.6	0.5	$0.068	1/2	784ms
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.068 प्रतिसाद वेळ (सरासरी) 784ms
#207	Solar Pro 4 xhigh	Upstage	0.8	0.7	$0.067	1/2	51.3s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.067 प्रतिसाद वेळ (सरासरी) 51.3s
#357	Qwen3 Coder Next default	Qwen	0.6	0.5	$0.067	1/2	7.78s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.067 प्रतिसाद वेळ (सरासरी) 7.78s

सूचनांचे पालन क्रमवारी

मॉडेल फिल्टर करा

सूचनांचे पालन स्कोअर नुसार शीर्ष मॉडेल्स

सूचनांचे पालन स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स