सूचनांचे पालन मॉडेल क्रमवारी

सूचनांचे पालन मध्ये कोणती AI मॉडेल्स सर्वोत्तम काम करतात, कोणती विश्वासार्ह राहतात आणि सर्वात मोठी दरी कुठे दिसते ते पाहा. क्रम लावा: मेट्रिक ↑.

दाखवलेली मॉडेल्स

सरासरी सूचनांचे पालन स्कोअर

8.5

सर्वोत्तम मॉडेल

Granite 4.2 8B 3.0

अयशस्वी होण्याची कारणे

अयशस्वी होण्याचे कारण चुकीचे उत्तर सह82 अयशस्वी होण्याचे कारण सूचनांचे पालन केले नाही सह48 अयशस्वी होण्याचे कारण अतिरिक्त फॉरमॅटिंग सह7 अयशस्वी होण्याचे कारण वेळ संपला सह5 अयशस्वी होण्याचे कारण API त्रुटी सह2 अयशस्वी होण्याचे कारण उत्तर नाही सह2

319/319

क्रमांक	मॉडेल	कंपनी	सूचनांचे पालन स्कोअर	स्कोअर	एकूण खर्च	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#42	GLM 5.3 Flash max	Z.ai	9.8	8.7	$0.059	2/2	3.65s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.059 प्रतिसाद वेळ (सरासरी) 3.65s
#58	Inkling Small high	Thinkingmachines	9.8	8.4	$0.398	2/2	3.94s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.398 प्रतिसाद वेळ (सरासरी) 3.94s
#67	Inkling high	Thinkingmachines	9.8	8.0	$1.046	2/2	7.00s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $1.046 प्रतिसाद वेळ (सरासरी) 7.00s
#70	DeepSeek V4 Flash 0731 high	DeepSeek	9.8	8.0	$0.134	2/2	4.46s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.134 प्रतिसाद वेळ (सरासरी) 4.46s
#86	Claude Opus 4.8 low	Anthropic	9.8	7.8	$2.089	2/2	2.78s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $2.089 प्रतिसाद वेळ (सरासरी) 2.78s
#98	GPT-5.4 Nano medium	OpenAI	9.8	7.5	$0.142	2/2	1.88s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.142 प्रतिसाद वेळ (सरासरी) 1.88s
#100	MiniMax M3 medium	Minimax	9.8	7.5	$0.300	2/2	6.14s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.300 प्रतिसाद वेळ (सरासरी) 6.14s
#106	Grok Build 0.1 medium	X AI	9.8	7.5	$1.130	2/2	12.4s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $1.130 प्रतिसाद वेळ (सरासरी) 12.4s
#113	Qwen3.8 2.4T A95B high	Qwen	9.8	7.4	$2.357	2/2	11.4s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $2.357 प्रतिसाद वेळ (सरासरी) 11.4s
#117	GLM 5.3 high	Z.ai	9.8	7.3	$0.403	2/2	3.62s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.403 प्रतिसाद वेळ (सरासरी) 3.62s
#134	Grok 4.3 medium	X AI	9.8	7.0	$0.741	2/2	18.6s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.741 प्रतिसाद वेळ (सरासरी) 18.6s
#146	Seed-2.0-Code high	Bytedance Seed	9.8	6.9	$1.273	2/2	11.3s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $1.273 प्रतिसाद वेळ (सरासरी) 11.3s
#147	Gemini 3.5 Flash none	Google	9.8	6.9	$1.093	2/2	3.38s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $1.093 प्रतिसाद वेळ (सरासरी) 3.38s
#152	Solar Pro 4 medium	Upstage	9.8	6.8	$0.047	2/2	40.1s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.047 प्रतिसाद वेळ (सरासरी) 40.1s
#159	KAT-Coder-Pro V2.5 none	Kwaipilot	9.8	6.7	$0.487	2/2	2.61s
एकूण चाचण्या 2 चुकीच्या चाचण्या 0 एकूण खर्च $0.487 प्रतिसाद वेळ (सरासरी) 2.61s

सूचनांचे पालन क्रमवारी

मॉडेल फिल्टर करा

सूचनांचे पालन स्कोअर नुसार शीर्ष मॉडेल्स

सूचनांचे पालन स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स