सूचनांचे पालन मॉडेल क्रमवारी

AI BENCHY श्रेणी

सूचनांचे पालन मध्ये कोणती AI मॉडेल्स सर्वोत्तम काम करतात, कोणती विश्वासार्ह राहतात आणि सर्वात मोठी दरी कुठे दिसते ते पाहा. क्रम लावा: प्रतिसाद वेळ (सरासरी) ↑.

दाखवलेली मॉडेल्स

सरासरी सूचनांचे पालन स्कोअर

8.5

सर्वोत्तम मॉडेल

Granite 4.1 8B 3.6

अयशस्वी होण्याची कारणे

अयशस्वी होण्याचे कारण चुकीचे उत्तर सह53 अयशस्वी होण्याचे कारण सूचनांचे पालन केले नाही सह11 अयशस्वी होण्याचे कारण अतिरिक्त फॉरमॅटिंग सह2 अयशस्वी होण्याचे कारण उत्तर नाही सह2 अयशस्वी होण्याचे कारण API त्रुटी सह1

क्रमांक	मॉडेल	कंपनी	सूचनांचे पालन स्कोअर	स्कोअर	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#3	Gemini 3.5 Flash low	Google	9.9	9.4	2/2	1.86s
#70	GPT-5.4 Nano medium	OpenAI	9.8	7.0	2/2	1.88s
#40	Gemini 3.1 Flash Lite Preview medium	Google	10.0	7.5	2/2	1.91s
#118	Qwen3.6 27B none	Qwen	6.2	5.6	1/2	1.92s
#77	Claude Sonnet 4.6 none	Anthropic	6.5	6.8	1/2	1.96s
#109	GLM 5V Turbo none	Z.ai	6.5	5.8	1/2	1.97s
#112	GLM 5.1 none	Z.ai	9.8	5.7	2/2	1.98s
#45	GPT-5.4 Mini medium	OpenAI	9.8	7.5	2/2	2.13s
#134	GLM 5 Turbo none	Z.ai	6.5	5.2	1/2	2.13s
#69	Claude Opus 4.6 medium	Anthropic	10.0	7.0	2/2	2.43s
#120	Mimo V2 PRO none	Xiaomi	6.5	5.6	1/2	2.51s
#44	Gemini 3.1 Flash Lite medium	Google	9.9	7.5	2/2	2.59s
#52	Claude Sonnet 4.6 medium	Anthropic	10.0	7.4	2/2	2.61s
#28	Gemini 2.5 Flash medium	Google	9.8	7.8	2/2	2.62s
#121	Owl Alpha none	Openrouter	6.4	5.5	1/2	2.63s

सूचनांचे पालन क्रमवारी

सूचनांचे पालन स्कोअर नुसार शीर्ष मॉडेल्स

सूचनांचे पालन स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स