सूचनांचे पालन मॉडेल क्रमवारी

सूचनांचे पालन मध्ये कोणती AI मॉडेल्स सर्वोत्तम काम करतात, कोणती विश्वासार्ह राहतात आणि सर्वात मोठी दरी कुठे दिसते ते पाहा.

दाखवलेली मॉडेल्स

सरासरी सूचनांचे पालन स्कोअर

0.8

सर्वोत्तम मॉडेल

Gemini 3.6 Flash 1.0

अयशस्वी होण्याची कारणे

अयशस्वी होण्याचे कारण चुकीचे उत्तर सह117 अयशस्वी होण्याचे कारण सूचनांचे पालन केले नाही सह77 अयशस्वी होण्याचे कारण API त्रुटी सह25 अयशस्वी होण्याचे कारण अतिरिक्त फॉरमॅटिंग सह8 अयशस्वी होण्याचे कारण वेळ संपला सह5 अयशस्वी होण्याचे कारण उत्तर नाही सह2

451/451

क्रमांक	मॉडेल	कंपनी	सूचनांचे पालन स्कोअर	स्कोअर	एकूण खर्च	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)
#168	Qwen3.5-27B none	Qwen	0.6	0.7	$0.116	1/2	1.03s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.116 प्रतिसाद वेळ (सरासरी) 1.03s
#181	Minimax M3.1 Flash low	Minimax	0.6	0.7	$0.000	1/2	1.60s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.000 प्रतिसाद वेळ (सरासरी) 1.60s
#199	Claude Sonnet 5.5 low	Anthropic	0.6	0.7	$0.909	1/2	1.91s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.909 प्रतिसाद वेळ (सरासरी) 1.91s
#210	Qwen3.5-Flash none	Qwen	0.6	0.7	$0.089	1/2	8.81s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.089 प्रतिसाद वेळ (सरासरी) 8.81s
#227	Claude Sonnet 5.5 medium	Anthropic	0.6	0.7	$1.100	1/2	1.88s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $1.100 प्रतिसाद वेळ (सरासरी) 1.88s
#238	Qwen3.5-122B-A10B none	Qwen	0.6	0.6	$0.308	1/2	513ms
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.308 प्रतिसाद वेळ (सरासरी) 513ms
#277	Inkling none	Thinkingmachines	0.6	0.6	$0.292	1/2	1.72s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.292 प्रतिसाद वेळ (सरासरी) 1.72s
#291	Qwen3.6 Flash none	Qwen	0.6	0.6	$0.139	1/2	1.10s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.139 प्रतिसाद वेळ (सरासरी) 1.10s
#294	Qwen3.7 Flash none	Qwen	0.6	0.6	$0.028	1/2	892ms
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.028 प्रतिसाद वेळ (सरासरी) 892ms
#301	Trinity Large Thinking high	Arcee AI	0.6	0.6	$0.794	1/2	4.12s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.794 प्रतिसाद वेळ (सरासरी) 4.12s
#303	GPT-5.4 Mini none	OpenAI	0.6	0.6	$0.170	1/2	728ms
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.170 प्रतिसाद वेळ (सरासरी) 728ms
#313	Qwen3.5-35B-A3B none	Qwen	0.6	0.6	$0.120	1/2	809ms
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.120 प्रतिसाद वेळ (सरासरी) 809ms
#320	Gemma 4 26B A4B none	Google	0.6	0.5	$0.031	1/2	690ms
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.031 प्रतिसाद वेळ (सरासरी) 690ms
#324	Qwen3.8 27B none	Qwen	0.6	0.5	~$0.010	1/2	582ms
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च ~$0.010 प्रतिसाद वेळ (सरासरी) 582ms
#353	GPT-4o-mini default	OpenAI	0.6	0.5	$0.024	1/2	1.11s
एकूण चाचण्या 2 चुकीच्या चाचण्या 1 एकूण खर्च $0.024 प्रतिसाद वेळ (सरासरी) 1.11s

सूचनांचे पालन क्रमवारी

मॉडेल फिल्टर करा

सूचनांचे पालन स्कोअर नुसार शीर्ष मॉडेल्स

सूचनांचे पालन स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी) नुसार शीर्ष मॉडेल्स