Qwen3.8 27B (medium) average score में आगे है: 7.8 vs 7.7. स्थानीय हार्डवेयर की लागत नहीं मापी गई, इसलिए लागत की तुलना उपलब्ध नहीं है। Qwen3.8 27B (medium) तेज है: 33.05s vs 92.50s, pass rates 63.6% vs 66.7%.
बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए::
2026-08-15
रैंक
#75
कुल आउटपुट टोकन
209,444
प्रतिक्रिया समय (औसत)
92.50s
कुल लागत
$0.555
रैंक
#68
कुल आउटपुट टोकन
136,162
प्रतिक्रिया समय (औसत)
33.05s
कुल लागत
लागू नहीं
अनुशंसित मॉडलDeepSeek V4 Pro (high)
It has the best overall balance of score, reliability, cost, and response time in this comparison.
Qwen3.8 27BQwen3.8 27Bmediumउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।रिलीज़: 2026-08-14
स्कोर
7.7सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
7.8सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
रैंक
#75
#68
विश्वसनीयता
10.0पहले प्रयास की सफलता स्कोर: 10.0 का मतलब है सफल कॉल से पहले लक्ष्य API या रेट-लिमिट की कोई पुनः प्रयास योग्य विफलता नहीं; दर्ज विफलताएँ स्कोर घटाती हैं।…
9.6पहले प्रयास की सफलता स्कोर: 10.0 का मतलब है सफल कॉल से पहले लक्ष्य API या रेट-लिमिट की कोई पुनः प्रयास योग्य विफलता नहीं; दर्ज विफलताएँ स्कोर घटाती हैं।…
संगति
7.7संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
9.7संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
5.9संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
58.3%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
2अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 2कोई उत्तर नहीं: 1प्रतिक्रिया समय (औसत)25.70sप्रतिक्रिया समय (अधिकतम)48.19sप्रतिक्रिया समय (कुल)102.80sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
25.70sप्रतिक्रिया समय (औसत)…
536कुल इनपुट टोकन…
149आउटपुट टोकन…
3,214रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
10.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)2.93sप्रतिक्रिया समय (अधिकतम)5.18sप्रतिक्रिया समय (कुल)11.70sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
8.7संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
33.3%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।API त्रुटि: 1समय समाप्त: 1प्रतिक्रिया समय (औसत)243.00sप्रतिक्रिया समय (अधिकतम)416.76sप्रतिक्रिया समय (कुल)729.00sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
243.00sप्रतिक्रिया समय (औसत)…
5,090कुल इनपुट टोकन…
383आउटपुट टोकन…
84,580रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
10.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)40.50sप्रतिक्रिया समय (अधिकतम)72.14sप्रतिक्रिया समय (कुल)121.51sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)78.99sप्रतिक्रिया समय (अधिकतम)119.80sप्रतिक्रिया समय (कुल)157.97sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
78.99sप्रतिक्रिया समय (औसत)…
66,082कुल इनपुट टोकन…
4,582आउटपुट टोकन…
25,404रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
8.7सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
6.9संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
83.3%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।अमान्य टूल कॉल: 1प्रतिक्रिया समय (औसत)124.48sप्रतिक्रिया समय (अधिकतम)214.63sप्रतिक्रिया समय (कुल)248.96sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)25.03sप्रतिक्रिया समय (अधिकतम)27.49sप्रतिक्रिया समय (कुल)50.06sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
25.03sप्रतिक्रिया समय (औसत)…
7,690कुल इनपुट टोकन…
274आउटपुट टोकन…
2,166रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
6.5सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
50.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)8.76sप्रतिक्रिया समय (अधिकतम)10.36sप्रतिक्रिया समय (कुल)17.53sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
7.2संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
22.2%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 3प्रतिक्रिया समय (औसत)249.47sप्रतिक्रिया समय (अधिकतम)387.23sप्रतिक्रिया समय (कुल)748.42sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
249.47sप्रतिक्रिया समय (औसत)…
578कुल इनपुट टोकन…
16,870आउटपुट टोकन…
58,188रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
5.3सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
33.3%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 2प्रतिक्रिया समय (औसत)76.98sप्रतिक्रिया समय (अधिकतम)144.07sप्रतिक्रिया समय (कुल)230.93sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)8.83sप्रतिक्रिया समय (अधिकतम)8.83sप्रतिक्रिया समय (कुल)8.83sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
8.83sप्रतिक्रिया समय (औसत)…
471कुल इनपुट टोकन…
115आउटपुट टोकन…
1,013रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
5.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।निर्देशों का पालन नहीं किया: 1प्रतिक्रिया समय (औसत)9.20sप्रतिक्रिया समय (अधिकतम)9.20sप्रतिक्रिया समय (कुल)9.20sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
6.6संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
83.3%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।निर्देशों का पालन नहीं किया: 1प्रतिक्रिया समय (औसत)8.73sप्रतिक्रिया समय (अधिकतम)9.53sप्रतिक्रिया समय (कुल)17.45sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
8.73sप्रतिक्रिया समय (औसत)…
627कुल इनपुट टोकन…
66आउटपुट टोकन…
2,726रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
10.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)2.54sप्रतिक्रिया समय (अधिकतम)2.67sप्रतिक्रिया समय (कुल)5.07sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
4.9संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
77.8%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
2अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।निर्देशों का पालन नहीं किया: 1गलत उत्तर: 1प्रतिक्रिया समय (औसत)56.85sप्रतिक्रिया समय (अधिकतम)146.68sप्रतिक्रिया समय (कुल)170.55sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
56.85sप्रतिक्रिया समय (औसत)…
591कुल इनपुट टोकन…
178आउटपुट टोकन…
2,563रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
8.3सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
66.7%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।निर्देशों का पालन नहीं किया: 1प्रतिक्रिया समय (औसत)12.62sप्रतिक्रिया समय (अधिकतम)29.62sप्रतिक्रिया समय (कुल)37.85sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)15.92sप्रतिक्रिया समय (अधिकतम)15.92sप्रतिक्रिया समय (कुल)15.92sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
15.92sप्रतिक्रिया समय (औसत)…
8,909कुल इनपुट टोकन…
295आउटपुट टोकन…
701रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
3.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।API त्रुटि: 1प्रतिक्रिया समय (औसत)0msप्रतिक्रिया समय (अधिकतम)0msप्रतिक्रिया समय (कुल)0msकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)34.01sप्रतिक्रिया समय (अधिकतम)34.01sप्रतिक्रिया समय (कुल)34.01sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
34.01sप्रतिक्रिया समय (औसत)…
183कुल इनपुट टोकन…
16आउटपुट टोकन…
5,961रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
3.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई उत्तर नहीं: 1प्रतिक्रिया समय (औसत)11.29sप्रतिक्रिया समय (अधिकतम)11.29sप्रतिक्रिया समय (कुल)11.29sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…