average score लगभग बराबर है: 7.8 vs 7.8. स्थानीय हार्डवेयर की लागत नहीं मापी गई, इसलिए लागत की तुलना उपलब्ध नहीं है। Claude Opus 4.8 (low) तेज है: 12.88s vs 33.05s, pass rates 80.3% vs 66.7%.
बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए::
2026-08-15
रैंक
#70
कुल आउटपुट टोकन
52,237
प्रतिक्रिया समय (औसत)
12.88s
कुल लागत
$2.089
रैंक
#68
कुल आउटपुट टोकन
136,162
प्रतिक्रिया समय (औसत)
33.05s
कुल लागत
लागू नहीं
अनुशंसित मॉडलClaude Opus 4.8 (low)
It has the best score here (7.8), while responding about 2.6x faster than Qwen3.8 27B (medium).
Qwen3.8 27BQwen3.8 27Bmediumउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।रिलीज़: 2026-08-14
स्कोर
7.8सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
7.8सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
रैंक
#70
#68
विश्वसनीयता
10.0पहले प्रयास की सफलता स्कोर: 10.0 का मतलब है सफल कॉल से पहले लक्ष्य API या रेट-लिमिट की कोई पुनः प्रयास योग्य विफलता नहीं; दर्ज विफलताएँ स्कोर घटाती हैं।…
9.6पहले प्रयास की सफलता स्कोर: 10.0 का मतलब है सफल कॉल से पहले लक्ष्य API या रेट-लिमिट की कोई पुनः प्रयास योग्य विफलता नहीं; दर्ज विफलताएँ स्कोर घटाती हैं।…
संगति
8.9संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
9.7संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
प्रयास
66/66
66/66
सही परीक्षण
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 4अतिरिक्त फॉर्मेटिंग: 1कोई उत्तर नहीं: 1प्रतिक्रिया समय (औसत)12.88sप्रतिक्रिया समय (अधिकतम)127.97sप्रतिक्रिया समय (कुल)283.32sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)3.30sप्रतिक्रिया समय (अधिकतम)4.34sप्रतिक्रिया समय (कुल)13.18sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
3.30sप्रतिक्रिया समय (औसत)…
834कुल इनपुट टोकन…
793आउटपुट टोकन…
371रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
10.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)2.93sप्रतिक्रिया समय (अधिकतम)5.18sप्रतिक्रिया समय (कुल)11.70sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
4.6संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
77.8%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
2अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।अतिरिक्त फॉर्मेटिंग: 1गलत उत्तर: 1प्रतिक्रिया समय (औसत)7.58sप्रतिक्रिया समय (अधिकतम)12.19sप्रतिक्रिया समय (कुल)22.74sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
7.58sप्रतिक्रिया समय (औसत)…
10,590कुल इनपुट टोकन…
3,637आउटपुट टोकन…
809रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
10.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)40.50sप्रतिक्रिया समय (अधिकतम)72.14sप्रतिक्रिया समय (कुल)121.51sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)36.87sप्रतिक्रिया समय (अधिकतम)52.90sप्रतिक्रिया समय (कुल)73.74sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
36.87sप्रतिक्रिया समय (औसत)…
119,079कुल इनपुट टोकन…
13,586आउटपुट टोकन…
2,867रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
8.7सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
6.9संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
83.3%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।अमान्य टूल कॉल: 1प्रतिक्रिया समय (औसत)124.48sप्रतिक्रिया समय (अधिकतम)214.63sप्रतिक्रिया समय (कुल)248.96sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
5.8संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
66.7%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)2.27sप्रतिक्रिया समय (अधिकतम)2.50sप्रतिक्रिया समय (कुल)4.54sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
2.27sप्रतिक्रिया समय (औसत)…
10,503कुल इनपुट टोकन…
310आउटपुट टोकन…
0रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
6.5सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
50.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)8.76sप्रतिक्रिया समय (अधिकतम)10.36sप्रतिक्रिया समय (कुल)17.53sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
33.3%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 2प्रतिक्रिया समय (औसत)46.54sप्रतिक्रिया समय (अधिकतम)127.97sप्रतिक्रिया समय (कुल)139.63sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
46.54sप्रतिक्रिया समय (औसत)…
972कुल इनपुट टोकन…
23,226आउटपुट टोकन…
4,472रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
5.3सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
33.3%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 2प्रतिक्रिया समय (औसत)76.98sप्रतिक्रिया समय (अधिकतम)144.07sप्रतिक्रिया समय (कुल)230.93sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)2.55sप्रतिक्रिया समय (अधिकतम)2.55sप्रतिक्रिया समय (कुल)2.55sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
2.55sप्रतिक्रिया समय (औसत)…
708कुल इनपुट टोकन…
231आउटपुट टोकन…
0रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
5.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।निर्देशों का पालन नहीं किया: 1प्रतिक्रिया समय (औसत)9.20sप्रतिक्रिया समय (अधिकतम)9.20sप्रतिक्रिया समय (कुल)9.20sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)2.78sप्रतिक्रिया समय (अधिकतम)3.78sप्रतिक्रिया समय (कुल)5.56sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
2.78sप्रतिक्रिया समय (औसत)…
909कुल इनपुट टोकन…
111आउटपुट टोकन…
221रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
10.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)2.54sप्रतिक्रिया समय (अधिकतम)2.67sप्रतिक्रिया समय (कुल)5.07sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)3.01sप्रतिक्रिया समय (अधिकतम)3.31sप्रतिक्रिया समय (कुल)9.04sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
3.01sप्रतिक्रिया समय (औसत)…
894कुल इनपुट टोकन…
592आउटपुट टोकन…
184रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
8.3सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
66.7%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।निर्देशों का पालन नहीं किया: 1प्रतिक्रिया समय (औसत)12.62sप्रतिक्रिया समय (अधिकतम)29.62sप्रतिक्रिया समय (कुल)37.85sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)6.85sप्रतिक्रिया समय (अधिकतम)6.85sप्रतिक्रिया समय (कुल)6.85sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
6.85sप्रतिक्रिया समय (औसत)…
11,775कुल इनपुट टोकन…
370आउटपुट टोकन…
35रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
3.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।API त्रुटि: 1प्रतिक्रिया समय (औसत)0msप्रतिक्रिया समय (अधिकतम)0msप्रतिक्रिया समय (कुल)0msकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई उत्तर नहीं: 1प्रतिक्रिया समय (औसत)5.48sप्रतिक्रिया समय (अधिकतम)5.48sप्रतिक्रिया समय (कुल)5.48sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
5.48sप्रतिक्रिया समय (औसत)…
258कुल इनपुट टोकन…
200आउटपुट टोकन…
222रीजनिंग टोकन…
Qwen3.8 27Bउम्मीदवार मॉडल के उत्तर स्थानीय हार्डवेयर पर बनाए गए। OpenRouter का उपयोग केवल मूल्यांकन के लिए हुआ।
3.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई उत्तर नहीं: 1प्रतिक्रिया समय (औसत)11.29sप्रतिक्रिया समय (अधिकतम)11.29sप्रतिक्रिया समय (कुल)11.29sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…