Jev 1.14 (default) average score मध्ये पुढे आहे: 2.3 vs 0.8. Nimble v3 9B (default) चा benchmark खर्च कमी आहे: ~$0.001 vs $0.003. Nimble v3 9B (default) वेगवान आहे: 363ms vs 377ms, pass rates 4.4% vs 23.2%.
AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले:
2026-10-16
तुलना केलेली मॉडेल्स
उमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
क्रमांक
#430
एकूण आउटपुट टोकन्स
0
प्रतिसाद वेळ (सरासरी)
363ms
एकूण खर्च
~$0.001फक्त GPU च्या विजेच्या खर्चाचा अंदाज घेतला आहे. उर्वरित संगणक आणि हार्डवेअर खरेदीचा खर्च यात समाविष्ट नाही. NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
क्रमांक
#419
एकूण आउटपुट टोकन्स
18,927
प्रतिसाद वेळ (सरासरी)
377ms
एकूण खर्च
$0.003
शिफारस केलेले मॉडेलJev 1.14 (default)
या तुलनेत याचा गुण सर्वाधिक आहे (2.3) आणि 2 मॉडेल्समध्ये खर्च व प्रतिसाद वेळ यांचा एकूण समतोल सर्वोत्तम आहे.
तपशीलवार तुलना
मेट्रिक
Nimble v3 9BNimble v3 9Bdefaultउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.21/69 प्रयत्न. अडॅप्टर पर्याय देतात. 7/23 चाचण्या समर्थित आहेत. इतर चाचण्या असमर्थित आहेत, अयशस्वी नाहीत. गुण संपूर्ण चाचणी संचावर आधारित आहेत.प्रकाशन: 2026-10-16
Jev 1.14Jev 1.14default36/69 प्रयत्न. अडॅप्टर पर्याय देतात. 12/23 चाचण्या समर्थित आहेत. इतर चाचण्या असमर्थित आहेत, अयशस्वी नाहीत. गुण संपूर्ण चाचणी संचावर आधारित आहेत.प्रकाशन: 2026-10-15
मेट्रिक
Nimble v3 9BNimble v3 9Bdefaultउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.21/69 प्रयत्न. अडॅप्टर पर्याय देतात. 7/23 चाचण्या समर्थित आहेत. इतर चाचण्या असमर्थित आहेत, अयशस्वी नाहीत. गुण संपूर्ण चाचणी संचावर आधारित आहेत.प्रकाशन: 2026-10-16
Jev 1.14Jev 1.14default36/69 प्रयत्न. अडॅप्टर पर्याय देतात. 12/23 चाचण्या समर्थित आहेत. इतर चाचण्या असमर्थित आहेत, अयशस्वी नाहीत. गुण संपूर्ण चाचणी संचावर आधारित आहेत.प्रकाशन: 2026-10-15
स्कोअर
0.8सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
2.3सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
क्रमांक
#430
#419
विश्वसनीयता
10.0पहिल्या प्रयत्नातील यश स्कोअर: 10.0 म्हणजे यशस्वी कॉल्सपूर्वी लक्ष्य API किंवा रेट-लिमिटच्या पुन्हा प्रयत्न करता येणाऱ्या अपयशांची नोंद नाही; नोंदवलेली अपयशे स्कोअर कमी करतात.…
10.0पहिल्या प्रयत्नातील यश स्कोअर: 10.0 म्हणजे यशस्वी कॉल्सपूर्वी लक्ष्य API किंवा रेट-लिमिटच्या पुन्हा प्रयत्न करता येणाऱ्या अपयशांची नोंद नाही; नोंदवलेली अपयशे स्कोअर कमी करतात.…
सुसंगतता
3.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
4.5सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
प्रयत्न
21/69
36/69
बरोबर चाचण्या
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 5सूचनांचे पालन केले नाही: 1प्रतिसाद वेळ (सरासरी)363msप्रतिसाद वेळ (कमाल)1.24sप्रतिसाद वेळ (एकूण)2.54sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 7सूचनांचे पालन केले नाही: 1प्रतिसाद वेळ (सरासरी)377msप्रतिसाद वेळ (कमाल)546msप्रतिसाद वेळ (एकूण)4.52sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
प्रति प्रयत्न पास दर
4.4%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
23.2%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
अस्थिर चाचण्या
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
2अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एकूण रन
21एकूण रन…
36एकूण रन…
प्रति निकाल खर्च
~0.027फक्त GPU च्या विजेच्या खर्चाचा अंदाज घेतला आहे. उर्वरित संगणक आणि हार्डवेअर खरेदीचा खर्च यात समाविष्ट नाही. NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
0.071
एकूण खर्च
~$0.001फक्त GPU च्या विजेच्या खर्चाचा अंदाज घेतला आहे. उर्वरित संगणक आणि हार्डवेअर खरेदीचा खर्च यात समाविष्ट नाही. NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
$0.003
इनपुट किंमत
लागू नाहीइनपुट किंमत…
$0.042 / 1Mइनपुट किंमत…
आउटपुट किंमत
लागू नाहीआउटपुट किंमत…
$0.000 / 1Mआउटपुट किंमत…
कॅश वाचण्याची किंमत
लागू नाहीकॅश वाचण्याची किंमत…
लागू नाहीकॅश वाचण्याची किंमत…
कॅश लिहिण्याची किंमत
लागू नाहीकॅश लिहिण्याची किंमत…
लागू नाहीकॅश लिहिण्याची किंमत…
एकूण इनपुट टोकन्स
103,770एकूण इनपुट टोकन्स…
67,092एकूण इनपुट टोकन्स…
आउटपुट टोकन्स
0आउटपुट टोकन्स…
18,927आउटपुट टोकन्स…
रिझनिंग टोकन्स
0रिझनिंग टोकन्स…
0रिझनिंग टोकन्स…
प्रतिसाद वेळ (सरासरी)
363msप्रतिसाद वेळ (सरासरी)…
377msप्रतिसाद वेळ (सरासरी)…
प्रतिसाद वेळ (कमाल)
1.24sप्रतिसाद वेळ (कमाल)…
546msप्रतिसाद वेळ (कमाल)…
प्रतिसाद वेळ (एकूण)
2.54sप्रतिसाद वेळ (एकूण)…
4.52sप्रतिसाद वेळ (एकूण)…
पॅरामीटर्स
9B
-
उपलब्धता
वेट्स उपलब्ध
बंद स्रोत
कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर विरुद्ध एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
श्रेणीवार तपशील
स्वायत्त एजंट कार्ये
स्कोअर
सुसंगतता
प्रति प्रयत्न पास दर
अस्थिर चाचण्या
बरोबर चाचण्या
प्रतिसाद वेळ (सरासरी)
इनपुट टोकन्स
आउटपुट टोकन्स
रिझनिंग टोकन्स
Nimble v3 9Bउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
0.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)0msप्रतिसाद वेळ (कमाल)0msप्रतिसाद वेळ (एकूण)0msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
0.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)0msप्रतिसाद वेळ (कमाल)0msप्रतिसाद वेळ (एकूण)0msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
0msप्रतिसाद वेळ (सरासरी)…
0एकूण इनपुट टोकन्स…
0आउटपुट टोकन्स…
0रिझनिंग टोकन्स…
अँटी-एआय युक्त्या
स्कोअर
सुसंगतता
प्रति प्रयत्न पास दर
अस्थिर चाचण्या
बरोबर चाचण्या
प्रतिसाद वेळ (सरासरी)
इनपुट टोकन्स
आउटपुट टोकन्स
रिझनिंग टोकन्स
Nimble v3 9Bउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
2.5सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
2.5सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
25.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)73msप्रतिसाद वेळ (कमाल)73msप्रतिसाद वेळ (एकूण)73msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
7.5सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
25.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 2प्रतिसाद वेळ (सरासरी)300msप्रतिसाद वेळ (कमाल)347msप्रतिसाद वेळ (एकूण)900msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
300msप्रतिसाद वेळ (सरासरी)…
11,544एकूण इनपुट टोकन्स…
5,037आउटपुट टोकन्स…
0रिझनिंग टोकन्स…
कोडिंग
स्कोअर
सुसंगतता
प्रति प्रयत्न पास दर
अस्थिर चाचण्या
बरोबर चाचण्या
प्रतिसाद वेळ (सरासरी)
इनपुट टोकन्स
आउटपुट टोकन्स
रिझनिंग टोकन्स
Nimble v3 9Bउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
0.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)0msप्रतिसाद वेळ (कमाल)0msप्रतिसाद वेळ (एकूण)0msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
3.9सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
22.2%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 2प्रतिसाद वेळ (सरासरी)403msप्रतिसाद वेळ (कमाल)478msप्रतिसाद वेळ (एकूण)805msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
403msप्रतिसाद वेळ (सरासरी)…
30,072एकूण इनपुट टोकन्स…
8,130आउटपुट टोकन्स…
0रिझनिंग टोकन्स…
संयुक्त
स्कोअर
सुसंगतता
प्रति प्रयत्न पास दर
अस्थिर चाचण्या
बरोबर चाचण्या
प्रतिसाद वेळ (सरासरी)
इनपुट टोकन्स
आउटपुट टोकन्स
रिझनिंग टोकन्स
Nimble v3 9Bउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
0.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)0msप्रतिसाद वेळ (कमाल)0msप्रतिसाद वेळ (एकूण)0msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
0.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)0msप्रतिसाद वेळ (कमाल)0msप्रतिसाद वेळ (एकूण)0msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
0msप्रतिसाद वेळ (सरासरी)…
0एकूण इनपुट टोकन्स…
0आउटपुट टोकन्स…
0रिझनिंग टोकन्स…
डेटा पार्सिंग आणि निष्कर्षण
स्कोअर
सुसंगतता
प्रति प्रयत्न पास दर
अस्थिर चाचण्या
बरोबर चाचण्या
प्रतिसाद वेळ (सरासरी)
इनपुट टोकन्स
आउटपुट टोकन्स
रिझनिंग टोकन्स
Nimble v3 9Bउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
3.0सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 2प्रतिसाद वेळ (सरासरी)880msप्रतिसाद वेळ (कमाल)1.24sप्रतिसाद वेळ (एकूण)1.76sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
5.9सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
83.3%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)335msप्रतिसाद वेळ (कमाल)350msप्रतिसाद वेळ (एकूण)669msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
335msप्रतिसाद वेळ (सरासरी)…
14,229एकूण इनपुट टोकन्स…
2,763आउटपुट टोकन्स…
0रिझनिंग टोकन्स…
डोमेन-विशिष्ट
स्कोअर
सुसंगतता
प्रति प्रयत्न पास दर
अस्थिर चाचण्या
बरोबर चाचण्या
प्रतिसाद वेळ (सरासरी)
इनपुट टोकन्स
आउटपुट टोकन्स
रिझनिंग टोकन्स
Nimble v3 9Bउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
2.0सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
6.7सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 2प्रतिसाद वेळ (सरासरी)80msप्रतिसाद वेळ (कमाल)91msप्रतिसाद वेळ (एकूण)160msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
66.7%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)444msप्रतिसाद वेळ (कमाल)546msप्रतिसाद वेळ (एकूण)1.33sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
444msप्रतिसाद वेळ (सरासरी)…
5,526एकूण इनपुट टोकन्स…
1,245आउटपुट टोकन्स…
0रिझनिंग टोकन्स…
Samanya Buddhimatta
स्कोअर
सुसंगतता
प्रति प्रयत्न पास दर
अस्थिर चाचण्या
बरोबर चाचण्या
प्रतिसाद वेळ (सरासरी)
इनपुट टोकन्स
आउटपुट टोकन्स
रिझनिंग टोकन्स
Nimble v3 9Bउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
0.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)0msप्रतिसाद वेळ (कमाल)0msप्रतिसाद वेळ (एकूण)0msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
0.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)0msप्रतिसाद वेळ (कमाल)0msप्रतिसाद वेळ (एकूण)0msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
0msप्रतिसाद वेळ (सरासरी)…
0एकूण इनपुट टोकन्स…
0आउटपुट टोकन्स…
0रिझनिंग टोकन्स…
सूचनांचे पालन
स्कोअर
सुसंगतता
प्रति प्रयत्न पास दर
अस्थिर चाचण्या
बरोबर चाचण्या
प्रतिसाद वेळ (सरासरी)
इनपुट टोकन्स
आउटपुट टोकन्स
रिझनिंग टोकन्स
Nimble v3 9Bउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
1.5सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
5.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)469msप्रतिसाद वेळ (कमाल)469msप्रतिसाद वेळ (एकूण)469msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
5.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)543msप्रतिसाद वेळ (कमाल)543msप्रतिसाद वेळ (एकूण)543msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
543msप्रतिसाद वेळ (सरासरी)…
4,527एकूण इनपुट टोकन्स…
1,641आउटपुट टोकन्स…
0रिझनिंग टोकन्स…
कोडी सोडवणे
स्कोअर
सुसंगतता
प्रति प्रयत्न पास दर
अस्थिर चाचण्या
बरोबर चाचण्या
प्रतिसाद वेळ (सरासरी)
इनपुट टोकन्स
आउटपुट टोकन्स
रिझनिंग टोकन्स
Nimble v3 9Bउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
1.7सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
3.3सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.सूचनांचे पालन केले नाही: 1प्रतिसाद वेळ (सरासरी)79msप्रतिसाद वेळ (कमाल)79msप्रतिसाद वेळ (एकूण)79msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
3.3सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.सूचनांचे पालन केले नाही: 1प्रतिसाद वेळ (सरासरी)270msप्रतिसाद वेळ (कमाल)270msप्रतिसाद वेळ (एकूण)270msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
270msप्रतिसाद वेळ (सरासरी)…
1,194एकूण इनपुट टोकन्स…
111आउटपुट टोकन्स…
0रिझनिंग टोकन्स…
टूल कॉलिंग
स्कोअर
सुसंगतता
प्रति प्रयत्न पास दर
अस्थिर चाचण्या
बरोबर चाचण्या
प्रतिसाद वेळ (सरासरी)
इनपुट टोकन्स
आउटपुट टोकन्स
रिझनिंग टोकन्स
Nimble v3 9Bउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
0.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)0msप्रतिसाद वेळ (कमाल)0msप्रतिसाद वेळ (एकूण)0msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
0.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)0msप्रतिसाद वेळ (कमाल)0msप्रतिसाद वेळ (एकूण)0msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
0msप्रतिसाद वेळ (सरासरी)…
0एकूण इनपुट टोकन्स…
0आउटपुट टोकन्स…
0रिझनिंग टोकन्स…
सामान्य ज्ञान
स्कोअर
सुसंगतता
प्रति प्रयत्न पास दर
अस्थिर चाचण्या
बरोबर चाचण्या
प्रतिसाद वेळ (सरासरी)
इनपुट टोकन्स
आउटपुट टोकन्स
रिझनिंग टोकन्स
Nimble v3 9Bउमेदवार मॉडेलची उत्तरे स्थानिक हार्डवेअरवर तयार झाली. OpenRouter फक्त मूल्यमापनासाठी वापरले. nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0सर्व बेंचमार्क चाचण्यांमधील सरासरी गुण.…
0.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)0msप्रतिसाद वेळ (कमाल)0msप्रतिसाद वेळ (एकूण)0msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
0.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)0msप्रतिसाद वेळ (कमाल)0msप्रतिसाद वेळ (एकूण)0msएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…