Kev 4B (default) average score میں آگے ہے: 2.4 vs 0.8. Nimble v3 9B (default) کی benchmark لاگت کم ہے: ~$0.001 vs $0.002. Nimble v3 9B (default) تیز ہے: 363ms vs 5.63s، pass rates 4.4% vs 15.9%.
بینچ مارکس AI BENCHY ٹیسٹ سوئٹس سے اس وقت تیار کیے گئے:
2026-10-16
موازنہ کیے گئے ماڈلز
امیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
درجہ
#430
کل آؤٹ پٹ ٹوکنز
0
ردِعمل کا وقت (اوسط)
363ms
کل لاگت
~$0.001تخمینے میں صرف GPU کی بجلی شامل ہے۔ باقی کمپیوٹر اور ہارڈویئر خریدنے کی لاگت شامل نہیں ہے۔ NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
درجہ
#418
کل آؤٹ پٹ ٹوکنز
28,061
ردِعمل کا وقت (اوسط)
5.63s
کل لاگت
$0.002
تجویز کردہ ماڈلKev 4B (default)
اس موازنے میں اس کا اسکور سب سے زیادہ ہے (2.4) اور 2 ماڈلز میں لاگت اور جواب دینے کے وقت کا مجموعی توازن سب سے بہتر ہے۔
تفصیلی موازنہ
میٹرک
Nimble v3 9BNimble v3 9Bdefaultامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.21/69 کوششیں. اڈاپٹر انتخاب فراہم کرتے ہیں۔ 7/23 ٹیسٹ معاونت یافتہ ہیں۔ باقی ٹیسٹ غیر معاون ہیں، ناکام نہیں۔ اسکور پورے ٹیسٹ مجموعے پر مبنی ہے۔اجرا: 2026-10-16
Kev 4BKev 4Bdefault36/69 کوششیں. اڈاپٹر انتخاب فراہم کرتے ہیں۔ 12/23 ٹیسٹ معاونت یافتہ ہیں۔ باقی ٹیسٹ غیر معاون ہیں، ناکام نہیں۔ اسکور پورے ٹیسٹ مجموعے پر مبنی ہے۔اجرا: 2026-09-28
میٹرک
Nimble v3 9BNimble v3 9Bdefaultامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.21/69 کوششیں. اڈاپٹر انتخاب فراہم کرتے ہیں۔ 7/23 ٹیسٹ معاونت یافتہ ہیں۔ باقی ٹیسٹ غیر معاون ہیں، ناکام نہیں۔ اسکور پورے ٹیسٹ مجموعے پر مبنی ہے۔اجرا: 2026-10-16
Kev 4BKev 4Bdefault36/69 کوششیں. اڈاپٹر انتخاب فراہم کرتے ہیں۔ 12/23 ٹیسٹ معاونت یافتہ ہیں۔ باقی ٹیسٹ غیر معاون ہیں، ناکام نہیں۔ اسکور پورے ٹیسٹ مجموعے پر مبنی ہے۔اجرا: 2026-09-28
اسکور
0.8تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
2.4تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
درجہ
#430
#418
اعتماد پذیری
10.0پہلی کوشش کی کامیابی کا اسکور: 10.0 کا مطلب ہے کامیاب کالز سے پہلے ہدف API یا ریٹ لمٹ کی کوئی دوبارہ کوشش کے قابل ناکامی نہیں؛ ریکارڈ شدہ ناکامیاں اسکور کم کرتی ہیں۔…
10.0پہلی کوشش کی کامیابی کا اسکور: 10.0 کا مطلب ہے کامیاب کالز سے پہلے ہدف API یا ریٹ لمٹ کی کوئی دوبارہ کوشش کے قابل ناکامی نہیں؛ ریکارڈ شدہ ناکامیاں اسکور کم کرتی ہیں۔…
تسلسل
3.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
4.9تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
کوششیں
21/69
36/69
درست ٹیسٹس
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 5ہدایات پر عمل نہیں کیا: 1ردِعمل کا وقت (اوسط)363msردِعمل کا وقت (زیادہ سے زیادہ)1.24sردِعمل کا وقت (کل)2.54sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 9ردِعمل کا وقت (اوسط)5.63sردِعمل کا وقت (زیادہ سے زیادہ)17.79sردِعمل کا وقت (کل)67.61sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
فی کوشش کامیابی کی شرح
4.4%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
15.9%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
غیر مستحکم ٹیسٹ
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
1غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کل رنز
21کل رنز…
36کل رنز…
فی نتیجہ لاگت
~0.027تخمینے میں صرف GPU کی بجلی شامل ہے۔ باقی کمپیوٹر اور ہارڈویئر خریدنے کی لاگت شامل نہیں ہے۔ NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
0.060
کل لاگت
~$0.001تخمینے میں صرف GPU کی بجلی شامل ہے۔ باقی کمپیوٹر اور ہارڈویئر خریدنے کی لاگت شامل نہیں ہے۔ NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
$0.002
ان پٹ قیمت
دستیاب نہیںان پٹ قیمت…
$0.042 / 1Mان پٹ قیمت…
آؤٹ پٹ قیمت
دستیاب نہیںآؤٹ پٹ قیمت…
$0.000 / 1Mآؤٹ پٹ قیمت…
کیش پڑھنے کی قیمت
دستیاب نہیںکیش پڑھنے کی قیمت…
دستیاب نہیںکیش پڑھنے کی قیمت…
کیش میں لکھنے کی قیمت
دستیاب نہیںکیش میں لکھنے کی قیمت…
دستیاب نہیںکیش میں لکھنے کی قیمت…
کل ان پٹ ٹوکنز
103,770کل ان پٹ ٹوکنز…
42,804کل ان پٹ ٹوکنز…
آؤٹ پٹ ٹوکنز
0آؤٹ پٹ ٹوکنز…
28,061آؤٹ پٹ ٹوکنز…
ریزننگ ٹوکنز
0ریزننگ ٹوکنز…
0ریزننگ ٹوکنز…
ردِعمل کا وقت (اوسط)
363msردِعمل کا وقت (اوسط)…
5.63sردِعمل کا وقت (اوسط)…
ردِعمل کا وقت (زیادہ سے زیادہ)
1.24sردِعمل کا وقت (زیادہ سے زیادہ)…
17.79sردِعمل کا وقت (زیادہ سے زیادہ)…
ردِعمل کا وقت (کل)
2.54sردِعمل کا وقت (کل)…
67.61sردِعمل کا وقت (کل)…
پیرامیٹرز
9B
4B
دستیابی
وزن دستیاب
کھلا ماخذ
کیش کی قیمتیں ان پٹ ٹوکنز پر لاگو ہوتی ہیں۔ پڑھنے سے محفوظ پرامپٹ دوبارہ استعمال ہوتے ہیں؛ لکھنے سے وہ محفوظ ہوتے ہیں اور اضافی لاگت آ سکتی ہے۔ آؤٹ پٹ ٹوکنز پر آؤٹ پٹ کی قیمت لاگو ہوتی ہے۔
اسکور کے لحاظ سے سرفہرست ماڈلز
اسکور بمقابلہ کل لاگت
ردِعمل کا وقت (اوسط)
اسکور vs ردِعمل کا وقت (اوسط)
کل آؤٹ پٹ ٹوکنز
اسکور vs کل آؤٹ پٹ ٹوکنز
زمرہ وار تفصیل
خودمختار ایجنٹ کے کام
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
0msردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
اینٹی اے آئی چالیں
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
2.5تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
2.5تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
25.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)73msردِعمل کا وقت (زیادہ سے زیادہ)73msردِعمل کا وقت (کل)73msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
7.5تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 3ردِعمل کا وقت (اوسط)3.65sردِعمل کا وقت (زیادہ سے زیادہ)9.32sردِعمل کا وقت (کل)10.95sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
3.65sردِعمل کا وقت (اوسط)…
5,364کل ان پٹ ٹوکنز…
7,514آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
کوڈنگ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
6.7تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
33.3%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 1ردِعمل کا وقت (اوسط)771msردِعمل کا وقت (زیادہ سے زیادہ)954msردِعمل کا وقت (کل)1.54sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
771msردِعمل کا وقت (اوسط)…
21,603کل ان پٹ ٹوکنز…
12,207آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
مشترکہ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
0msردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ڈیٹا پارسنگ اور استخراج
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
3.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 2ردِعمل کا وقت (اوسط)880msردِعمل کا وقت (زیادہ سے زیادہ)1.24sردِعمل کا وقت (کل)1.76sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
50.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 1ردِعمل کا وقت (اوسط)9.09sردِعمل کا وقت (زیادہ سے زیادہ)17.37sردِعمل کا وقت (کل)18.18sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
9.09sردِعمل کا وقت (اوسط)…
11,010کل ان پٹ ٹوکنز…
3,573آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ڈومین مخصوص
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
2.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
6.7تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 2ردِعمل کا وقت (اوسط)80msردِعمل کا وقت (زیادہ سے زیادہ)91msردِعمل کا وقت (کل)160msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
33.3%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 2ردِعمل کا وقت (اوسط)6.34sردِعمل کا وقت (زیادہ سے زیادہ)17.79sردِعمل کا وقت (کل)19.02sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
6.34sردِعمل کا وقت (اوسط)…
2,178کل ان پٹ ٹوکنز…
1,905آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
عمومی ذہانت
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
0msردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ہدایات کی پیروی
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
1.5تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
5.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 1ردِعمل کا وقت (اوسط)469msردِعمل کا وقت (زیادہ سے زیادہ)469msردِعمل کا وقت (کل)469msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
5.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 1ردِعمل کا وقت (اوسط)17.27sردِعمل کا وقت (زیادہ سے زیادہ)17.27sردِعمل کا وقت (کل)17.27sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
17.27sردِعمل کا وقت (اوسط)…
2,316کل ان پٹ ٹوکنز…
2,688آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
پہیلی حل کرنا
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
1.7تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
3.3تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںہدایات پر عمل نہیں کیا: 1ردِعمل کا وقت (اوسط)79msردِعمل کا وقت (زیادہ سے زیادہ)79msردِعمل کا وقت (کل)79msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
1.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
22.2%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
1غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 1ردِعمل کا وقت (اوسط)646msردِعمل کا وقت (زیادہ سے زیادہ)646msردِعمل کا وقت (کل)646msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
646msردِعمل کا وقت (اوسط)…
333کل ان پٹ ٹوکنز…
174آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ٹول کالنگ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
0msردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
معلومات عامہ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…