Command A+ (low) average score میں آگے ہے: 3.0 vs 0.8. Nimble v3 9B (default) کی benchmark لاگت کم ہے: ~$0.001 vs $0.073. Nimble v3 9B (default) تیز ہے: 363ms vs 92.50s، pass rates 4.4% vs 1.5%.
بینچ مارکس AI BENCHY ٹیسٹ سوئٹس سے اس وقت تیار کیے گئے:
2026-10-16
موازنہ کیے گئے ماڈلز
امیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
درجہ
#430
کل آؤٹ پٹ ٹوکنز
0
ردِعمل کا وقت (اوسط)
363ms
کل لاگت
~$0.001تخمینے میں صرف GPU کی بجلی شامل ہے۔ باقی کمپیوٹر اور ہارڈویئر خریدنے کی لاگت شامل نہیں ہے۔ NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
درجہ
#411
کل آؤٹ پٹ ٹوکنز
25,521
ردِعمل کا وقت (اوسط)
92.50s
کل لاگت
$0.073
تجویز کردہ ماڈلCommand A+ (low)
اس موازنے میں اس کا اسکور سب سے زیادہ ہے (3.0) اور 2 ماڈلز میں لاگت اور جواب دینے کے وقت کا مجموعی توازن سب سے بہتر ہے۔
تفصیلی موازنہ
میٹرک
Nimble v3 9BNimble v3 9Bdefaultامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.21/69 کوششیں. اڈاپٹر انتخاب فراہم کرتے ہیں۔ 7/23 ٹیسٹ معاونت یافتہ ہیں۔ باقی ٹیسٹ غیر معاون ہیں، ناکام نہیں۔ اسکور پورے ٹیسٹ مجموعے پر مبنی ہے۔اجرا: 2026-10-16
Nimble v3 9BNimble v3 9Bdefaultامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.21/69 کوششیں. اڈاپٹر انتخاب فراہم کرتے ہیں۔ 7/23 ٹیسٹ معاونت یافتہ ہیں۔ باقی ٹیسٹ غیر معاون ہیں، ناکام نہیں۔ اسکور پورے ٹیسٹ مجموعے پر مبنی ہے۔اجرا: 2026-10-16
10.0پہلی کوشش کی کامیابی کا اسکور: 10.0 کا مطلب ہے کامیاب کالز سے پہلے ہدف API یا ریٹ لمٹ کی کوئی دوبارہ کوشش کے قابل ناکامی نہیں؛ ریکارڈ شدہ ناکامیاں اسکور کم کرتی ہیں۔…
3.5پہلی کوشش کی کامیابی کا اسکور: 10.0 کا مطلب ہے کامیاب کالز سے پہلے ہدف API یا ریٹ لمٹ کی کوئی دوبارہ کوشش کے قابل ناکامی نہیں؛ ریکارڈ شدہ ناکامیاں اسکور کم کرتی ہیں۔…
تسلسل
3.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
9.6تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
کوششیں
21/69
69/69
درست ٹیسٹس
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 5ہدایات پر عمل نہیں کیا: 1ردِعمل کا وقت (اوسط)363msردِعمل کا وقت (زیادہ سے زیادہ)1.24sردِعمل کا وقت (کل)2.54sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 22غلط جواب: 1ردِعمل کا وقت (اوسط)92.50sردِعمل کا وقت (زیادہ سے زیادہ)128.54sردِعمل کا وقت (کل)2127.40sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
فی کوشش کامیابی کی شرح
4.4%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
1.5%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
غیر مستحکم ٹیسٹ
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
1غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کل رنز
21کل رنز…
69کل رنز…
فی نتیجہ لاگت
~0.027تخمینے میں صرف GPU کی بجلی شامل ہے۔ باقی کمپیوٹر اور ہارڈویئر خریدنے کی لاگت شامل نہیں ہے۔ NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
0.000
کل لاگت
~$0.001تخمینے میں صرف GPU کی بجلی شامل ہے۔ باقی کمپیوٹر اور ہارڈویئر خریدنے کی لاگت شامل نہیں ہے۔ NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
$0.073
ان پٹ قیمت
دستیاب نہیںان پٹ قیمت…
$0.300 / 1Mان پٹ قیمت…
آؤٹ پٹ قیمت
دستیاب نہیںآؤٹ پٹ قیمت…
$1.500 / 1Mآؤٹ پٹ قیمت…
کیش پڑھنے کی قیمت
دستیاب نہیںکیش پڑھنے کی قیمت…
$0.150 / 1Mکیش پڑھنے کی قیمت…
کیش میں لکھنے کی قیمت
دستیاب نہیںکیش میں لکھنے کی قیمت…
دستیاب نہیںکیش میں لکھنے کی قیمت…
کل ان پٹ ٹوکنز
103,770کل ان پٹ ٹوکنز…
114,874کل ان پٹ ٹوکنز…
آؤٹ پٹ ٹوکنز
0آؤٹ پٹ ٹوکنز…
1,992آؤٹ پٹ ٹوکنز…
ریزننگ ٹوکنز
0ریزننگ ٹوکنز…
23,529ریزننگ ٹوکنز…
ردِعمل کا وقت (اوسط)
363msردِعمل کا وقت (اوسط)…
92.50sردِعمل کا وقت (اوسط)…
ردِعمل کا وقت (زیادہ سے زیادہ)
1.24sردِعمل کا وقت (زیادہ سے زیادہ)…
128.54sردِعمل کا وقت (زیادہ سے زیادہ)…
ردِعمل کا وقت (کل)
2.54sردِعمل کا وقت (کل)…
2127.40sردِعمل کا وقت (کل)…
پیرامیٹرز
9B
218B کل (25B فعال)
دستیابی
وزن دستیاب
کھلا ماخذ
کیش کی قیمتیں ان پٹ ٹوکنز پر لاگو ہوتی ہیں۔ پڑھنے سے محفوظ پرامپٹ دوبارہ استعمال ہوتے ہیں؛ لکھنے سے وہ محفوظ ہوتے ہیں اور اضافی لاگت آ سکتی ہے۔ آؤٹ پٹ ٹوکنز پر آؤٹ پٹ کی قیمت لاگو ہوتی ہے۔
ماڈل جنریشن شوکیس
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#430 Nimble v3 9B
defaultامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
ابھی تک اس ماڈل کے لیے کوئی شوکیس نتیجہ تیار نہیں کیا گیا۔
لاگت
دستیاب نہیں
وقت
-
ٹوکنز
0 tok
#411 Command A+
low
Provider returned error
لاگت
$0.000
وقت
0.2s
ٹوکنز
0 tok
درجہ
-
لاگت
-
وقت
-
ٹوکنز
-
اسکور کے لحاظ سے سرفہرست ماڈلز
اسکور بمقابلہ کل لاگت
ردِعمل کا وقت (اوسط)
اسکور vs ردِعمل کا وقت (اوسط)
کل آؤٹ پٹ ٹوکنز
اسکور vs کل آؤٹ پٹ ٹوکنز
زمرہ وار تفصیل
خودمختار ایجنٹ کے کام
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
1.6تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
33.3%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
1غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 1ردِعمل کا وقت (اوسط)128.54sردِعمل کا وقت (زیادہ سے زیادہ)128.54sردِعمل کا وقت (کل)128.54sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
128.54sردِعمل کا وقت (اوسط)…
114,874کل ان پٹ ٹوکنز…
1,992آؤٹ پٹ ٹوکنز…
23,529ریزننگ ٹوکنز…
اینٹی اے آئی چالیں
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
2.5تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
2.5تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
25.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)73msردِعمل کا وقت (زیادہ سے زیادہ)73msردِعمل کا وقت (کل)73msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 4ردِعمل کا وقت (اوسط)87.46sردِعمل کا وقت (زیادہ سے زیادہ)103.34sردِعمل کا وقت (کل)349.85sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
87.46sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
کوڈنگ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 3ردِعمل کا وقت (اوسط)86.43sردِعمل کا وقت (زیادہ سے زیادہ)92.24sردِعمل کا وقت (کل)259.28sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
86.43sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
مشترکہ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 2ردِعمل کا وقت (اوسط)83.53sردِعمل کا وقت (زیادہ سے زیادہ)90.11sردِعمل کا وقت (کل)167.05sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
83.53sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ڈیٹا پارسنگ اور استخراج
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
3.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 2ردِعمل کا وقت (اوسط)880msردِعمل کا وقت (زیادہ سے زیادہ)1.24sردِعمل کا وقت (کل)1.76sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 2ردِعمل کا وقت (اوسط)85.39sردِعمل کا وقت (زیادہ سے زیادہ)99.05sردِعمل کا وقت (کل)170.77sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
85.39sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ڈومین مخصوص
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
2.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
6.7تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 2ردِعمل کا وقت (اوسط)80msردِعمل کا وقت (زیادہ سے زیادہ)91msردِعمل کا وقت (کل)160msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 3ردِعمل کا وقت (اوسط)82.74sردِعمل کا وقت (زیادہ سے زیادہ)103.01sردِعمل کا وقت (کل)248.23sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
82.74sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
عمومی ذہانت
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 1ردِعمل کا وقت (اوسط)101.81sردِعمل کا وقت (زیادہ سے زیادہ)101.81sردِعمل کا وقت (کل)101.81sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
101.81sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ہدایات کی پیروی
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
1.5تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
5.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 1ردِعمل کا وقت (اوسط)469msردِعمل کا وقت (زیادہ سے زیادہ)469msردِعمل کا وقت (کل)469msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 2ردِعمل کا وقت (اوسط)105.69sردِعمل کا وقت (زیادہ سے زیادہ)116.28sردِعمل کا وقت (کل)211.38sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
105.69sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
پہیلی حل کرنا
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
1.7تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
3.3تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںہدایات پر عمل نہیں کیا: 1ردِعمل کا وقت (اوسط)79msردِعمل کا وقت (زیادہ سے زیادہ)79msردِعمل کا وقت (کل)79msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 3ردِعمل کا وقت (اوسط)95.76sردِعمل کا وقت (زیادہ سے زیادہ)102.09sردِعمل کا وقت (کل)287.28sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
95.76sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ٹول کالنگ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 1ردِعمل کا وقت (اوسط)99.68sردِعمل کا وقت (زیادہ سے زیادہ)99.68sردِعمل کا وقت (کل)99.68sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
99.68sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
معلومات عامہ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 1ردِعمل کا وقت (اوسط)103.52sردِعمل کا وقت (زیادہ سے زیادہ)103.52sردِعمل کا وقت (کل)103.52sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…