Command A+ average score میں آگے ہے: 3.0 vs 0.8. Command A+ کی benchmark لاگت کم ہے: $0.000 vs ~$0.001. Nimble v3 9B (default) تیز ہے: 363ms vs 77.87s، pass rates 4.4% vs 0.0%.
بینچ مارکس AI BENCHY ٹیسٹ سوئٹس سے اس وقت تیار کیے گئے:
2026-10-16
موازنہ کیے گئے ماڈلز
امیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
درجہ
#430
کل آؤٹ پٹ ٹوکنز
0
ردِعمل کا وقت (اوسط)
363ms
کل لاگت
~$0.001تخمینے میں صرف GPU کی بجلی شامل ہے۔ باقی کمپیوٹر اور ہارڈویئر خریدنے کی لاگت شامل نہیں ہے۔ NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
درجہ
#410
کل آؤٹ پٹ ٹوکنز
0
ردِعمل کا وقت (اوسط)
77.87s
کل لاگت
$0.000
تجویز کردہ ماڈلCommand A+
اس موازنے میں اس کا اسکور سب سے زیادہ ہے (3.0) اور 2 ماڈلز میں لاگت اور جواب دینے کے وقت کا مجموعی توازن سب سے بہتر ہے۔
تفصیلی موازنہ
میٹرک
Nimble v3 9BNimble v3 9Bdefaultامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.21/69 کوششیں. اڈاپٹر انتخاب فراہم کرتے ہیں۔ 7/23 ٹیسٹ معاونت یافتہ ہیں۔ باقی ٹیسٹ غیر معاون ہیں، ناکام نہیں۔ اسکور پورے ٹیسٹ مجموعے پر مبنی ہے۔اجرا: 2026-10-16
Nimble v3 9BNimble v3 9Bdefaultامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.21/69 کوششیں. اڈاپٹر انتخاب فراہم کرتے ہیں۔ 7/23 ٹیسٹ معاونت یافتہ ہیں۔ باقی ٹیسٹ غیر معاون ہیں، ناکام نہیں۔ اسکور پورے ٹیسٹ مجموعے پر مبنی ہے۔اجرا: 2026-10-16
10.0پہلی کوشش کی کامیابی کا اسکور: 10.0 کا مطلب ہے کامیاب کالز سے پہلے ہدف API یا ریٹ لمٹ کی کوئی دوبارہ کوشش کے قابل ناکامی نہیں؛ ریکارڈ شدہ ناکامیاں اسکور کم کرتی ہیں۔…
0.0پہلی کوشش کی کامیابی کا اسکور: 10.0 کا مطلب ہے کامیاب کالز سے پہلے ہدف API یا ریٹ لمٹ کی کوئی دوبارہ کوشش کے قابل ناکامی نہیں؛ ریکارڈ شدہ ناکامیاں اسکور کم کرتی ہیں۔…
تسلسل
3.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
کوششیں
21/69
69/69
درست ٹیسٹس
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 5ہدایات پر عمل نہیں کیا: 1ردِعمل کا وقت (اوسط)363msردِعمل کا وقت (زیادہ سے زیادہ)1.24sردِعمل کا وقت (کل)2.54sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 23ردِعمل کا وقت (اوسط)77.87sردِعمل کا وقت (زیادہ سے زیادہ)106.37sردِعمل کا وقت (کل)1791.03sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
فی کوشش کامیابی کی شرح
4.4%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
غیر مستحکم ٹیسٹ
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کل رنز
21کل رنز…
69کل رنز…
فی نتیجہ لاگت
~0.027تخمینے میں صرف GPU کی بجلی شامل ہے۔ باقی کمپیوٹر اور ہارڈویئر خریدنے کی لاگت شامل نہیں ہے۔ NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
0.000
کل لاگت
~$0.001تخمینے میں صرف GPU کی بجلی شامل ہے۔ باقی کمپیوٹر اور ہارڈویئر خریدنے کی لاگت شامل نہیں ہے۔ NVIDIA GeForce RTX 3090: 0.0021 h × 0.377 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000263.
$0.000
ان پٹ قیمت
دستیاب نہیںان پٹ قیمت…
$0.300 / 1Mان پٹ قیمت…
آؤٹ پٹ قیمت
دستیاب نہیںآؤٹ پٹ قیمت…
$1.500 / 1Mآؤٹ پٹ قیمت…
کیش پڑھنے کی قیمت
دستیاب نہیںکیش پڑھنے کی قیمت…
$0.150 / 1Mکیش پڑھنے کی قیمت…
کیش میں لکھنے کی قیمت
دستیاب نہیںکیش میں لکھنے کی قیمت…
دستیاب نہیںکیش میں لکھنے کی قیمت…
کل ان پٹ ٹوکنز
103,770کل ان پٹ ٹوکنز…
0کل ان پٹ ٹوکنز…
آؤٹ پٹ ٹوکنز
0آؤٹ پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
ریزننگ ٹوکنز
0ریزننگ ٹوکنز…
0ریزننگ ٹوکنز…
ردِعمل کا وقت (اوسط)
363msردِعمل کا وقت (اوسط)…
77.87sردِعمل کا وقت (اوسط)…
ردِعمل کا وقت (زیادہ سے زیادہ)
1.24sردِعمل کا وقت (زیادہ سے زیادہ)…
106.37sردِعمل کا وقت (زیادہ سے زیادہ)…
ردِعمل کا وقت (کل)
2.54sردِعمل کا وقت (کل)…
1791.03sردِعمل کا وقت (کل)…
پیرامیٹرز
9B
218B کل (25B فعال)
دستیابی
وزن دستیاب
کھلا ماخذ
کیش کی قیمتیں ان پٹ ٹوکنز پر لاگو ہوتی ہیں۔ پڑھنے سے محفوظ پرامپٹ دوبارہ استعمال ہوتے ہیں؛ لکھنے سے وہ محفوظ ہوتے ہیں اور اضافی لاگت آ سکتی ہے۔ آؤٹ پٹ ٹوکنز پر آؤٹ پٹ کی قیمت لاگو ہوتی ہے۔
ماڈل جنریشن شوکیس
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#430 Nimble v3 9B
defaultامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
ابھی تک اس ماڈل کے لیے کوئی شوکیس نتیجہ تیار نہیں کیا گیا۔
لاگت
دستیاب نہیں
وقت
-
ٹوکنز
0 tok
#410 Command A+
none
Provider returned error
لاگت
$0.000
وقت
0.2s
ٹوکنز
0 tok
درجہ
-
لاگت
-
وقت
-
ٹوکنز
-
اسکور کے لحاظ سے سرفہرست ماڈلز
اسکور بمقابلہ کل لاگت
ردِعمل کا وقت (اوسط)
اسکور vs ردِعمل کا وقت (اوسط)
کل آؤٹ پٹ ٹوکنز
اسکور vs کل آؤٹ پٹ ٹوکنز
زمرہ وار تفصیل
خودمختار ایجنٹ کے کام
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 1ردِعمل کا وقت (اوسط)1.05sردِعمل کا وقت (زیادہ سے زیادہ)1.05sردِعمل کا وقت (کل)1.05sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
1.05sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
اینٹی اے آئی چالیں
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
2.5تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
2.5تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
25.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)73msردِعمل کا وقت (زیادہ سے زیادہ)73msردِعمل کا وقت (کل)73msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 4ردِعمل کا وقت (اوسط)90.54sردِعمل کا وقت (زیادہ سے زیادہ)106.21sردِعمل کا وقت (کل)362.18sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
90.54sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
کوڈنگ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 3ردِعمل کا وقت (اوسط)80.82sردِعمل کا وقت (زیادہ سے زیادہ)92.50sردِعمل کا وقت (کل)242.45sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
80.82sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
مشترکہ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 2ردِعمل کا وقت (اوسط)46.61sردِعمل کا وقت (زیادہ سے زیادہ)51.89sردِعمل کا وقت (کل)93.22sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
46.61sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ڈیٹا پارسنگ اور استخراج
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
3.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 2ردِعمل کا وقت (اوسط)880msردِعمل کا وقت (زیادہ سے زیادہ)1.24sردِعمل کا وقت (کل)1.76sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 2ردِعمل کا وقت (اوسط)62.59sردِعمل کا وقت (زیادہ سے زیادہ)88.50sردِعمل کا وقت (کل)125.18sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
62.59sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ڈومین مخصوص
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
2.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
6.7تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 2ردِعمل کا وقت (اوسط)80msردِعمل کا وقت (زیادہ سے زیادہ)91msردِعمل کا وقت (کل)160msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 3ردِعمل کا وقت (اوسط)90.26sردِعمل کا وقت (زیادہ سے زیادہ)106.37sردِعمل کا وقت (کل)270.78sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
90.26sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
عمومی ذہانت
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 1ردِعمل کا وقت (اوسط)84.05sردِعمل کا وقت (زیادہ سے زیادہ)84.05sردِعمل کا وقت (کل)84.05sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
84.05sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ہدایات کی پیروی
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
1.5تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
5.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںغلط جواب: 1ردِعمل کا وقت (اوسط)469msردِعمل کا وقت (زیادہ سے زیادہ)469msردِعمل کا وقت (کل)469msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 2ردِعمل کا وقت (اوسط)95.73sردِعمل کا وقت (زیادہ سے زیادہ)97.43sردِعمل کا وقت (کل)191.46sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
95.73sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
پہیلی حل کرنا
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
1.7تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
3.3تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںہدایات پر عمل نہیں کیا: 1ردِعمل کا وقت (اوسط)79msردِعمل کا وقت (زیادہ سے زیادہ)79msردِعمل کا وقت (کل)79msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 3ردِعمل کا وقت (اوسط)88.10sردِعمل کا وقت (زیادہ سے زیادہ)94.19sردِعمل کا وقت (کل)264.30sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
88.10sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
ٹول کالنگ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 1ردِعمل کا وقت (اوسط)81.86sردِعمل کا وقت (زیادہ سے زیادہ)81.86sردِعمل کا وقت (کل)81.86sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
81.86sردِعمل کا وقت (اوسط)…
0کل ان پٹ ٹوکنز…
0آؤٹ پٹ ٹوکنز…
0ریزننگ ٹوکنز…
معلومات عامہ
اسکور
تسلسل
فی کوشش کامیابی کی شرح
غیر مستحکم ٹیسٹ
درست ٹیسٹس
ردِعمل کا وقت (اوسط)
ان پٹ ٹوکنز
آؤٹ پٹ ٹوکنز
ریزننگ ٹوکنز
Nimble v3 9Bامیدوار ماڈل کے جوابات مقامی ہارڈویئر پر بنائے گئے۔ OpenRouter صرف جانچ کے لیے استعمال ہوا۔ nimble-v3:9b-q8_0 · Q8_0 · Ollama 0.40.5 · NVIDIA GeForce RTX 3090.
0.0تمام بینچ مارک ٹیسٹس میں اوسط اسکور۔…
0.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںکوئی ناکام جواب نہیں۔ردِعمل کا وقت (اوسط)0msردِعمل کا وقت (زیادہ سے زیادہ)0msردِعمل کا وقت (کل)0msکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…
10.0تسلسل اسکور رنز کے درمیان استحکام دکھاتا ہے (10 = بہت مستحکم چاہے مسلسل غلط ہو).…
0.0%فی کوشش کامیابی کی شرح = کامیاب کوششیں / تمام رنز میں کل کوششیں…
0غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).…
کوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوںAPI خرابی: 1ردِعمل کا وقت (اوسط)74.52sردِعمل کا وقت (زیادہ سے زیادہ)74.52sردِعمل کا وقت (کل)74.52sکوئی ٹیسٹ تبھی مکمل کامیاب شمار ہوگا جب اس کے تمام رنز کامیاب ہوں…