AI Benchy لیڈر بورڈ

Name: AI BENCHY ماڈل بینچ مارک نتائج
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

بینچ مارکس AI BENCHY ٹیسٹ سوئٹس سے اس وقت تیار کیے گئے: 2026-10-17 جانچے گئے ماڈلز: 442

تجویز کردہ ماڈلز

GPT-6.1 Sol xhigh ذہین فی کوشش کامیابی کی شرح 97.1% درست ٹیسٹس 22 / 23 اسکور 9.9/10 Gemini 3.7 Flash low تیز ردِعمل کا وقت (اوسط) 6.24s کل آؤٹ پٹ ٹوکنز 38,453 اسکور 9.4/10 GPT-6 Luna high کم قیمت ان پٹ قیمت $0.100 / 1M آؤٹ پٹ قیمت $0.500 / 1M کیش پڑھنے کی قیمت $0.010 / 1M کیش میں لکھنے کی قیمت $0.125 / 1M اسکور 7.7/10

442/442

درجہ	ماڈل	اسکور	کمپنی	کل لاگت	ردِعمل کا وقت (اوسط)
#368#368	Laguna S 2.1low	4.6	Poolside	$0.108 ↓	88.24s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 20 اعتماد پذیری 10.0 فی کوشش کامیابی کی شرح 23.2% غیر مستحکم ٹیسٹ 6 ان پٹ ٹوکنز 232,641 آؤٹ پٹ ٹوکنز 69,335 ریزننگ ٹوکنز 426,182 ردِعمل کا وقت (اوسط) 88.24s ردِعمل کا وقت (کل) 2029.57s ردِعمل کا وقت (زیادہ سے زیادہ) 814.73s غلط جواب: 16 ہدایات پر عمل نہیں کیا: 2 اضافی فارمیٹنگ: 1 غیر معتبر ٹول کال: 1 خودمختار ایجنٹ کے کام : 2.8 اینٹی اے آئی چالیں : 3.4 کوڈنگ : 3.8 مشترکہ : 3.2 ڈیٹا پارسنگ اور استخراج : 10.0 ڈومین مخصوص : 3.0 عمومی ذہانت : 4.8 ہدایات کی پیروی : 4.3 پہیلی حل کرنا : 3.1 ٹول کالنگ : 10.0 معلومات عامہ : 3.0
#380#380	Granite 4.2 8Bnone	4.4	IBM Granite	$0.037	84.66s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 20 اعتماد پذیری 9.1 فی کوشش کامیابی کی شرح 15.9% غیر مستحکم ٹیسٹ 2 ان پٹ ٹوکنز 226,872 آؤٹ پٹ ٹوکنز 133,268 ریزننگ ٹوکنز 0 ردِعمل کا وقت (اوسط) 84.66s ردِعمل کا وقت (کل) 1947.17s ردِعمل کا وقت (زیادہ سے زیادہ) 747.17s غلط جواب: 11 اضافی فارمیٹنگ: 4 ٹائم آؤٹ: 3 ہدایات پر عمل نہیں کیا: 1 غیر معتبر ٹول کال: 1 خودمختار ایجنٹ کے کام : 5.0 اینٹی اے آئی چالیں : 4.9 کوڈنگ : 5.5 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 2.9 ڈومین مخصوص : 3.0 عمومی ذہانت : 5.0 ہدایات کی پیروی : 3.0 پہیلی حل کرنا : 3.0 ٹول کالنگ : 10.0 معلومات عامہ : 3.0
#390#390	Qwen3.5-9Bmedium	4.0	Qwen	$0.106	110.18s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 20 اعتماد پذیری 8.7 فی کوشش کامیابی کی شرح 26.1% غیر مستحکم ٹیسٹ 6 ان پٹ ٹوکنز 387,323 آؤٹ پٹ ٹوکنز 48,562 ریزننگ ٹوکنز 410,431 ردِعمل کا وقت (اوسط) 110.18s ردِعمل کا وقت (کل) 1873.00s ردِعمل کا وقت (زیادہ سے زیادہ) 569.97s ٹائم آؤٹ: 11 کوئی جواب نہیں: 3 غلط جواب: 2 API خرابی: 1 اضافی فارمیٹنگ: 1 ہدایات پر عمل نہیں کیا: 1 غیر معتبر ٹول کال: 1 خودمختار ایجنٹ کے کام : 5.2 اینٹی اے آئی چالیں : 5.1 کوڈنگ : 2.9 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 3.6 ڈومین مخصوص : 3.6 عمومی ذہانت : 2.8 ہدایات کی پیروی : 6.5 پہیلی حل کرنا : 3.0 ٹول کالنگ : 10.0 معلومات عامہ : 3.0
#397#397	Nemotron 3.5 Lightningnone	3.8	NVIDIA	$0.009 ↕	15.92s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 20 اعتماد پذیری 9.8 فی کوشش کامیابی کی شرح 15.9% غیر مستحکم ٹیسٹ 2 ان پٹ ٹوکنز 97,418 آؤٹ پٹ ٹوکنز 4,779 ریزننگ ٹوکنز 0 ردِعمل کا وقت (اوسط) 15.92s ردِعمل کا وقت (کل) 366.20s ردِعمل کا وقت (زیادہ سے زیادہ) 339.57s غلط جواب: 16 غیر معتبر ٹول کال: 2 ہدایات پر عمل نہیں کیا: 1 ٹائم آؤٹ: 1 خودمختار ایجنٹ کے کام : 3.0 اینٹی اے آئی چالیں : 4.8 کوڈنگ : 3.1 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 6.5 ڈومین مخصوص : 3.0 عمومی ذہانت : 4.4 ہدایات کی پیروی : 6.5 پہیلی حل کرنا : 3.1 ٹول کالنگ : 2.8 معلومات عامہ : 3.0
#436#436	LFM2-24B-A2Bdefault	1.8	Liquid	$0.001	782ms
ماڈل کارڈ دیکھیں کل ٹیسٹس 16 غلط ٹیسٹس 14 اعتماد پذیری دستیاب نہیں فی کوشش کامیابی کی شرح 11.6% غیر مستحکم ٹیسٹ 1 ان پٹ ٹوکنز 10,771 آؤٹ پٹ ٹوکنز 1,173 ریزننگ ٹوکنز 0 ردِعمل کا وقت (اوسط) 782ms ردِعمل کا وقت (کل) 10.94s ردِعمل کا وقت (زیادہ سے زیادہ) 3.15s غلط جواب: 9 API خرابی: 4 ہدایات پر عمل نہیں کیا: 1 خودمختار ایجنٹ کے کام : 0.0 اینٹی اے آئی چالیں : 2.5 کوڈنگ : 0.0 مشترکہ : 1.5 ڈیٹا پارسنگ اور استخراج : 3.0 ڈومین مخصوص : 5.9 عمومی ذہانت : 4.0 ہدایات کی پیروی : 6.3 پہیلی حل کرنا : 3.8 ٹول کالنگ : 3.0 معلومات عامہ : 0.0
#422#422	Nemotron 3 Nano Omni 30b A3b Reasoningdefault	2.6	NVIDIA	$0.000	728ms
ماڈل کارڈ دیکھیں کل ٹیسٹس 19 غلط ٹیسٹس 17 اعتماد پذیری 10.0 فی کوشش کامیابی کی شرح 14.5% غیر مستحکم ٹیسٹ 2 ان پٹ ٹوکنز 11,661 آؤٹ پٹ ٹوکنز 1,302 ریزننگ ٹوکنز 0 ردِعمل کا وقت (اوسط) 728ms ردِعمل کا وقت (کل) 9.47s ردِعمل کا وقت (زیادہ سے زیادہ) 2.21s غلط جواب: 9 API خرابی: 6 ہدایات پر عمل نہیں کیا: 2 خودمختار ایجنٹ کے کام : 0.0 اینٹی اے آئی چالیں : 4.8 کوڈنگ : 3.3 مشترکہ : 1.5 ڈیٹا پارسنگ اور استخراج : 3.8 ڈومین مخصوص : 3.6 عمومی ذہانت : 3.0 ہدایات کی پیروی : 4.8 پہیلی حل کرنا : 3.0 ٹول کالنگ : 3.0 معلومات عامہ : 3.0
#361#361	Laguna S 2.1none	4.7	Poolside	$0.044 ↓	17.65s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 21 اعتماد پذیری 10.0 فی کوشش کامیابی کی شرح 14.5% غیر مستحکم ٹیسٹ 3 ان پٹ ٹوکنز 287,445 آؤٹ پٹ ٹوکنز 99,097 ریزننگ ٹوکنز 0 ردِعمل کا وقت (اوسط) 17.65s ردِعمل کا وقت (کل) 406.05s ردِعمل کا وقت (زیادہ سے زیادہ) 200.52s غلط جواب: 18 ہدایات پر عمل نہیں کیا: 2 کوئی جواب نہیں: 1 خودمختار ایجنٹ کے کام : 5.4 اینٹی اے آئی چالیں : 3.1 کوڈنگ : 3.4 مشترکہ : 2.9 ڈیٹا پارسنگ اور استخراج : 10.0 ڈومین مخصوص : 3.0 عمومی ذہانت : 5.0 ہدایات کی پیروی : 4.3 پہیلی حل کرنا : 3.1 ٹول کالنگ : 4.7 معلومات عامہ : 3.0
#388#388	Mercury 2.5none	4.1	Inception	$0.026	5.10s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 21 اعتماد پذیری 10.0 فی کوشش کامیابی کی شرح 24.6% غیر مستحکم ٹیسٹ 7 ان پٹ ٹوکنز 311,488 آؤٹ پٹ ٹوکنز 89,958 ریزننگ ٹوکنز 0 ردِعمل کا وقت (اوسط) 5.10s ردِعمل کا وقت (کل) 117.24s ردِعمل کا وقت (زیادہ سے زیادہ) 63.41s غلط جواب: 15 ہدایات پر عمل نہیں کیا: 4 اضافی فارمیٹنگ: 1 غیر معتبر ٹول کال: 1 خودمختار ایجنٹ کے کام : 5.0 اینٹی اے آئی چالیں : 3.8 کوڈنگ : 3.7 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 2.8 ڈومین مخصوص : 5.3 عمومی ذہانت : 4.3 ہدایات کی پیروی : 4.9 پہیلی حل کرنا : 3.7 ٹول کالنگ : 10.0 معلومات عامہ : 3.0
#395#395	Ling 3.0 Tinydefault	3.8	Inclusionai	$0.000	13.39s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 21 اعتماد پذیری 9.8 فی کوشش کامیابی کی شرح 8.7% غیر مستحکم ٹیسٹ 0 ان پٹ ٹوکنز 184,579 آؤٹ پٹ ٹوکنز 110,071 ریزننگ ٹوکنز 0 ردِعمل کا وقت (اوسط) 13.39s ردِعمل کا وقت (کل) 294.48s ردِعمل کا وقت (زیادہ سے زیادہ) 240.61s غلط جواب: 13 ہدایات پر عمل نہیں کیا: 4 API خرابی: 2 اضافی فارمیٹنگ: 1 غیر معتبر ٹول کال: 1 خودمختار ایجنٹ کے کام : 3.0 اینٹی اے آئی چالیں : 4.8 کوڈنگ : 4.2 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 6.3 ڈومین مخصوص : 3.0 عمومی ذہانت : 3.4 ہدایات کی پیروی : 3.1 پہیلی حل کرنا : 3.0 ٹول کالنگ : 3.0 معلومات عامہ : 3.0
#396#396	Granite 4.1 8bdefault	3.8	IBM Granite	$0.007	1.38s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 21 اعتماد پذیری 10.0 فی کوشش کامیابی کی شرح 8.7% غیر مستحکم ٹیسٹ 0 ان پٹ ٹوکنز 113,836 آؤٹ پٹ ٹوکنز 5,996 ریزننگ ٹوکنز 0 ردِعمل کا وقت (اوسط) 1.38s ردِعمل کا وقت (کل) 31.81s ردِعمل کا وقت (زیادہ سے زیادہ) 16.67s غلط جواب: 13 ہدایات پر عمل نہیں کیا: 4 غیر معتبر ٹول کال: 2 API خرابی: 1 اضافی فارمیٹنگ: 1 خودمختار ایجنٹ کے کام : 3.0 اینٹی اے آئی چالیں : 4.9 کوڈنگ : 4.5 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 3.0 ڈومین مخصوص : 3.0 عمومی ذہانت : 4.0 ہدایات کی پیروی : 3.6 پہیلی حل کرنا : 3.2 ٹول کالنگ : 10.0 معلومات عامہ : 3.0
#438#438	Microsoft-Decision-1default	1.4	Microsoft	$0.002	982ms
ماڈل کارڈ دیکھیں کل ٹیسٹس 12 غلط ٹیسٹس 11 اعتماد پذیری 10.0 فی کوشش کامیابی کی شرح 7.3% غیر مستحکم ٹیسٹ 1 ان پٹ ٹوکنز 41,466 آؤٹ پٹ ٹوکنز 69 ریزننگ ٹوکنز 0 ردِعمل کا وقت (اوسط) 982ms ردِعمل کا وقت (کل) 11.78s ردِعمل کا وقت (زیادہ سے زیادہ) 1.41s غلط جواب: 11 خودمختار ایجنٹ کے کام : 0.0 اینٹی اے آئی چالیں : 4.4 کوڈنگ : 2.2 مشترکہ : 0.0 ڈیٹا پارسنگ اور استخراج : 3.0 ڈومین مخصوص : 3.0 عمومی ذہانت : 0.0 ہدایات کی پیروی : 1.5 پہیلی حل کرنا : 1.7 ٹول کالنگ : 0.0 معلومات عامہ : 0.0
#398#398	Xing4.0 29b A4bmedium	3.7	Xingchen AGI	$0.000	371.69s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 22 اعتماد پذیری 7.3 فی کوشش کامیابی کی شرح 26.1% غیر مستحکم ٹیسٹ 11 ان پٹ ٹوکنز 98,467 آؤٹ پٹ ٹوکنز 3,385 ریزننگ ٹوکنز 104,595 ردِعمل کا وقت (اوسط) 371.69s ردِعمل کا وقت (کل) 8548.88s ردِعمل کا وقت (زیادہ سے زیادہ) 971.85s غلط جواب: 9 ٹائم آؤٹ: 6 API خرابی: 4 ہدایات پر عمل نہیں کیا: 3 خودمختار ایجنٹ کے کام : 3.0 اینٹی اے آئی چالیں : 3.8 کوڈنگ : 4.2 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 2.9 ڈومین مخصوص : 3.6 عمومی ذہانت : 3.2 ہدایات کی پیروی : 4.3 پہیلی حل کرنا : 2.9 ٹول کالنگ : 10.0 معلومات عامہ : 3.0
#408#408	Command A+medium	3.4	Cohere	$0.064	91.72s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 23 اعتماد پذیری 3.5 فی کوشش کامیابی کی شرح 0.0% غیر مستحکم ٹیسٹ 0 ان پٹ ٹوکنز 118,771 آؤٹ پٹ ٹوکنز 4,127 ریزننگ ٹوکنز 14,668 ردِعمل کا وقت (اوسط) 91.72s ردِعمل کا وقت (کل) 2109.54s ردِعمل کا وقت (زیادہ سے زیادہ) 112.76s API خرابی: 22 غلط جواب: 1 خودمختار ایجنٹ کے کام : 5.0 اینٹی اے آئی چالیں : 3.0 کوڈنگ : 3.0 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 3.0 ڈومین مخصوص : 3.0 عمومی ذہانت : 3.0 ہدایات کی پیروی : 3.0 پہیلی حل کرنا : 3.0 ٹول کالنگ : 3.0 معلومات عامہ : 3.0
#412#412	Xing4.0 29b A4bnone	3.3	Xingchen AGI	$0.000	42.72s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 23 اعتماد پذیری 8.8 فی کوشش کامیابی کی شرح 7.3% غیر مستحکم ٹیسٹ 4 ان پٹ ٹوکنز 153,665 آؤٹ پٹ ٹوکنز 26,540 ریزننگ ٹوکنز 0 ردِعمل کا وقت (اوسط) 42.72s ردِعمل کا وقت (کل) 982.66s ردِعمل کا وقت (زیادہ سے زیادہ) 634.11s غلط جواب: 13 ہدایات پر عمل نہیں کیا: 5 API خرابی: 3 غیر معتبر ٹول کال: 1 کوئی جواب نہیں: 1 خودمختار ایجنٹ کے کام : 3.0 اینٹی اے آئی چالیں : 3.3 کوڈنگ : 3.6 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 2.9 ڈومین مخصوص : 3.0 عمومی ذہانت : 3.4 ہدایات کی پیروی : 4.0 پہیلی حل کرنا : 3.1 ٹول کالنگ : 4.7 معلومات عامہ : 3.0
#414#414	Command A+high	3.2	Cohere	$0.079	89.96s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 23 اعتماد پذیری 3.5 فی کوشش کامیابی کی شرح 0.0% غیر مستحکم ٹیسٹ 0 ان پٹ ٹوکنز 117,966 آؤٹ پٹ ٹوکنز 5,149 ریزننگ ٹوکنز 23,514 ردِعمل کا وقت (اوسط) 89.96s ردِعمل کا وقت (کل) 2069.01s ردِعمل کا وقت (زیادہ سے زیادہ) 156.00s API خرابی: 22 غلط جواب: 1 خودمختار ایجنٹ کے کام : 3.9 اینٹی اے آئی چالیں : 3.0 کوڈنگ : 3.0 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 3.0 ڈومین مخصوص : 3.0 عمومی ذہانت : 3.0 ہدایات کی پیروی : 3.0 پہیلی حل کرنا : 3.0 ٹول کالنگ : 3.0 معلومات عامہ : 3.0
#417#417	Command A+none	3.0	Cohere	$0.000	77.87s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 23 اعتماد پذیری 0.0 فی کوشش کامیابی کی شرح 0.0% غیر مستحکم ٹیسٹ 0 ان پٹ ٹوکنز 0 آؤٹ پٹ ٹوکنز 0 ریزننگ ٹوکنز 0 ردِعمل کا وقت (اوسط) 77.87s ردِعمل کا وقت (کل) 1791.03s ردِعمل کا وقت (زیادہ سے زیادہ) 106.37s API خرابی: 23 خودمختار ایجنٹ کے کام : 3.0 اینٹی اے آئی چالیں : 3.0 کوڈنگ : 3.0 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 3.0 ڈومین مخصوص : 3.0 عمومی ذہانت : 3.0 ہدایات کی پیروی : 3.0 پہیلی حل کرنا : 3.0 ٹول کالنگ : 3.0 معلومات عامہ : 3.0
#418#418	Command A+low	3.0	Cohere	$0.073	92.50s
ماڈل کارڈ دیکھیں کل ٹیسٹس 23 غلط ٹیسٹس 23 اعتماد پذیری 3.5 فی کوشش کامیابی کی شرح 1.5% غیر مستحکم ٹیسٹ 1 ان پٹ ٹوکنز 114,874 آؤٹ پٹ ٹوکنز 1,992 ریزننگ ٹوکنز 23,529 ردِعمل کا وقت (اوسط) 92.50s ردِعمل کا وقت (کل) 2127.40s ردِعمل کا وقت (زیادہ سے زیادہ) 128.54s API خرابی: 22 غلط جواب: 1 خودمختار ایجنٹ کے کام : 2.8 اینٹی اے آئی چالیں : 3.0 کوڈنگ : 3.0 مشترکہ : 3.0 ڈیٹا پارسنگ اور استخراج : 3.0 ڈومین مخصوص : 3.0 عمومی ذہانت : 3.0 ہدایات کی پیروی : 3.0 پہیلی حل کرنا : 3.0 ٹول کالنگ : 3.0 معلومات عامہ : 3.0

←

1 17 18

عالمی بینچ مارک رجحانات

دیکھیں کہ موجودہ ماڈلز اسکور، لاگت، رفتار، آؤٹ پٹ کی لمبائی اور زمرہ وار کارکردگی میں کیسے توازن رکھتے ہیں۔

چارٹس →

ذہانت بمقابلہ لاگت کی پیریٹو حد

نمایاں کمپنیوں کے بہترین اسکور کی وقت کے ساتھ پیش رفت

ذہانت بمقابلہ جواب کی رفتار کی پیریٹو حد

اسکور بمقابلہ آؤٹ پٹ ٹوکنز پیریٹو فرنٹیئر

تمام ماڈلز میں زمروں کی مشکل

فوری موازنہ

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow