AI BENCHY
Advertise here
#115

KAT-Coder-Air V2.5

Kwaipilot اجرا: 2026-07-14 ٹیسٹ کیا گیا: 2026-07-14 11:05 kwaipilot/kat-coder-air-v2.5::medium
~35B کل (~3B فعال)MoEبند ماخذتخمینہ
(high) (medium) (low) (none)

خلاصہ

KAT-Coder-Air V2.5 AI BENCHY پر 6.2 اسکور کرتا ہے اور #115 پر ہے۔ اس کی reliability 9.7، pass rate 47.6%، کل لاگت $0.045، اور اوسط response time 8.28s ہے۔

KAT-Coder-Air V2.5 کو منفرد کیا بناتا ہے: یہ مشترکہ میں سب سے نمایاں ہے، جہاں اس کا rank #1 ہے؛ جبکہ کوڈنگ اس کا کمزور ترین حصہ ہے، rank #18. اس score range کے لیے اس کی کل benchmark لاگت غیر معمولی طور پر کم ہے۔

ماڈل کی تفصیلات

تحقیق کی تاریخ: 2026-08-12

تخمینہ
پیرامیٹرز
~35B کل (~3B فعال)
ساخت
MoE
دستیابی
بند ماخذ
لائسنس
-

عوامی شواہد کی بنیاد پر بہترین تخمینہ؛ فراہم کنندہ نے تمام اقدار ظاہر نہیں کیں۔

تسلسل

8.8

کل آؤٹ پٹ ٹوکنز

64,116

کل ان پٹ ٹوکنز

42,750

ان پٹ قیمت

$0.150 / 1M

آؤٹ پٹ قیمت

$0.600 / 1M

درست ٹیسٹس

غلط ٹیسٹس: 13

فی کوشش کامیابی کی شرح: 47.6%

غیر مستحکم ٹیسٹ

3

غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).

ردِعمل کا وقت (اوسط)

8.28s

ردِعمل کا وقت (زیادہ سے زیادہ): 48.19s

ردِعمل کا وقت (کل): 173.80s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#115 KAT-Coder-Air V2.5

medium
لاگت
$0.003
وقت
23.7s
ٹوکنز
4,924 tok

رن ہسٹری

ٹیسٹ کیا گیا اسکور اعتماد پذیری درست ٹیسٹس کل لاگت موازنہ کریں
2026-08-14 03:26 دوبارہ ٹیسٹ 5.6 9.6 $0.048 موازنہ کریں
2026-07-16 23:34 نیا ٹیسٹ شامل ہوا 5.6 9.9 $0.048 موازنہ کریں
2026-07-14 11:05 پہلا رن 6.2 9.7 $0.045 موجودہ رن

رن موازنہ

رنبینچ مارک کوریجاسکورتسلسلاعتماد پذیریدرست ٹیسٹسغیر مستحکم ٹیسٹکل آؤٹ پٹ ٹوکنزکل ان پٹ ٹوکنزکل لاگتردِعمل کا وقت (اوسط)
2026-07-14 11:05 · پہلا رن63/63 کوششیں6.28.89.78/21364,11642,750$0.0458.28s
2026-07-16 23:34 · نیا ٹیسٹ شامل ہوا66/66 کوششیں5.68.99.98/22366,17451,472$0.0488.42s
فرق+0.6-0.1-0.200-2058-8722-$0.003-144ms

بینچ مارک کوریج مختلف ہے: 63/63 کوششیں (ہدف: فی ٹیسٹ 3 دہرائیاں۔) بمقابلہ 66/66 کوششیں (ہدف: فی ٹیسٹ 3 دہرائیاں۔)۔ مجموعے اور تکرار سے متاثر ہونے والے پیمانے براہ راست قابل موازنہ نہیں ہیں۔

ان دو رنز میں مختلف بینچ مارک سوٹس استعمال ہوئے تھے، اس لیے فرق میں ماڈل کی تبدیلی اور سوٹ کی تبدیلی دونوں شامل ہیں۔

قیمت کی تاریخ

OpenRouter سے اس ماڈل کے تاریخی قیمت کے اعداد و شمار۔

تاریخ ان پٹ قیمت آؤٹ پٹ قیمت
2026-07-14 11:25 $0.150 / 1M $0.600 / 1M

چارٹس

پہلا ماڈل منتخب کریں، پھر دوسرا ماڈل کلک کریں تاکہ سائیڈ بائی سائیڈ صفحہ کھلے۔

کل آؤٹ پٹ ٹوکنز

اسکور vs کل آؤٹ پٹ ٹوکنز

فوری موازنہ

زمرہ وار تفصیل

زمرہ اسکور تسلسل درست ٹیسٹس
اینٹی اے آئی چالیں 8.7 8.0
کوڈنگ 3.6 7.0
مشترکہ 10.0 10.0
ڈیٹا پارسنگ اور استخراج 6.5 10.0
ڈومین مخصوص 3.0 10.0
عمومی ذہانت 5.0 10.0
ہدایات کی پیروی 10.0 10.0
پہیلی حل کرنا 3.6 7.2
ٹول کالنگ 10.0 10.0
معلومات عامہ 3.0 10.0

موازنہ کیے گئے ماڈلز