- درجہ
- #297
- کل آؤٹ پٹ ٹوکنز
- 66,576
- ردِعمل کا وقت (اوسط)
- 8.32s
- کل لاگت
- $0.048
KAT Coder AIR V2.5 (medium) vs GPT-4o-mini
KAT Coder AIR V2.5 (medium) average score میں آگے ہے: 5.1 vs 5.0. GPT-4o-mini کی benchmark لاگت کم ہے: $0.024 vs $0.048. GPT-4o-mini تیز ہے: 4.16s vs 8.32s، pass rates 43.5% vs 21.7%.
موازنہ کیے گئے ماڈلز
- درجہ
- #304
- کل آؤٹ پٹ ٹوکنز
- 3,627
- ردِعمل کا وقت (اوسط)
- 4.16s
- کل لاگت
- $0.024
تجویز کردہ ماڈل
GPT-4o-mini
Its score stays close to the best score here (5.0 vs 5.1), while costing about 2.0x less than KAT Coder AIR V2.5 (medium).
تفصیلی موازنہ
| میٹرک | KAT Coder AIR V2.5 KAT Coder AIR V2.5 medium | GPT-4o-mini GPT-4o-mini none |
|---|---|---|
| اسکور | 5.1 | 5.0 |
| درجہ | #297 | #304 |
| اعتماد پذیری | 9.6 | 10.0 |
| تسلسل | 8.9 | 9.9 |
| کوششیں | 69/69 | 69/69 |
| درست ٹیسٹس | ||
| فی کوشش کامیابی کی شرح | 43.5% | 21.7% |
| غیر مستحکم ٹیسٹ | 3 | 0 |
| کل رنز | 69 | 69 |
| فی نتیجہ لاگت | 0.596 | 0.480 |
| کل لاگت | $0.048 | $0.024 |
| ان پٹ قیمت | $0.150 / 1M | $0.150 / 1M |
| آؤٹ پٹ قیمت | $0.600 / 1M | $0.600 / 1M |
| کیش پڑھنے کی قیمت | دستیاب نہیں | $0.075 / 1M |
| کیش میں لکھنے کی قیمت | دستیاب نہیں | دستیاب نہیں |
| کل ان پٹ ٹوکنز | 51,369 | 145,180 |
| آؤٹ پٹ ٹوکنز | 8,008 | 3,627 |
| ریزننگ ٹوکنز | 58,568 | 0 |
| ردِعمل کا وقت (اوسط) | 8.32s | 4.16s |
| ردِعمل کا وقت (زیادہ سے زیادہ) | 48.19s | 39.99s |
| ردِعمل کا وقت (کل) | 191.40s | 70.70s |
| پیرامیٹرز | ~35B کل (~3B فعال) | ~8B |
| دستیابی | بند ماخذ | بند ماخذ |
کیش کی قیمتیں ان پٹ ٹوکنز پر لاگو ہوتی ہیں۔ پڑھنے سے محفوظ پرامپٹ دوبارہ استعمال ہوتے ہیں؛ لکھنے سے وہ محفوظ ہوتے ہیں اور اضافی لاگت آ سکتی ہے۔ آؤٹ پٹ ٹوکنز پر آؤٹ پٹ کی قیمت لاگو ہوتی ہے۔
ماڈل جنریشن شوکیس
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#297 KAT Coder AIR V2.5
medium- لاگت
- $0.003
- وقت
- 23.7s
- ٹوکنز
- 4,924 tok
#304 GPT-4o-mini
none- لاگت
- $0.001
- وقت
- 6.6s
- ٹوکنز
- 742 tok
اسکور کے لحاظ سے سرفہرست ماڈلز
اسکور بمقابلہ کل لاگت
ردِعمل کا وقت (اوسط)
اسکور vs ردِعمل کا وقت (اوسط)
کل آؤٹ پٹ ٹوکنز
اسکور vs کل آؤٹ پٹ ٹوکنز
زمرہ وار تفصیل
| خودمختار ایجنٹ کے کام | اسکور | تسلسل | فی کوشش کامیابی کی شرح | غیر مستحکم ٹیسٹ | درست ٹیسٹس | ردِعمل کا وقت (اوسط) | ان پٹ ٹوکنز | آؤٹ پٹ ٹوکنز | ریزننگ ٹوکنز |
|---|---|---|---|---|---|---|---|---|---|
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 1.05s | 0 | 0 | 0 | |
| GPT-4o-mini | 5.0 | 10.0 | 0.0% | 0 | 39.99s | 92,035 | 714 | 0 |
| اینٹی اے آئی چالیں | اسکور | تسلسل | فی کوشش کامیابی کی شرح | غیر مستحکم ٹیسٹ | درست ٹیسٹس | ردِعمل کا وقت (اوسط) | ان پٹ ٹوکنز | آؤٹ پٹ ٹوکنز | ریزننگ ٹوکنز |
|---|---|---|---|---|---|---|---|---|---|
| KAT Coder AIR V2.5 | 8.7 | 8.0 | 91.7% | 1 | 3.79s | 672 | 549 | 4,194 | |
| GPT-4o-mini | 4.8 | 10.0 | 25.0% | 0 | 1.34s | 618 | 186 | 0 |
| کوڈنگ | اسکور | تسلسل | فی کوشش کامیابی کی شرح | غیر مستحکم ٹیسٹ | درست ٹیسٹس | ردِعمل کا وقت (اوسط) | ان پٹ ٹوکنز | آؤٹ پٹ ٹوکنز | ریزننگ ٹوکنز |
|---|---|---|---|---|---|---|---|---|---|
| KAT Coder AIR V2.5 | 3.6 | 7.0 | 22.2% | 1 | 23.37s | 7,893 | 5,199 | 29,973 | |
| GPT-4o-mini | 3.2 | 9.6 | 0.0% | 0 | 1.63s | 7,314 | 367 | 0 |
| مشترکہ | اسکور | تسلسل | فی کوشش کامیابی کی شرح | غیر مستحکم ٹیسٹ | درست ٹیسٹس | ردِعمل کا وقت (اوسط) | ان پٹ ٹوکنز | آؤٹ پٹ ٹوکنز | ریزننگ ٹوکنز |
|---|---|---|---|---|---|---|---|---|---|
| KAT Coder AIR V2.5 | 6.5 | 10.0 | 50.0% | 0 | 19.56s | 23,854 | 435 | 6,811 | |
| GPT-4o-mini | 3.0 | 10.0 | 0.0% | 0 | 6.32s | 29,916 | 1,497 | 0 |
| ڈیٹا پارسنگ اور استخراج | اسکور | تسلسل | فی کوشش کامیابی کی شرح | غیر مستحکم ٹیسٹ | درست ٹیسٹس | ردِعمل کا وقت (اوسط) | ان پٹ ٹوکنز | آؤٹ پٹ ٹوکنز | ریزننگ ٹوکنز |
|---|---|---|---|---|---|---|---|---|---|
| KAT Coder AIR V2.5 | 6.5 | 10.0 | 50.0% | 0 | 3.65s | 7,776 | 268 | 1,881 | |
| GPT-4o-mini | 10.0 | 10.0 | 100.0% | 0 | 1.27s | 7,161 | 183 | 0 |
| ڈومین مخصوص | اسکور | تسلسل | فی کوشش کامیابی کی شرح | غیر مستحکم ٹیسٹ | درست ٹیسٹس | ردِعمل کا وقت (اوسط) | ان پٹ ٹوکنز | آؤٹ پٹ ٹوکنز | ریزننگ ٹوکنز |
|---|---|---|---|---|---|---|---|---|---|
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 6.58s | 668 | 673 | 4,670 | |
| GPT-4o-mini | 3.0 | 10.0 | 0.0% | 0 | 743ms | 741 | 17 | 0 |
| عمومی ذہانت | اسکور | تسلسل | فی کوشش کامیابی کی شرح | غیر مستحکم ٹیسٹ | درست ٹیسٹس | ردِعمل کا وقت (اوسط) | ان پٹ ٹوکنز | آؤٹ پٹ ٹوکنز | ریزننگ ٹوکنز |
|---|---|---|---|---|---|---|---|---|---|
| KAT Coder AIR V2.5 | 5.0 | 10.0 | 0.0% | 0 | 9.81s | 516 | 189 | 557 | |
| GPT-4o-mini | 4.0 | 10.0 | 0.0% | 0 | 909ms | 480 | 66 | 0 |
| ہدایات کی پیروی | اسکور | تسلسل | فی کوشش کامیابی کی شرح | غیر مستحکم ٹیسٹ | درست ٹیسٹس | ردِعمل کا وقت (اوسط) | ان پٹ ٹوکنز | آؤٹ پٹ ٹوکنز | ریزننگ ٹوکنز |
|---|---|---|---|---|---|---|---|---|---|
| KAT Coder AIR V2.5 | 10.0 | 10.0 | 100.0% | 0 | 1.50s | 699 | 93 | 730 | |
| GPT-4o-mini | 6.3 | 10.0 | 50.0% | 0 | 1.11s | 666 | 69 | 0 |
| پہیلی حل کرنا | اسکور | تسلسل | فی کوشش کامیابی کی شرح | غیر مستحکم ٹیسٹ | درست ٹیسٹس | ردِعمل کا وقت (اوسط) | ان پٹ ٹوکنز | آؤٹ پٹ ٹوکنز | ریزننگ ٹوکنز |
|---|---|---|---|---|---|---|---|---|---|
| KAT Coder AIR V2.5 | 3.6 | 7.2 | 22.2% | 1 | 1.87s | 696 | 265 | 1,184 | |
| GPT-4o-mini | 3.5 | 10.0 | 0.0% | 0 | 1.21s | 651 | 308 | 0 |
| ٹول کالنگ | اسکور | تسلسل | فی کوشش کامیابی کی شرح | غیر مستحکم ٹیسٹ | درست ٹیسٹس | ردِعمل کا وقت (اوسط) | ان پٹ ٹوکنز | آؤٹ پٹ ٹوکنز | ریزننگ ٹوکنز |
|---|---|---|---|---|---|---|---|---|---|
| KAT Coder AIR V2.5 | 10.0 | 10.0 | 100.0% | 0 | 4.77s | 8,391 | 317 | 906 | |
| GPT-4o-mini | 10.0 | 10.0 | 100.0% | 0 | 2.51s | 5,400 | 205 | 0 |
| معلومات عامہ | اسکور | تسلسل | فی کوشش کامیابی کی شرح | غیر مستحکم ٹیسٹ | درست ٹیسٹس | ردِعمل کا وقت (اوسط) | ان پٹ ٹوکنز | آؤٹ پٹ ٹوکنز | ریزننگ ٹوکنز |
|---|---|---|---|---|---|---|---|---|---|
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 15.74s | 204 | 20 | 7,662 | |
| GPT-4o-mini | 3.0 | 10.0 | 0.0% | 0 | 794ms | 198 | 15 | 0 |
فوری موازنہ
موازنہ کی جوڑی تبدیل کریں
Mercury 2.5lowvsKAT Coder AIR V2.5mediumKAT Coder AIR V2.5lowvsGPT-4o-mininoneKAT Coder AIR V2.5mediumvsMiMo-V2.5-PrononeMiniMax M2.7mediumvsGPT-4o-mininoneKAT Coder AIR V2.5mediumvsMistral Small 4noneApodex 1.1 Mininoneمفت دستیابvsKAT Coder AIR V2.5mediumMercury 2.5 PreviewlowvsGPT-4o-mininoneGPT-4o-mininonevsLaguna S 2.1highمفت دستیابGPT-4o-mininonevsLaguna S 2.1mediumمفت دستیابKAT Coder AIR V2.5mediumvsNemotron 3.5 Lightninghighمفت دستیابMercury 2.5 PreviewlowvsKAT Coder AIR V2.5mediumLing 3.0 FlashnonevsKAT Coder AIR V2.5medium