#59 Mercury 2
medium- لاگت
- $0.002
- وقت
- 2.1s
- ٹوکنز
- 1,702 tok
Inception
اجرا: 2026-02-24
ٹیسٹ کیا گیا: 2026-04-11 01:44
inception/mercury-2::medium
(medium)
(none)
خلاصہ
Mercury 2 AI BENCHY پر 6.5 اسکور کرتا ہے اور #59 پر ہے۔ اس کی reliability دستیاب نہیں، pass rate 53.7%، کل لاگت $0.047، اور اوسط response time 2.21s ہے۔
Mercury 2 کو منفرد کیا بناتا ہے: یہ کوڈنگ میں سب سے نمایاں ہے، جہاں اس کا rank #1 ہے؛ جبکہ پہیلی حل کرنا اس کا کمزور ترین حصہ ہے، rank #18. اس score range کے لیے اس کی کل benchmark لاگت غیر معمولی طور پر کم ہے۔ یہ ملتے جلتے models کے مقابلے میں نمایاں طور پر تیز ہے۔
6.5
تسلسل
8.6
دستیاب نہیں
$0.047
کل آؤٹ پٹ ٹوکنز
52,305
کل ان پٹ ٹوکنز
0
ان پٹ قیمت
$0.250 / 1M
آؤٹ پٹ قیمت
$0.750 / 1M
غیر مستحکم ٹیسٹ
3
غیر مستحکم ٹیسٹس میں رنز کے درمیان ملے جلے نتائج آئے (کم از کم ایک کامیاب اور ایک ناکام).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
رن ہسٹری
| ٹیسٹ کیا گیا | اسکور | اعتماد پذیری | درست ٹیسٹس | کل لاگت | موازنہ کریں |
|---|---|---|---|---|---|
| 2026-07-16 23:14 نیا ٹیسٹ شامل ہوا | 7.0 | 10.0 | $0.093 | موازنہ کریں | |
| 2026-06-04 14:27 نیا ٹیسٹ شامل ہوا | 6.6 | 10.0 | $0.058 | موازنہ کریں | |
| 2026-05-22 00:40 دوبارہ ٹیسٹ | 6.3 | 10.0 | $0.055 | موازنہ کریں | |
| 2026-04-11 01:44 پہلا ریکارڈ شدہ رن | 6.5 | دستیاب نہیں | $0.047 | موجودہ رن |
رن موازنہ
| رن | اسکور | تسلسل | اعتماد پذیری | درست ٹیسٹس | غیر مستحکم ٹیسٹ | کل آؤٹ پٹ ٹوکنز | کل ان پٹ ٹوکنز | کل لاگت | ردِعمل کا وقت (اوسط) |
|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:44 · پہلا ریکارڈ شدہ رن | 6.5 | 8.6 | دستیاب نہیں | 8/18 | 3 | 52,305 | 0 | $0.047 | 2.21s |
| 2026-05-22 00:40 · دوبارہ ٹیسٹ | 6.3 | 8.4 | 10.0 | 8/20 | 4 | 62,397 | 0 | $0.055 | 2.27s |
| فرق | +0.2 | +0.2 | 0 | -1 | -10092 | 0 | -$0.009 | -65ms |
ان دو رنز میں مختلف بینچ مارک سوٹس استعمال ہوئے تھے، اس لیے فرق میں ماڈل کی تبدیلی اور سوٹ کی تبدیلی دونوں شامل ہیں۔
چارٹس
پہلا ماڈل منتخب کریں، پھر دوسرا ماڈل کلک کریں تاکہ سائیڈ بائی سائیڈ صفحہ کھلے۔
اسکور کے لحاظ سے سرفہرست ماڈلز
اسکور vs کل لاگت
ردِعمل کا وقت (اوسط)
اسکور vs ردِعمل کا وقت (اوسط)
کل آؤٹ پٹ ٹوکنز
اسکور vs کل آؤٹ پٹ ٹوکنز
فوری موازنہ
Mercury 2mediumvsDeepSeek V3.2mediumMercury 2mediumvsGrok 4.20mediumMercury 2mediumvsGemini 3.5 FlashnoneMercury 2mediumvsGLM 5.1mediumMercury 2mediumvsSeed-2.0-MinimediumMercury 2mediumvsGemini 3 Flash PreviewmediumMercury 2mediumvsGemini 3.5 FlashhighMercury 2mediumvsNemotron 3 Ultramediumمفت دستیابMercury 2mediumvsGPT-5.5low
زمرہ وار تفصیل
| زمرہ | اسکور | تسلسل | درست ٹیسٹس |
|---|---|---|---|
| اینٹی اے آئی چالیں | 6.9 | 9.9 | |
| کوڈنگ | 10.0 | 10.0 | |
| مشترکہ | 10.0 | 10.0 | |
| ڈیٹا پارسنگ اور استخراج | 7.3 | 5.9 | |
| ڈومین مخصوص | 2.9 | 7.2 | |
| عمومی ذہانت | 4.8 | 10.0 | |
| ہدایات کی پیروی | 10.0 | 10.0 | |
| پہیلی حل کرنا | 3.9 | 7.5 | |
| ٹول کالنگ | 10.0 | 10.0 |