नेव्हिगेशन
AI BENCHY
Advertise here

Claude Fable 5.1 (low) vs Mercury 2 (medium)

Mercury 2 (medium) average score मध्ये पुढे आहे: 7.0 vs 6.9. Mercury 2 (medium) चा benchmark खर्च कमी आहे: $0.094 vs $2.565. Mercury 2 (medium) वेगवान आहे: 2.95s vs 10.33s, pass rates 56.1% vs 53.0%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-09-02

क्रमांक
#130
एकूण आउटपुट टोकन्स
24,375
प्रतिसाद वेळ (सरासरी)
10.33s
एकूण खर्च
$2.565
क्रमांक
#125
एकूण आउटपुट टोकन्स
87,554
प्रतिसाद वेळ (सरासरी)
2.95s
एकूण खर्च
$0.094
शिफारस केलेले मॉडेल Mercury 2 (medium)

It has the best score here (7.0), while costing about 27.5x less than Claude Fable 5.1 (low).

तपशीलवार तुलना

मेट्रिक Claude Fable 5.1 Claude Fable 5.1 low प्रकाशन: 2026-09-02 Mercury 2 Mercury 2 medium प्रकाशन: 2026-02-24
स्कोअर 6.9 7.0
क्रमांक #130 #125
विश्वसनीयता 10.0 10.0
सुसंगतता 9.2 8.4
प्रयत्न 66/66 66/66
बरोबर चाचण्या
प्रति प्रयत्न पास दर 56.1% 53.0%
अस्थिर चाचण्या 2 4
एकूण रन 66 66
प्रति निकाल खर्च 23.315 0.933
एकूण खर्च $2.565 $0.094
इनपुट किंमत $10.000 / 1M $0.250 / 1M
आउटपुट किंमत $50.000 / 1M $0.750 / 1M
एकूण इनपुट टोकन्स 134,582 110,515
आउटपुट टोकन्स 8,955 10,325
रिझनिंग टोकन्स 15,420 77,229
प्रतिसाद वेळ (सरासरी) 10.33s 2.95s
प्रतिसाद वेळ (कमाल) 33.10s 14.63s
प्रतिसाद वेळ (एकूण) 227.37s 61.89s
पॅरामीटर्स ~9.5T एकूण (~878B सक्रिय) ~100B
उपलब्धता बंद स्रोत बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#130 Claude Fable 5.1

low
खर्च
$0.126
वेळ
28.5s
टोकन्स
2,652 tok

#125 Mercury 2

medium
खर्च
$0.002
वेळ
2.1s
टोकन्स
1,702 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Fable 5.1 3.4 10.0 0.0% 0 6.75s 10,608 1,753 0
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328

झटपट तुलना

तुलना जोडी बदला