নেভিগেশন
Advertise here

Ember-1 (high) vs Mercury 2 (medium)

Ember-1 (high) average score-এ এগিয়ে: 7.1 vs 7.0. Mercury 2 (medium)-এর benchmark খরচ কম: $0.094 vs $1.798. Mercury 2 (medium) দ্রুত: 2.95s vs 56.77s, pass rates 71.2% vs 53.0%.

AI BENCHY টেস্ট স্যুট থেকে বেঞ্চমার্ক তৈরি হয়েছে: 2026-09-28

তুলনা করা মডেল

র‍্যাঙ্ক
#158
মোট আউটপুট টোকেন
110,125
প্রতিক্রিয়া সময় (গড়)
56.77s
মোট খরচ
$1.798
র‍্যাঙ্ক
#166
মোট আউটপুট টোকেন
87,554
প্রতিক্রিয়া সময় (গড়)
2.95s
মোট খরচ
$0.094
প্রস্তাবিত মডেল Mercury 2 (medium)

Its score stays close to the best score here (7.0 vs 7.1), while costing about 19.3x less than Ember-1 (high).

বিস্তারিত তুলনা

মেট্রিক Ember-1 Ember-1 high প্রকাশ: 2026-09-28 Mercury 2 Mercury 2 medium প্রকাশ: 2026-02-24
স্কোর 7.1 7.0
র‍্যাঙ্ক #158 #166
নির্ভরযোগ্যতা 8.0 10.0
ধারাবাহিকতা 7.3 8.4
প্রচেষ্টা 66/66 66/66
সঠিক টেস্ট
প্রতি চেষ্টায় পাস রেট 71.2% 53.0%
অস্থির টেস্ট 7 4
মোট রান 66 66
প্রতি ফলাফলে খরচ 14.981 0.933
মোট খরচ $1.798 $0.094
ইনপুট মূল্য $3.000 / 1M $0.250 / 1M
আউটপুট মূল্য $15.000 / 1M $0.750 / 1M
মোট ইনপুট টোকেন 48,577 110,515
আউটপুট টোকেন 7,345 10,325
রিজনিং টোকেন 102,780 77,229
প্রতিক্রিয়া সময় (গড়) 56.77s 2.95s
প্রতিক্রিয়া সময় (সর্বোচ্চ) 255.06s 14.63s
প্রতিক্রিয়া সময় (মোট) 1248.88s 61.89s
প্যারামিটার ~2.8T মোট (~104B সক্রিয়) ~100B
উপলভ্যতা বন্ধ উৎস বন্ধ উৎস

মডেল জেনারেশন শোকেস

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#158 Ember-1

high
খরচ
$0.038
সময়
55.1s
টোকেন
2,671 tok

#166 Mercury 2

medium
খরচ
$0.002
সময়
2.1s
টোকেন
1,702 tok

স্কোর অনুযায়ী শীর্ষ মডেল

স্কোর বনাম মোট খরচ

প্রতিক্রিয়া সময় (গড়)

স্কোর vs প্রতিক্রিয়া সময় (গড়)

মোট আউটপুট টোকেন

স্কোর vs মোট আউটপুট টোকেন

বিভাগভিত্তিক বিশ্লেষণ

কোডিং স্কোর ধারাবাহিকতা প্রতি চেষ্টায় পাস রেট অস্থির টেস্ট সঠিক টেস্ট প্রতিক্রিয়া সময় (গড়) ইনপুট টোকেন আউটপুট টোকেন রিজনিং টোকেন
Ember-1 8.2 7.2 88.9% 1 72.23s 7,144 1,281 23,093
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328

দ্রুত তুলনা

তুলনার জুটি বদলান