নেভিগেশন
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs StepFun: Step 3.7 Flash

সারাংশ

Mercury 2 vs Step 3.7 Flash benchmark তুলনা: Step 3.7 Flash average score-এ এগিয়ে: 7.7 vs 7.5. Mercury 2-এর benchmark খরচ কম: $0.058 vs $0.341. Mercury 2 দ্রুত: 2.24s vs 15.74s, pass rates 54.0% vs 68.3%.

প্রস্তাবিত মডেল: Mercury 2 - Its score stays close to the best score here (7.5 vs 7.7), while costing about 5.9x less than Step 3.7 Flash.

AI BENCHY টেস্ট স্যুট থেকে বেঞ্চমার্ক তৈরি হয়েছে: 2026-06-12

মেট্রিক Mercury 2 Mercury 2 medium প্রকাশ: 2026-02-24 Step 3.7 Flash Step 3.7 Flash low প্রকাশ: 2026-05-29
স্কোর 7.5 7.7
র‍্যাঙ্ক #46 #42
নির্ভরযোগ্যতা 10.0 10.0
ধারাবাহিকতা 8.8 8.4
সঠিক টেস্ট
প্রতি চেষ্টায় পাস রেট 54.0% 68.3%
অস্থির টেস্ট 3 4
মোট রান 63 63
প্রতি ফলাফলে খরচ 0.578 2.840
মোট খরচ $0.058 $0.341
ইনপুট মূল্য $0.250 / 1M $0.200 / 1M
আউটপুট মূল্য $0.750 / 1M $1.150 / 1M
মোট ইনপুট টোকেন 35,116 40,101
আউটপুট টোকেন 4,048 289,325
রিজনিং টোকেন 61,219 0
প্রতিক্রিয়া সময় (গড়) 2.24s 15.74s
প্রতিক্রিয়া সময় (সর্বোচ্চ) 14.63s 124.75s
প্রতিক্রিয়া সময় (মোট) 44.72s 330.63s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#46 Mercury 2

medium
Cost
$0.002
Time
2.1s
Tokens
1,702 tok

#42 Step 3.7 Flash

low
Invalid SVG
Cost
$0.004
Time
25.3s
Tokens
3,072 tok

স্কোর অনুযায়ী শীর্ষ মডেল

স্কোর বনাম মোট খরচ

প্রতিক্রিয়া সময় (গড়)

স্কোর vs প্রতিক্রিয়া সময় (গড়)

মোট আউটপুট টোকেন

স্কোর vs মোট আউটপুট টোকেন

বিভাগভিত্তিক বিশ্লেষণ

অ্যান্টি-এআই কৌশল স্কোর ধারাবাহিকতা প্রতি চেষ্টায় পাস রেট অস্থির টেস্ট সঠিক টেস্ট প্রতিক্রিয়া সময় (গড়) ইনপুট টোকেন আউটপুট টোকেন রিজনিং টোকেন
Mercury 2 6.9 9.9 50.0% 0 1.12s 554 2,546 2,609
Step 3.7 Flash 8.7 7.9 91.7% 1 4.02s 756 10,896 0
কোডিং স্কোর ধারাবাহিকতা প্রতি চেষ্টায় পাস রেট অস্থির টেস্ট সঠিক টেস্ট প্রতিক্রিয়া সময় (গড়) ইনপুট টোকেন আউটপুট টোকেন রিজনিং টোকেন
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
Step 3.7 Flash 8.2 7.2 88.9% 1 9.46s 7,437 18,685 0
সমন্বিত স্কোর ধারাবাহিকতা প্রতি চেষ্টায় পাস রেট অস্থির টেস্ট সঠিক টেস্ট প্রতিক্রিয়া সময় (গড়) ইনপুট টোকেন আউটপুট টোকেন রিজনিং টোকেন
Mercury 2 10.0 10.0 100.0% 0 3.28s 12,909 268 4,887
Step 3.7 Flash 10.0 10.0 100.0% 0 7.98s 13,683 6,426 0
ডেটা পার্সিং ও নিষ্কাশন স্কোর ধারাবাহিকতা প্রতি চেষ্টায় পাস রেট অস্থির টেস্ট সঠিক টেস্ট প্রতিক্রিয়া সময় (গড়) ইনপুট টোকেন আউটপুট টোকেন রিজনিং টোকেন
Mercury 2 7.3 5.9 83.3% 1 1.11s 6,234 183 1,656
Step 3.7 Flash 7.3 5.8 83.3% 1 2.29s 7,398 2,667 0
ডোমেইন-নির্দিষ্ট স্কোর ধারাবাহিকতা প্রতি চেষ্টায় পাস রেট অস্থির টেস্ট সঠিক টেস্ট প্রতিক্রিয়া সময় (গড়) ইনপুট টোকেন আউটপুট টোকেন রিজনিং টোকেন
Mercury 2 2.9 7.2 11.1% 1 6.48s 695 41 30,754
Step 3.7 Flash 5.3 7.2 44.4% 1 43.31s 828 104,487 0
Sadharon Buddhimotta স্কোর ধারাবাহিকতা প্রতি চেষ্টায় পাস রেট অস্থির টেস্ট সঠিক টেস্ট প্রতিক্রিয়া সময় (গড়) ইনপুট টোকেন আউটপুট টোকেন রিজনিং টোকেন
Mercury 2 4.8 10.0 0.0% 0 821ms 456 137 542
Step 3.7 Flash 3.4 9.3 0.0% 0 7.00s 525 4,604 0
নির্দেশনা অনুসরণ স্কোর ধারাবাহিকতা প্রতি চেষ্টায় পাস রেট অস্থির টেস্ট সঠিক টেস্ট প্রতিক্রিয়া সময় (গড়) ইনপুট টোকেন আউটপুট টোকেন রিজনিং টোকেন
Mercury 2 10.0 10.0 100.0% 0 1.07s 340 14 958
Step 3.7 Flash 9.8 10.0 100.0% 0 1.58s 735 1,857 0
ধাঁধা সমাধান স্কোর ধারাবাহিকতা প্রতি চেষ্টায় পাস রেট অস্থির টেস্ট সঠিক টেস্ট প্রতিক্রিয়া সময় (গড়) ইনপুট টোকেন আউটপুট টোকেন রিজনিং টোকেন
Mercury 2 5.4 10.0 33.3% 0 949ms 601 361 2,781
Step 3.7 Flash 5.5 9.9 33.3% 0 1.84s 756 3,564 0
টুল কলিং স্কোর ধারাবাহিকতা প্রতি চেষ্টায় পাস রেট অস্থির টেস্ট সঠিক টেস্ট প্রতিক্রিয়া সময় (গড়) ইনপুট টোকেন আউটপুট টোকেন রিজনিং টোকেন
Mercury 2 10.0 10.0 100.0% 0 1.89s 6,080 180 1,956
Step 3.7 Flash 10.0 10.0 100.0% 0 3.25s 7,746 1,360 0
সাধারণ জ্ঞান স্কোর ধারাবাহিকতা প্রতি চেষ্টায় পাস রেট অস্থির টেস্ট সঠিক টেস্ট প্রতিক্রিয়া সময় (গড়) ইনপুট টোকেন আউটপুট টোকেন রিজনিং টোকেন
Mercury 2 3.0 10.0 0.0% 0 2.58s 182 22 3,748
Step 3.7 Flash 3.0 10.0 0.0% 0 124.75s 237 134,779 0

দ্রুত তুলনা

তুলনার জুটি বদলান