AI BENCHY
Advertise here
#143

Mercury 2

Inception প্রকাশ: 2026-02-24 পরীক্ষিত হয়েছে: 2026-05-22 00:39 inception/mercury-2::none
~100Bঅন্যান্যবন্ধ উৎসআনুমানিক
(medium) (none)

সারাংশ

Mercury 2 AI BENCHY-তে 4.6 স্কোর করে এবং #143 স্থানে আছে। এর reliability 10.0, pass rate 25.0%, মোট খরচ $0.009, এবং গড় response time 614ms.

Mercury 2 কে আলাদা করে যা: এটি ডোমেইন-নির্দিষ্ট-তে সবচেয়ে ভালোভাবে নজর কাড়ে, যেখানে এর rank #4; আর অ্যান্টি-এআই কৌশল এর দুর্বলতম ক্ষেত্র, rank #18. এই score range-এর জন্য মোট benchmark খরচ অস্বাভাবিকভাবে কম। একই ধরনের মডেলের তুলনায় এটি লক্ষণীয়ভাবে দ্রুত।

মডেলের তথ্য

গবেষণার তারিখ: 2026-08-12

আনুমানিক
প্যারামিটার
~100B
আর্কিটেকচার
অন্যান্য
উপলভ্যতা
বন্ধ উৎস
লাইসেন্স
-

সর্বজনীন তথ্যপ্রমাণের ভিত্তিতে সেরা অনুমান; প্রদানকারী সব মান প্রকাশ করেনি।

ধারাবাহিকতা

9.1

মোট আউটপুট টোকেন

2,984

মোট ইনপুট টোকেন

0

ইনপুট মূল্য

$0.250 / 1M

আউটপুট মূল্য

$0.750 / 1M

সঠিক টেস্ট

ভুল টেস্ট: 16

প্রতি চেষ্টায় পাস রেট: 25.0%

অস্থির টেস্ট

2

অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।

প্রতিক্রিয়া সময় (গড়)

614ms

প্রতিক্রিয়া সময় (সর্বোচ্চ): 1.27s

প্রতিক্রিয়া সময় (মোট): 12.28s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#143 Mercury 2

none
খরচ
$0.002
সময়
1.8s
টোকেন
1,514 tok

রান ইতিহাস

পরীক্ষিত হয়েছে স্কোর নির্ভরযোগ্যতা সঠিক টেস্ট মোট খরচ তুলনা করুন
2026-08-14 03:05 পুনরায় পরীক্ষা 4.7 10.0 $0.030 তুলনা করুন
2026-07-16 23:13 নতুন টেস্ট যোগ হয়েছে 4.6 10.0 $0.030 তুলনা করুন
2026-06-04 14:27 নতুন টেস্ট যোগ হয়েছে 4.5 10.0 $0.011 তুলনা করুন
2026-05-22 00:39 স্যুইট পরিবর্তিত হয়েছে 4.6 10.0 $0.009 বর্তমান রান
2026-04-11 01:44 প্রথম নথিভুক্ত রান 4.8 প্রযোজ্য নয় $0.007 তুলনা করুন

এই রানটি ভিন্ন একটি বেঞ্চমার্ক স্যুইট ব্যবহার করেছে। ঐতিহাসিক পরিবর্তন পড়ার সময় স্যুইট পরিবর্তনও মাথায় রাখুন।

রান তুলনা

রানবেঞ্চমার্ক কভারেজস্কোরধারাবাহিকতানির্ভরযোগ্যতাসঠিক টেস্টঅস্থির টেস্টমোট আউটপুট টোকেনমোট ইনপুট টোকেনমোট খরচপ্রতিক্রিয়া সময় (গড়)
2026-05-22 00:39 · স্যুইট পরিবর্তিত হয়েছে60/60 প্রচেষ্টা4.69.110.04/2022,9840$0.009614ms
2026-07-16 23:13 · নতুন টেস্ট যোগ হয়েছে66/66 প্রচেষ্টা4.69.210.04/2229,56488,704$0.030829ms
পার্থক্য0.0-0.10.000-6580-88704-$0.021-215ms

বেঞ্চমার্ক কভারেজ আলাদা: 60/60 প্রচেষ্টা (লক্ষ্য: প্রতি টেস্টে 3টি পুনরাবৃত্তি) বনাম 66/66 প্রচেষ্টা (লক্ষ্য: প্রতি টেস্টে 3টি পুনরাবৃত্তি)। মোট মান ও পুনরাবৃত্তি-সংবেদনশীল মেট্রিক সরাসরি তুলনাযোগ্য নয়।

এই দুই রান ভিন্ন বেঞ্চমার্ক স্যুইট ব্যবহার করেছে, তাই পার্থক্যগুলোতে মডেল পরিবর্তন এবং স্যুইট পরিবর্তন দুটোই ধরা পড়ে।

চার্ট

প্রথম মডেলটি নির্বাচন করুন, তারপর দ্বিতীয় মডেলে ক্লিক করে পাশাপাশি তুলনা পৃষ্ঠা খুলুন।

মোট আউটপুট টোকেন

স্কোর vs মোট আউটপুট টোকেন

দ্রুত তুলনা

বিভাগভিত্তিক বিশ্লেষণ

বিভাগ স্কোর ধারাবাহিকতা সঠিক টেস্ট
অ্যান্টি-এআই কৌশল 3.0 10.0
কোডিং 3.5 9.4
সমন্বিত 3.0 10.0
ডেটা পার্সিং ও নিষ্কাশন 7.3 5.9
ডোমেইন-নির্দিষ্ট 5.3 7.2
Sadharon Buddhimotta 4.8 10.0
নির্দেশনা অনুসরণ 6.5 10.0
ধাঁধা সমাধান 3.1 10.0
টুল কলিং 10.0 10.0
সাধারণ জ্ঞান 3.0 10.0

তুলনা করা মডেল