AI BENCHY
Advertise here
#22

Step 3.7 Flash

Stepfun প্রকাশ: 2026-05-29 পরীক্ষিত হয়েছে: 2026-06-04 13:52 stepfun/step-3.7-flash::medium
198B মোট (11B সক্রিয়)MoEউন্মুক্ত উৎস
(high) (medium) (low)

সারাংশ

Step 3.7 Flash AI BENCHY-তে 8.0 স্কোর করে এবং #22 স্থানে আছে। এর reliability 9.9, pass rate 73.0%, মোট খরচ $0.376, এবং গড় response time 20.35s.

Step 3.7 Flash কে আলাদা করে যা: এটি ডোমেইন-নির্দিষ্ট-তে সবচেয়ে ভালোভাবে নজর কাড়ে, যেখানে এর rank #1; আর Sadharon Buddhimotta এর দুর্বলতম ক্ষেত্র, rank #18. এই score range-এর জন্য মোট benchmark খরচ অস্বাভাবিকভাবে কম।

মডেলের তথ্য

গবেষণার তারিখ: 2026-08-12

প্রকাশিত
প্যারামিটার
198B মোট (11B সক্রিয়)
আর্কিটেকচার
MoE
উপলভ্যতা
উন্মুক্ত উৎস
লাইসেন্স
Apache-2.0

ধারাবাহিকতা

9.3

মোট আউটপুট টোকেন

319,958

মোট ইনপুট টোকেন

39,981

ইনপুট মূল্য

$0.200 / 1M

আউটপুট মূল্য

$1.150 / 1M

সঠিক টেস্ট

ভুল টেস্ট: 7

প্রতি চেষ্টায় পাস রেট: 73.0%

বেঞ্চমার্ক কভারেজ: 61/63 প্রচেষ্টা

অস্থির টেস্ট

2

অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।

প্রতিক্রিয়া সময় (গড়)

20.35s

প্রতিক্রিয়া সময় (সর্বোচ্চ): 113.98s

প্রতিক্রিয়া সময় (মোট): 427.42s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#22 Step 3.7 Flash

medium
খরচ
$0.006
সময়
46.2s
টোকেন
4,466 tok

রান ইতিহাস

পরীক্ষিত হয়েছে স্কোর নির্ভরযোগ্যতা সঠিক টেস্ট মোট খরচ তুলনা করুন
2026-08-14 02:31 পুনরায় পরীক্ষা 7.9 10.0 $0.495 তুলনা করুন
2026-07-16 22:50 নতুন টেস্ট যোগ হয়েছে 8.0 9.9 $0.515 তুলনা করুন
2026-06-04 13:52 নতুন টেস্ট যোগ হয়েছে 8.0 9.9 $0.376 বর্তমান রান
2026-05-29 11:49 প্রথম রান 7.9 9.9 $0.404 তুলনা করুন

এই রানটি ভিন্ন একটি বেঞ্চমার্ক স্যুইট ব্যবহার করেছে। ঐতিহাসিক পরিবর্তন পড়ার সময় স্যুইট পরিবর্তনও মাথায় রাখুন।

রান তুলনা

রানবেঞ্চমার্ক কভারেজস্কোরধারাবাহিকতানির্ভরযোগ্যতাসঠিক টেস্টঅস্থির টেস্টমোট আউটপুট টোকেনমোট ইনপুট টোকেনমোট খরচপ্রতিক্রিয়া সময় (গড়)
2026-06-04 13:52 · নতুন টেস্ট যোগ হয়েছে61/63 প্রচেষ্টা8.09.39.914/212319,95839,981$0.37620.35s
2026-08-14 02:31 · পুনরায় পরীক্ষা66/66 প্রচেষ্টা7.98.910.013/223409,709114,191$0.49523.51s
পার্থক্য+0.1+0.4-0.1+1-1-89751-74210-$0.119-3156ms

বেঞ্চমার্ক কভারেজ আলাদা: 61/63 প্রচেষ্টা (লক্ষ্য: প্রতি টেস্টে 3টি পুনরাবৃত্তি) বনাম 66/66 প্রচেষ্টা (লক্ষ্য: প্রতি টেস্টে 3টি পুনরাবৃত্তি)। মোট মান ও পুনরাবৃত্তি-সংবেদনশীল মেট্রিক সরাসরি তুলনাযোগ্য নয়।

এই দুই রান ভিন্ন বেঞ্চমার্ক স্যুইট ব্যবহার করেছে, তাই পার্থক্যগুলোতে মডেল পরিবর্তন এবং স্যুইট পরিবর্তন দুটোই ধরা পড়ে।

মূল্যের ইতিহাস

OpenRouter থেকে এই মডেলের ঐতিহাসিক মূল্য তথ্য।

তারিখ ইনপুট মূল্য আউটপুট মূল্য
2026-06-04 14:42 $0.200 / 1M $1.150 / 1M

চার্ট

প্রথম মডেলটি নির্বাচন করুন, তারপর দ্বিতীয় মডেলে ক্লিক করে পাশাপাশি তুলনা পৃষ্ঠা খুলুন।

মোট আউটপুট টোকেন

স্কোর vs মোট আউটপুট টোকেন

দ্রুত তুলনা

বিভাগভিত্তিক বিশ্লেষণ

বিভাগ স্কোর ধারাবাহিকতা সঠিক টেস্ট
অ্যান্টি-এআই কৌশল 8.7 7.9
কোডিং 8.8 7.8
সমন্বিত 10.0 10.0
ডেটা পার্সিং ও নিষ্কাশন 10.0 10.0
ডোমেইন-নির্দিষ্ট 7.7 10.0
Sadharon Buddhimotta 4.0 10.0
নির্দেশনা অনুসরণ 9.8 10.0
ধাঁধা সমাধান 5.7 9.9
টুল কলিং 10.0 10.0
সাধারণ জ্ঞান 3.0 10.0

তুলনা করা মডেল