AI BENCHY
Advertise here
#60

Step 3.7 Flash

Stepfun প্রকাশ: 2026-05-29 পরীক্ষিত হয়েছে: 2026-05-29 11:49 stepfun/step-3.7-flash::low
198B মোট (11B সক্রিয়)MoEউন্মুক্ত উৎস

সারাংশ

Step 3.7 Flash AI BENCHY-তে 7.4 স্কোর করে এবং #60 স্থানে আছে। এর reliability 10.0, pass rate 68.3%, মোট খরচ $0.336, এবং গড় response time 16.06s.

Step 3.7 Flash কে আলাদা করে যা: এটি কোডিং-তে সবচেয়ে ভালোভাবে নজর কাড়ে, যেখানে এর rank #1; আর Sadharon Buddhimotta এর দুর্বলতম ক্ষেত্র, rank #18.

মডেলের তথ্য

গবেষণার তারিখ: 2026-08-12

প্রকাশিত
প্যারামিটার
198B মোট (11B সক্রিয়)
আর্কিটেকচার
MoE
উপলভ্যতা
উন্মুক্ত উৎস
লাইসেন্স
Apache-2.0

ধারাবাহিকতা

8.7

মোট আউটপুট টোকেন

285,209

মোট ইনপুট টোকেন

0

ইনপুট মূল্য

$0.200 / 1M

আউটপুট মূল্য

$1.150 / 1M

সঠিক টেস্ট

ভুল টেস্ট: 8

প্রতি চেষ্টায় পাস রেট: 68.3%

অস্থির টেস্ট

3

অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।

প্রতিক্রিয়া সময় (গড়)

16.06s

প্রতিক্রিয়া সময় (সর্বোচ্চ): 124.75s

প্রতিক্রিয়া সময় (মোট): 321.11s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#60 Step 3.7 Flash

low
অবৈধ SVG
খরচ
$0.004
সময়
25.3s
টোকেন
3,072 tok

রান ইতিহাস

পরীক্ষিত হয়েছে স্কোর নির্ভরযোগ্যতা সঠিক টেস্ট মোট খরচ তুলনা করুন
2026-08-14 02:29 পুনরায় পরীক্ষা 7.1 10.0 $0.390 তুলনা করুন
2026-07-16 22:46 নতুন টেস্ট যোগ হয়েছে 7.3 10.0 $0.454 তুলনা করুন
2026-06-04 13:49 নতুন টেস্ট যোগ হয়েছে 7.3 10.0 $0.341 তুলনা করুন
2026-05-29 11:49 প্রথম রান 7.4 10.0 $0.336 বর্তমান রান

রান তুলনা

রানবেঞ্চমার্ক কভারেজস্কোরধারাবাহিকতানির্ভরযোগ্যতাসঠিক টেস্টঅস্থির টেস্টমোট আউটপুট টোকেনমোট ইনপুট টোকেনমোট খরচপ্রতিক্রিয়া সময় (গড়)
2026-05-29 11:49 · প্রথম রান60/60 প্রচেষ্টা7.48.710.012/203285,2090$0.33616.06s
2026-06-04 13:49 · নতুন টেস্ট যোগ হয়েছে63/63 প্রচেষ্টা7.38.410.012/214289,32540,101$0.34115.74s
পার্থক্য+0.1+0.30.00-1-4116-40101-$0.006+311ms

বেঞ্চমার্ক কভারেজ আলাদা: 60/60 প্রচেষ্টা (লক্ষ্য: প্রতি টেস্টে 3টি পুনরাবৃত্তি) বনাম 63/63 প্রচেষ্টা (লক্ষ্য: প্রতি টেস্টে 3টি পুনরাবৃত্তি)। মোট মান ও পুনরাবৃত্তি-সংবেদনশীল মেট্রিক সরাসরি তুলনাযোগ্য নয়।

এই দুই রান ভিন্ন বেঞ্চমার্ক স্যুইট ব্যবহার করেছে, তাই পার্থক্যগুলোতে মডেল পরিবর্তন এবং স্যুইট পরিবর্তন দুটোই ধরা পড়ে।

চার্ট

প্রথম মডেলটি নির্বাচন করুন, তারপর দ্বিতীয় মডেলে ক্লিক করে পাশাপাশি তুলনা পৃষ্ঠা খুলুন।

মোট আউটপুট টোকেন

স্কোর vs মোট আউটপুট টোকেন

দ্রুত তুলনা

বিভাগভিত্তিক বিশ্লেষণ

বিভাগ স্কোর ধারাবাহিকতা সঠিক টেস্ট
অ্যান্টি-এআই কৌশল 8.7 7.9
কোডিং 10.0 10.0
সমন্বিত 10.0 10.0
ডেটা পার্সিং ও নিষ্কাশন 7.3 5.8
ডোমেইন-নির্দিষ্ট 5.3 7.2
Sadharon Buddhimotta 3.4 9.3
নির্দেশনা অনুসরণ 9.8 10.0
ধাঁধা সমাধান 5.5 9.9
টুল কলিং 10.0 10.0
সাধারণ জ্ঞান 3.0 10.0

তুলনা করা মডেল