#319 Step 3.5 Flash
medium- খরচ
- $0.008
- সময়
- 277.1s
- টোকেন
- 23,695 tok
সারাংশ
Step 3.5 Flash AI BENCHY-তে 5.4 স্কোর করে এবং #319 স্থানে আছে। এর reliability 10.0, pass rate 49.3%, মোট খরচ $0.105, এবং গড় response time 190.48s.
Step 3.5 Flash কে আলাদা করে যা: এটি অ্যান্টি-এআই কৌশল-তে সবচেয়ে ভালোভাবে নজর কাড়ে, যেখানে এর rank #1; আর স্বায়ত্তশাসিত এজেন্টের কাজ এর দুর্বলতম ক্ষেত্র, rank #13.
গবেষণার তারিখ: 2026-08-12
5.4
ধারাবাহিকতা
8.3
10.0
$0.105
মোট আউটপুট টোকেন
454,482
মোট ইনপুট টোকেন
139,086
ইনপুট মূল্য
$0.100 / 1M
আউটপুট মূল্য
$0.300 / 1M
ক্যাশ পড়ার মূল্য
প্রযোজ্য নয়
ক্যাশ লেখার মূল্য
প্রযোজ্য নয়
ক্যাশের মূল্য ইনপুট টোকেনের জন্য প্রযোজ্য। পড়ার সময় ক্যাশ করা প্রম্পট আবার ব্যবহার হয়; লেখার সময় সেগুলি সংরক্ষিত হয় এবং বাড়তি খরচ হতে পারে। আউটপুট টোকেনের জন্য আউটপুট মূল্য প্রযোজ্য।
ভুল টেস্ট: 12
প্রতি চেষ্টায় পাস রেট: 49.3%
বেঞ্চমার্ক কভারেজ: 66/69 প্রচেষ্টা (লক্ষ্য: প্রতি টেস্টে 3টি পুনরাবৃত্তি)
অস্থির টেস্ট
3
অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।
190.48s
প্রতিক্রিয়া সময় (সর্বোচ্চ): 1597.85s
প্রতিক্রিয়া সময় (মোট): 3238.23s
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
রান ইতিহাস
| পরীক্ষিত হয়েছে | স্কোর | নির্ভরযোগ্যতা | সঠিক টেস্ট | মোট খরচ | তুলনা করুন |
|---|---|---|---|---|---|
| 2026-10-01 02:07 পুনরায় পরীক্ষা | 5.4 | 10.0 | $0.105 | বর্তমান রান | |
| 2026-07-16 23:25 নতুন টেস্ট যোগ হয়েছে | 6.0 | 9.2 | $0.108 ↑ | তুলনা করুন | |
| 2026-06-04 14:12 নতুন টেস্ট যোগ হয়েছে | 7.2 | 8.9 | $0.070 ↑ | তুলনা করুন | |
| 2026-05-22 00:30 স্যুইট পরিবর্তিত হয়েছে | 7.4 | 9.3 | $0.015 | তুলনা করুন | |
| 2026-05-08 15:30 স্যুইট পরিবর্তিত হয়েছে | 7.6 | 10.0 | $0.011 | তুলনা করুন | |
| 2026-04-11 00:35 প্রথম নথিভুক্ত রান | 7.9 | প্রযোজ্য নয় | $0.000 | তুলনা করুন |
এই রানটি ভিন্ন একটি বেঞ্চমার্ক স্যুইট ব্যবহার করেছে। ঐতিহাসিক পরিবর্তন পড়ার সময় স্যুইট পরিবর্তনও মাথায় রাখুন।
রান তুলনা
| রান | বেঞ্চমার্ক কভারেজ | স্কোর | ধারাবাহিকতা | নির্ভরযোগ্যতা | সঠিক টেস্ট | অস্থির টেস্ট | মোট আউটপুট টোকেন | মোট ইনপুট টোকেন | মোট খরচ | প্রতিক্রিয়া সময় (গড়) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-10-01 02:07 · বর্তমান রান | 66/69 প্রচেষ্টা | 5.4 | 8.3 | 10.0 | 10/22 | 3 | 454,482 | 139,086 | $0.105 | 190.48s |
| 2026-05-22 00:30 · স্যুইট পরিবর্তিত হয়েছে | 57/57 প্রচেষ্টা | 7.4 | 8.7 | 9.3 | 11/19 | 3 | 263,806 | 0 | $0.015 | 43.29s |
| পার্থক্য | — | -2.0 | -0.4 | +0.7 | -1 | 0 | +190676 | +139086 | +$0.091 | +147196ms |
বেঞ্চমার্ক কভারেজ আলাদা: 66/69 প্রচেষ্টা (লক্ষ্য: প্রতি টেস্টে 3টি পুনরাবৃত্তি) বনাম 57/57 প্রচেষ্টা (লক্ষ্য: প্রতি টেস্টে 3টি পুনরাবৃত্তি)। মোট মান ও পুনরাবৃত্তি-সংবেদনশীল মেট্রিক সরাসরি তুলনাযোগ্য নয়।
এই দুই রান ভিন্ন বেঞ্চমার্ক স্যুইট ব্যবহার করেছে, তাই পার্থক্যগুলোতে মডেল পরিবর্তন এবং স্যুইট পরিবর্তন দুটোই ধরা পড়ে।
প্রথম মডেলটি নির্বাচন করুন, তারপর দ্বিতীয় মডেলে ক্লিক করে পাশাপাশি তুলনা পৃষ্ঠা খুলুন।
| বিভাগ | স্কোর | ধারাবাহিকতা | সঠিক টেস্ট |
|---|---|---|---|
| স্বায়ত্তশাসিত এজেন্টের কাজ | 2.8 | 1.6 | |
| অ্যান্টি-এআই কৌশল | 10.0 | 10.0 | |
| কোডিং | 2.4 | 5.2 | |
| সমন্বিত | 6.5 | 10.0 | |
| ডেটা পার্সিং ও নিষ্কাশন | 10.0 | 10.0 | |
| ডোমেইন-নির্দিষ্ট | 3.5 | 4.4 | |
| Sadharon Buddhimotta | 5.5 | 10.0 | |
| নির্দেশনা অনুসরণ | 8.3 | 10.0 | |
| ধাঁধা সমাধান | 5.3 | 10.0 | |
| টুল কলিং | 10.0 | 10.0 | |
| সাধারণ জ্ঞান | 3.0 | 10.0 |