#76 Gemma 4 31B
none- খরচ
- $0.001
- সময়
- 12.8s
- টোকেন
- 795 tok
সারাংশ
Gemma 4 31B AI BENCHY-তে 6.7 স্কোর করে এবং #76 স্থানে আছে। এর reliability 10.0, pass rate 50.0%, মোট খরচ $0.003, এবং গড় response time 3.84s.
Gemma 4 31B কে আলাদা করে যা: এটি ডোমেইন-নির্দিষ্ট-তে সবচেয়ে ভালোভাবে নজর কাড়ে, যেখানে এর rank #1; আর সমন্বিত এর দুর্বলতম ক্ষেত্র, rank #17. এই score range-এর জন্য মোট benchmark খরচ অস্বাভাবিকভাবে কম। একই ধরনের মডেলের তুলনায় এটি লক্ষণীয়ভাবে দ্রুত।
গবেষণার তারিখ: 2026-08-12
6.7
ধারাবাহিকতা
10.0
10.0
$0.003
মোট আউটপুট টোকেন
1,398
মোট ইনপুট টোকেন
0
ইনপুট মূল্য
$0.120 / 1M
আউটপুট মূল্য
$0.370 / 1M
অস্থির টেস্ট
0
অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
রান ইতিহাস
| পরীক্ষিত হয়েছে | স্কোর | নির্ভরযোগ্যতা | সঠিক টেস্ট | মোট খরচ | তুলনা করুন |
|---|---|---|---|---|---|
| 2026-08-14 02:51 পুনরায় পরীক্ষা | 6.1 | 10.0 | $0.018 ↓ | তুলনা করুন | |
| 2026-07-16 23:02 নতুন টেস্ট যোগ হয়েছে | 6.2 | 10.0 | $0.035 ↑ | তুলনা করুন | |
| 2026-06-04 14:04 নতুন টেস্ট যোগ হয়েছে | 6.5 | 10.0 | $0.004 ↓ | তুলনা করুন | |
| 2026-05-22 00:30 স্যুইট পরিবর্তিত হয়েছে | 6.7 | 10.0 | $0.003 | বর্তমান রান | |
| 2026-04-14 00:56 প্রথম নথিভুক্ত রান | 6.9 | প্রযোজ্য নয় | $0.003 | তুলনা করুন |
এই রানটি ভিন্ন একটি বেঞ্চমার্ক স্যুইট ব্যবহার করেছে। ঐতিহাসিক পরিবর্তন পড়ার সময় স্যুইট পরিবর্তনও মাথায় রাখুন।
রান তুলনা
| রান | বেঞ্চমার্ক কভারেজ | স্কোর | ধারাবাহিকতা | নির্ভরযোগ্যতা | সঠিক টেস্ট | অস্থির টেস্ট | মোট আউটপুট টোকেন | মোট ইনপুট টোকেন | মোট খরচ | প্রতিক্রিয়া সময় (গড়) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-22 00:30 · স্যুইট পরিবর্তিত হয়েছে | 60/60 প্রচেষ্টা | 6.7 | 10.0 | 10.0 | 10/20 | 0 | 1,398 | 0 | $0.003 | 3.84s |
| 2026-08-14 02:51 · পুনরায় পরীক্ষা | 66/66 প্রচেষ্টা | 6.1 | 9.6 | 10.0 | 9/22 | 1 | 13,317 | 125,703 | $0.018 | 5.41s |
| পার্থক্য | — | +0.6 | +0.4 | 0.0 | +1 | -1 | -11919 | -125703 | -$0.015 | -1565ms |
বেঞ্চমার্ক কভারেজ আলাদা: 60/60 প্রচেষ্টা (লক্ষ্য: প্রতি টেস্টে 3টি পুনরাবৃত্তি) বনাম 66/66 প্রচেষ্টা (লক্ষ্য: প্রতি টেস্টে 3টি পুনরাবৃত্তি)। মোট মান ও পুনরাবৃত্তি-সংবেদনশীল মেট্রিক সরাসরি তুলনাযোগ্য নয়।
এই দুই রান ভিন্ন বেঞ্চমার্ক স্যুইট ব্যবহার করেছে, তাই পার্থক্যগুলোতে মডেল পরিবর্তন এবং স্যুইট পরিবর্তন দুটোই ধরা পড়ে।
প্রথম মডেলটি নির্বাচন করুন, তারপর দ্বিতীয় মডেলে ক্লিক করে পাশাপাশি তুলনা পৃষ্ঠা খুলুন।
| বিভাগ | স্কোর | ধারাবাহিকতা | সঠিক টেস্ট |
|---|---|---|---|
| অ্যান্টি-এআই কৌশল | 6.5 | 10.0 | |
| কোডিং | 6.8 | 10.0 | |
| সমন্বিত | 3.0 | 10.0 | |
| ডেটা পার্সিং ও নিষ্কাশন | 10.0 | 10.0 | |
| ডোমেইন-নির্দিষ্ট | 7.7 | 10.0 | |
| Sadharon Buddhimotta | 10.0 | 10.0 | |
| নির্দেশনা অনুসরণ | 6.5 | 10.0 | |
| ধাঁধা সমাধান | 6.5 | 10.0 | |
| টুল কলিং | 3.0 | 10.0 | |
| সাধারণ জ্ঞান | 3.0 | 10.0 |