- स्कोअर
- 8.6 (+1.18 गुण)
- एकूण खर्च (सध्याची किंमत)
- $0.061 · 95.3% स्वस्त
- प्रतिसाद वेळ (सरासरी)
- 7.51s · 92.5% वेगवान
सारांश
Seed-2.0-Code AI BENCHY वर 7.4 स्कोर करते आणि #181 वर आहे. याची reliability 8.0, pass rate 65.2%, एकूण खर्च $1.275, आणि सरासरी response time 100.65s आहे.
Seed-2.0-Code खास का आहे: हे कोडिंग मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #2 आहे; तर डेटा पार्सिंग आणि निष्कर्षण हा सर्वात कमकुवत भाग आहे, rank #17.
शिफारस केलेले पर्याय
त्याऐवजी यापैकी एक मॉडेल निवडण्याची शिफारस करतो:
- स्कोअर
- 9.4 (+1.96 गुण)
- एकूण खर्च (सध्याची किंमत)
- $0.183 · 85.7% स्वस्त
- प्रतिसाद वेळ (सरासरी)
- 6.24s · 93.8% वेगवान
- स्कोअर
- 8.3 (+0.87 गुण)
- एकूण खर्च (सध्याची किंमत)
- $0.047 · 96.3% स्वस्त
- प्रतिसाद वेळ (सरासरी)
- 18.07s · 82.0% वेगवान
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- ~200B एकूण (~20B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- बंद स्रोत
- परवाना
- -
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
7.4
सुसंगतता
7.4
8.0
$1.275
एकूण आउटपुट टोकन्स
384,093
एकूण इनपुट टोकन्स
244,499
इनपुट किंमत
$0.500 / 1M
आउटपुट किंमत
$3.000 / 1M
कॅश वाचण्याची किंमत
लागू नाही
कॅश लिहिण्याची किंमत
लागू नाही
कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.
अस्थिर चाचण्या
7
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#181 Seed-2.0-Code
medium- खर्च
- $0.026
- वेळ
- 122.8s
- टोकन्स
- 8,630 tok
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-10-01 04:09 पुन्हा चाचणी | 7.4 | 8.0 | $1.275 | सध्याची रन | |
| 2026-08-12 23:02 पहिला रन | 6.9 | 4.7 | $1.049 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-10-01 04:09 · सध्याची रन | 69/69 प्रयत्न | 7.4 | 7.4 | 8.0 | 11/23 | 7 | 384,093 | 244,499 | $1.275 | 100.65s |
| 2026-08-12 23:02 · पहिला रन | 66/66 प्रयत्न | 6.9 | 6.7 | 4.7 | 10/22 | 9 | 336,696 | 76,027 | $1.049 | 93.60s |
| फरक | — | +0.5 | +0.7 | +3.3 | +1 | -2 | +47397 | +168472 | +$0.227 | +7044ms |
बेंचमार्क कव्हरेज वेगळे आहे: 69/69 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| स्वायत्त एजंट कार्ये | 10.0 | 10.0 | |
| अँटी-एआय युक्त्या | 6.9 | 9.5 | |
| कोडिंग | 8.9 | 7.8 | |
| संयुक्त | 4.7 | 1.6 | |
| डेटा पार्सिंग आणि निष्कर्षण | 7.3 | 8.9 | |
| डोमेन-विशिष्ट | 5.3 | 7.2 | |
| Samanya Buddhimatta | 4.8 | 3.2 | |
| सूचनांचे पालन | 9.8 | 10.0 | |
| कोडी सोडवणे | 8.2 | 7.2 | |
| टूल कॉलिंग | 4.7 | 1.6 | |
| सामान्य ज्ञान | 3.0 | 10.0 |