Advertise here
#181

Seed-2.0-Code

Bytedance Seed प्रकाशन: 2026-08-12 चाचणी तारीख: 2026-10-01 04:09 bytedance-seed/seed-2.0-code::medium
~200B एकूण (~20B सक्रिय)MoEबंद स्रोतअंदाजित
(high) (medium) (low) (none)

सारांश

Seed-2.0-Code AI BENCHY वर 7.4 स्कोर करते आणि #181 वर आहे. याची reliability 8.0, pass rate 65.2%, एकूण खर्च $1.275, आणि सरासरी response time 100.65s आहे.

Seed-2.0-Code खास का आहे: हे कोडिंग मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #2 आहे; तर डेटा पार्सिंग आणि निष्कर्षण हा सर्वात कमकुवत भाग आहे, rank #17.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~200B एकूण (~20B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

7.4

एकूण आउटपुट टोकन्स

384,093

एकूण इनपुट टोकन्स

244,499

इनपुट किंमत

$0.500 / 1M

आउटपुट किंमत

$3.000 / 1M

कॅश वाचण्याची किंमत

लागू नाही

कॅश लिहिण्याची किंमत

लागू नाही

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

बरोबर चाचण्या

चुकीच्या चाचण्या: 12

प्रति प्रयत्न पास दर: 65.2%

अस्थिर चाचण्या

7

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

100.65s

प्रतिसाद वेळ (कमाल): 626.58s

प्रतिसाद वेळ (एकूण): 2314.88s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#181 Seed-2.0-Code

medium
खर्च
$0.026
वेळ
122.8s
टोकन्स
8,630 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-10-01 04:09 पुन्हा चाचणी 7.4 8.0 $1.275 सध्याची रन
2026-08-12 23:02 पहिला रन 6.9 4.7 $1.049 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-10-01 04:09 · सध्याची रन69/69 प्रयत्न7.47.48.011/237384,093244,499$1.275100.65s
2026-08-12 23:02 · पहिला रन66/66 प्रयत्न6.96.74.710/229336,69676,027$1.04993.60s
फरक—+0.5+0.7+3.3+1-2+47397+168472+$0.227+7044ms

बेंचमार्क कव्हरेज वेगळे आहे: 69/69 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
स्वायत्त एजंट कार्ये 10.0 10.0
अँटी-एआय युक्त्या 6.9 9.5
कोडिंग 8.9 7.8
संयुक्त 4.7 1.6
डेटा पार्सिंग आणि निष्कर्षण 7.3 8.9
डोमेन-विशिष्ट 5.3 7.2
Samanya Buddhimatta 4.8 3.2
सूचनांचे पालन 9.8 10.0
कोडी सोडवणे 8.2 7.2
टूल कॉलिंग 4.7 1.6
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स