AI BENCHY
Advertise here
#20

DeepSeek V4 Pro

DeepSeek प्रकाशन: 2026-04-24 चाचणी तारीख: 2026-04-25 21:53 deepseek/deepseek-v4-pro::high
1.6T एकूण (49B सक्रिय)MoEमुक्त स्रोत
(high) (none)

सारांश

DeepSeek V4 Pro AI BENCHY वर 8.2 स्कोर करते आणि #20 वर आहे. याची reliability लागू नाही, pass rate 77.8%, एकूण खर्च $0.329, आणि सरासरी response time 72.92s आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
1.6T एकूण (49B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
MIT

सुसंगतता

9.2

विश्वसनीयता

लागू नाही

एकूण आउटपुट टोकन्स

84,562

एकूण इनपुट टोकन्स

0

इनपुट किंमत

$1.740 / 1M

आउटपुट किंमत

$3.480 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 5

प्रति प्रयत्न पास दर: 77.8%

अस्थिर चाचण्या

2

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

72.92s

प्रतिसाद वेळ (कमाल): 414.38s

प्रतिसाद वेळ (एकूण): 1312.59s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#20 DeepSeek V4 Pro

high
खर्च
$0.023
वेळ
257.6s
टोकन्स
14,870 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:17 पुन्हा चाचणी 7.7 10.0 $0.555 तुलना करा
2026-07-16 23:19 नवीन चाचणी जोडली 7.7 10.0 $0.200 तुलना करा
2026-06-16 15:31 पुन्हा चाचणी 7.6 9.3 $0.157 तुलना करा
2026-06-16 14:47 सूट बदलला 8.1 9.6 $0.098 तुलना करा
2026-06-04 14:38 नवीन चाचणी जोडली 6.0 8.9 $0.079 तुलना करा
2026-05-22 00:54 सूट बदलला 6.6 9.0 $0.212 तुलना करा
2026-04-29 14:47 पुन्हा चाचणी 7.5 9.3 $0.209 तुलना करा
2026-04-26 10:50 पुन्हा चाचणी 7.5 8.4 $0.201 तुलना करा
2026-04-25 21:53 पहिला रन 8.2 लागू नाही $0.329 सध्याची रन

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-04-25 21:53 · पहिला रन54/54 प्रयत्न8.29.2लागू नाही13/18284,5620$0.32972.92s
2026-06-16 14:47 · सूट बदलला57/63 प्रयत्न8.17.89.610/21699,52035,122$0.09872.22s
फरक+0.1+1.4+3-4-14958-35122+$0.231+699ms

बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 57/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 8.3 10.0
कोडिंग 10.0 10.0
संयुक्त 10.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 5.3 10.0
Samanya Buddhimatta 6.1 3.1
सूचनांचे पालन 10.0 10.0
कोडी सोडवणे 7.6 7.4
टूल कॉलिंग 10.0 10.0

तुलना केलेली मॉडेल्स