AI BENCHY
Advertise here
#80

DeepSeek V4 Pro

DeepSeek प्रकाशन: 2026-04-24 चाचणी तारीख: 2026-05-22 00:54 deepseek/deepseek-v4-pro::high
1.6T एकूण (49B सक्रिय)MoEमुक्त स्रोत
(high) (none)

सारांश

DeepSeek V4 Pro AI BENCHY वर 6.6 स्कोर करते आणि #80 वर आहे. याची reliability 9.0, pass rate 66.7%, एकूण खर्च $0.212, आणि सरासरी response time 58.93s आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
1.6T एकूण (49B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
MIT

सुसंगतता

8.3

एकूण आउटपुट टोकन्स

65,985

एकूण इनपुट टोकन्स

0

इनपुट किंमत

$0.435 / 1M

आउटपुट किंमत

$0.870 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 9

प्रति प्रयत्न पास दर: 66.7%

अस्थिर चाचण्या

4

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

58.93s

प्रतिसाद वेळ (कमाल): 358.35s

प्रतिसाद वेळ (एकूण): 1119.75s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#80 DeepSeek V4 Pro

high
खर्च
$0.023
वेळ
257.6s
टोकन्स
14,870 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:17 पुन्हा चाचणी 7.7 10.0 $0.555 तुलना करा
2026-07-16 23:19 नवीन चाचणी जोडली 7.7 10.0 $0.200 तुलना करा
2026-06-16 15:31 पुन्हा चाचणी 7.6 9.3 $0.157 तुलना करा
2026-06-16 14:47 सूट बदलला 8.1 9.6 $0.098 तुलना करा
2026-06-04 14:38 नवीन चाचणी जोडली 6.0 8.9 $0.079 तुलना करा
2026-05-22 00:54 सूट बदलला 6.6 9.0 $0.212 सध्याची रन
2026-04-29 14:47 पुन्हा चाचणी 7.5 9.3 $0.209 तुलना करा
2026-04-26 10:50 पुन्हा चाचणी 7.5 8.4 $0.201 तुलना करा
2026-04-25 21:53 पहिला रन 8.2 लागू नाही $0.329 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-05-22 00:54 · सूट बदलला60/60 प्रयत्न6.68.39.011/20465,9850$0.21258.93s
2026-06-16 15:31 · पुन्हा चाचणी63/63 प्रयत्न7.67.09.39/218165,48538,726$0.15777.20s
फरक-1.0+1.3-0.3+2-4-99500-38726+$0.056-18264ms

बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 7.4 10.0
कोडिंग 2.8 5.0
संयुक्त 10.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 8.8 10.0
डोमेन-विशिष्ट 3.0 6.9
Samanya Buddhimatta 6.1 3.1
सूचनांचे पालन 10.0 10.0
कोडी सोडवणे 7.4 7.2
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स