AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#51

DeepSeek V4 Pro

DeepSeek प्रकाशन: 2026-04-24 चाचणी तारीख: 2026-04-29 14:47 deepseek/deepseek-v4-pro::high
1.6T एकूण (49B सक्रिय)MoEमुक्त स्रोत
(high) (none)

सारांश

DeepSeek V4 Pro AI BENCHY वर 7.5 स्कोर करते आणि #51 वर आहे. याची reliability 9.3, pass rate 73.2%, एकूण खर्च $0.209, आणि सरासरी response time 60.03s आहे.

DeepSeek V4 Pro खास का आहे: हे सूचनांचे पालन मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #18. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
1.6T एकूण (49B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
MIT

सुसंगतता

8.0

एकूण आउटपुट टोकन्स

62,125

एकूण इनपुट टोकन्स

0

इनपुट किंमत

$0.435 / 1M

आउटपुट किंमत

$0.870 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 7

प्रति प्रयत्न पास दर: 73.2%

अस्थिर चाचण्या

4

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

60.03s

प्रतिसाद वेळ (कमाल): 358.35s

प्रतिसाद वेळ (एकूण): 1080.60s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#51 DeepSeek V4 Pro

high
खर्च
$0.023
वेळ
257.6s
टोकन्स
14,870 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:17 पुन्हा चाचणी 7.7 10.0 $0.555 तुलना करा
2026-07-16 23:19 नवीन चाचणी जोडली 7.7 10.0 $0.200 तुलना करा
2026-06-16 15:31 पुन्हा चाचणी 7.6 9.3 $0.157 तुलना करा
2026-06-16 14:47 सूट बदलला 8.1 9.6 $0.098 तुलना करा
2026-06-04 14:38 नवीन चाचणी जोडली 6.0 8.9 $0.079 तुलना करा
2026-05-22 00:54 सूट बदलला 6.6 9.0 $0.212 तुलना करा
2026-04-29 14:47 पुन्हा चाचणी 7.5 9.3 $0.209 सध्याची रन
2026-04-26 10:50 पुन्हा चाचणी 7.5 8.4 $0.201 तुलना करा
2026-04-25 21:53 पहिला रन 8.2 लागू नाही $0.329 तुलना करा

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-04-29 14:47 · पुन्हा चाचणी54/54 प्रयत्न7.58.09.311/18462,1250$0.20960.03s
2026-06-04 14:38 · नवीन चाचणी जोडली63/63 प्रयत्न6.07.38.98/21784,50732,240$0.07965.21s
फरक+1.5+0.7+0.4+3-3-22382-32240+$0.131-5176ms

बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 8.3 10.0
कोडिंग 3.0 0.0
संयुक्त 10.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 3.2 6.9
Samanya Buddhimatta 6.1 3.1
सूचनांचे पालन 10.0 10.0
कोडी सोडवणे 8.0 7.0
टूल कॉलिंग 10.0 10.0

तुलना केलेली मॉडेल्स