#20 DeepSeek V4 Pro
high- खर्च
- $0.023
- वेळ
- 257.6s
- टोकन्स
- 14,870 tok
सारांश
DeepSeek V4 Pro AI BENCHY वर 8.2 स्कोर करते आणि #20 वर आहे. याची reliability लागू नाही, pass rate 77.8%, एकूण खर्च $0.329, आणि सरासरी response time 72.92s आहे.
संशोधन दिनांक: 2026-08-12
8.2
सुसंगतता
9.2
लागू नाही
$0.329
एकूण आउटपुट टोकन्स
84,562
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$1.740 / 1M
आउटपुट किंमत
$3.480 / 1M
अस्थिर चाचण्या
2
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 03:17 पुन्हा चाचणी | 7.7 | 10.0 | $0.555 ↑ | तुलना करा | |
| 2026-07-16 23:19 नवीन चाचणी जोडली | 7.7 | 10.0 | $0.200 | तुलना करा | |
| 2026-06-16 15:31 पुन्हा चाचणी | 7.6 | 9.3 | $0.157 | तुलना करा | |
| 2026-06-16 14:47 सूट बदलला | 8.1 | 9.6 | $0.098 | तुलना करा | |
| 2026-06-04 14:38 नवीन चाचणी जोडली | 6.0 | 8.9 | $0.079 ↓ | तुलना करा | |
| 2026-05-22 00:54 सूट बदलला | 6.6 | 9.0 | $0.212 | तुलना करा | |
| 2026-04-29 14:47 पुन्हा चाचणी | 7.5 | 9.3 | $0.209 | तुलना करा | |
| 2026-04-26 10:50 पुन्हा चाचणी | 7.5 | 8.4 | $0.201 | तुलना करा | |
| 2026-04-25 21:53 पहिला रन | 8.2 | लागू नाही | $0.329 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-25 21:53 · पहिला रन | 54/54 प्रयत्न | 8.2 | 9.2 | लागू नाही | 13/18 | 2 | 84,562 | 0 | $0.329 | 72.92s |
| 2026-08-14 03:17 · पुन्हा चाचणी | 66/66 प्रयत्न | 7.7 | 7.7 | 10.0 | 10/22 | 6 | 209,444 | 90,757 | $0.555 | 92.50s |
| फरक | — | +0.5 | +1.5 | +3 | -4 | -124882 | -90757 | -$0.227 | -19579ms |
बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 8.3 | 10.0 | |
| कोडिंग | 10.0 | 10.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 10.0 | |
| Samanya Buddhimatta | 6.1 | 3.1 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 7.6 | 7.4 | |
| टूल कॉलिंग | 10.0 | 10.0 |