#80 DeepSeek V4 Pro
high- खर्च
- $0.023
- वेळ
- 257.6s
- टोकन्स
- 14,870 tok
सारांश
DeepSeek V4 Pro AI BENCHY वर 6.6 स्कोर करते आणि #80 वर आहे. याची reliability 9.0, pass rate 66.7%, एकूण खर्च $0.212, आणि सरासरी response time 58.93s आहे.
संशोधन दिनांक: 2026-08-12
6.6
सुसंगतता
8.3
9.0
$0.212
एकूण आउटपुट टोकन्स
65,985
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.435 / 1M
आउटपुट किंमत
$0.870 / 1M
अस्थिर चाचण्या
4
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 03:17 पुन्हा चाचणी | 7.7 | 10.0 | $0.555 ↑ | तुलना करा | |
| 2026-07-16 23:19 नवीन चाचणी जोडली | 7.7 | 10.0 | $0.200 | तुलना करा | |
| 2026-06-16 15:31 पुन्हा चाचणी | 7.6 | 9.3 | $0.157 | तुलना करा | |
| 2026-06-16 14:47 सूट बदलला | 8.1 | 9.6 | $0.098 | तुलना करा | |
| 2026-06-04 14:38 नवीन चाचणी जोडली | 6.0 | 8.9 | $0.079 ↓ | तुलना करा | |
| 2026-05-22 00:54 सूट बदलला | 6.6 | 9.0 | $0.212 | सध्याची रन | |
| 2026-04-29 14:47 पुन्हा चाचणी | 7.5 | 9.3 | $0.209 | तुलना करा | |
| 2026-04-26 10:50 पुन्हा चाचणी | 7.5 | 8.4 | $0.201 | तुलना करा | |
| 2026-04-25 21:53 पहिला रन | 8.2 | लागू नाही | $0.329 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-22 00:54 · सूट बदलला | 60/60 प्रयत्न | 6.6 | 8.3 | 9.0 | 11/20 | 4 | 65,985 | 0 | $0.212 | 58.93s |
| 2026-06-04 14:38 · नवीन चाचणी जोडली | 63/63 प्रयत्न | 6.0 | 7.3 | 8.9 | 8/21 | 7 | 84,507 | 32,240 | $0.079 | 65.21s |
| फरक | — | +0.6 | +1.0 | +0.1 | +3 | -3 | -18522 | -32240 | +$0.134 | -6275ms |
बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 7.4 | 10.0 | |
| कोडिंग | 2.8 | 5.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 8.8 | 10.0 | |
| डोमेन-विशिष्ट | 3.0 | 6.9 | |
| Samanya Buddhimatta | 6.1 | 3.1 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 7.4 | 7.2 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |