#17 GPT-5.4
medium- खर्च
- $0.214
- वेळ
- 199.6s
- टोकन्स
- 14,349 tok
सारांश
GPT-5.4 AI BENCHY वर 8.2 स्कोर करते आणि #17 वर आहे. याची reliability लागू नाही, pass rate 79.6%, एकूण खर्च $0.832, आणि सरासरी response time 18.63s आहे.
संशोधन दिनांक: 2026-08-12
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
8.2
सुसंगतता
8.7
लागू नाही
$0.832
एकूण आउटपुट टोकन्स
50,901
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$2.500 / 1M
आउटपुट किंमत
$15.000 / 1M
कॅश वाचण्याची किंमत
लागू नाही
कॅश लिहिण्याची किंमत
लागू नाही
कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.
अस्थिर चाचण्या
3
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:16 पुन्हा चाचणी | 8.5 | 10.0 | $1.560 | तुलना करा | |
| 2026-07-16 22:34 नवीन चाचणी जोडली | 8.5 | 10.0 | $1.533 | तुलना करा | |
| 2026-06-04 13:46 नवीन चाचणी जोडली | 8.0 | 10.0 | $1.210 | तुलना करा | |
| 2026-05-22 00:19 सूट बदलला | 7.9 | 10.0 | $1.140 | तुलना करा | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 8.2 | लागू नाही | $0.832 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:44 · पहिली नोंदलेली रन | 54/54 प्रयत्न | 8.2 | 8.7 | लागू नाही | 13/18 | 3 | 50,901 | 0 | $0.832 | 18.63s |
| 2026-05-22 00:19 · सूट बदलला | 60/60 प्रयत्न | 7.9 | 8.5 | 10.0 | 13/20 | 4 | 70,725 | 0 | $1.140 | 22.31s |
| फरक | — | +0.3 | +0.2 | 0 | -1 | -19824 | 0 | -$0.308 | -3682ms |
बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 8.3 | 10.0 | |
| कोडिंग | 10.0 | 10.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 7.2 | |
| Samanya Buddhimatta | 4.7 | 3.1 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 8.2 | 7.2 | |
| टूल कॉलिंग | 10.0 | 10.0 |