#28 GPT-5.4
medium- खर्च
- $0.214
- वेळ
- 199.6s
- टोकन्स
- 14,349 tok
सारांश
GPT-5.4 AI BENCHY वर 7.9 स्कोर करते आणि #28 वर आहे. याची reliability 10.0, pass rate 75.0%, एकूण खर्च $1.140, आणि सरासरी response time 22.31s आहे.
संशोधन दिनांक: 2026-08-12
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
7.9
सुसंगतता
8.5
10.0
$1.140
एकूण आउटपुट टोकन्स
70,725
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$2.500 / 1M
आउटपुट किंमत
$15.000 / 1M
कॅश वाचण्याची किंमत
लागू नाही
कॅश लिहिण्याची किंमत
लागू नाही
कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.
अस्थिर चाचण्या
4
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:16 पुन्हा चाचणी | 8.5 | 10.0 | $1.560 | तुलना करा | |
| 2026-07-16 22:34 नवीन चाचणी जोडली | 8.5 | 10.0 | $1.533 | तुलना करा | |
| 2026-06-04 13:46 नवीन चाचणी जोडली | 8.0 | 10.0 | $1.210 | तुलना करा | |
| 2026-05-22 00:19 सूट बदलला | 7.9 | 10.0 | $1.140 | सध्याची रन | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 8.2 | लागू नाही | $0.832 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-22 00:19 · सूट बदलला | 60/60 प्रयत्न | 7.9 | 8.5 | 10.0 | 13/20 | 4 | 70,725 | 0 | $1.140 | 22.31s |
| 2026-08-14 02:16 · पुन्हा चाचणी | 66/66 प्रयत्न | 8.5 | 8.6 | 10.0 | 15/22 | 4 | 90,466 | 81,136 | $1.560 | 22.85s |
| फरक | — | -0.6 | -0.1 | 0.0 | -2 | 0 | -19741 | -81136 | -$0.421 | -546ms |
बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 8.3 | 10.0 | |
| कोडिंग | 8.2 | 6.7 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 7.2 | |
| Samanya Buddhimatta | 4.7 | 3.1 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 8.2 | 7.2 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |