#113 GPT-5.4
none- खर्च
- $0.026
- वेळ
- 18.1s
- टोकन्स
- 1,792 tok
सारांश
GPT-5.4 AI BENCHY वर 5.6 स्कोर करते आणि #113 वर आहे. याची reliability 10.0, pass rate 38.3%, एकूण खर्च $0.115, आणि सरासरी response time 1.46s आहे.
GPT-5.4 खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #3 आहे; तर अँटी-एआय युक्त्या हा सर्वात कमकुवत भाग आहे, rank #18. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.
संशोधन दिनांक: 2026-08-12
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
5.6
सुसंगतता
9.1
10.0
$0.115
एकूण आउटपुट टोकन्स
2,378
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$2.500 / 1M
आउटपुट किंमत
$15.000 / 1M
अस्थिर चाचण्या
2
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:13 पुन्हा चाचणी | 5.8 | 10.0 | $0.397 | तुलना करा | |
| 2026-07-16 22:33 नवीन चाचणी जोडली | 5.8 | 10.0 | $0.397 | तुलना करा | |
| 2026-06-04 13:45 नवीन चाचणी जोडली | 5.5 | 10.0 | $0.122 | तुलना करा | |
| 2026-05-22 00:18 सूट बदलला | 5.6 | 10.0 | $0.115 | सध्याची रन | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 5.9 | लागू नाही | $0.104 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-22 00:18 · सूट बदलला | 60/60 प्रयत्न | 5.6 | 9.1 | 10.0 | 7/20 | 2 | 2,378 | 0 | $0.115 | 1.46s |
| 2026-08-14 02:13 · पुन्हा चाचणी | 66/66 प्रयत्न | 5.8 | 9.2 | 10.0 | 7/22 | 2 | 8,339 | 108,641 | $0.397 | 2.08s |
| फरक | — | -0.2 | -0.1 | 0.0 | 0 | 0 | -5961 | -108641 | -$0.283 | -618ms |
बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 3.2 | 8.0 | |
| कोडिंग | 6.8 | 10.0 | |
| संयुक्त | 3.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 7.2 | |
| Samanya Buddhimatta | 4.4 | 9.9 | |
| सूचनांचे पालन | 6.5 | 10.0 | |
| कोडी सोडवणे | 5.6 | 9.8 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |