average score जवळपास समान आहे: 6.9 vs 6.9. GPT-5.5 चा benchmark खर्च कमी आहे: $0.544 vs $1.312. GPT-5.5 वेगवान आहे: 2.36s vs 127.79s, pass rates 71.2% vs 56.1%.
AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले:
2026-08-12
क्रमांक
#123
एकूण आउटपुट टोकन्स
423,424
प्रतिसाद वेळ (सरासरी)
127.79s
एकूण खर्च
$1.312
क्रमांक
#126
एकूण आउटपुट टोकन्स
4,915
प्रतिसाद वेळ (सरासरी)
2.36s
एकूण खर्च
$0.544
शिफारस केलेले मॉडेलGPT-5.5
It has the best score here (6.9), while costing about 2.4x less than Seed-2.0-Code (high).
6.0पहिल्या प्रयत्नातील यश स्कोअर: 10.0 म्हणजे यशस्वी कॉल्सपूर्वी लक्ष्य API किंवा रेट-लिमिटच्या पुन्हा प्रयत्न करता येणाऱ्या अपयशांची नोंद नाही; नोंदवलेली अपयशे स्कोअर कमी करतात.…
10.0पहिल्या प्रयत्नातील यश स्कोअर: 10.0 म्हणजे यशस्वी कॉल्सपूर्वी लक्ष्य API किंवा रेट-लिमिटच्या पुन्हा प्रयत्न करता येणाऱ्या अपयशांची नोंद नाही; नोंदवलेली अपयशे स्कोअर कमी करतात.…
सुसंगतता
7.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
8.9सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
प्रयत्न
66/66
66/66
बरोबर चाचण्या
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.API त्रुटी: 5चुकीचे उत्तर: 4सूचनांचे पालन केले नाही: 1उत्तर नाही: 1प्रतिसाद वेळ (सरासरी)127.79sप्रतिसाद वेळ (कमाल)675.30sप्रतिसाद वेळ (एकूण)2811.27sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 11प्रतिसाद वेळ (सरासरी)2.36sप्रतिसाद वेळ (कमाल)12.24sप्रतिसाद वेळ (एकूण)51.88sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
प्रति प्रयत्न पास दर
71.2%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
56.1%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
अस्थिर चाचण्या
8अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
3अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एकूण रन
66एकूण रन…
66एकूण रन…
प्रति निकाल खर्च
11.921हे बेंचमार्कमधील प्रत्येक बरोबर उत्तरामागील सरासरी खर्च सेंट्समध्ये दाखवते (कमी असणे चांगले).…
4.945हे बेंचमार्कमधील प्रत्येक बरोबर उत्तरामागील सरासरी खर्च सेंट्समध्ये दाखवते (कमी असणे चांगले).…
एकूण खर्च
$1.312एकूण खर्च (सध्याची किंमत)…
$0.544एकूण खर्च (सध्याची किंमत)…
इनपुट किंमत
$0.500 / 1Mइनपुट किंमत…
$5.000 / 1Mइनपुट किंमत…
आउटपुट किंमत
$3.000 / 1Mआउटपुट किंमत…
$30.000 / 1Mआउटपुट किंमत…
एकूण इनपुट टोकन्स
81,961एकूण इनपुट टोकन्स…
79,285एकूण इनपुट टोकन्स…
आउटपुट टोकन्स
7,187आउटपुट टोकन्स…
4,915आउटपुट टोकन्स…
रिझनिंग टोकन्स
416,237रिझनिंग टोकन्स…
0रिझनिंग टोकन्स…
प्रतिसाद वेळ (सरासरी)
127.79sप्रतिसाद वेळ (सरासरी)…
2.36sप्रतिसाद वेळ (सरासरी)…
प्रतिसाद वेळ (कमाल)
675.30sप्रतिसाद वेळ (कमाल)…
12.24sप्रतिसाद वेळ (कमाल)…
प्रतिसाद वेळ (एकूण)
2811.27sप्रतिसाद वेळ (एकूण)…
51.88sप्रतिसाद वेळ (एकूण)…
पॅरामीटर्स
~200B एकूण (~20B सक्रिय)
~1.5T एकूण (~100B सक्रिय)
उपलब्धता
बंद स्रोत
बंद स्रोत
मॉडेल जनरेशन शोकेस
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
75.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)35.07sप्रतिसाद वेळ (कमाल)82.43sप्रतिसाद वेळ (एकूण)140.28sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
7.9सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
66.7%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 2प्रतिसाद वेळ (सरासरी)1.31sप्रतिसाद वेळ (कमाल)2.08sप्रतिसाद वेळ (एकूण)5.25sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
4.4सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
66.7%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
2अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.API त्रुटी: 1सूचनांचे पालन केले नाही: 1प्रतिसाद वेळ (सरासरी)266.74sप्रतिसाद वेळ (कमाल)443.32sप्रतिसाद वेळ (एकूण)800.23sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
33.3%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 2प्रतिसाद वेळ (सरासरी)1.35sप्रतिसाद वेळ (कमाल)2.05sप्रतिसाद वेळ (एकूण)4.05sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
5.8सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
83.3%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.API त्रुटी: 1प्रतिसाद वेळ (सरासरी)144.87sप्रतिसाद वेळ (कमाल)236.85sप्रतिसाद वेळ (एकूण)289.75sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
50.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)8.90sप्रतिसाद वेळ (कमाल)12.24sप्रतिसाद वेळ (एकूण)17.80sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
100.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)24.28sप्रतिसाद वेळ (कमाल)34.05sप्रतिसाद वेळ (एकूण)48.55sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
100.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)1.18sप्रतिसाद वेळ (कमाल)1.24sप्रतिसाद वेळ (एकूण)2.37sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
4.4सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
44.5%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
2अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 2उत्तर नाही: 1प्रतिसाद वेळ (सरासरी)446.14sप्रतिसाद वेळ (कमाल)675.30sप्रतिसाद वेळ (एकूण)1338.43sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
7.2सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
11.1%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 3प्रतिसाद वेळ (सरासरी)1.31sप्रतिसाद वेळ (कमाल)1.39sप्रतिसाद वेळ (एकूण)3.92sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
1.6सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
66.7%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.API त्रुटी: 1प्रतिसाद वेळ (सरासरी)36.45sप्रतिसाद वेळ (कमाल)36.45sप्रतिसाद वेळ (एकूण)36.45sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
100.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)3.41sप्रतिसाद वेळ (कमाल)3.41sप्रतिसाद वेळ (एकूण)3.41sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
100.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)11.26sप्रतिसाद वेळ (कमाल)19.26sप्रतिसाद वेळ (एकूण)22.53sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
5.8सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
66.7%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)1.15sप्रतिसाद वेळ (कमाल)1.19sप्रतिसाद वेळ (एकूण)2.31sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
7.2सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
77.8%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.API त्रुटी: 1प्रतिसाद वेळ (सरासरी)15.91sप्रतिसाद वेळ (कमाल)17.11sप्रतिसाद वेळ (एकूण)47.73sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
66.7%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)1.29sप्रतिसाद वेळ (कमाल)1.56sप्रतिसाद वेळ (एकूण)3.87sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
1.6सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
66.7%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.API त्रुटी: 1प्रतिसाद वेळ (सरासरी)35.09sप्रतिसाद वेळ (कमाल)35.09sप्रतिसाद वेळ (एकूण)35.09sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
100.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)3.90sप्रतिसाद वेळ (कमाल)3.90sप्रतिसाद वेळ (एकूण)3.90sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)52.23sप्रतिसाद वेळ (कमाल)52.23sप्रतिसाद वेळ (एकूण)52.23sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)5.01sप्रतिसाद वेळ (कमाल)5.01sप्रतिसाद वेळ (एकूण)5.01sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…