average score जवळपास समान आहे: 6.7 vs 6.7. LongCat 2.0 (low) चा benchmark खर्च कमी आहे: $0.412 vs $0.487. KAT-Coder-Pro V2.5 वेगवान आहे: 26.01s vs 113.61s, pass rates 71.2% vs 54.6%.
AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले:
2026-09-03
क्रमांक
#151
एकूण आउटपुट टोकन्स
139,572
प्रतिसाद वेळ (सरासरी)
26.01s
एकूण खर्च
$0.487
क्रमांक
#152
एकूण आउटपुट टोकन्स
320,594
प्रतिसाद वेळ (सरासरी)
113.61s
एकूण खर्च
$0.412
शिफारस केलेले मॉडेलKAT-Coder-Pro V2.5
It has the best score here (6.7), while responding about 4.4x faster than LongCat 2.0 (low).
10.0पहिल्या प्रयत्नातील यश स्कोअर: 10.0 म्हणजे यशस्वी कॉल्सपूर्वी लक्ष्य API किंवा रेट-लिमिटच्या पुन्हा प्रयत्न करता येणाऱ्या अपयशांची नोंद नाही; नोंदवलेली अपयशे स्कोअर कमी करतात.…
9.9पहिल्या प्रयत्नातील यश स्कोअर: 10.0 म्हणजे यशस्वी कॉल्सपूर्वी लक्ष्य API किंवा रेट-लिमिटच्या पुन्हा प्रयत्न करता येणाऱ्या अपयशांची नोंद नाही; नोंदवलेली अपयशे स्कोअर कमी करतात.…
सुसंगतता
7.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
8.5सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
प्रयत्न
66/66
66/66
बरोबर चाचण्या
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 10अवैध टूल कॉल: 1प्रतिसाद वेळ (सरासरी)26.01sप्रतिसाद वेळ (कमाल)335.41sप्रतिसाद वेळ (एकूण)572.22sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
7.9सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
91.7%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)4.58sप्रतिसाद वेळ (कमाल)7.94sप्रतिसाद वेळ (एकूण)18.33sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
100.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)9.04sप्रतिसाद वेळ (कमाल)17.24sप्रतिसाद वेळ (एकूण)36.14sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
4.7सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
66.7%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
2अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 2प्रतिसाद वेळ (सरासरी)22.52sप्रतिसाद वेळ (कमाल)30.63sप्रतिसाद वेळ (एकूण)67.55sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
4.6सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
77.8%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
2अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.API त्रुटी: 1चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)479.30sप्रतिसाद वेळ (कमाल)560.39sप्रतिसाद वेळ (एकूण)1437.91sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
5.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
33.3%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अवैध टूल कॉल: 1चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)183.08sप्रतिसाद वेळ (कमाल)335.41sप्रतिसाद वेळ (एकूण)366.16sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
100.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)130.21sप्रतिसाद वेळ (कमाल)197.80sप्रतिसाद वेळ (एकूण)260.43sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
100.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)5.07sप्रतिसाद वेळ (कमाल)5.35sप्रतिसाद वेळ (एकूण)10.15sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
50.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.उत्तर नाही: 1प्रतिसाद वेळ (सरासरी)10.77sप्रतिसाद वेळ (कमाल)18.66sप्रतिसाद वेळ (एकूण)21.54sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
4.4सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
44.5%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
2अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 3प्रतिसाद वेळ (सरासरी)24.90sप्रतिसाद वेळ (कमाल)53.57sप्रतिसाद वेळ (एकूण)74.71sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
7.2सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
11.1%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.API त्रुटी: 1वेळ संपला: 1चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)183.63sप्रतिसाद वेळ (कमाल)443.12sप्रतिसाद वेळ (एकूण)550.90sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
3.2सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
33.3%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)5.16sप्रतिसाद वेळ (कमाल)5.16sप्रतिसाद वेळ (एकूण)5.16sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
2.2सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
33.3%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)22.45sप्रतिसाद वेळ (कमाल)22.45sप्रतिसाद वेळ (एकूण)22.45sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
100.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)2.61sप्रतिसाद वेळ (कमाल)2.82sप्रतिसाद वेळ (एकूण)5.23sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
50.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)6.39sप्रतिसाद वेळ (कमाल)6.65sप्रतिसाद वेळ (एकूण)12.78sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
7.2सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
88.9%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
1अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)3.03sप्रतिसाद वेळ (कमाल)4.12sप्रतिसाद वेळ (एकूण)9.10sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 2सूचनांचे पालन केले नाही: 1प्रतिसाद वेळ (सरासरी)8.15sप्रतिसाद वेळ (कमाल)12.04sप्रतिसाद वेळ (एकूण)24.45sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
100.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)5.93sप्रतिसाद वेळ (कमाल)5.93sप्रतिसाद वेळ (एकूण)5.93sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
100.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.अयशस्वी उत्तरे नाहीत.प्रतिसाद वेळ (सरासरी)10.81sप्रतिसाद वेळ (कमाल)10.81sप्रतिसाद वेळ (एकूण)10.81sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)9.91sप्रतिसाद वेळ (कमाल)9.91sप्रतिसाद वेळ (एकूण)9.91sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…
10.0सुसंगतता गुण रन्समधील स्थिरता दाखवतो (10 = अतिशय सुसंगत, सतत चूक असली तरी).…
0.0%प्रति प्रयत्न पास दर = पास प्रयत्न / सर्व रन्समधील एकूण प्रयत्न.…
0अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).…
एखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.चुकीचे उत्तर: 1प्रतिसाद वेळ (सरासरी)122.07sप्रतिसाद वेळ (कमाल)122.07sप्रतिसाद वेळ (एकूण)122.07sएखादी चाचणी तेव्हाच पूर्णपणे पास मानली जाते जेव्हा तिचे सर्व रन पास होतात.…