AI BENCHY
Advertise here
#160

LongCat 2.0

Meituan प्रकाशन: 2026-07-20 चाचणी तारीख: 2026-08-14 04:15 meituan/longcat-2.0::high
1.6T एकूण (48B सक्रिय)MoEमुक्त स्रोत
(high) (medium) (low) (none)

सारांश

LongCat 2.0 AI BENCHY वर 6.7 स्कोर करते आणि #160 वर आहे. याची reliability 10.0, pass rate 51.5%, एकूण खर्च $0.492, आणि सरासरी response time 153.29s आहे.

LongCat 2.0 खास का आहे: हे कोडिंग मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर डेटा पार्सिंग आणि निष्कर्षण हा सर्वात कमकुवत भाग आहे, rank #15.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
1.6T एकूण (48B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
MIT
पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

6.7

सुसंगतता

8.4

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$0.492

एकूण आउटपुट टोकन्स

386,642

एकूण इनपुट टोकन्स

93,411

इनपुट किंमत

$0.300 / 1M

आउटपुट किंमत

$1.200 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 13

प्रति प्रयत्न पास दर: 51.5%

अस्थिर चाचण्या

4

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

153.29s

प्रतिसाद वेळ (कमाल): 941.66s

प्रतिसाद वेळ (एकूण): 3372.36s

चुकीचे उत्तर: 7 सूचनांचे पालन केले नाही: 2 उत्तर नाही: 2 वेळ संपला: 2

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#160 LongCat 2.0

high
Reached the allocated time limit (600 seconds) without receiving showcase output.
खर्च
$0.000
वेळ
600.0s
टोकन्स
0 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 04:15 पुन्हा चाचणी 6.7 10.0 $0.492 सध्याची रन
2026-07-20 17:01 पहिला रन 6.6 9.4 $0.469 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-08-14 04:15 · सध्याची रन66/66 प्रयत्न6.78.410.09/224386,64293,411$0.492153.29s
2026-07-20 17:01 · पहिला रन66/66 प्रयत्न6.68.29.49/225366,79193,357$0.469148.73s
फरक—+0.1+0.2+0.60-1+19851+54+$0.024+4562ms

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-08-14 12:51 $0.300 / 1M $1.200 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

LongCat 2.0highvsGemini 3.5 FlashminimalLongCat 2.0highvsGemini 3.5 Flash LitelowLongCat 2.0highvsLongCat 2.0lowLongCat 2.0highvsQwen3.5-27BnoneLongCat 2.0highvsKAT-Coder-Pro V2.5noneLongCat 2.0highvsGemini 3.1 Flash Lite PreviewlowLongCat 2.0highvsGLM 5.2noneLongCat 2.0highvsInkling SmallmediumLongCat 2.0highvsGemma 4 26B A4Bmediumमोफत उपलब्धLongCat 2.0highvsGemini 3.1 Flash Litelow

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 8.9 8.1
कोडिंग 7.8 9.3
संयुक्त 10.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 3.6 5.8
डोमेन-विशिष्ट 3.6 7.2
Samanya Buddhimatta 5.1 10.0
सूचनांचे पालन 6.5 10.0
कोडी सोडवणे 3.1 7.4
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स