AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#157

LongCat 2.0

Meituan प्रकाशन: 2026-07-20 चाचणी तारीख: 2026-08-14 04:16 meituan/longcat-2.0::low
1.6T एकूण (48B सक्रिय)MoEमुक्त स्रोत

सारांश

LongCat 2.0 AI BENCHY वर 6.7 स्कोर करते आणि #157 वर आहे. याची reliability 9.9, pass rate 54.6%, एकूण खर्च $0.412, आणि सरासरी response time 113.61s आहे.

LongCat 2.0 खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडी सोडवणे हा सर्वात कमकुवत भाग आहे, rank #15.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
1.6T एकूण (48B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
MIT

सुसंगतता

8.5

एकूण आउटपुट टोकन्स

320,594

एकूण इनपुट टोकन्स

90,870

इनपुट किंमत

$0.300 / 1M

आउटपुट किंमत

$1.200 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 12

प्रति प्रयत्न पास दर: 54.6%

अस्थिर चाचण्या

4

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

113.61s

प्रतिसाद वेळ (कमाल): 560.39s

प्रतिसाद वेळ (एकूण): 2499.46s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#157 LongCat 2.0

low
खर्च
$0.024
वेळ
428.0s
टोकन्स
19,557 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 04:16 पुन्हा चाचणी 6.7 9.9 $0.412 सध्याची रन
2026-07-20 16:55 पहिला रन 6.7 9.6 $0.391 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-08-14 04:16 · सध्याची रन66/66 प्रयत्न6.78.59.910/224320,59490,870$0.412113.61s
2026-07-20 16:55 · पहिला रन66/66 प्रयत्न6.78.99.610/223303,04890,909$0.391100.31s
फरक0.0-0.4+0.30+1+17546-39+$0.022+13302ms

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-08-14 12:51 $0.300 / 1M $1.200 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 6.6 4.6
संयुक्त 10.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 6.3 10.0
डोमेन-विशिष्ट 2.9 7.2
Samanya Buddhimatta 3.4 2.2
सूचनांचे पालन 6.5 10.0
कोडी सोडवणे 3.1 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स