AI BENCHY
Advertise here
#94

LongCat 2.0

Meituan रिलीज़: 2026-07-20 परीक्षण किया गया: 2026-08-14 04:10 meituan/longcat-2.0::medium
1.6T कुल (48B सक्रिय)MoEमुक्त स्रोत
(high) (medium) (low) (none)

सारांश

LongCat 2.0 AI BENCHY पर 7.4 स्कोर करता है और #94 पर है। इसकी reliability 10.0, pass rate 59.1%, कुल लागत $0.499, और औसत response time 143.55s है।

LongCat 2.0 को अलग क्या बनाता है: यह कोडिंग में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि डेटा पार्सिंग और निष्कर्षण इसकी सबसे कमजोर जगह है, जहाँ यह #17 पर है।

पहचान नोट

Owl Alpha, LongCat 2.0 का स्टेल्थ संस्करण था।

मॉडल विवरण

शोध की तारीख: 2026-08-12

घोषित
पैरामीटर
1.6T कुल (48B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
लाइसेंस
MIT
पैरामीटर स्रोत उपलब्धता स्रोत

स्कोर

7.4

संगति

9.3

विश्वसनीयता

10.0

कुल लागत (वर्तमान कीमत)

$0.499

कुल आउटपुट टोकन

390,873

कुल इनपुट टोकन

97,324

इनपुट कीमत

$0.300 / 1M

आउटपुट कीमत

$1.200 / 1M

सही परीक्षण

गलत टेस्ट: 10

प्रति प्रयास पास दर: 59.1%

अस्थिर टेस्ट

2

अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।

प्रतिक्रिया समय (औसत)

143.55s

प्रतिक्रिया समय (अधिकतम): 939.52s

प्रतिक्रिया समय (कुल): 3158.11s

गलत उत्तर: 7 API त्रुटि: 1 कोई उत्तर नहीं: 1 समय समाप्त: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#94 LongCat 2.0

medium
लागत
$0.016
समय
285.1s
टोकन
13,057 tok

रन इतिहास

परीक्षण किया गया स्कोर विश्वसनीयता सही परीक्षण कुल लागत तुलना करें
2026-08-14 04:10 दोबारा परीक्षण 7.4 10.0 $0.499 वर्तमान रन
2026-07-20 17:01 पहला रन 7.4 9.8 $0.478 तुलना करें

इस रन में अलग बेंचमार्क सूट इस्तेमाल हुआ था। ऐतिहासिक बदलाव पढ़ते समय सूट बदलाव को ध्यान में रखें।

रन तुलना

रनबेंचमार्क कवरेजस्कोरसंगतिविश्वसनीयतासही परीक्षणअस्थिर टेस्टकुल आउटपुट टोकनकुल इनपुट टोकनकुल लागतप्रतिक्रिया समय (औसत)
2026-08-14 04:10 · वर्तमान रन66/66 प्रयास7.49.310.012/222390,87397,324$0.499143.55s
2026-07-20 17:01 · पहला रन66/66 प्रयास7.48.99.812/223373,39697,315$0.478136.64s
अंतर—0.0+0.4+0.20-1+17477+9+$0.021+6914ms

इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।

कीमत का इतिहास

OpenRouter से इस मॉडल का ऐतिहासिक मूल्य डेटा।

तारीख इनपुट कीमत आउटपुट कीमत
2026-08-14 12:51 $0.300 / 1M $1.200 / 1M

चार्ट

पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

त्वरित तुलना

LongCat 2.0mediumvsGPT-5.6 LunamediumLongCat 2.0mediumvsQwen3.8 2.4T A95BhighLongCat 2.0mediumvsKimi K2.7 CodemediumLongCat 2.0mediumvsGrok 4.6lowLongCat 2.0mediumvsQwen3.7 MaxnoneLongCat 2.0mediumvsGemini 3 Flash PreviewlowLongCat 2.0mediumvsGemini 3.1 Flash Lite PreviewmediumLongCat 2.0mediumvsClaude Sonnet 4.6noneLongCat 2.0mediumvsGrok Build 0.1mediumLongCat 2.0mediumvsGLM 5.3high

श्रेणी विवरण

श्रेणी स्कोर संगति सही परीक्षण
एंटी-एआई ट्रिक्स 10.0 10.0
कोडिंग 10.0 10.0
संयुक्त 7.3 5.8
डेटा पार्सिंग और निष्कर्षण 6.3 10.0
डोमेन-विशिष्ट 3.0 10.0
Samanya Buddhimatta 4.8 3.2
निर्देश पालन 6.5 10.0
पहेली समाधान 5.4 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना किए गए मॉडल