AI BENCHY
Advertise here
#52

GLM 5.1

Z.ai रिलीज़: 2026-04-07 परीक्षण किया गया: 2026-05-21 23:46 z-ai/glm-5.1::medium
744B कुल (40B सक्रिय)MoEमुक्त स्रोत
(medium) (none)

सारांश

GLM 5.1 AI BENCHY पर 7.4 स्कोर करता है और #52 पर है। इसकी reliability 3.3, pass rate 71.7%, कुल लागत $0.286, और औसत response time 32.22s है।

GLM 5.1 को अलग क्या बनाता है: यह डोमेन-विशिष्ट में सबसे अलग दिखता है, जहाँ इसकी रैंक #3 है; जबकि कोडिंग इसकी सबसे कमजोर जगह है, जहाँ यह #18 पर है।

मॉडल विवरण

शोध की तारीख: 2026-08-12

घोषित
पैरामीटर
744B कुल (40B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
लाइसेंस
MIT

संगति

8.3

कुल आउटपुट टोकन

83,351

कुल इनपुट टोकन

0

इनपुट कीमत

$0.980 / 1M

आउटपुट कीमत

$3.080 / 1M

सही परीक्षण

गलत टेस्ट: 8

प्रति प्रयास पास दर: 71.7%

अस्थिर टेस्ट

4

अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।

प्रतिक्रिया समय (औसत)

32.22s

प्रतिक्रिया समय (अधिकतम): 172.60s

प्रतिक्रिया समय (कुल): 612.25s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#52 GLM 5.1

medium
अमान्य SVG
लागत
$0.000
समय
300.0s
टोकन
0 tok

रन इतिहास

परीक्षण किया गया स्कोर विश्वसनीयता सही परीक्षण कुल लागत तुलना करें
2026-08-14 01:58 दोबारा परीक्षण 7.0 8.1 $1.053 तुलना करें
2026-07-16 21:29 नया टेस्ट जोड़ा गया 7.1 8.3 $0.535 तुलना करें
2026-06-04 13:06 नया टेस्ट जोड़ा गया 7.3 6.7 $0.292 तुलना करें
2026-05-21 23:46 सूट बदला गया 7.4 3.3 $0.286 वर्तमान रन
2026-05-08 14:41 सूट बदला गया 7.6 0.0 $0.209 तुलना करें
2026-05-08 14:41 सूट बदला गया 7.6 0.0 $0.209 तुलना करें
2026-04-22 12:55 पहला दर्ज रन 7.8 लागू नहीं $0.201 तुलना करें

इस रन में अलग बेंचमार्क सूट इस्तेमाल हुआ था। ऐतिहासिक बदलाव पढ़ते समय सूट बदलाव को ध्यान में रखें।

रन तुलना

रनबेंचमार्क कवरेजस्कोरसंगतिविश्वसनीयतासही परीक्षणअस्थिर टेस्टकुल आउटपुट टोकनकुल इनपुट टोकनकुल लागतप्रतिक्रिया समय (औसत)
2026-05-21 23:46 · सूट बदला गया60/60 प्रयास7.48.33.312/20483,3510$0.28632.22s
2026-06-04 13:06 · नया टेस्ट जोड़ा गया63/63 प्रयास7.38.36.712/21487,07632,995$0.29233.67s
अंतर+0.10.0-3.400-3725-32995-$0.007-1447ms

बेंचमार्क कवरेज अलग है: 60/60 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 63/63 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।

इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।

चार्ट

पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

त्वरित तुलना

श्रेणी विवरण

श्रेणी स्कोर संगति सही परीक्षण
एंटी-एआई ट्रिक्स 10.0 10.0
कोडिंग 4.7 1.6
संयुक्त 9.5 10.0
डेटा पार्सिंग और निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 5.3 10.0
Samanya Buddhimatta 10.0 10.0
निर्देश पालन 6.4 5.8
पहेली समाधान 8.2 7.2
टूल कॉलिंग 3.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना किए गए मॉडल