AI BENCHY
Advertise here
#37

GLM 5.1

Z.ai प्रकाशन: 2026-04-07 चाचणी तारीख: 2026-04-22 12:55 z-ai/glm-5.1::medium
744B एकूण (40B सक्रिय)MoEमुक्त स्रोत
(medium) (none)

सारांश

GLM 5.1 AI BENCHY वर 7.8 स्कोर करते आणि #37 वर आहे. याची reliability लागू नाही, pass rate 75.9%, एकूण खर्च $0.201, आणि सरासरी response time 24.13s आहे.

GLM 5.1 खास का आहे: या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
744B एकूण (40B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
MIT

सुसंगतता

8.6

विश्वसनीयता

लागू नाही

एकूण आउटपुट टोकन्स

57,095

एकूण इनपुट टोकन्स

0

इनपुट किंमत

$1.050 / 1M

आउटपुट किंमत

$3.500 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 6

प्रति प्रयत्न पास दर: 75.9%

अस्थिर चाचण्या

3

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

24.13s

प्रतिसाद वेळ (कमाल): 118.52s

प्रतिसाद वेळ (एकूण): 410.25s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#37 GLM 5.1

medium
अवैध SVG
खर्च
$0.000
वेळ
300.0s
टोकन्स
0 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 01:58 पुन्हा चाचणी 7.0 8.1 $1.053 तुलना करा
2026-07-16 21:29 नवीन चाचणी जोडली 7.1 8.3 $0.535 तुलना करा
2026-06-04 13:06 नवीन चाचणी जोडली 7.3 6.7 $0.292 तुलना करा
2026-05-21 23:46 सूट बदलला 7.4 3.3 $0.286 तुलना करा
2026-05-08 14:41 सूट बदलला 7.6 0.0 $0.209 तुलना करा
2026-05-08 14:41 सूट बदलला 7.6 0.0 $0.209 तुलना करा
2026-04-22 12:55 पहिली नोंदलेली रन 7.8 लागू नाही $0.201 सध्याची रन

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-04-22 12:55 · पहिली नोंदलेली रन54/54 प्रयत्न7.88.6लागू नाही12/18357,0950$0.20124.13s
2026-05-08 14:41 · सूट बदलला57/57 प्रयत्न7.68.70.012/19359,3560$0.20924.43s
फरक+0.2-0.100-22610-$0.009-293ms

बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 57/57 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 4.7 1.6
संयुक्त 9.5 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 5.3 10.0
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 6.4 5.8
कोडी सोडवणे 8.2 7.2
टूल कॉलिंग 3.0 10.0

तुलना केलेली मॉडेल्स