AI BENCHY
Advertise here
#28

Inkling

Thinkingmachines प्रकाशन: 2026-07-18 चाचणी तारीख: 2026-07-18 15:53 thinkingmachines/inkling::high
975B एकूण (41B सक्रिय)MoEमुक्त स्रोत

सारांश

Inkling AI BENCHY वर 8.0 स्कोर करते आणि #28 वर आहे. याची reliability 9.8, pass rate 77.3%, एकूण खर्च $1.006, आणि सरासरी response time 64.16s आहे.

Inkling खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडी सोडवणे हा सर्वात कमकुवत भाग आहे, rank #18.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
975B एकूण (41B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
परवाना
Apache-2.0

सुसंगतता

8.9

एकूण आउटपुट टोकन्स

226,846

एकूण इनपुट टोकन्स

86,746

इनपुट किंमत

$1.000 / 1M

आउटपुट किंमत

$4.050 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 7

प्रति प्रयत्न पास दर: 77.3%

अस्थिर चाचण्या

3

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

64.16s

प्रतिसाद वेळ (कमाल): 327.51s

प्रतिसाद वेळ (एकूण): 1411.59s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#28 Thinking Machines: Inkling

high
खर्च
$0.005
वेळ
32.2s
टोकन्स
1,275 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:55 पुन्हा चाचणी 8.0 10.0 $1.041 तुलना करा
2026-07-18 15:53 पहिला रन 8.0 9.8 $1.006 सध्याची रन

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-18 15:53 · पहिला रन66/66 प्रयत्न8.08.99.815/223226,84686,746$1.00664.16s
2026-08-14 03:55 · पुन्हा चाचणी66/66 प्रयत्न8.08.910.015/223236,62786,755$1.04162.57s
फरक0.00.0-0.200-9781-9-$0.036+1597ms

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-07-18 15:56 $1.000 / 1M $4.050 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 8.5 10.0
संयुक्त 7.3 5.8
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 7.7 10.0
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 9.8 10.0
कोडी सोडवणे 6.9 4.9
टूल कॉलिंग 3.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स