नेव्हिगेशन
AI BENCHY
Your ad here

AI BENCHY Compare

Inception: Mercury 2 vs Qwen: Qwen3.5-9B

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-03-12

मेट्रिक Mercury 2 Mercury 2 medium प्रकाशन: 2026-02-24 Qwen3.5-9B Qwen3.5-9B none प्रकाशन: 2026-03-02
क्रमांक #40 #60
सरासरी स्कोअर 5.3 3.4
सुसंगतता 8.4 10.0
प्रति निकाल खर्च 0.631 0.111
एकूण खर्च $0.045 $0.005
बरोबर चाचण्या
प्रति प्रयत्न पास दर 54.2% 25.0%
अस्थिर चाचण्या 3 0
एकूण रन 48 48
आउटपुट टोकन्स 3,708 2,939
रिझनिंग टोकन्स 45,921 0
प्रतिसाद वेळ (सरासरी) 2.36s 1.06s
प्रतिसाद वेळ (कमाल) 14.63s 5.91s
प्रतिसाद वेळ (एकूण) 35.39s 16.95s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

सरासरी स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

सरासरी स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 7.3 9.8 66.7% 0 1.30s 2,531 2,410
Qwen3.5-9B 10.0 9.9 0.0% 0 1.02s 576 0
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 3.28s 268 4,887
Qwen3.5-9B 10.0 10.0 0.0% 0 5.91s 1,255 0
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 5.5 5.9 83.3% 1 1.11s 183 1,656
Qwen3.5-9B 9.9 10.0 100.0% 0 847ms 249 0
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 7.2 11.1% 1 6.48s 41 30,754
Qwen3.5-9B 10.0 10.0 0.0% 0 464ms 24 0
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 4.0 10.0 0.0% 0 821ms 137 542
Qwen3.5-9B 3.0 9.9 0.0% 0 552ms 99 0
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.07s 14 958
Qwen3.5-9B 5.5 10.0 50.0% 0 514ms 75 0
Puzzle Solving स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 1.7 7.5 22.2% 1 934ms 354 2,758
Qwen3.5-9B 10.0 9.9 0.0% 0 683ms 388 0
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.89s 180 1,956
Qwen3.5-9B 10.0 10.0 100.0% 0 1.27s 273 0

झटपट तुलना

तुलना जोडी बदला