नेव्हिगेशन
AI BENCHY
Your ad here

AI BENCHY Compare

Inception: Mercury 2 vs Qwen: Qwen3.5-27B

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-04-20

मेट्रिक Mercury 2 Mercury 2 medium प्रकाशन: 2026-02-24 Qwen3.5-27B Qwen3.5-27B none प्रकाशन: 2026-02-24
स्कोअर 6.5 5.9
क्रमांक #54 #67
सुसंगतता 8.6 9.2
बरोबर चाचण्या
प्रति प्रयत्न पास दर 53.7% 38.9%
अस्थिर चाचण्या 3 2
एकूण रन 54 54
प्रति निकाल खर्च 0.580 0.265
एकूण खर्च $0.047 $0.016
???? ??? $0.250 / 1M $0.195 / 1M
????? ??? $0.750 / 1M $1.560 / 1M
आउटपुट टोकन्स 3,972 3,545
रिझनिंग टोकन्स 48,333 0
प्रतिसाद वेळ (सरासरी) 2.21s 1.74s
प्रतिसाद वेळ (कमाल) 14.63s 9.39s
प्रतिसाद वेळ (एकूण) 37.51s 31.32s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 6.9 9.9 50.0% 0 1.12s 2,546 2,609
Qwen3.5-27B 4.8 10.0 25.0% 0 788ms 267 0
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.53s 249 2,213
Qwen3.5-27B 10.0 10.0 100.0% 0 2.51s 381 0
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 3.28s 268 4,887
Qwen3.5-27B 2.8 1.6 33.3% 1 9.39s 1,461 0
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 7.3 5.9 83.3% 1 1.11s 183 1,656
Qwen3.5-27B 10.0 10.0 100.0% 0 1.43s 243 0
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 2.9 7.2 11.1% 1 6.48s 41 30,754
Qwen3.5-27B 3.0 10.0 0.0% 0 540ms 15 0
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 4.8 10.0 0.0% 0 821ms 137 542
Qwen3.5-27B 5.0 10.0 0.0% 0 2.51s 126 0
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.07s 14 958
Qwen3.5-27B 4.8 10.0 0.0% 0 815ms 69 0
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.9 7.5 22.2% 1 934ms 354 2,758
Qwen3.5-27B 6.7 7.9 55.6% 1 1.37s 680 0
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.89s 180 1,956
Qwen3.5-27B 10.0 10.0 100.0% 0 3.54s 303 0

झटपट तुलना

तुलना जोडी बदला