Mistral Small 4 vs GPT-4o-mini benchmark तुलना: Mistral Small 4 average score में आगे है: 5.1 vs 5.0. GPT-4o-mini की benchmark लागत कम है: $0.006 vs $0.068. GPT-4o-mini तेज है: 1.77s vs 9.40s, pass rates 44.4% vs 23.8%.
अनुशंसित मॉडल: GPT-4o-mini - Its score stays close to the best score here (5.0 vs 5.1), while costing about 11.4x less than Mistral Small 4.
बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-06-12
10.0पहले प्रयास की सफलता स्कोर: 10.0 का मतलब है सफल कॉल से पहले लक्ष्य API या रेट-लिमिट की कोई पुनः प्रयास योग्य विफलता नहीं; दर्ज विफलताएँ स्कोर घटाती हैं।…
10.0पहले प्रयास की सफलता स्कोर: 10.0 का मतलब है सफल कॉल से पहले लक्ष्य API या रेट-लिमिट की कोई पुनः प्रयास योग्य विफलता नहीं; दर्ज विफलताएँ स्कोर घटाती हैं।…
संगति
6.9संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
9.9संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
सही परीक्षण
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 12API त्रुटि: 2निर्देशों का पालन नहीं किया: 2प्रतिक्रिया समय (औसत)9.40sप्रतिक्रिया समय (अधिकतम)59.15sप्रतिक्रिया समय (कुल)197.39sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 15निर्देशों का पालन नहीं किया: 1प्रतिक्रिया समय (औसत)1.77sप्रतिक्रिया समय (अधिकतम)7.58sप्रतिक्रिया समय (कुल)24.80sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
प्रति प्रयास पास दर
44.4%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
23.8%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
अस्थिर टेस्ट
8अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कुल रन
63कुल रन…
63कुल रन…
प्रति परिणाम लागत
1.344यह बेंचमार्क के प्रति सही उत्तर की औसत लागत सेंट में दिखाता है (कम होना बेहतर है)।…
0.119यह बेंचमार्क के प्रति सही उत्तर की औसत लागत सेंट में दिखाता है (कम होना बेहतर है)।…
कुल लागत
$0.068कुल लागत (वर्तमान कीमत)…
$0.006कुल लागत (वर्तमान कीमत)…
इनपुट कीमत
$0.150 / 1Mइनपुट कीमत…
$0.150 / 1Mइनपुट कीमत…
आउटपुट कीमत
$0.600 / 1Mआउटपुट कीमत…
$0.600 / 1Mआउटपुट कीमत…
कुल इनपुट टोकन
42,576कुल इनपुट टोकन…
31,518कुल इनपुट टोकन…
आउटपुट टोकन
24,184आउटपुट टोकन…
1,982आउटपुट टोकन…
रीजनिंग टोकन
84,678रीजनिंग टोकन…
0रीजनिंग टोकन…
प्रतिक्रिया समय (औसत)
9.40sप्रतिक्रिया समय (औसत)…
1.77sप्रतिक्रिया समय (औसत)…
प्रतिक्रिया समय (अधिकतम)
59.15sप्रतिक्रिया समय (अधिकतम)…
7.58sप्रतिक्रिया समय (अधिकतम)…
प्रतिक्रिया समय (कुल)
197.39sप्रतिक्रिया समय (कुल)…
24.80sप्रतिक्रिया समय (कुल)…
Generation showcase
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
3.8संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
66.7%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
3अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 3प्रतिक्रिया समय (औसत)2.67sप्रतिक्रिया समय (अधिकतम)5.03sप्रतिक्रिया समय (कुल)10.66sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
25.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 3प्रतिक्रिया समय (औसत)1.34sप्रतिक्रिया समय (अधिकतम)1.83sप्रतिक्रिया समय (कुल)2.67sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
5.1संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
33.3%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
2अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 3प्रतिक्रिया समय (औसत)39.98sप्रतिक्रिया समय (अधिकतम)59.15sप्रतिक्रिया समय (कुल)119.95sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
9.6संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 3प्रतिक्रिया समय (औसत)1.63sप्रतिक्रिया समय (अधिकतम)2.55sप्रतिक्रिया समय (कुल)4.90sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)25.25sप्रतिक्रिया समय (अधिकतम)25.25sप्रतिक्रिया समय (कुल)25.25sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)7.58sप्रतिक्रिया समय (अधिकतम)7.58sप्रतिक्रिया समय (कुल)7.58sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
5.9संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
83.3%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।API त्रुटि: 1प्रतिक्रिया समय (औसत)1.23sप्रतिक्रिया समय (अधिकतम)1.96sप्रतिक्रिया समय (कुल)2.46sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)1.27sप्रतिक्रिया समय (अधिकतम)1.27sप्रतिक्रिया समय (कुल)1.27sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
7.2संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
44.4%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।API त्रुटि: 1गलत उत्तर: 1प्रतिक्रिया समय (औसत)6.11sप्रतिक्रिया समय (अधिकतम)13.72sप्रतिक्रिया समय (कुल)18.34sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 3प्रतिक्रिया समय (औसत)637msप्रतिक्रिया समय (अधिकतम)637msप्रतिक्रिया समय (कुल)637msकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।निर्देशों का पालन नहीं किया: 1प्रतिक्रिया समय (औसत)2.05sप्रतिक्रिया समय (अधिकतम)2.05sप्रतिक्रिया समय (कुल)2.05sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)909msप्रतिक्रिया समय (अधिकतम)909msप्रतिक्रिया समय (कुल)909msकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
5.8संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
83.3%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)1.38sप्रतिक्रिया समय (अधिकतम)1.61sप्रतिक्रिया समय (कुल)2.75sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
50.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)1.11sप्रतिक्रिया समय (अधिकतम)1.11sप्रतिक्रिया समय (कुल)1.11sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
9.7संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 2निर्देशों का पालन नहीं किया: 1प्रतिक्रिया समय (औसत)2.17sप्रतिक्रिया समय (अधिकतम)2.60sप्रतिक्रिया समय (कुल)6.50sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 2निर्देशों का पालन नहीं किया: 1प्रतिक्रिया समय (औसत)1.21sप्रतिक्रिया समय (अधिकतम)1.37sप्रतिक्रिया समय (कुल)2.42sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)3.50sप्रतिक्रिया समय (अधिकतम)3.50sप्रतिक्रिया समय (कुल)3.50sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)2.51sप्रतिक्रिया समय (अधिकतम)2.51sप्रतिक्रिया समय (कुल)2.51sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)5.92sप्रतिक्रिया समय (अधिकतम)5.92sप्रतिक्रिया समय (कुल)5.92sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)794msप्रतिक्रिया समय (अधिकतम)794msप्रतिक्रिया समय (कुल)794msकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…