#60 Step 3.7 Flash
low- लागत
- $0.004
- समय
- 25.3s
- टोकन
- 3,072 tok
सारांश
Step 3.7 Flash AI BENCHY पर 7.4 स्कोर करता है और #60 पर है। इसकी reliability 10.0, pass rate 68.3%, कुल लागत $0.336, और औसत response time 16.06s है।
शोध की तारीख: 2026-08-12
7.4
संगति
8.7
10.0
$0.336
कुल आउटपुट टोकन
285,209
कुल इनपुट टोकन
0
इनपुट कीमत
$0.200 / 1M
आउटपुट कीमत
$1.150 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
अस्थिर टेस्ट
3
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-08-14 02:29 दोबारा परीक्षण | 7.1 | 10.0 | $0.390 | तुलना करें | |
| 2026-07-16 22:46 नया टेस्ट जोड़ा गया | 7.3 | 10.0 | $0.454 | तुलना करें | |
| 2026-06-04 13:49 नया टेस्ट जोड़ा गया | 7.3 | 10.0 | $0.341 | तुलना करें | |
| 2026-05-29 11:49 पहला रन | 7.4 | 10.0 | $0.336 | वर्तमान रन |
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-29 11:49 · पहला रन | 60/60 प्रयास | 7.4 | 8.7 | 10.0 | 12/20 | 3 | 285,209 | 0 | $0.336 | 16.06s |
| 2026-07-16 22:46 · नया टेस्ट जोड़ा गया | 66/66 प्रयास | 7.3 | 8.1 | 10.0 | 12/22 | 5 | 376,581 | 103,833 | $0.454 | 20.68s |
| अंतर | — | +0.1 | +0.6 | 0.0 | 0 | -2 | -91372 | -103833 | -$0.119 | -4627ms |
बेंचमार्क कवरेज अलग है: 60/60 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 66/66 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| एंटी-एआई ट्रिक्स | 8.7 | 7.9 | |
| कोडिंग | 10.0 | 10.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग और निष्कर्षण | 7.3 | 5.8 | |
| डोमेन-विशिष्ट | 5.3 | 7.2 | |
| Samanya Buddhimatta | 3.4 | 9.3 | |
| निर्देश पालन | 9.8 | 10.0 | |
| पहेली समाधान | 5.5 | 9.9 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |