#135 IBM: Granite 4.1 8B
default- लागत
- $0.001
- समय
- 3.2s
- टोकन
- 491 tok
सारांश
Granite 4.1 8b AI BENCHY पर 4.3 स्कोर करता है और #135 पर है। इसकी reliability 10.0, pass rate 11.1%, कुल लागत $0.003, और औसत response time 767ms है।
Granite 4.1 8b को अलग क्या बनाता है: इस score range के लिए इसकी कुल benchmark लागत असामान्य रूप से कम है। यह समान मॉडलों की तुलना में काफ़ी तेज है।
शोध की तारीख: 2026-08-12
4.3
संगति
10.0
10.0
$0.003
कुल आउटपुट टोकन
2,712
कुल इनपुट टोकन
0
इनपुट कीमत
$0.050 / 1M
आउटपुट कीमत
$0.100 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
अस्थिर टेस्ट
0
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-08-14 02:51 दोबारा परीक्षण | 4.0 | 10.0 | $0.007 | तुलना करें | |
| 2026-07-16 23:04 नया टेस्ट जोड़ा गया | 4.0 | 10.0 | $0.007 | तुलना करें | |
| 2026-06-04 14:07 नया टेस्ट जोड़ा गया | 4.0 | 10.0 | $0.003 | तुलना करें | |
| 2026-05-22 00:30 सूट बदला गया | 4.1 | 10.0 | $0.003 | तुलना करें | |
| 2026-05-01 00:31 पहला रन | 4.3 | 10.0 | $0.003 | वर्तमान रन |
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-01 00:31 · पहला रन | 54/54 प्रयास | 4.3 | 10.0 | 10.0 | 2/18 | 0 | 2,712 | 0 | $0.003 | 767ms |
| 2026-05-22 00:30 · सूट बदला गया | 60/60 प्रयास | 4.1 | 10.0 | 10.0 | 2/20 | 0 | 2,742 | 0 | $0.003 | 723ms |
| अंतर | — | +0.2 | 0.0 | 0.0 | 0 | 0 | -30 | 0 | -$0.001 | +44ms |
बेंचमार्क कवरेज अलग है: 54/54 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 60/60 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| एंटी-एआई ट्रिक्स | 4.9 | 10.0 | |
| कोडिंग | 6.9 | 10.0 | |
| संयुक्त | 3.0 | 10.0 | |
| डेटा पार्सिंग और निष्कर्षण | 3.0 | 10.0 | |
| डोमेन-विशिष्ट | 3.0 | 10.0 | |
| Samanya Buddhimatta | 4.0 | 10.0 | |
| निर्देश पालन | 3.6 | 9.9 | |
| पहेली समाधान | 3.7 | 10.0 | |
| टूल कॉलिंग | 10.0 | 10.0 |