ナビゲーション
AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com

AI BENCHY Compare

IBM: Granite 4.1 8B vs Mistral: Mistral Small 4

概要

Granite 4.1 8B vs Mistral Small 4 の benchmark 比較: Mistral Small 4 が平均スコアでリードし、5.1 vs 4.0 です。 Granite 4.1 8B の benchmark コストが低く、$0.003 vs $0.068 です。 Granite 4.1 8B の方が高速で、728ms vs 9.40s です、成功率は 9.5% vs 44.4% です。

おすすめモデル: Granite 4.1 8B - 総合的に最も良い選択です。競争力のあるスコア(4.0)、Mistral Small 4 より低いコスト、バランスの取れた応答時間があります。

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-06-12

指標 Granite 4.1 8B Granite 4.1 8B none リリース: 2026-05-01 Mistral Small 4 Mistral Small 4 medium リリース: 2026-03-16
スコア 4.0 5.1
順位 #163 #138
信頼性 10.0 10.0
一貫性 10.0 6.9
正解テスト
試行ごとの合格率 9.5% 44.4%
不安定なテスト 0 8
総実行回数 63 63
結果あたりのコスト 0.131 1.344
合計コスト $0.003 $0.068
入力価格 $0.050 / 1M $0.150 / 1M
出力価格 $0.100 / 1M $0.600 / 1M
合計入力トークン 46,285 42,576
出力トークン 2,911 24,184
推論トークン 0 84,678
応答時間(平均) 728ms 9.40s
応答時間(最大) 2.17s 59.15s
応答時間(合計) 15.29s 197.39s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#163 IBM: Granite 4.1 8B

none
Cost
$0.001
Time
3.2s
Tokens
491 tok

#138 Mistral Small 4

medium
Cost
$0.006
Time
47.9s
Tokens
9,857 tok

スコア上位モデル

スコア vs 総コスト

応答時間(平均)

スコア vs 応答時間(平均)

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 入力トークン 出力トークン 推論トークン
Granite 4.1 8B 4.9 10.0 25.0% 0 844ms 645 903 0
Mistral Small 4 5.6 3.8 66.7% 3 2.67s 708 4,055 4,778
コーディング スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 入力トークン 出力トークン 推論トークン
Granite 4.1 8B 4.5 10.0 0.0% 0 775ms 8,344 525 0
Mistral Small 4 4.4 5.1 33.3% 2 39.98s 7,636 11,635 54,715
複合 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 入力トークン 出力トークン 推論トークン
Granite 4.1 8B 3.0 10.0 0.0% 0 1.88s 19,089 396 0
Mistral Small 4 3.0 10.0 0.0% 0 25.25s 18,706 2,612 10,700
データ解析と抽出 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 入力トークン 出力トークン 推論トークン
Granite 4.1 8B 3.0 10.0 0.0% 0 575ms 7,617 195 0
Mistral Small 4 7.3 5.9 83.3% 1 1.23s 6,171 335 723
ドメイン特化 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 入力トークン 出力トークン 推論トークン
Granite 4.1 8B 3.0 10.0 0.0% 0 357ms 768 24 0
Mistral Small 4 5.3 7.2 44.4% 1 6.11s 742 2,621 6,904
汎用知能 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 入力トークン 出力トークン 推論トークン
Granite 4.1 8B 4.0 10.0 0.0% 0 499ms 528 115 0
Mistral Small 4 4.8 10.0 0.0% 0 2.05s 519 821 828
指示追従 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 入力トークン 出力トークン 推論トークン
Granite 4.1 8B 3.6 9.9 0.0% 0 344ms 687 66 0
Mistral Small 4 7.3 5.8 83.3% 1 1.38s 729 540 1,031
パズル解決 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 入力トークン 出力トークン 推論トークン
Granite 4.1 8B 3.2 10.0 0.0% 0 608ms 672 432 0
Mistral Small 4 3.4 9.7 0.0% 0 2.17s 735 1,226 2,632
ツール呼び出し スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 入力トークン 出力トークン 推論トークン
Granite 4.1 8B 10.0 10.0 100.0% 0 2.17s 7,719 243 0
Mistral Small 4 10.0 10.0 100.0% 0 3.50s 6,420 321 810
雑学 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 入力トークン 出力トークン 推論トークン
Granite 4.1 8B 3.0 10.0 0.0% 0 306ms 216 12 0
Mistral Small 4 3.0 10.0 0.0% 0 5.92s 210 18 1,557

クイック比較

比較ペアを切り替え