#44 Claude Sonnet 4.6
medium
無効なSVG
- コスト
- $0.000
- 時間
- 300.0s
- トークン
- 0 tok
Gemini 3.5 Flash-Lite (high) が平均スコアでリードし、8.1 vs 7.8 です。 Gemini 3.5 Flash-Lite (high) の benchmark コストが低く、$0.584 vs $2.057 です。 Gemini 3.5 Flash-Lite (high) の方が高速で、9.48s vs 25.91s です、成功率は 66.7% vs 81.8% です。
ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-07-21
| 指標 | Claude Sonnet 4.6 Claude Sonnet 4.6 medium | Gemini 3.5 Flash-Lite Gemini 3.5 Flash-Lite high |
|---|---|---|
| スコア | 7.8 | 8.1 |
| 順位 | #44 | #31 |
| 信頼性 | 10.0 | 10.0 |
| 一貫性 | 9.2 | 7.5 |
| 正解テスト | ||
| 試行ごとの合格率 | 66.7% | 81.8% |
| 不安定なテスト | 2 | 7 |
| 総実行回数 | 66 | 66 |
| 結果あたりのコスト | 14.692 | 4.169 |
| 合計コスト | $2.057 | $0.584 |
| 入力価格 | $3.000 / 1M | $0.300 / 1M |
| 出力価格 | $15.000 / 1M | $2.500 / 1M |
| 合計入力トークン | 106,292 | 105,138 |
| 出力トークン | 80,748 | 8,315 |
| 推論トークン | 35,117 | 212,507 |
| 応答時間(平均) | 25.91s | 9.48s |
| 応答時間(最大) | 140.96s | 43.93s |
| 応答時間(合計) | 362.78s | 208.52s |
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
| 反AIトリック | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間(平均) | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 4.6 | 6.5 | 10.0 | 50.0% | 0 | 2.98s | 789 | 1,046 | 1,093 | |
| Gemini 3.5 Flash-Lite | 10.0 | 10.0 | 100.0% | 0 | 1.98s | 516 | 166 | 7,464 |
| コーディング | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間(平均) | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 4.6 | 5.7 | 6.6 | 44.4% | 1 | 33.29s | 6,995 | 16,089 | 3,686 | |
| Gemini 3.5 Flash-Lite | 8.6 | 7.6 | 88.9% | 1 | 15.09s | 8,136 | 452 | 55,603 |
| 複合 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間(平均) | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 4.6 | 10.0 | 10.0 | 100.0% | 0 | 93.65s | 75,531 | 31,916 | 9,109 | |
| Gemini 3.5 Flash-Lite | 7.3 | 5.8 | 83.3% | 1 | 29.22s | 80,577 | 6,767 | 62,928 |
| データ解析と抽出 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間(平均) | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 4.6 | 10.0 | 10.0 | 100.0% | 0 | 13.90s | 8,676 | 649 | 742 | |
| Gemini 3.5 Flash-Lite | 10.0 | 10.0 | 100.0% | 0 | 2.71s | 7,269 | 279 | 5,104 |
| ドメイン特化 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間(平均) | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 4.6 | 2.9 | 7.2 | 11.1% | 1 | 0ms | 471 | 25,790 | 16,919 | |
| Gemini 3.5 Flash-Lite | 5.3 | 7.2 | 44.4% | 1 | 19.53s | 651 | 16 | 51,792 |
| 汎用知能 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間(平均) | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 4.6 | 10.0 | 10.0 | 100.0% | 0 | 4.94s | 564 | 256 | 433 | |
| Gemini 3.5 Flash-Lite | 5.4 | 2.5 | 66.7% | 1 | 3.40s | 492 | 114 | 2,361 |
| 指示追従 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間(平均) | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 4.6 | 10.0 | 10.0 | 100.0% | 0 | 2.61s | 792 | 318 | 552 | |
| Gemini 3.5 Flash-Lite | 8.5 | 6.8 | 83.3% | 1 | 1.87s | 627 | 70 | 3,533 |
| パズル解決 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間(平均) | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 4.6 | 10.0 | 10.0 | 100.0% | 0 | 5.31s | 816 | 592 | 646 | |
| Gemini 3.5 Flash-Lite | 8.2 | 7.2 | 88.9% | 1 | 1.85s | 576 | 172 | 4,371 |
| ツール呼び出し | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間(平均) | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 4.6 | 10.0 | 10.0 | 100.0% | 0 | 7.48s | 11,454 | 655 | 351 | |
| Gemini 3.5 Flash-Lite | 10.0 | 10.0 | 100.0% | 0 | 4.05s | 6,132 | 269 | 3,356 |
| 雑学 | スコア | 一貫性 | 試行ごとの合格率 | 不安定なテスト | 正解テスト | 応答時間(平均) | 入力トークン | 出力トークン | 推論トークン |
|---|---|---|---|---|---|---|---|---|---|
| Claude Sonnet 4.6 | 3.0 | 10.0 | 0.0% | 0 | 30.09s | 204 | 3,437 | 1,586 | |
| Gemini 3.5 Flash-Lite | 2.8 | 1.6 | 33.3% | 1 | 16.11s | 162 | 10 | 15,995 |
比較ペアを切り替え