Kwaipilot: KAT-Coder-Pro V2.5 vs Qwen: Qwen3.5-27B
Qwen3.5-27B (medium) average score-এ এগিয়ে: 7.4 vs 7.2. KAT-Coder-Pro V2.5 (high)-এর benchmark খরচ কম: $0.482 vs $1.627. KAT-Coder-Pro V2.5 (high) দ্রুত: 20.83s vs 111.94s, pass rates 63.6% vs 72.7%.
প্রস্তাবিত মডেলKAT-Coder-Pro V2.5 (high)Its score stays close to the best score here (7.2 vs 7.4), while costing about 3.4x less than Qwen3.5-27B (medium).
AI BENCHY টেস্ট স্যুট থেকে বেঞ্চমার্ক তৈরি হয়েছে: 2026-07-18
10.0প্রথম প্রচেষ্টার সফলতা স্কোর: 10.0 মানে সফল কলের আগে লক্ষ্য API বা রেট-লিমিটের কোনো পুনরায় চেষ্টা-যোগ্য ব্যর্থতা নেই; ট্র্যাক করা ব্যর্থতা স্কোর কমায়।…
10.0প্রথম প্রচেষ্টার সফলতা স্কোর: 10.0 মানে সফল কলের আগে লক্ষ্য API বা রেট-লিমিটের কোনো পুনরায় চেষ্টা-যোগ্য ব্যর্থতা নেই; ট্র্যাক করা ব্যর্থতা স্কোর কমায়।…
ধারাবাহিকতা
7.8ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
8.2ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
সঠিক টেস্ট
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।ভুল উত্তর: 10অবৈধ টুল কল: 1প্রতিক্রিয়া সময় (গড়)20.83sপ্রতিক্রিয়া সময় (সর্বোচ্চ)199.97sপ্রতিক্রিয়া সময় (মোট)458.31sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
8.0ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
66.7%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
1অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।ভুল উত্তর: 2প্রতিক্রিয়া সময় (গড়)3.17sপ্রতিক্রিয়া সময় (সর্বোচ্চ)4.99sপ্রতিক্রিয়া সময় (মোট)12.67sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
7.9ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
91.7%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
1অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।অতিরিক্ত ফরম্যাটিং: 1প্রতিক্রিয়া সময় (গড়)19.75sপ্রতিক্রিয়া সময় (সর্বোচ্চ)49.95sপ্রতিক্রিয়া সময় (মোট)79.01sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
7.9ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
44.4%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
1অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।ভুল উত্তর: 2প্রতিক্রিয়া সময় (গড়)22.00sপ্রতিক্রিয়া সময় (সর্বোচ্চ)35.74sপ্রতিক্রিয়া সময় (মোট)65.99sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
7.1ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
55.6%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
1অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।ভুল উত্তর: 2প্রতিক্রিয়া সময় (গড়)160.69sপ্রতিক্রিয়া সময় (সর্বোচ্চ)234.36sপ্রতিক্রিয়া সময় (মোট)482.07sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
5.8ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
83.3%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
1অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।অবৈধ টুল কল: 1প্রতিক্রিয়া সময় (গড়)106.70sপ্রতিক্রিয়া সময় (সর্বোচ্চ)199.97sপ্রতিক্রিয়া সময় (মোট)213.41sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
5.8ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
83.3%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
1অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।অবৈধ টুল কল: 1প্রতিক্রিয়া সময় (গড়)595.19sপ্রতিক্রিয়া সময় (সর্বোচ্চ)1026.43sপ্রতিক্রিয়া সময় (মোট)1190.39sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
10.0ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
100.0%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
0অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।কোনো ব্যর্থ উত্তর নেই।প্রতিক্রিয়া সময় (গড়)4.13sপ্রতিক্রিয়া সময় (সর্বোচ্চ)4.56sপ্রতিক্রিয়া সময় (মোট)8.26sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
10.0ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
100.0%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
0অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।কোনো ব্যর্থ উত্তর নেই।প্রতিক্রিয়া সময় (গড়)30.26sপ্রতিক্রিয়া সময় (সর্বোচ্চ)32.03sপ্রতিক্রিয়া সময় (মোট)60.52sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
4.4ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
22.2%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
2অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।ভুল উত্তর: 3প্রতিক্রিয়া সময় (গড়)35.33sপ্রতিক্রিয়া সময় (সর্বোচ্চ)95.65sপ্রতিক্রিয়া সময় (মোট)105.99sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
10.0ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
33.3%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
0অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।টাইমআউট: 1ভুল উত্তর: 1প্রতিক্রিয়া সময় (গড়)79.53sপ্রতিক্রিয়া সময় (সর্বোচ্চ)95.52sপ্রতিক্রিয়া সময় (মোট)238.59sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
10.0ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
0.0%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
0অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।ভুল উত্তর: 1প্রতিক্রিয়া সময় (গড়)3.27sপ্রতিক্রিয়া সময় (সর্বোচ্চ)3.27sপ্রতিক্রিয়া সময় (মোট)3.27sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
3.1ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
66.7%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
1অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।নির্দেশনা অনুসরণ করা হয়নি: 1প্রতিক্রিয়া সময় (গড়)101.41sপ্রতিক্রিয়া সময় (সর্বোচ্চ)101.41sপ্রতিক্রিয়া সময় (মোট)101.41sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
10.0ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
100.0%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
0অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।কোনো ব্যর্থ উত্তর নেই।প্রতিক্রিয়া সময় (গড়)2.67sপ্রতিক্রিয়া সময় (সর্বোচ্চ)2.87sপ্রতিক্রিয়া সময় (মোট)5.33sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
10.0ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
100.0%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
0অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।কোনো ব্যর্থ উত্তর নেই।প্রতিক্রিয়া সময় (গড়)19.66sপ্রতিক্রিয়া সময় (সর্বোচ্চ)32.25sপ্রতিক্রিয়া সময় (মোট)39.32sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
7.2ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
88.9%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
1অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।ভুল উত্তর: 1প্রতিক্রিয়া সময় (গড়)3.38sপ্রতিক্রিয়া সময় (সর্বোচ্চ)4.30sপ্রতিক্রিয়া সময় (মোট)10.13sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
7.7ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
77.8%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
1অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।নির্দেশনা অনুসরণ করা হয়নি: 1প্রতিক্রিয়া সময় (গড়)59.60sপ্রতিক্রিয়া সময় (সর্বোচ্চ)123.57sপ্রতিক্রিয়া সময় (মোট)178.80sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
10.0ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
100.0%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
0অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।কোনো ব্যর্থ উত্তর নেই।প্রতিক্রিয়া সময় (গড়)28.04sপ্রতিক্রিয়া সময় (সর্বোচ্চ)28.04sপ্রতিক্রিয়া সময় (মোট)28.04sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
10.0ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
100.0%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
0অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।কোনো ব্যর্থ উত্তর নেই।প্রতিক্রিয়া সময় (গড়)7.45sপ্রতিক্রিয়া সময় (সর্বোচ্চ)7.45sপ্রতিক্রিয়া সময় (মোট)7.45sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
10.0ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
0.0%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
0অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।ভুল উত্তর: 1প্রতিক্রিয়া সময় (গড়)5.22sপ্রতিক্রিয়া সময় (সর্বোচ্চ)5.22sপ্রতিক্রিয়া সময় (মোট)5.22sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…
10.0ধারাবাহিকতা স্কোর রানগুলোর মধ্যে স্থিতিশীলতা দেখায় (10 = খুব স্থিতিশীল, ভুল হলেও ধারাবাহিকভাবে ভুল)।…
0.0%প্রতি চেষ্টায় পাস রেট = পাস করা চেষ্টা / সব রান মিলিয়ে মোট চেষ্টা।…
0অস্থির টেস্টে রানভেদে মিশ্র ফল হয়েছে (কমপক্ষে একটি পাস এবং একটি ফেল)।…
একটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।ভুল উত্তর: 1প্রতিক্রিয়া সময় (গড়)85.11sপ্রতিক্রিয়া সময় (সর্বোচ্চ)85.11sপ্রতিক্রিয়া সময় (মোট)85.11sএকটি টেস্ট তখনই সম্পূর্ণ পাস ধরা হবে যখন তার সব রান পাস করবে।…