Ranking de Programação x Tempo esgotado

Falhas por categoria AI BENCHY

Veja quais modelos de IA têm mais chance de encontrar Tempo esgotado em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

Modelo mais afetado

Motivos de falha

Resposta incorreta230 Erro de API43 Tempo esgotado25 Sem resposta18 Não seguiu as instruções16 Formatação extra12

Categorias

Específico do domínio37 Programação25 Resolução de quebra-cabeças5 Inteligência geral4 Truques anti-IA4 Combinado2 Análise e extração de dados1 Seguimento de instruções1

22/22

Posição	Modelo	Empresa	Contagem de Tempo esgotado	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#84	Qwen3.5-Flash medium	Qwen	1	3.7	$0.080	0/3	58.9s
Total de testes 3 Testes errados 3 Custo total $0.080 Tempo de resposta (médio) 58.9s
#94	Step 3.5 Flash medium	Stepfun	1	2.4	$0.070	0/2	258.4s
Total de testes 2 Testes errados 2 Custo total $0.070 Tempo de resposta (médio) 258.4s
#104	Qwen3.5-35B-A3B medium	Qwen	1	5.9	$0.401	1/3	206.6s
Total de testes 3 Testes errados 2 Custo total $0.401 Tempo de resposta (médio) 206.6s
#139	Gemma 4 26B A4B none	Google	1	3.7	$0.004	0/3	4.16s
Total de testes 3 Testes errados 3 Custo total $0.004 Tempo de resposta (médio) 4.16s
#166	MiniMax M2.5 medium	Minimax	1	3.4	$0.303	0/3	188.6s
Total de testes 3 Testes errados 3 Custo total $0.303 Tempo de resposta (médio) 188.6s
#168	Qwen3 Coder Next medium	Qwen	1	3.7	$0.008	0/3	924ms
Total de testes 3 Testes errados 3 Custo total $0.008 Tempo de resposta (médio) 924ms
#185	Qwen3.5-9B medium	Qwen	1	2.9	$0.036	0/3	100.9s
Total de testes 3 Testes errados 3 Custo total $0.036 Tempo de resposta (médio) 100.9s

Filtrar modelos