Ranking de Programação x Tempo esgotado

Veja quais modelos de IA têm mais chance de encontrar Tempo esgotado em Programação, para identificar pontos fracos mais rápido.

Modelos exibidos

Falhas totais

Modelo mais afetado

Motivos de falha

Resposta incorreta337 Erro de API51 Sem resposta39 Tempo esgotado27 Formatação extra25 Não seguiu as instruções25

Categorias

Específico do domínio40 Programação27 Combinado5 Resolução de quebra-cabeças5 Inteligência geral4 Truques anti-IA4 Análise e extração de dados1 Conhecimentos gerais1 Seguimento de instruções1

24/24

Posição	Modelo	Empresa	Contagem de Tempo esgotado	Pontuação da categoria	Custo total	Testes corretos	Tempo de resposta (médio)
#143	LongCat 2.0 high	Meituan	1	7.8	$0.492	2/3	505.3s
Total de testes 3 Testes errados 1 Custo total $0.492 Tempo de resposta (médio) 505.3s
#164	MiMo-V2-Flash medium	Xiaomi	1	6.0	$0.043	1/3	10.7s
Total de testes 3 Testes errados 2 Custo total $0.043 Tempo de resposta (médio) 10.7s
#170	Qwen3.5-35B-A3B medium	Qwen	1	5.9	$1.140	1/3	206.6s
Total de testes 3 Testes errados 2 Custo total $1.140 Tempo de resposta (médio) 206.6s
#174	Qwen3.5-Flash medium	Qwen	1	3.7	$0.142	0/3	58.9s
Total de testes 3 Testes errados 3 Custo total $0.142 Tempo de resposta (médio) 58.9s
#189	Step 3.5 Flash medium	Stepfun	1	2.4	$0.132	0/2	258.4s
Total de testes 2 Testes errados 2 Custo total $0.132 Tempo de resposta (médio) 258.4s
#209	Gemma 4 26B A4B none	Google	1	3.7	$0.015	0/3	4.16s
Total de testes 3 Testes errados 3 Custo total $0.015 Tempo de resposta (médio) 4.16s
#262	Qwen3 Coder Next medium	Qwen	1	3.7	$0.034	0/3	924ms
Total de testes 3 Testes errados 3 Custo total $0.034 Tempo de resposta (médio) 924ms
#263	MiniMax M2.5 medium	Minimax	1	3.4	$0.273	0/3	188.6s
Total de testes 3 Testes errados 3 Custo total $0.273 Tempo de resposta (médio) 188.6s
#282	Qwen3.5-9B medium	Qwen	1	2.9	$0.062	0/3	100.9s
Total de testes 3 Testes errados 3 Custo total $0.062 Tempo de resposta (médio) 100.9s

Filtrar modelos