LiquidAI: LFM2-24B-A2B vs Nemotron 3 Ultra 550b A55b
Сводка
Сравнение benchmark LFM2-24B-A2B vs Nemotron 3 Ultra 550b A55b (medium): Nemotron 3 Ultra 550b A55b (medium) лидирует по среднему баллу: 8.1 vs 2.4. LFM2-24B-A2B имеет более низкую стоимость benchmark: $0.001 vs $0.158. LFM2-24B-A2B быстрее: 782ms vs 15.05s, с долей успешных попыток 12.7% vs 69.8%.
Рекомендуемая модель: Nemotron 3 Ultra 550b A55b (medium) - У него самый высокий балл в этом сравнении (8.1) и лучший общий баланс стоимости и времени ответа среди всех 2 моделей.
Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-10
Метрика
LFM2-24B-A2BLFM2-24B-A2BnoneАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.Релиз: 2026-02-24
Н/ДОценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
9.7Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
Стабильность
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
8.8Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
Тестов верно
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 9Ошибка API: 4Не соблюдены инструкции: 1Время ответа (среднее)782msВремя ответа (макс.)3.15sВремя ответа (суммарно)10.94sТест считается полностью пройденным, только если все его прогоны успешны.…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 7Ошибка API: 1Время ответа (среднее)15.05sВремя ответа (макс.)43.93sВремя ответа (суммарно)316.09sТест считается полностью пройденным, только если все его прогоны успешны.…
Доля успешных попыток
12.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
69.8%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
Нестабильные тесты
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
3Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Всего запусков
48Всего запусков…
63Всего запусков…
Стоимость за результат
0.024Показывает среднюю стоимость одного правильного ответа в бенчмарке в центах (меньше — лучше).…
0.000Показывает среднюю стоимость одного правильного ответа в бенчмарке в центах (меньше — лучше).…
Общая стоимость
$0.001Общая стоимость (текущая цена)…
$0.158Общая стоимость (текущая цена)…
Цена входа
$0.030 / 1MЦена входа…
$0.500 / 1MЦена входа…
Цена выхода
$0.120 / 1MЦена выхода…
$2.200 / 1MЦена выхода…
Общее число входных токенов
10,771Общее число входных токенов…
46,813Общее число входных токенов…
Выходные токены
1,173Выходные токены…
18,002Выходные токены…
Токены рассуждений
0Токены рассуждений…
53,091Токены рассуждений…
Время ответа (среднее)
782msВремя ответа (среднее)…
15.05sВремя ответа (среднее)…
Время ответа (макс.)
3.15sВремя ответа (макс.)…
43.93sВремя ответа (макс.)…
Время ответа (суммарно)
10.94sВремя ответа (суммарно)…
316.09sВремя ответа (суммарно)…
Генерация showcase
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#189 LiquidAI: LFM2-24B-A2B
none
Неверный SVG
Стоимость
$0.000
Время
300.0s
Токены
0 tok
#31 Nemotron 3 Ultra 550b A55b
medium
Неверный SVG
Стоимость
$0.000
Время
300.0s
Токены
0 tok
Оценка
-
Стоимость
-
Время
-
Токены
-
Лучшие модели по оценке
Оценка vs общая стоимость
Время ответа (среднее)
Оценка vs Время ответа (среднее)
Общее число выходных токенов
Оценка vs Общее число выходных токенов
Разбивка по категориям
Анти-ИИ уловки
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
LFM2-24B-A2BАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
2.5Средний балл по всем бенчмарк-тестам.…
7.4Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 3Время ответа (среднее)471msВремя ответа (макс.)872msВремя ответа (суммарно)1.41sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)8.62sВремя ответа (макс.)16.86sВремя ответа (суммарно)34.49sТест считается полностью пройденным, только если все его прогоны успешны.…
8.62sВремя ответа (среднее)…
780Общее число входных токенов…
835Выходные токены…
1,485Токены рассуждений…
Программирование
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
LFM2-24B-A2BАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
0.0Средний балл по всем бенчмарк-тестам.…
0.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)0msВремя ответа (макс.)0msВремя ответа (суммарно)0msТест считается полностью пройденным, только если все его прогоны успешны.…
7.4Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
88.9%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)26.53sВремя ответа (макс.)31.91sВремя ответа (суммарно)79.58sТест считается полностью пройденным, только если все его прогоны успешны.…
26.53sВремя ответа (среднее)…
7,686Общее число входных токенов…
2,854Выходные токены…
17,725Токены рассуждений…
Комбинированный
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
LFM2-24B-A2BАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)0msВремя ответа (макс.)0msВремя ответа (суммарно)0msТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)43.93sВремя ответа (макс.)43.93sВремя ответа (суммарно)43.93sТест считается полностью пройденным, только если все его прогоны успешны.…
43.93sВремя ответа (среднее)…
17,574Общее число входных токенов…
1,040Выходные токены…
3,590Токены рассуждений…
Парсинг и извлечение данных
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
LFM2-24B-A2BАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)714msВремя ответа (макс.)987msВремя ответа (суммарно)1.43sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)5.68sВремя ответа (макс.)7.94sВремя ответа (суммарно)11.36sТест считается полностью пройденным, только если все его прогоны успешны.…
5.68sВремя ответа (среднее)…
7,989Общее число входных токенов…
473Выходные токены…
1,285Токены рассуждений…
Предметно-ориентированное
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
LFM2-24B-A2BАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
5.9Средний балл по всем бенчмарк-тестам.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
55.6%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Неверный ответ: 1Время ответа (среднее)287msВремя ответа (макс.)334msВремя ответа (суммарно)860msТест считается полностью пройденным, только если все его прогоны успешны.…
4.4Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
2Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 3Время ответа (среднее)24.90sВремя ответа (макс.)34.96sВремя ответа (суммарно)74.71sТест считается полностью пройденным, только если все его прогоны успешны.…
24.90sВремя ответа (среднее)…
858Общее число входных токенов…
11,169Выходные токены…
16,249Токены рассуждений…
Общий интеллект
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
LFM2-24B-A2BАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
4.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)395msВремя ответа (макс.)395msВремя ответа (суммарно)395msТест считается полностью пройденным, только если все его прогоны успешны.…
9.5Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)2.52sВремя ответа (макс.)2.52sВремя ответа (суммарно)2.52sТест считается полностью пройденным, только если все его прогоны успешны.…
2.52sВремя ответа (среднее)…
360Общее число входных токенов…
70Выходные токены…
235Токены рассуждений…
Следование инструкциям
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
LFM2-24B-A2BАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
6.3Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
50.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)752msВремя ответа (макс.)1.22sВремя ответа (суммарно)1.50sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)6.35sВремя ответа (макс.)9.38sВремя ответа (суммарно)12.69sТест считается полностью пройденным, только если все его прогоны успешны.…
6.35sВремя ответа (среднее)…
765Общее число входных токенов…
182Выходные токены…
1,243Токены рассуждений…
Решение головоломок
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
LFM2-24B-A2BАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
3.8Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Ошибка API: 1Время ответа (среднее)1.78sВремя ответа (макс.)3.15sВремя ответа (суммарно)5.34sТест считается полностью пройденным, только если все его прогоны успешны.…
9.9Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)3.54sВремя ответа (макс.)6.03sВремя ответа (суммарно)10.62sТест считается полностью пройденным, только если все его прогоны успешны.…
3.54sВремя ответа (среднее)…
792Общее число входных токенов…
771Выходные токены…
2,055Токены рассуждений…
Вызов инструментов
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
LFM2-24B-A2BАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)0msВремя ответа (макс.)0msВремя ответа (суммарно)0msТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)7.72sВремя ответа (макс.)7.72sВремя ответа (суммарно)7.72sТест считается полностью пройденным, только если все его прогоны успешны.…
7.72sВремя ответа (среднее)…
9,781Общее число входных токенов…
304Выходные токены…
984Токены рассуждений…
Эрудиция
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
LFM2-24B-A2BАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
0.0Средний балл по всем бенчмарк-тестам.…
0.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)0msВремя ответа (макс.)0msВремя ответа (суммарно)0msТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)38.47sВремя ответа (макс.)38.47sВремя ответа (суммарно)38.47sТест считается полностью пройденным, только если все его прогоны успешны.…