Перейти к содержанию

[Перевод] Как ускорить локальную LLM на 50% без покупки новой видеокарты

Фото: Хабр

На GTC Berlin 2026 участники воркшопа NVIDIA смогли ускорить генерацию Qwen3-32B с 16,4 до 24,5 токена в секунду, не меняя оборудование. Для этого использовали FP8 вместо BF16. Общая пропускная…

Хабр Россия · 14 ноября 2026

Это отрывок. Полный текст статьи — на сайте Хабр.

Читать в источнике

Полный текст, перевод и AI-сводка — после входа

  • Полный текст статьи на вашем языке
  • AI-сводка и перевод с оригинала
  • Тот же аккаунт работает в приложении Suviy

Бесплатно.

Комментарии

Войдите, чтобы присоединиться к обсуждению. Войти

Комментариев пока нет.