27B-модель на четырёх V100 в 2026 году: форк vLLM, INT4 на Volta и контекст 262K
Четыре Tesla V100 2017 года тянут в проде плотную Qwen3.8-27B в INT4 с окном 262 тысячи токенов — это модель zubr в ZuBrIQ (zubriq.ai), запросы к которой не покидают Беларусь. Официальный vLLM на этих…
Хабр
Повний текст, переклад і AI-підсумок — після входу
- Повний текст статті вашою мовою
- AI-підсумок і переклад з оригіналу
- Той самий акаунт працює в додатку Suviy
Коментарі
Увійдіть, щоб долучитися до обговорення. Увійти
Коментарів поки немає.