27B-модель на четырёх V100 в 2026 году: форк vLLM, INT4 на Volta и контекст 262K
Четыре Tesla V100 2017 года тянут в проде плотную Qwen3.8-27B в INT4 с окном 262 тысячи токенов — это модель zubr в ZuBrIQ (zubriq.ai), запросы к которой не покидают Беларусь. Официальный vLLM на этих…
Хабр
Pełny tekst, tłumaczenie i streszczenie AI — po zalogowaniu
- Pełny artykuł w Twoim języku
- Streszczenie AI i tłumaczenie z oryginału
- To samo konto działa w aplikacji Suviy
Komentarze
Zaloguj się, aby dołączyć do dyskusji. Zaloguj się
Brak komentarzy.