Оптимизация холодного старта vLLM: собираем прогретый OCI образ Deepseek и GLM и запускаем за 30 секунд
Всем привет! Меня зовут Кирилл, я больше десяти лет разрабатываю облака и инфраструктуру. Но последние пару месяцев в рамках R&D я достаточно много занимаюсь инференсом: платформами для него и…
Хабр
Полный текст, перевод и AI-сводка — после входа
- Полный текст статьи на вашем языке
- AI-сводка и перевод с оригинала
- Тот же аккаунт работает в приложении Suviy
Похожие материалы
Комментарии
Войдите, чтобы присоединиться к обсуждению. Войти
Комментариев пока нет.