Оптимизация холодного старта vLLM: собираем прогретый OCI образ Deepseek и GLM и запускаем за 30 секунд
Всем привет! Меня зовут Кирилл, я больше десяти лет разрабатываю облака и инфраструктуру. Но последние пару месяцев в рамках R&D я достаточно много занимаюсь инференсом: платформами для него и…
Хабр
Повний текст, переклад і AI-підсумок — після входу
- Повний текст статті вашою мовою
- AI-підсумок і переклад з оригіналу
- Той самий акаунт працює в додатку Suviy
Схожі матеріали
Коментарі
Увійдіть, щоб долучитися до обговорення. Увійти
Коментарів поки немає.