Запускаем языковую модель на ESP32 со скоростью 400 токенов/с — как это возможно?
ESP32-S3 — микроконтроллер за несколько сотен рублей: два ядра Xtensa LX7 на 240 МГц и 512 КБ внутренней SRAM. Языковые модели на нём уже запускали: крошечная stories260K, 260 тысяч параметров, но это…
Хабр
Полный текст, перевод и AI-сводка — после входа
- Полный текст статьи на вашем языке
- AI-сводка и перевод с оригинала
- Тот же аккаунт работает в приложении Suviy
Комментарии
Войдите, чтобы присоединиться к обсуждению. Войти
Комментариев пока нет.