Запускаем языковую модель на ESP32 со скоростью 400 токенов/с — как это возможно?
ESP32-S3 — микроконтроллер за несколько сотен рублей: два ядра Xtensa LX7 на 240 МГц и 512 КБ внутренней SRAM. Языковые модели на нём уже запускали: крошечная stories260K, 260 тысяч параметров, но это…
Хабр
Full text, translation and AI summary — after signing in
- The full article in your language
- AI summary and translation from the original
- The same account works in the Suviy app
Comments
Sign in to join the conversation. Sign in
No comments yet.