Запускаем языковую модель на ESP32 со скоростью 400 токенов/с — как это возможно?
ESP32-S3 — микроконтроллер за несколько сотен рублей: два ядра Xtensa LX7 на 240 МГц и 512 КБ внутренней SRAM. Языковые модели на нём уже запускали: крошечная stories260K, 260 тысяч параметров, но это…
Хабр
Volltext, Übersetzung und KI-Zusammenfassung — nach der Anmeldung
- Der vollständige Artikel in Ihrer Sprache
- KI-Zusammenfassung und Übersetzung aus dem Original
- Dasselbe Konto funktioniert in der Suviy-App
Kommentare
Melden Sie sich an, um mitzudiskutieren. Anmelden
Noch keine Kommentare.