Почему softmax теряет градиенты — и как школьная алгебра 7-го класса помогает их сохранить
Модель почти идеально выучила ответ, а градиент правильного класса уже стал машинным нулём. При дистилляции возможна обратная ситуация: ученик повторяет учителя, но вычисление всё ещё выдаёт сигнал ош…
Хабр
Volltext, Übersetzung und KI-Zusammenfassung — nach der Anmeldung
- Der vollständige Artikel in Ihrer Sprache
- KI-Zusammenfassung und Übersetzung aus dem Original
- Dasselbe Konto funktioniert in der Suviy-App
Ähnliche Berichte
Kommentare
Melden Sie sich an, um mitzudiskutieren. Anmelden
Noch keine Kommentare.