RU · w języku oryginału

Почему softmax теряет градиенты — и как школьная алгебра 7-го класса помогает их сохранить

Модель почти идеально выучила ответ, а градиент правильного класса уже стал машинным нулём. При дистилляции возможна обратная ситуация: ученик повторяет учителя, но вычисление всё ещё выдаёт сигнал…

Хабр Rosja · 28 października 2026

To fragment. Pełny artykuł znajdziesz w serwisie Хабр.

Czytaj w źródle