Почему softmax теряет градиенты — и как школьная алгебра 7-го класса помогает их сохранить
Модель почти идеально выучила ответ, а градиент правильного класса уже стал машинным нулём. При дистилляции возможна обратная ситуация: ученик повторяет учителя, но вычисление всё ещё выдаёт сигнал ош…
Хабр
Повний текст, переклад і AI-підсумок — після входу
- Повний текст статті вашою мовою
- AI-підсумок і переклад з оригіналу
- Той самий акаунт працює в додатку Suviy
Схожі матеріали
Коментарі
Увійдіть, щоб долучитися до обговорення. Увійти
Коментарів поки немає.