Derivada e Gradiente
agosto 23, 2021 § Deixe um comentário
Em um texto anterior comentei que uma das causas mais comuns de problemas em redes neurais profundas (deep learning) é o gradiente. Me furtei da explicação alegando que para entender o que é um gradiente seria necessário entender primeiro o que era uma derivada. Pretendo pagar a dívida neste texto. Para tal, vou me basear largamente nos livros de Cálculo do Tom M. Apostol, os famosos Tommy I e Tommy II (no nosso caso, foco bastante no conteúdo que está no capítulo 4 do Tommy I). Na sequência, complemento o texto anterior com as dicas para resolver problemas com gradientes.
Leia o texto completo em Update or Die. Publicada em 23 de agosto de 2021.
Marcelo Tibau 