The class
Topic
Revisão de derivada parcial e de gradiente, da aula 2. O Jacobiano, a matriz das derivadas parciais de uma função que recebe um vetor e devolve outro: a linha i traz as derivadas da saída i em relação a cada entrada. O gradiente é o caso em que a saída é um número só. A regra da cadeia com vetores: o Jacobiano de uma composição é o produto dos Jacobianos. Uma rede é uma composição de camadas, e a retropropagação é esse produto. Por que multiplicar de trás para a frente: começando pela perda, que é um número só, cada passo é um vetor vezes uma matriz, nunca uma matriz vezes outra, e o gradiente custa pouco mais que uma passada para a frente.
Practice in class
O Jacobiano de uma camada, tanh(Wx + b), calculado à mão para duas entradas e duas saídas, e conferido em NumPy pela derivada numérica. Depois, a regra da cadeia para duas camadas, como produto de Jacobianos, e a contagem de operações nas duas ordens de multiplicação.
Assignment
- Uma função que calcula o Jacobiano numérico de uma camada e o compara com o Jacobiano calculado à mão.
- Uma pergunta sobre o estudo da semana.
