The class
Topic
A derivada como taxa de variação: quanto a saída muda quando a entrada muda um pouco. A derivada parcial, a derivada em relação a uma variável com as outras paradas. O gradiente, o vetor das derivadas parciais, que aponta para onde a função mais cresce. O gradiente descendente, que anda contra o gradiente para diminuir o erro, visto numa superfície em 3D. O erro quadrático médio, a média dos quadrados das diferenças entre o previsto e o certo. A taxa de aprendizado, o tamanho de cada passo. Na história, Cauchy, 1847, que criou o método para calcular órbitas, e Widrow e Hoff, 1960: a Adaline, um neurônio linear treinado assim, é o começo dos filtros adaptativos. Filtro adaptativo fica como caixa-preta: entra só a história.
Practice in class
Ajustar uma reta a um conjunto de pontos por gradiente descendente, em NumPy, e variar a taxa de aprendizado. Pequena demais, o erro quase não cai; grande demais, o erro explode. É o primeiro contato com o limiar do projeto final.
AssignmentDue
- O gráfico do erro a cada passo, para várias taxas, e a taxa a partir da qual o treino diverge.
- Uma pergunta sobre o estudo da semana.
