Limiar · Class 5

Retropropagação

  • WhenSexta, 13/11/2026, das 12h às 14h
  • WhereOn-line, no encontro 1
  • Taught byChrysthofer A. A. Afonso
Open the slidesStudy guideSlides as PDF

In the slides: → moves on, F is full screen, N shows the notes, H lists every key. The PDF has no notes: it is the one handed to the class.

The class

Topic

A retropropagação é a regra da cadeia aplicada de trás para a frente: a rede calcula a saída indo da entrada ao fim, e depois calcula quanto cada peso contribuiu para o erro, indo do fim à entrada, camada por camada, com os Jacobianos da aula 4. A conta à mão numa rede com duas entradas, dois neurônios ocultos e uma saída. Na história, Rumelhart, Hinton e Williams, 1986. Como conferir um gradiente: comparar com a derivada numérica, calculada por diferenças finitas.

Practice in class

Retropropagação em NumPy, treino do XOR e o teste que compara o gradiente calculado com a derivada numérica.

Assignment

  • O XOR treinado com a própria retropropagação, em NumPy, e o gradiente conferido pela derivada numérica, com a semente, a taxa e as épocas registradas.
  • Uma pergunta sobre o estudo da semana.

Study for the week

Série sobre redes neurais, capítulo 3Backpropagation, intuitively | Deep Learning Chapter 33Blue1Brown · Watch on YouTubeSérie sobre redes neurais, capítulo 4Backpropagation calculus | Deep Learning Chapter 43Blue1Brown · Watch on YouTube

PyTorch, tutorial "Learn the Basics": docs.pytorch.org/tutorials/beginner/basics/intro.html. Para ir além: David Rumelhart, Geoffrey Hinton e Ronald Williams, 1986, "Learning representations by back-propagating errors", Nature 323:533-536, doi:10.1038/323533a0, quatro páginas; e Michael Nielsen, 2015, Neural Networks and Deep Learning, capítulo 2, http://neuralnetworksanddeeplearning.com/chap2.html.

Papers and books

Every work cited in the class material, with the official link. The first page appears where the PDF is open access.

  1. Learning representations by back-propagating errors

    David E. Rumelhart, Geoffrey E. Hinton e Ronald J. Williams · 1986

    Nature 323(6088):533-536

    O PDF é a cópia das páginas da Nature que Hinton mantém no site da Universidade de Toronto.

    doi:10.1038/323533a0PDF

  2. Neural Networks and Deep Learning

    Michael A. Nielsen · 2015

    Determination Press, livro online; CC BY-NC 3.0

    O endereço só abre em http: o certificado do servidor é de outro domínio.

    neuralnetworksanddeeplearning.com

  3. XOR has no local minima: A case study in neural network error surface analysis

    Leonard G. C. Hamey · 1998

    Neural Networks 11(4):669-681

    doi:10.1016/S0893-6080(97)00134-2

  4. The local minima of the error surface of the 2-2-1 XOR network

    Ida Sprinkhuizen-Kuyper e Egbert Boers · 1999

    Annals of Mathematics and Artificial Intelligence 25(1):107-136

    doi:10.1023/A:1018969803819

Other sources 9

Image credits

As três fotos, no slide da história, são do Wikimedia Commons; as outras imagens, o mosaico da capa incluído, saem do código desta pasta.

Arquivo O que mostra Autor Licença
werbos.jpg Paul Werbos na International Joint Conference on Neural Networks, Seattle, 08/07/1991; "PaulWerbos-IJCNNseattle1991-07-08.jpg", reduzida Rolf Kickuth CC BY-SA 4.0
rumelhart.jpg David Rumelhart na mesma conferência, 08/07/1991; "DavidRumelhart-IJCNNseattle1991-07-08.jpg", reduzida Rolf Kickuth CC BY-SA 4.0
hinton.jpg Geoffrey Hinton na Universidade da Colúmbia Britânica, 30/05/2013; "Geoffrey Hinton at UBC.jpg", reduzida Eviatar Bach CC BY-SA 3.0