SIENA, NIPS-CERN, UFJF

Limiar

Redes neurais, do neurônio ao fractal

Aula 6: o MNIST em NumPy, com treino, validação e teste

27/11/2026. C∴ Chrysthofer A. A. Afonso

Os dez dígitos médios do MNIST, de 0 a 9, em duas linhas de cinco: traços borrados em azul-escuro sobre o fundo claro, mais firmes onde quase todos escrevem igual

O dígito médio de cada classe: a média, pixel a pixel, dos cerca de 5 mil exemplos de treino de cada dígito. Fica borrado porque cada pessoa escreve de um jeito, e a média junta todos os traços.

Limiar, aula 6: o MNIST em NumPy

A aula 6 leva a retropropagação da aula 5 a um problema de verdade: reconhecer dígitos escritos à mão. O conjunto é o MNIST, com 70 mil imagens. A rede é um perceptron multicamadas, o MLP da aula 3, agora com 784 entradas, uma camada oculta de 256 neurônios e 10 saídas, escrito em NumPy. O assunto novo é o método: separar os dados em treino, validação e teste, para medir o que a rede faz com dígitos que ela nunca viu.

A imagem da capa é o dígito médio de cada classe: a média, pixel a pixel, de todos os exemplos de treino daquele dígito, uns 5 mil por classe, feita pelo código da aula. Onde quase todos passam o traço, como na haste do 1, a média fica escura; onde cada um escreve de um jeito, como no 4 e no 9, ela se espalha clara. É a primeira conta da aula: um dígito é uma lista de 784 números, e listas de números se somam e se dividem.

1 · Revisão

O que ficou das aulas 4 e 5, de memória

O que o Jacobiano de uma camada guarda?

Por que o produto dos Jacobianos se calcula de trás para a frente?

O que é o δ de um neurônio?

Como se confere um gradiente?

Limiar, aula 6: o MNIST em NumPy

A revisão é de memória: quatro perguntas sobre as aulas 4 e 5, e a turma responde falando.

O que o Jacobiano de uma camada guarda? As derivadas parciais de cada saída em relação a cada entrada, uma linha por saída. Numa camada com tanh, a linha k é a linha k de W vezes 1 − hₖ².

Por que o produto dos Jacobianos se calcula de trás para a frente? Porque, começando pela perda, que é um número só, cada passo é uma linha vezes uma matriz. Da frente para trás, seria matriz vezes matriz, muito mais caro.

O que é o δ de um neurônio? A derivada da perda em relação à soma do neurônio. O de um neurônio oculto é o δ de quem vem depois, vezes o peso da ligação, vezes a inclinação da ativação.

Como se confere um gradiente? Pela derivada numérica, a diferença central: mexe um peso h para cima e h para baixo e divide a variação da perda por 2h. As duas contas têm de bater.

1 · Revisão

O fio do curso, da aula 1 à 10

O neurônio e o perceptron

um neurônio desenha uma reta, e nenhuma reta separa o XOR

25/09, presencial

Derivada e gradiente

o passo contra a derivada; a taxa grande demais faz o treino divergir

02/10, presencial

Matrizes e camadas

duas camadas separam o XOR, com pesos escolhidos à mão

13/11, on-line

O Jacobiano

a regra da cadeia com vetores, uma camada de cada vez

13/11, on-line

Retropropagação

a regra da cadeia, de trás para a frente, acha os pesos do XOR

13/11, on-line

O MNIST em NumPy

um MLP em 70 mil dígitos escritos à mão, com treino, validação e teste

27/11, on-line

PyTorch

a biblioteca faz a retropropagação; o erro final contra a taxa

27/11, on-line

Os dados do CERN

um MLP estima a massa dos dois múons, conferida pela fórmula

04/12, on-line

O fractal e o projeto

a fronteira entre a taxa que converge e a que diverge

04/12, on-line

A apresentação

a apresentação do projeto e a revisão do curso inteiro

11/12, on-line

Limiar, aula 6: o MNIST em NumPy

2 · O MNIST e a rede

O MNIST: 70 mil dígitos escritos à mão

Quatro exemplos escritos à mão de cada dígito, de 0 a 9, em colunas, em preto sobre branco

60 mil + 10 mil

dígitos de treino e de teste, de 0 a 9

28 × 28

pixels por imagem, 784 ao todo

0 a 1

o tom de cada pixel: de 0 a 255 no arquivo, dividido por 255

Classe, no curso: cada resposta possível, aqui os dez dígitos. Rótulo: a classe certa de um exemplo, que vem junto com a imagem.

Limiar, aula 6: o MNIST em NumPy

O MNIST é um conjunto de 70 mil imagens de dígitos escritos à mão, de 0 a 9: 60 mil marcadas para treino e 10 mil para teste. Cada imagem tem 28 por 28 pixels, 784 ao todo, em tons de cinza. No arquivo, cada pixel é um número de 0 a 255, com 0 o fundo branco e 255 o traço preto; o código divide tudo por 255, e cada pixel vira um número de 0 a 1.

Cada dígito foi reduzido para caber numa caixa de 20 por 20 pixels, sem mudar a proporção, e centrado no quadro de 28 por 28 pelo centro de massa dos pixels. Os tons de cinza vêm dessa redução, que suaviza as bordas do traço.

Classe, no curso, é cada uma das respostas possíveis: aqui, os dez dígitos. Rótulo é a classe certa de um exemplo, que vem junto com a imagem. Na programação, classe é outra coisa, o molde de um tipo de objeto, que o curso não usa.

A figura mostra os quatro primeiros exemplos de cada classe no conjunto de treino: o mesmo dígito aparece com traços grossos e finos, inclinados e retos.

2 · O MNIST e a rede

Do dígito às dez probabilidades

À esquerda, um dígito de 28 por 28 pixels; as linhas da imagem descem e formam uma faixa de 784 números; a faixa entra na rede, que devolve dez barras de probabilidade; primeiro um 7, com 0,9998 no 7, depois um 8, com 0,511 no 8 e 0,489 no 2

Limiar, aula 6: o MNIST em NumPy

O vídeo mostra o que a rede recebe. À esquerda, um dígito do conjunto de teste, um 7, com os 784 pixels em tons de cinza. As linhas da imagem descem uma de cada vez e se enfileiram numa faixa: 784 números, a primeira linha da imagem primeiro. É assim que o código guarda cada dígito, como uma linha da matriz X, com 784 colunas. A rede não sabe que os pixels formam um quadrado: para ela, a entrada é uma lista.

A faixa entra na rede, e a rede devolve dez probabilidades, uma por dígito. Para o 7, 0,9998 vai para o 7. Depois, outro dígito do teste, um 8 de laço fechado embaixo, e a rede hesita: 0,511 para o 8 e 0,489 para o 2. Ela acerta por pouco.

As probabilidades são as que a rede da aula, a de 256 neurônios ocultos, deu a esses dois dígitos, lidas do resultado de codigo/mlp.py.

2 · O MNIST e a rede

A rede: 784, 256, 10

A rede em bolinhas: 784 entradas, 256 neurônios ocultos com a tanh e 10 saídas, de 0 a 9, com a softmax; ligações de todos com todos entre camadas vizinhas

203.530

números a ajustar; a rede do XOR tinha nove

Limiar, aula 6: o MNIST em NumPy

A rede da aula tem 784 entradas, uma por pixel; uma camada oculta de 256 neurônios com a tangente hiperbólica, a tanh da aula 4; e 10 saídas, uma por dígito. A camada oculta é a da aula 3, $\vec{h}$ = tanh(W₁ $\vec{x}$ + $\vec{b}$ ₁), com W₁ de 256 linhas e 784 colunas. A saída é linear, $\vec{z}$ = W₂ $\vec{h}$ + $\vec{b}$ ₂, com W₂ de 10 por 256, e a softmax, do slide seguinte, transforma os dez números de $\vec{z}$ em dez probabilidades, $\vec{p}$ .

São 203.530 números a ajustar: 784 × 256 pesos e 256 vieses na camada oculta, 256 × 10 pesos e 10 vieses na saída. A rede do XOR tinha nove.

Os pesos começam sorteados de uma normal com média 0 e desvio 1/√n, com n o número de entradas do neurônio, e os vieses começam em zero. O motivo é uma dedução: com n entradas de tamanho perto de 1 e pesos desse tamanho, a soma de cada neurônio fica perto de 1, onde a tanh ainda tem inclinação. Com pesos grandes, a soma passaria de 3, a tanh ficaria achatada em −1 ou 1, a inclinação seria quase zero, e o treino pararia.

Os 256 neurônios foram escolhidos pela validação, entre 16, 64 e 256, como mostra o slide das larguras.

2 · O MNIST e a rede

A softmax: dez números viram dez probabilidades

e, o número 2,718..., a base da exponencial

Com três números

Dois dígitos do teste e as dez probabilidades da rede: o 7, com 0,9998 no 7; o 8, com 0,511 no 8, em azul, e 0,489 no 2, em laranja com hachura

Limiar, aula 6: o MNIST em NumPy

A softmax recebe dez números quaisquer, z₀ a z₉, e devolve dez probabilidades: pₖ = e^{zₖ} / Σⱼ e^{zⱼ}. O e é o número 2,718..., a base da exponencial, o mesmo da fórmula da tanh na aula 4. A exponencial deixa todo número positivo, e a divisão pela soma faz os dez somarem 1. O maior z fica com a maior probabilidade, e a ordem entre eles não muda. Um exemplo com três números: $\vec{z}$ = (2; 1; 0) dá $\vec{p}$ = (0,665; 0,245; 0,090).

Probabilidade, no curso, é um número de 0 a 1 que diz quanto a rede aposta em cada resposta; as dez somam 1, e a rede responde o dígito de maior probabilidade.

No código, antes da exponencial, subtrai-se o maior z de cada linha. O resultado não muda, porque o fator e elevado a menos o máximo aparece em cima e embaixo da fração, e o computador não estoura: e^z passa do maior número que ele guarda quando z passa de uns 709.

A figura mostra as dez probabilidades da rede da aula para os dois dígitos do vídeo: o 7, com 0,9998 no 7, e o 8 em que ela hesita, 0,511 contra 0,489 para o 2. A barra azul é a resposta da rede; a laranja, com hachura, a segunda maior.

2 · O MNIST e a rede

A softmax por dentro

Três quadros de barras: as somas 2, 1 e 0; as exponenciais 7,389, 2,718 e 1, com soma 11,107; e as probabilidades 0,665, 0,245 e 0,090. Depois, as somas menos 2 dão as mesmas probabilidades, e as somas vezes 3 dão 0,950, 0,047 e 0,002

Limiar, aula 6: o MNIST em NumPy

O vídeo abre a softmax em três quadros, com o exemplo do slide anterior, três somas em vez de dez. À esquerda, as somas $\vec{z}$ = (2; 1; 0). No meio, a exponencial de cada uma: e² = 7,389, e¹ = 2,718 e e⁰ = 1, todas positivas, e a maior agora mais de sete vezes a menor. À direita, cada uma dividida pela soma, 11,107: as probabilidades (0,665; 0,245; 0,090), que somam 1.

Depois, as mesmas somas menos 2, (0; −1; −2): as exponenciais mudam, (1; 0,368; 0,135), com soma 1,503, mas as probabilidades são as mesmas. Somar o mesmo número a todas as somas multiplica todas as exponenciais pelo mesmo fator, que some na divisão. É por isso que o código pode subtrair o maior z antes da exponencial, para o computador não estourar.

Por fim, as somas vezes 3, (6; 3; 0): as exponenciais vão a 403,4, 20,1 e 1, e as probabilidades a (0,950; 0,047; 0,002). Quanto mais afastadas as somas, mais firme a aposta da rede no maior. O treino com a entropia cruzada empurra a soma da resposta certa para cima e as outras para baixo, e a aposta fica firme.

2 · O MNIST e a rede

A entropia cruzada, a perda da classificação

ln, o logaritmo natural, a inversa da exponencial

p_t: a probabilidade que a rede deu ao dígito certo, t.

Num lote de N exemplos, a média

0,99

0,010

0,9

0,105

0,5

0,693

0,1

2,303

0,01

4,605

Limiar, aula 6: o MNIST em NumPy

A perda da classificação é a entropia cruzada: L = −ln pₜ, com pₜ a probabilidade que a rede deu ao dígito certo, t. O ln é o logaritmo natural, a operação inversa da exponencial: ln p é o número a que se eleva e para dar p. Para p entre 0 e 1, ln p é negativo, e o sinal de menos deixa a perda positiva.

A tabela mostra o que a perda faz: 0,010 quando a rede dá 0,99 ao dígito certo, 0,105 com 0,9, 0,693 com 0,5, 2,303 com 0,1 e 4,605 com 0,01. Uma resposta certa e segura custa quase nada; uma aposta baixa no dígito certo custa muito.

Num lote de N exemplos, a perda é a média das perdas de cada um: L = −(1/N) Σᵢ ln p_{tᵢ}.

O erro quadrático da aula 5 também funcionaria, e era o que o MLP de 1998 da tabela da página do MNIST usava. A entropia cruzada vem junto com a softmax no livro de Goodfellow, Bengio e Courville, e a derivada das duas juntas fica simples, como mostra o slide seguinte.

O nome vem da teoria da informação, que o curso não abre. Na física, entropia é outra grandeza, a da termodinâmica.

2 · O MNIST e a rede

A retropropagação da aula 5, com duas trocas

Na saída, com a softmax

o vetor y: 1 na posição do dígito certo e 0 nas outras

Caixa-preta: a regra da cadeia através da softmax. A conta está em Goodfellow, Bengio e Courville, 2016, capítulo 6.

Na camada oculta, a tanh

a inclinação da tanh, da aula 4, no lugar da da sigmoide

retropropagação contra derivada numérica, em 30 pesos sorteados

Limiar, aula 6: o MNIST em NumPy

A retropropagação é a da aula 5, com duas trocas.

Na saída, com a softmax e a entropia cruzada, a derivada da perda em relação à soma zₖ da saída k é pₖ − yₖ, com $\vec{y}$ o vetor do rótulo certo: 1 na posição do dígito certo e 0 nas outras. É o δ de cada saída. Se a rede dá 0,9 ao dígito certo, o δ dele é −0,1; para cada dígito errado, o δ é a própria probabilidade dada a ele. Um vetor desse tipo, com um 1 e o resto zero, chama-se one-hot, em inglês.

Essa derivada fica como caixa-preta: entra a regra da cadeia através da softmax, que mistura as dez saídas, e sai $\vec{p}$ − $\vec{y}$ . Ela não se abre agora porque pede a derivada da exponencial e do logaritmo; a conta está no livro de Goodfellow, Bengio e Courville, de 2016, capítulo 6, e o código a confere pela derivada numérica.

Na camada oculta, a inclinação é a da tanh, 1 − h², da aula 4, no lugar da da sigmoide. O resto é igual: o δ de um neurônio oculto é a soma dos δ das saídas vezes os pesos das ligações, vezes a inclinação; cada peso recebe o δ do neurônio aonde chega vezes a entrada que ele multiplica.

A conferência: em 30 pesos sorteados de uma rede de 16 neurônios, com 20 exemplos, a maior diferença relativa entre a retropropagação e a derivada numérica é 1,5 · 10⁻⁸.

2 · O MNIST e a rede

O gradiente em lotes de 64

exemplos por lote, sorteados a cada época

782

passos por época: 781 lotes de 64 e um de 16

0,1

a taxa η, por 20 épocas

Época, no curso: uma passada por todos os 50 mil exemplos de treino. Lote: um grupo de exemplos que dá um passo do gradiente.

Limiar, aula 6: o MNIST em NumPy

Com 50 mil exemplos, calcular o gradiente de todos antes de cada passo seria lento: um passo por passada inteira pelo treino. O treino em lotes sorteia a ordem dos exemplos e anda de 64 em 64: cada lote dá a perda média dos seus 64 exemplos, a retropropagação dá o gradiente dela, e os pesos dão um passo. São 782 passos por época: 781 lotes de 64 e um último de 16.

Época, no curso, é uma passada por todos os exemplos de treino. Lote é um grupo de exemplos que dá um passo do gradiente; em inglês, batch ou mini-batch. Em português comum, lote é um terreno ou uma remessa de produtos; aqui, só o grupo de exemplos.

O gradiente de um lote não é o gradiente de todos, mas aponta perto dele, e custa 781 vezes menos. Isso é dedução: a perda média de 64 exemplos sorteados é uma estimativa da perda média dos 50 mil, e a derivada da estimativa é uma estimativa da derivada.

A taxa é η = 0,1, e as épocas, 20. Os três números, 64, 0,1 e 20, são hiperparâmetros: escolhidos de fora, e não ajustados pelo treino.

3 · Treino, validação e teste

A rede aprendeu ou decorou?

No treino, ela chega a 99,21% de acertos. O que conta é o dígito que ela nunca viu.

Limiar, aula 6: o MNIST em NumPy

3 · Treino, validação e teste

Treino, validação e teste

50.000

Treino

ajusta os pesos

10.000

Validação

escolhe a largura e a hora de parar; nunca ajusta peso

10.000

Teste

mede a rede escolhida, uma vez, no fim

treino

validação

teste

A validação sai do treino original do MNIST: 10 mil dos 60 mil, sorteados com a semente 0. O teste fica como veio. Acurácia: a fração de acertos.

Limiar, aula 6: o MNIST em NumPy

Os 60 mil exemplos de treino do MNIST viram dois conjuntos: 50 mil para o treino e 10 mil para a validação, sorteados com a semente 0. Os 10 mil de teste ficam como vieram.

Treino, no curso, é o conjunto que ajusta os pesos. Validação é o conjunto que escolhe os hiperparâmetros, como a largura da camada oculta e a época de parar, sem nunca ajustar peso. Teste é o conjunto que mede a rede escolhida, uma vez só, no fim. As definições seguem o verbete da Wikipedia sobre os três conjuntos.

Hiperparâmetro é um número que o treino não ajusta e que se escolhe de fora: a largura, a taxa, o tamanho do lote, o número de épocas.

Por que três conjuntos, e não dois: quem escolhe a largura olhando o teste acaba escolhendo a que acerta mais aqueles 10 mil dígitos em particular, e o número do teste deixa de valer para dígitos novos. A validação absorve as escolhas; o teste fica limpo. Isso é dedução do papel de cada conjunto.

Acurácia é a fração de acertos: a rede acerta quando a maior das dez probabilidades é a do dígito certo.

3 · Treino, validação e teste

Treino e validação, época a época

À esquerda, a perda; à direita, a acurácia, nas 20 épocas; o treino, em azul, fica sempre um pouco melhor que a validação, em laranja tracejado; as duas ainda melhoram na época 20

Na época 20: 99,21% no treino e 97,33% na validação. A validação ainda melhora: a melhor época é a última.

Limiar, aula 6: o MNIST em NumPy

3 · Treino, validação e teste

Com mil exemplos, a rede decora

Mil exemplos, 300 épocas: a perda do treino cai a quase zero, e a da validação desce até a época 23 e depois sobe; a acurácia do treino chega a 100%, e a da validação para perto de 87%

Treino: 100%. Validação: 87,42%, com a perda mínima na época 23. Sobreajuste: a rede decora o treino e erra no dado novo.

Limiar, aula 6: o MNIST em NumPy

Sobreajuste é quando a rede decora o treino e erra no dado novo. O verbete da Wikipedia diz que o modelo começa a memorizar os dados de treino em vez de aprender a generalizar. Generalizar, no curso, é acertar exemplos que não estavam no treino. Em inglês, overfitting.

Para ver o sobreajuste, a mesma rede, de 256 neurônios, treinou com só os mil primeiros exemplos do treino, por 300 épocas. O treino chega a 100% de acertos, e a perda dele cai a 0,0037: a rede decorou os mil. A validação para em 87,42%, e a perda dela é mínima na época 23, 0,4393, e depois sobe até 0,6169 na época 300. A linha tracejada cinza marca a época 23: depois dela, o que melhora o treino piora a validação.

A acurácia da validação fica quase parada enquanto a perda dela sobe. A leitura, que é dedução, é que a rede continua acertando e errando os mesmos dígitos, mas aposta cada vez mais alto nas respostas erradas.

A época de menor perda na validação é a hora de parar. Com 50 mil exemplos e 20 épocas, a rede da aula não chegou a esse ponto: a validação ainda melhorava na época 20.

3 · Treino, validação e teste

A validação escolhe a largura

neurônios

validação

tempo

94,10%

4 s

96,73%

9 s

256

97,33%

102 s

Todas na melhor época, a 20, com a mesma semente. O tempo é o do laptop do professor. Nenhum número olhou o teste.

Limiar, aula 6: o MNIST em NumPy

3 · Treino, validação e teste

O teste, medido uma vez

97,59%

de acertos nos 10 mil dígitos de teste: 241 erros

semente 1, versão dos dados 227111746c19, 256 neurônios, época 20

Os 16 primeiros dígitos do teste que a rede erra, cada um com o dígito certo e a resposta da rede embaixo

Os 16 primeiros erros, na ordem do teste.

Limiar, aula 6: o MNIST em NumPy

3 · Treino, validação e teste

Que dígitos a rede confunde

A matriz de confusão do teste: dez linhas, o dígito certo, e dez colunas, o que a rede respondeu; a diagonal com os acertos, de 861 a 1.125, e fora dela os erros, quase todos abaixo de 10; os maiores, 15 setes respondidos como 2, 12 quatros como 9 e 11 cincos como 3

Os pares mais confundidos

15 setes respondidos como 2
12 quatros como 9
11 cincos como 3
10 noves como 4

Por dígito

o 9 acerta menos: 96,3%
o 1 acerta mais: 99,1%

Limiar, aula 6: o MNIST em NumPy

A matriz de confusão do teste, com as 10 mil respostas da rede da aula. Cada linha é um dígito certo; cada coluna, o que a rede respondeu. Na diagonal, os acertos; fora dela, os erros, com a cor mais forte onde há mais. São 241 erros ao todo, os 2,41% que faltam para os 97,59% de acurácia.

Os erros não se espalham por igual. Os pares mais confundidos: 15 setes respondidos como 2, 12 quatros como 9 e 11 cincos como 3; e 10 noves como 4. A leitura, que é dedução tirada dos dígitos errados do slide do teste: são pares de formas parecidas, como o 4 e o 9, que muita gente fecha em cima. O dígito de menos acertos é o 9, com 96,3%, 972 de 1.009; o de mais, o 1, com 99,1%, 1.125 de 1.135.

A matriz é a mesma medida do teste, olhada por dentro: não é um segundo teste, e nada nela volta ao treino. Matriz, aqui, é só a tabela de contagens, no sentido da aula 3.

Os números saem de codigo/figuras_slides.py, que lê as respostas gravadas em resultados/mlp.json.

3 · Treino, validação e teste

O que os neurônios ocultos procuram

Os pesos de 16 neurônios ocultos, cada um como uma imagem 28 por 28, em azul os negativos e em laranja os positivos: o neurônio 5 com uma barra azul no alto, o 15 com um traço vertical azul, o 12 com um traço inclinado; outros parecem ruído

Cada neurônio tem um peso por pixel. Laranja: tinta ali aumenta a soma; azul: diminui. Alguns procuram traços; outros parecem ruído.

Limiar, aula 6: o MNIST em NumPy

Cada neurônio oculto tem um peso por pixel, 784 ao todo. Arrumados na forma da imagem, 28 por 28, os pesos mostram o que o neurônio procura. Laranja é peso positivo: tinta ali aumenta a soma do neurônio; azul é negativo: tinta ali diminui. A figura mostra os 16 primeiros dos 256 neurônios da rede da aula, todos na mesma escala, até 0,428 em valor absoluto.

Alguns têm forma clara: o neurônio 5, uma barra azul no alto com laranja logo acima; o 15, um traço vertical azul com laranja dos lados; o 12, um traço inclinado. Outros parecem ruído: o 4, o 10. É dedução que o ruído seja o resto do sorteio inicial, pesos de desvio 1/√784, uns 0,036, que o treino mexeu pouco.

Nenhum neurônio sozinho reconhece um dígito. Cada um responde a um pedaço de forma, e a camada de saída combina as 256 respostas para dar as dez probabilidades.

Os pesos são da rede escolhida pela validação, gravados por mlp.py em resultados/mlp.json.

3 · Treino, validação e teste

Um neurônio oculto diante de uma imagem

O dígito 7, os 784 pesos do neurônio 5 na forma da imagem e o produto pixel a pixel; a soma dos produtos dá −2,83. Depois, um 5: o traço de cima cai no laranja, e a soma é +1,55

Limiar, aula 6: o MNIST em NumPy

4 · De onde vem

1998: o MNIST e a LeNet-5

o NIST, o Instituto Nacional de Padrões e Tecnologia dos Estados Unidos, tinha duas bases: a SD-3, de funcionários do censo, e a SD-1, de estudantes do ensino médio
o MNIST, Modified NIST, mistura as duas: 30 mil de cada no treino, 5 mil de cada no teste, com escritores diferentes
2018: o Prêmio Turing para Bengio, Hinton e LeCun

rede

erro no teste

MLP, 300 ocultos, 1998

4,7%

LeNet-5, convolucional, 1998

0,95%

MLP, 256 ocultos, esta aula

2,41%

Rede convolucional: cada neurônio olha uma janela pequena da imagem, com os mesmos pesos em toda parte; fica fora do curso.

Retrato de Yann LeCun, de óculos de armação preta, sorrindo, com o fundo desfocado

Yann LeCun, primeiro autor do artigo de 1998, em 2025. Foto da École polytechnique, Wikimedia Commons, CC BY-SA 2.0.

Fontes: LeCun, Bottou, Bengio e Haffner, 1998, Proceedings of the IEEE; a página do MNIST; ACM, Prêmio Turing de 2018.

Limiar, aula 6: o MNIST em NumPy

Em 1998, Yann LeCun, Léon Bottou, Yoshua Bengio e Patrick Haffner publicaram nos Proceedings of the IEEE "Gradient-based learning applied to document recognition". A seção III-A conta de onde vêm os dígitos. O NIST, o National Institute of Standards and Technology dos Estados Unidos, tinha duas bases de dígitos: a Special Database 3, a SD-3, escrita por funcionários do Census Bureau, o escritório do censo dos Estados Unidos, e a Special Database 1, a SD-1, escrita por estudantes do ensino médio. A SD-3 é bem mais limpa. O NIST usava a SD-3 para treino e a SD-1 para teste; os autores misturaram as duas. O MNIST, o Modified NIST, tem 30 mil dígitos de cada base no treino e 5 mil de cada no teste, segundo a página do MNIST, com escritores diferentes no treino e no teste.

No mesmo artigo, a LeNet-5, uma rede convolucional, erra 0,95% no teste. Rede convolucional é uma rede em que cada neurônio olha uma janela pequena da imagem, com os mesmos pesos em todas as posições; ela fica fora do curso. Um MLP com uma camada oculta de 300 neurônios, treinado com o erro quadrático, erra 4,7%, segundo a página do MNIST. A rede desta aula erra 2,41%, com outra perda, outra ativação e outro treino: a comparação só mostra a ordem de grandeza.

Em 1998, LeCun trabalhava no AT&T Labs-Research, em Nova Jersey; nasceu na França, em 1960. Em 2018, a ACM, a associação de computação dos Estados Unidos, deu o Prêmio Turing a Yoshua Bengio, Geoffrey Hinton, o da retropropagação de 1986, da aula 5, e Yann LeCun, "pelos avanços conceituais e de engenharia que fizeram das redes neurais profundas um componente crítico da computação", em tradução livre.

O retrato, à direita, é de LeCun numa conferência na École polytechnique, na França, em fevereiro de 2025. A foto é da própria École polytechnique, publicada no Wikimedia Commons com a licença CC BY-SA 2.0.

5 · O código

O MLP em NumPy, passo a passo

mnist.py lê os arquivos, divide por 255 e separa a validação

A passada para a frente: tanh na camada oculta, softmax na saída

A retropropagação, conferida pela derivada numérica antes de treinar

O laço dos lotes, com a perda e a acurácia de cada época

O teste uma vez; a semente, a versão e os números em resultados/mlp.json

O NumPy que resolve

np.exp(Z - Z.max(axis=1, keepdims=True))

P[np.arange(N), t]

rng.permutation(len(X))

P.argmax(axis=1) == t

com X, os exemplos do lote, um por linha

Limiar, aula 6: o MNIST em NumPy

O código da aula fica pronto e testado antes: codigo/mlp.py, a solução de referência da entrega, que não vai para a turma antes do prazo. A turma recebe codigo/mnist.py, que carrega os dados, e codigo/esqueleto.py.

Os passos do mlp.py: ler os quatro arquivos do MNIST, dividir por 255 e separar a validação; sortear os pesos; a passada para a frente, com a tanh e a softmax; a retropropagação, conferida pela derivada numérica antes de treinar; o laço dos lotes, guardando a perda e a acurácia de cada época e os pesos da melhor época na validação; e, no fim, o teste uma vez e o arquivo resultados/mlp.json, com a semente, a versão dos dados e os números.

Quatro peças do NumPy. np.exp(Z - Z.max(axis=1, keepdims=True)) é a exponencial da softmax, com o maior de cada linha subtraído; keepdims=True deixa o máximo como coluna, para a subtração valer linha por linha. P[np.arange(N), t] pega, em cada linha, a coluna do dígito certo. rng.permutation(len(X)) sorteia uma ordem dos exemplos, de onde saem os lotes. E P.argmax(axis=1) == t compara a resposta da rede com o rótulo, e a média disso é a acurácia.

No laptop do professor, o mlp.py inteiro leva cerca de quatro minutos.

5 · O código

O que a entrega pede

Recebe

mnist.py

carrega os dados

esqueleto.py

o treino pronto e o gráfico

Escreve

softmax

para_a_frente

retropropagacao

Entrega

a acurácia no teste
a semente e a versão dos dados
as curvas de treino e de validação

Antes de treinar, o esqueleto confere a retropropagação pela derivada numérica e para se a diferença passar de 10⁻⁵.

Limiar, aula 6: o MNIST em NumPy

A entrega parte de dois arquivos que vão para a turma: mnist.py, que carrega os dados, e esqueleto.py, com o treino pronto e três funções para escrever: softmax, para_a_frente e retropropagacao. O esqueleto confere a retropropagação pela derivada numérica antes de treinar e para se a diferença passar de 10⁻⁵. Com as três escritas, ele treina uma rede de 64 neurônios por 10 épocas, mede o teste uma vez e grava o gráfico das curvas.

O que se entrega: a acurácia no teste, a semente e a versão dos dados que o programa imprime, e o gráfico das curvas de treino e de validação. Quem quiser pode mudar a largura, a taxa ou as épocas, escolhendo pela validação, nunca pelo teste.

Antes, uma vez: python infra/baixar_dados.py, que baixa os quatro arquivos do MNIST para dados/ e confere cada um. No laptop do professor, as 10 épocas levam uns 10 segundos.

O que se exige é saber dizer o que entra na rede, o que ela aprende e o que significa o número que sai.

6 · Fechamento

Para estudar e entregar

Estudo

PyTorch, “Learn the Basics”
Karpathy, “building micrograd”, 2022
Kingma e Ba, o Adam: só o quadro do algoritmo

Entrega

o MLP do esqueleto, com a acurácia no teste, a semente e a versão
as curvas de treino e de validação
uma pergunta sobre o estudo

A seguir

aula 7: a mesma rede em PyTorch, e o erro final contra a taxa
aula 8: os dados do CERN

Limiar, aula 6: o MNIST em NumPy

O estudo prepara a aula 7. O tutorial "Learn the Basics" do PyTorch percorre a mesma sequência desta aula, dados, rede, perda, treino e teste, com a biblioteca. O vídeo de Andrej Karpathy, "The spelled-out intro to neural networks and backpropagation: building micrograd", de 2022, com 2 horas e 26 minutos, escreve do zero uma pequena biblioteca que calcula os gradientes sozinha, como o PyTorch faz na aula 7. E o quadro do algoritmo, o Algorithm 1, do artigo de Diederik Kingma e Jimmy Ba, "Adam: A method for stochastic optimization", de 2014, apresentado na conferência ICLR de 2015: o Adam é outro jeito de dar o passo do gradiente.

A entrega: o MLP do esqueleto, com as três funções escritas, a acurácia no teste com a semente e a versão dos dados, e as curvas de treino e de validação; e uma pergunta sobre o estudo.

A seguir, a aula 7 refaz esta rede em PyTorch, que faz a retropropagação sozinho, e mede o erro final contra a taxa; a aula 8 leva um MLP aos dados do CERN.