SIENA, NIPS-CERN, UFJF

Limiar

Redes neurais, do neurônio ao fractal

Aula 10: revisão do curso e apresentação

11/12/2026. C∴ Chrysthofer A. A. Afonso

A caverna do ATLAS em obras: no fundo, o cilindro do calorímetro, com o TileCal por fora, cercado pelos oito ímãs toroidais, tubos longos com faixas laranja

A instalação do calorímetro do ATLAS, 04/11/2005. Foto de Maximilien Brice, CERN, CERN-EX-0511013, CC BY 4.0.

Limiar, aula 10: revisão e apresentação

1 · Revisão

O que ficou da aula 9, de memória

O que é cada pixel do mapa das duas taxas?

Por que a fronteira é um fractal, e não uma linha?

Como a contagem de caixas mede a dimensão?

O que a rede da aula 7 mostrou no plano?

Limiar, aula 10: revisão e apresentação

A revisão é de memória: quatro perguntas sobre a aula 9.

O que é cada pixel do mapa das duas taxas? Um treino inteiro da rede do projeto, do zero, com um par de taxas, η₀ na camada de entrada e η₁ na de saída, pintado de azul se convergiu e de laranja se divergiu.

Por que a fronteira é um fractal, e não uma linha? Porque, ampliada mil vezes, continua cheia de detalhe: filamentos, redemoinhos e ilhas de uma cor dentro da outra.

Como a contagem de caixas mede a dimensão? Conta as caixas que a fronteira toca e vê quantas vezes a contagem cresce quando a caixa cai pela metade: 2 vezes numa linha, 4 numa área, 2^d na fronteira. Nos múons, d deu perto de 1,6.

O que a rede da aula 7 mostrou no plano? Uma faixa granulada, e a causa dela: a perda oscila sem se assentar, e o passo 200 pega cada treino num ponto da oscilação. A diagonal do plano é a curva da aula 7, com uma taxa só.

1 · Revisão

O fio do curso, da aula 1 à 10

O neurônio e o perceptron

um neurônio desenha uma reta, e nenhuma reta separa o XOR

25/09, presencial

Derivada e gradiente

o passo contra a derivada; a taxa grande demais faz o treino divergir

02/10, presencial

Matrizes e camadas

duas camadas separam o XOR, com pesos escolhidos à mão

13/11, on-line

O Jacobiano

a regra da cadeia com vetores, uma camada de cada vez

13/11, on-line

Retropropagação

a regra da cadeia, de trás para a frente, acha os pesos do XOR

13/11, on-line

O MNIST em NumPy

um MLP em 70 mil dígitos escritos à mão, com treino, validação e teste

27/11, on-line

PyTorch

a biblioteca faz a retropropagação; o erro final contra a taxa

27/11, on-line

Os dados do CERN

um MLP estima a massa dos dois múons, conferida pela fórmula

04/12, on-line

O fractal e o projeto

a fronteira entre a taxa que converge e a que diverge

04/12, on-line

A apresentação

a apresentação do projeto e a revisão do curso inteiro

11/12, on-line

Limiar, aula 10: revisão e apresentação

2 · O curso inteiro

O curso numa figura: o laço do treino

$Quatro caixas em laço: para a frente, aulas 1 e 3; a perda, aulas 2 e 6; para trás, aulas 4 e 5; o passo, aulas 2 e 7; os dados entram por cima e a taxa por baixo. O laço gira vinte épocas e a perda do MLP da aula 6 cai. Depois, o limiar três vezes: um ponto em 0,513, uma faixa de 2 a 10 e o fractal da aula 9, a janela 4 do zoom$

Limiar, aula 10: revisão e apresentação

O curso inteiro cabe num laço de quatro peças, e o vídeo mostra cada uma com a aula em que entrou.

Para a frente: a rede calcula a saída, ŷ = f(W $\vec{x}$ + $\vec{b}$ ), camada a camada; o neurônio é da aula 1, a camada como matriz, da aula 3. A perda: um número que mede o erro; o erro quadrático médio da aula 2 e a entropia cruzada da aula 6, L = −ln pₜ. Para trás: a derivada da perda em relação a cada peso, pela regra da cadeia de trás para a frente; o Jacobiano da aula 4 e a retropropagação da aula 5. O passo: W ← W − η∇L, o gradiente descendente da aula 2, e o Adam da aula 7. De fora entram os dados, o MNIST da aula 6 e os múons do CMS da aula 8, e a taxa η, das aulas 2, 7 e 9.

Depois o laço gira: cada volta do ponto é uma época do MLP da aula 6, e ao lado cresce a curva da perda no treino, de 0,33 na primeira época a 0,034 na vigésima, com 97,59% de acerto no teste no fim.

A segunda parte é o limiar, três vezes. Na aula 2, a reta treinada com uma taxa só tinha um limiar, um ponto: abaixo de 0,513 convergia, acima divergia. Na aula 7, a rede pequena com uma taxa só tinha uma faixa, de 3,86 a 7,55, em que melhorar e piorar se alternavam 77 vezes entre taxas vizinhas. Na aula 9, com duas taxas, uma por camada, a fronteira virou um fractal, de dimensão perto de 1,6.

2 · O curso inteiro

Do neurônio às camadas

Aula 1: o neurônio

o E com o vetor dos pesos (1; 1) e b = −1,5
a regra do perceptron acha os pesos
nenhuma reta separa o XOR

Aula 3: as camadas

o XOR à mão: o OU, o E e degrau(h₁ − h₂ − 0,5)
sem ativação, duas camadas valem uma
a ativação dobra o plano

Limiar, aula 10: revisão e apresentação

2 · O curso inteiro

Como a rede aprende

Aula 2: o passo

a derivada aponta para onde a perda cresce
na reta, acima de η = 0,513, diverge

Aula 4: o Jacobiano

a regra da cadeia com vetores
de trás para a frente: 3m² e não 2m³ + m²

Aula 5: a retropropagação

o XOR em 200 passos, perda 0,0359
conferido até 2,8 · 10⁻¹¹

Limiar, aula 10: revisão e apresentação

2 · O curso inteiro

Com dados de verdade

97,59%

de acerto no teste do MNIST, com a rede da aula 6 em NumPy

de diferença entre o NumPy da aula 6 e o PyTorch da aula 7

1,88%

de erro mediano da rede na massa dos múons do CMS, aula 8

Cada número medido uma vez, no teste, com a semente e a versão dos dados registradas.

Limiar, aula 10: revisão e apresentação

3 · A apresentação

Dizer o que entra, o que a rede aprende e o que significa o número que sai

Vale para o projeto, e para qualquer rede, daqui em diante.

Limiar, aula 10: revisão e apresentação

3 · A apresentação

Perguntas que a apresentação deve aguentar

Por que 72 eventos?

Por que float64?

A dimensão 1,62 é a do artigo, 1,66?

O que é cada pixel?

Por que a rede da aula 7 deu granulado?

Como alguém refaz a figura?

Limiar, aula 10: revisão e apresentação

Perguntas que a apresentação deve aguentar, com a resposta que o projeto sustenta.

Por que 72 eventos? Porque o artigo usa tantos exemplos quanto pesos, e a rede tem 72 pesos.

Por que float64? O artigo usa float64. Na janela do zoom do projeto, 256 por 256 treinos, float32 e float64 dão a mesma classe em 98,7% dos pixels, e 80% dos que trocam estão em cima da fronteira: de perto, a fronteira depende do arredondamento, e o zoom fundo pede a precisão maior.

A dimensão 1,62 é a mesma do artigo, 1,66? As duas são compatíveis: nas cinco janelas de dentro do zoom, a dimensão vai de 1,51 a 1,72, uma variação maior que a diferença entre 1,62 e 1,66. É uma estimativa, com janelas escolhidas à mão e caixas de 2 a 16 pixels, e o artigo mediu com outra rede e outros dados.

O que é cada pixel? Um treino inteiro, do zero, com o seu par de taxas.

Por que a rede da aula 7 deu granulado? Porque, na faixa, a perda oscila sem se assentar, e o passo 200 pega cada treino num ponto da oscilação: duas taxas vizinhas, 0,9% uma da outra, caem em classes diferentes.

Como alguém refaz a figura? Com o repositório, a semente, a versão dos dados e o comando ao lado de cada figura, no .json que ela grava.

4 · Depois do MLP

E se o 7 andar dois pixels para o lado?

Cada neurônio do MLP da aula 6 tem 784 pesos, um por pixel: um traço deslocado passa por outros pesos.

Limiar, aula 10: revisão e apresentação

4 · Depois do MLP

A convolução: nove pesos que deslizam

Um 7 do MNIST à esquerda; um filtro de 3 por 3 com menos 1, 0 e 1 em cada linha desliza sobre ele; numa posição, os nove pixels e a soma, 2,60; o mapa de 26 por 26 se enche com as bordas esquerdas em azul e as direitas em laranja; depois, outro filtro acha as bordas de cima e de baixo

Limiar, aula 10: revisão e apresentação

O vídeo usa o primeiro dígito do teste do MNIST, um 7, e um filtro de 3 por 3, nove pesos: −1 na coluna da esquerda, 0 no meio, 1 na direita.

Filtro, no curso, é uma pequena matriz de pesos que desliza sobre a imagem. Em cada posição, a conta é a da aula 1: cada pixel vezes o seu peso, tudo somado. Na posição do vídeo, na borda esquerda do traço, os três pixels da direita somam 0,93 + 0,99 + 1,00 = 2,92 e os da esquerda, 0,23 + 0 + 0,09 = 0,32: a soma é 2,60. Onde o fundo é liso, as duas colunas se cancelam e a soma é perto de zero.

A janela varre as 26 por 26 = 676 posições, e cada soma vira um pixel do mapa: azul onde há tinta à direita, a borda esquerda do traço; laranja na borda direita. Outro filtro, com 1 em cima e −1 embaixo, acha as bordas de cima e de baixo. Os mesmos nove pesos servem em todas as posições: isso é o compartilhar pesos. Numa rede convolucional, o treino escolhe os nove números de cada filtro, pela mesma retropropagação da aula 5. O nome convolução vem da matemática, onde a conta inverte o filtro; a das redes, sem inverter, se chama correlação, mas o nome que ficou foi convolução.

4 · Depois do MLP

A camada convolucional

200.704

pesos na primeira camada do MLP da aula 6, 784 × 256

288

pesos em 32 filtros de 3 por 3, que olham a imagem inteira

As três ideias, no capítulo 6 de Nielsen

campo receptivo local: cada neurônio olha um pedaço
pesos compartilhados: o mesmo filtro em toda posição
pooling: um quadradinho do mapa vira um número só

1980

O neocognitron de Fukushima: pesos compartilhados, sem treino por gradiente.

1989

LeCun e colegas, na Bell Labs: a retropropagação lê códigos postais.

1998

A LeNet-5 da aula 6: 0,95% de erro no MNIST; lia cheques.

Limiar, aula 10: revisão e apresentação

A camada convolucional em números. A primeira camada do MLP da aula 6 tem 784 × 256 = 200.704 pesos. Uma camada convolucional com 32 filtros de 3 por 3 tem 32 × 9 = 288 pesos, mais 32 vieses, e cada filtro olha a imagem inteira, um pedaço de cada vez.

O capítulo 6 do livro de Michael Nielsen resume as redes convolucionais em três ideias: o campo receptivo local, cada neurônio olha um pedaço pequeno da imagem; os pesos compartilhados, o mesmo filtro em toda posição; e o pooling, que resume um quadradinho do mapa num número só, como o maior deles, e encolhe o mapa. No mesmo capítulo, um conjunto de redes convolucionais acerta 99,67% do teste do MNIST, 33 erros em 10 mil, contra os 97,59% do MLP da aula 6.

De onde vem: o neocognitron de Kunihiko Fukushima, de 1980, já tinha camadas de pesos compartilhados, sem retropropagação. Em 1989, Yann LeCun e colegas, na Bell Labs, treinaram uma rede assim pela retropropagação para ler códigos postais escritos à mão. A LeNet-5, de 1998, do mesmo grupo, é a da aula 6, com 0,95% de erro no MNIST, e foi usada para ler cheques.

4 · Depois do MLP

No TileCal: sete amostras, uma soma ponderada

O pulso de referência do TileCal: a altura normalizada sobe de zero a 1 em uns 50 ns, no tempo 0, e desce mais devagar até perto de zero em 100 ns; duas curvas quase iguais, os ganhos alto e baixo

O pulso de referência do TileCal. Figura 2 de ATLAS, 2018, arXiv:1806.02129, CC BY 4.0.

Sᵢ, a amostra i do pulso; aᵢ, o peso dela

uma amostra a cada 25 ns, sete em volta do pico, a quarta no pico
a altura do pulso é proporcional à energia
os pesos saem da forma do pulso e do ruído: calculados, não aprendidos

A conta do neurônio da aula 1, sem a ativação: sete entradas, sete pesos, uma soma.

Limiar, aula 10: revisão e apresentação

O TileCal é o calorímetro de hádrons da região central do ATLAS: telhas de plástico cintilante entre placas de aço, e uns 10 mil fotomultiplicadores que transformam a luz das telhas em sinal elétrico. Calorímetro, na física de partículas, é o detector que mede a energia; no dia a dia, a palavra lembra o aparelho que mede calor, e a raiz é a mesma.

O sinal de cada canal tem a forma do pulso da figura, a de referência, tirada da média dos pulsos no teste em feixe. A eletrônica tira uma amostra a cada 25 ns, no ritmo de 40 MHz do LHC, e guarda sete, em volta do pico, a quarta no pico. A altura do pulso é proporcional à energia depositada.

O filtro ótimo, o método usado no Run 1 e descrito pela colaboração, calcula a amplitude como uma soma ponderada das sete amostras, A = Σ aᵢSᵢ, com os pesos aᵢ escolhidos para a resolução ser a melhor possível diante do ruído eletrônico. A conta é a do neurônio da aula 1, sem a ativação: sete entradas, sete pesos e uma soma. A diferença está nos pesos: no filtro ótimo, eles são calculados a partir da forma do pulso e do ruído; numa rede, seriam aprendidos de exemplos. Essa comparação é do curso, não da colaboração.

A figura é a figura 2 do artigo da colaboração ATLAS de 2018 sobre o TileCal no Run 1, publicado com a licença CC BY 4.0: o eixo vertical é a altura normalizada, o horizontal, o tempo em ns, e as duas curvas são os dois ganhos da eletrônica, alto e baixo, quase iguais.

4 · Depois do MLP

O problema do SIENA

Cardinot, Peralva, Libotte e Luciano, 2026

Redes convolucionais de uma dimensão deslizam sobre as amostras do pulso, contra o filtro ótimo, com pulsos simulados de um canal e de 10% a 100% de ocupação.

≈ 79%

de melhora média no RMS da amplitude, somando as ocupações

O SIENA

A rede acerta nas condições do treino e erra quando elas mudam: outra célula, outro empilhamento.

Levar a rede a outras condições e a outros calorímetros é o projeto: a generalização da aula 1.

Limiar, aula 10: revisão e apresentação

Quando colisões vizinhas se somam ao pulso, o empilhamento, a soma ponderada de pesos fixos erra, porque o pulso deixa de ter a forma de referência. Ocupação, no artigo do grupo, é a probabilidade de um canal receber sinal de uma colisão; quanto maior a ocupação, mais pulsos se empilham.

Em 2026, Diogo Cardinot, Bernardo Peralva, Gustavo Libotte e Luciano Manhães de Andrade Filho compararam o filtro ótimo com redes convolucionais de uma dimensão, que deslizam um filtro sobre as amostras do pulso, como o filtro do vídeo deslizava sobre o 7. Os pulsos vêm de um gerador que simula um canal só, sem a geometria do detector, com ocupação de 10% a 100%. Somando todas as ocupações, as redes melhoraram em uns 79% o RMS da amplitude em relação ao filtro ótimo. A rede de filtro maior foi melhor com ocupação de 80% ou mais; a de camada densa maior, até 50%.

O problema do SIENA é o da aula 1, a generalização: a rede que estima a energia no TileCal acerta nas condições em que foi treinada e erra quando elas mudam, por exemplo quando muda a célula ou o empilhamento. Levar a rede a outras condições e a outros calorímetros é o projeto. É o mesmo tropeço das folhas da aula 1, que caíram de 99,35% para 31% de acerto em fotos de outro tipo.

4 · Depois do MLP

A atenção: cada palavra olha as outras

Cinco palavras, o múon atravessa a câmara, como pontos num plano, com números inventados; à direita, o produto escalar de atravessa com cada uma, os pesos da softmax em barras, e o ponto de atravessa se move para a média ponderada, 0,99 e 1,25

Limiar, aula 10: revisão e apresentação

O vídeo mostra a atenção, a peça central do Transformer, com cinco palavras, "o múon atravessa a câmara", cada uma um vetor de dois números. Os números são inventados para o exemplo; num modelo de verdade, cada palavra é um vetor de centenas ou milhares de números aprendidos no treino.

A palavra "atravessa" se compara com cada uma pelo produto escalar da aula 1, dividido por √2, a raiz do número de coordenadas: 0,47, 0,95, 0,69, 1,07 e 1,52. A softmax da aula 6 vira essas notas em pesos positivos que somam 1: 0,12, 0,19, 0,15, 0,21 e 0,33. A palavra nova é a soma dos vetores das cinco, cada um com o seu peso: (0,99; 1,25), em vez de (0,4; 0,9). Ela mudou com as vizinhas: é o contexto entrando no vetor.

No exemplo, a pergunta, a comparação e o valor usam o mesmo vetor de cada palavra. O Transformer de verdade aprende três matrizes, uma para a pergunta, Q, uma para a chave com que cada palavra é comparada, K, e uma para o valor que ela passa adiante, V. É o treino que decide o que cada palavra pergunta às outras.

4 · Depois do MLP

O Transformer

A, a atenção; Kᵀ, K transposta; d, as coordenadas de cada vetor

“Attention Is All You Need”, 2017: oito autores, então no Google. A peça central dos grandes modelos de linguagem.

o produto escalar

cada pergunta contra cada chave

o produto de matrizes

QKᵀ, todas as comparações de uma vez

a softmax

as notas viram pesos que somam 1

Limiar, aula 10: revisão e apresentação

A atenção numa linha, como no artigo de 2017. Q, K e V são matrizes com uma linha por palavra: a pergunta, a chave e o valor de cada uma. QKᵀ faz todos os produtos escalares de uma vez, uma linha por palavra que pergunta e uma coluna por palavra comparada; a divisão por √d, com d o número de coordenadas, segura o tamanho dos números; a softmax, linha a linha, vira as notas em pesos; e a multiplicação por V faz as médias ponderadas.

Cada peça é do curso: o produto escalar da aula 1, o produto de matrizes da aula 3, a softmax da aula 6. Entre um bloco de atenção e o seguinte, o Transformer tem um MLP, o da aula 3.

De onde vem: "Attention Is All You Need", de 2017, de oito autores, então no Google, Ashish Vaswani e colegas, apresentou o Transformer, sobre o mecanismo de atenção proposto em 2014 por Bahdanau e colegas. É a peça central dos grandes modelos de linguagem, como explica a série do 3Blue1Brown do estudo.

5 · Fechamento

Limiar, os três sentidos

o neurônio

dispara quando a soma passa do limiar: o degrau da aula 1

o treino

a taxa a partir da qual o treino diverge: um ponto, uma faixa, um fractal

a pesquisa

para quem entrou na graduação, o curso é a porta: o projeto e a apresentação

Limiar, aula 10: revisão e apresentação

5 · Fechamento

Para continuar estudando

As redes convolucionais

Nielsen, “Neural Networks and Deep Learning”, capítulo 6

O Transformer

3Blue1Brown, redes neurais, capítulos 5 e 6: o Transformer e a atenção

O calorímetro

Cardinot e colegas, 2026; ATLAS, 2018, o TileCal no Run 1

O projeto

o zoom mais fundo e a dimensão medida com cuidado

Limiar, aula 10: revisão e apresentação

5 · Fechamento

A entrega final e o que fica

Entrega, em 11/12

o repositório de cada um, reproduzível
código, semente, versão dos dados e o .json de cada figura

Depois do curso

o SIENA: a rede do TileCal em outras condições
saber o que a rede aprende, e não só quanto acerta

O material fica

os decks das dez aulas, com as notas
os roteiros, as folhas e o código

Limiar, aula 10: revisão e apresentação