SIENA, NIPS-CERN, UFJF

Limiar

Redes neurais, do neurônio ao fractal

Aula 9: o fractal, pincelado, e o projeto

04/12/2026. C∴ Chrysthofer A. A. Afonso

Uma couve romanesca, verde-clara, sobre fundo cinza: cada broto em espiral repete, menor, a forma da couve inteira

Couve romanesca, um fractal da natureza. Foto de Ivar Leidus, 03/01/2021, Wikimedia Commons, CC BY-SA 4.0.

Limiar, aula 9: o fractal e o projeto

A aula 9 cumpre a promessa da aula 1: desenha o fractal do projeto, com a turma. A pergunta vem da aula 7: lá, com uma taxa só, a fronteira entre o treino que melhora a rede e o que piora ficou quebrada. Aqui, cada camada tem a sua taxa, e a fronteira vira uma figura no plano. O fractal entra pincelado, só o que o projeto precisa: o que é, como aparece quando se repete uma conta e como se mede o quanto uma fronteira é quebrada.

A foto da capa é uma couve romanesca, um fractal da natureza: cada broto repete, em ponto menor, a forma da couve inteira. Foi tirada por Ivar Leidus em 3 de janeiro de 2021 e publicada no Wikimedia Commons com a licença CC BY-SA 4.0. A couve se repete igual a si mesma; a fronteira do treino, que a aula desenha, não se repete e continua quebrada em qualquer escala.

1 · Revisão

O que ficou da aula 8, de memória

O que é a massa invariante, e por que não depende de quem mede?

Por que o histograma tem picos?

Por que as entradas passam pelo asinh antes da rede?

Onde a rede erra mais, e por quê?

Limiar, aula 9: o fractal e o projeto

A revisão é de memória: quatro perguntas sobre a aula 8.

O que é a massa invariante, e por que não depende de quem mede? É a massa da partícula que se desfez nos dois múons, M² = (E₁ + E₂)² − | $\vec{p}$ ₁ + $\vec{p}$ ₂|². Quem anda em relação à colisão mede outras energias e outros momentos, mas a mesma M.

Por que o histograma tem picos? Cada pico é uma partícula: o J/ψ, o Υ e o Z se desfazem em dois múons, e a massa invariante desses eventos se junta perto da massa da partícula, sobre um fundo liso.

Por que as entradas passam pelo asinh antes da rede? Porque a energia e o momento vão de quase zero a centenas de GeV, e a maior parte dos eventos fica perto do zero. O asinh(x/5) comprime os números grandes como um logaritmo, aceita os negativos e espalha os pequenos.

Onde a rede erra mais? No pico do J/ψ, que ela borra, e no Z, onde há poucos exemplos, 364 no treino. A fórmula erra em milionésimos; a rede, em uns 2%.

1 · Revisão

O fio do curso, da aula 1 à 10

O neurônio e o perceptron

um neurônio desenha uma reta, e nenhuma reta separa o XOR

25/09, presencial

Derivada e gradiente

o passo contra a derivada; a taxa grande demais faz o treino divergir

02/10, presencial

Matrizes e camadas

duas camadas separam o XOR, com pesos escolhidos à mão

13/11, on-line

O Jacobiano

a regra da cadeia com vetores, uma camada de cada vez

13/11, on-line

Retropropagação

a regra da cadeia, de trás para a frente, acha os pesos do XOR

13/11, on-line

O MNIST em NumPy

um MLP em 70 mil dígitos escritos à mão, com treino, validação e teste

27/11, on-line

PyTorch

a biblioteca faz a retropropagação; o erro final contra a taxa

27/11, on-line

Os dados do CERN

um MLP estima a massa dos dois múons, conferida pela fórmula

04/12, on-line

O fractal e o projeto

a fronteira entre a taxa que converge e a que diverge

04/12, on-line

A apresentação

a apresentação do projeto e a revisão do curso inteiro

11/12, on-line

Limiar, aula 9: o fractal e o projeto

2 · Repetir uma conta

Uma taxa para cada camada: que figura faz a fronteira?

Na aula 7, com uma taxa só, a fronteira entre melhorar e piorar a rede ficou quebrada entre 3,86 e 7,55.

Limiar, aula 9: o fractal e o projeto

2 · Repetir uma conta

Repetir uma conta: fica perto ou foge

←, recebe: o valor da direita passa a ser o x

∇L, nabla L: o gradiente da perda, o passo da aula 2

x₁

x₂

x₃

x₄

x₅

−1

fica entre −1 e 0

0,25

0,2500

0,3125

0,3477

0,3709

0,3875

chega perto de 0,5

677

foge

Começando em x = 0. O c da conta faz o papel da taxa η: escolhido antes, decide se a conta repetida fica perto ou foge.

Limiar, aula 9: o fractal e o projeto

Antes da rede, uma conta de uma linha. Começa-se em x = 0 e repete-se x ← x² + c: o novo x é o quadrado do velho mais c. A seta ← quer dizer que o valor da direita passa a ser o x; é atribuição, como o = do Python. Iterar, no curso, é isso: repetir a mesma conta usando a saída de um passo como entrada do seguinte.

Com c = −1, o x vai de 0 a −1, volta a 0 e fica alternando: não foge. Com c = 0,25, o x sobe devagar, 0,25, 0,3125, 0,3477, e chega perto de 0,5 sem passar. Com c = 1, o x vai a 1, 2, 5, 26 e não para mais: foge para o infinito.

O treino é a mesma coisa com muitos números. O passo do gradiente descendente da aula 2, $\vec{w}$ ← $\vec{w}$ − η∇L( $\vec{w}$ ), pega os pesos de um passo e devolve os do seguinte; repetido, o treino converge ou diverge. O c da conta faz o papel da taxa η: é o número que se escolhe antes e que decide se a conta repetida fica perto ou foge.

∇L( $\vec{w}$ ), lê-se nabla L, é o gradiente da perda, o vetor das derivadas parciais da aula 2. Em física, nabla também aparece no gradiente de um campo, com o mesmo sentido.

2 · Repetir uma conta

Fica perto ou foge

Quatro retas, uma para c igual a menos 1, 0,25, 0,3 e 1; um ponto pula de passo em passo. Com menos 1 alterna entre 0 e menos 1, com 0,25 chega perto de 0,5, com 0,3 foge no passo 12, com 1 foge no passo 3. Depois a reta dos c pintada: azul de menos 2 a 0,25, laranja fora. No fim, o conjunto de Mandelbrot ao lado do mapa do treino da rede do projeto

Limiar, aula 9: o fractal e o projeto

O vídeo faz a conta para quatro valores de c, ao mesmo tempo, cada um numa reta. O ponto azul é o x de cada passo, e o rastro claro mostra por onde passou.

Com c = −1, o ponto pula entre 0 e −1. Com c = 0,25, anda cada vez menos e se aproxima de 0,5. Com c = 0,3, um pouco maior, anda devagar por 11 passos e, no passo 12, passa de 2 e foge. Com c = 1, foge no passo 3. A diferença entre 0,25 e 0,3 é pequena, e a resposta é outra.

Passar de 2 basta para saber que fugiu: com c entre −2 e 2, um x maior que 2 em tamanho tem x² maior que 2|x|, e cada passo o afasta mais.

Depois, a mesma pergunta para cada c da reta, de −2,5 a 1: azul, onde a conta fica perto; laranja, onde foge. Na reta, a fronteira são dois pontos, −2 e 0,25. Quando o c tem dois números, um ponto do plano, a mesma conta, com a multiplicação dos números complexos, desenha o conjunto de Mandelbrot, e a fronteira vira um fractal. Os números complexos ficam de fora do curso: são uma caixa-preta que recebe dois números e devolve dois. No fim, o mapa do treino da rede do projeto, que esta aula constrói: a conta repetida é o passo do gradiente, e o ponto do plano são as duas taxas.

2 · Repetir uma conta

Fractal, de novo

Fractal: uma figura com detalhe em qualquer escala. Ampliada, continua cheia de detalhe, em vez de virar uma linha lisa.

De onde vem o nome: fractal

Do latim fractus, quebrado. A palavra foi criada por Benoit Mandelbrot em 1975.

Quase nunca igual a si mesmo: a fronteira do treino não repete a figura inteira, e mesmo assim continua quebrada em qualquer escala.

O litoral da Noruega visto de satélite: o mar azul-escuro à esquerda e a costa recortada por fiordes, com ilhas e montanhas nevadas

Fiordes da Noruega. Landsat, NASA, Wikimedia Commons, domínio público.

Limiar, aula 9: o fractal e o projeto

A definição é a da aula 1. Fractal é uma figura com detalhe em qualquer escala: ampliada, continua cheia de detalhe, em vez de virar uma linha lisa. O nome vem do latim fractus, quebrado, e foi criado por Benoit Mandelbrot em 1975.

O Buddhabrot, a capa da aula 1, é o conjunto de Mandelbrot desenhado pelos caminhos dos pontos que fogem. A nota daquela capa dizia que aquele fractal não era o do projeto, que só aparece em dezembro. É este.

A imagem do slide é o litoral da Noruega, com os fiordes, visto de satélite pela NASA, em domínio público. O litoral é o fractal clássico: em 5 de maio de 1967, antes de existir a palavra fractal, Mandelbrot publicou "How long is the coast of Britain?", sobre a ideia, estudada antes por Lewis Fry Richardson, de que o comprimento de um litoral depende do tamanho da régua: quanto menor a régua, mais reentrâncias ela pega, e mais comprido o litoral fica. A contagem de caixas, no fim desta aula, é a mesma ideia.

O vídeo do 3Blue1Brown do estudo da semana passada tem um título que corrige uma ideia comum: os fractais, em geral, não são iguais a si mesmos. A couve da capa, ampliada, repete a forma inteira; o litoral e a fronteira do treino não repetem, e mesmo assim continuam quebrados em qualquer escala. O que os une é o detalhe sem fim, medido pela dimensão, que esta aula conta no fim.

Os processos caóticos costumam gerar fractais, como fronteiras entre as regiões que levam a destinos diferentes. Caótico, no curso, é o processo em que uma diferença minúscula no começo vira uma diferença grande no fim. Na linguagem comum, caos é bagunça; aqui, é uma conta determinada, sem sorteio nenhum, que amplifica as diferenças.

3 · O mapa das duas taxas

A rede do projeto

ŷ, y chapéu: a saída da rede, a estimativa do alvo y

A rede e os dados

8 entradas: E, px, py e pz dos dois múons
8 neurônios com a tanh, sem viés
72 pesos e 72 eventos do CMS
100 passos com todos os exemplos, em float64

No artigo

16 neurônios, 272 exemplos aleatórios
500 passos

Limiar, aula 9: o fractal e o projeto

A rede do projeto é a do artigo de Sohl-Dickstein, menor: 8 entradas, uma camada oculta de 8 neurônios com a tanh, e uma saída, sem viés. As entradas são a energia e as três componentes do momento dos dois múons, $\vec{x}$ com 8 números, padronizadas; a saída é o logaritmo da massa invariante, padronizado. São 64 pesos em W₀ e 8 em W₁, 72 ao todo, e o treino usa 72 eventos do dimuon.csv, sorteados com a semente 0: tantos exemplos quanto pesos, como no artigo.

Os fatores √(2/8) na entrada e 1/8 na saída são a parametrização de campo médio do artigo: uma escala fixa que mantém a soma dos neurônios num tamanho razoável. Não são pesos e não mudam no treino.

A perda é o erro quadrático médio, L, a média de (y − ŷ)² nos 72 eventos. O treino é o gradiente descendente da aula 2 com todos os exemplos a cada passo, 100 passos, em float64, e com duas taxas: η₀ multiplica a derivada em relação a W₀, e η₁, a derivada em relação a W₁. Nada é sorteado durante o treino: o mesmo par de taxas dá sempre o mesmo resultado.

O artigo usa 16 neurônios, 272 exemplos aleatórios e 500 passos. O projeto usa 8, 72 eventos reais e 100 passos, para caber no laptop.

3 · O mapa das duas taxas

Convergiu ou divergiu

v t: a perda no passo t sobre a do começo

⇔, se e só se

A cor diz a rapidez: mais claro, mais depressa a perda caiu ou explodiu.

0,74

convergiu devagar

31,6

0,30

convergiu rápido

158

divergiu

31.623

estoura no passo 42

divergiu

Os quatro treinos do vídeo seguinte; v₉₉ é a perda do último passo sobre a do começo.

Limiar, aula 9: o fractal e o projeto

Cada treino tem de virar uma cor, e a regra é a do notebook do artigo. v_t é a perda no passo t dividida pela perda do começo, L₀: v_t = 1 quer dizer que nada mudou; 0,1, que a perda caiu a um décimo; 1.000, que subiu mil vezes. O treino convergiu se a média de v_t nos 20 últimos passos, de 80 a 99, ficou abaixo de 1: no fim, a perda estava menor que no começo. Senão, divergiu.

A cor de dentro de cada região diz a rapidez. No treino que convergiu, a soma dos v_t: quanto menor, mais depressa a perda caiu, e mais claro o azul. No que divergiu, a soma de 1/v_t: quanto menor, mais depressa a perda explodiu, e mais claro o laranja.

Os quatro treinos do vídeo seguinte, com η₀ e η₁ e a perda final sobre a do começo: η₀ = 1 e η₁ = 1, v = 0,74, convergiu devagar; η₀ = 10 e η₁ = 31,6, v = 0,30, convergiu mais rápido; η₀ = 10 e η₁ = 158, a perda chega a 10²⁰⁹, divergiu; η₀ = 10 e η₁ = 31.623, a perda sobe 82 mil vezes no primeiro passo e passa do maior número do float64 no passo 42, divergiu.

As cores são o azul e o laranja do curso, os dos slides desde a aula 1: azul para convergiu, laranja para divergiu, com todo azul mais claro que todo laranja, para as duas regiões se separarem também em escala de cinza e para quem não distingue vermelho de verde. O projeto/varredura.py pinta assim, e as figuras da aula saem da mesma função.

3 · O mapa das duas taxas

Cada pixel é um treino

À esquerda, o plano das duas taxas em log10, de menos 3 a 6; à direita, a perda passo a passo de quatro treinos, dois que convergem e dois que divergem, cada um virando um quadradinho colorido. Depois o plano se enche com 8 por 8, 16 por 16, até 512 por 512 treinos

Limiar, aula 9: o fractal e o projeto

O vídeo mostra o que é um pixel do mapa. À esquerda, o plano das taxas, com log₁₀ η₀ na horizontal e log₁₀ η₁ na vertical, de −3 a 6: taxas de 0,001 a 1 milhão. O logaritmo entra porque as taxas boas e ruins se espalham por nove ordens de grandeza; log₁₀ η = 2 quer dizer η = 100.

À direita, a perda passo a passo de quatro treinos, dividida pela do começo, em escala logarítmica, com a linha tracejada em 1. Cada treino vira um quadradinho na sua posição, com a cor da regra do slide anterior.

Depois o plano se enche: 8 por 8 treinos, 16 por 16, até 512 por 512, que são 262.144 treinos. A figura fica mais nítida, e a fronteira, mais recortada. No laptop do professor, a janela de 512 por 512 levou 73 segundos, repartida entre 16 processos; com um processo só, como no projeto/varredura.py, a de 256 por 256 leva 85 segundos.

3 · O mapa das duas taxas

O mapa inteiro: 262.144 treinos

O mapa das duas taxas, de 0,001 a 1 milhão: azul embaixo e à esquerda, laranja em cima e embaixo à direita, com a fronteira de cima recortada

Converge

as duas taxas pequenas: azul, embaixo e à esquerda

Diverge

η₁ acima de uns 20 a 80, em cima; η₀ acima de uns 4.000 com η₁ pequena, embaixo à direita

A fronteira de cima

de longe, quase reta; de perto, recortada

Limiar, aula 9: o fractal e o projeto

O mapa da janela inteira, com as taxas de 0,001 a 1 milhão nas duas camadas, e 512 por 512 treinos.

Embaixo e à esquerda, o azul: taxas pequenas, o treino converge. O azul mais escuro, à esquerda, é o treino lento: com η₀ pequena, a camada de entrada quase não anda. Em cima, o laranja: com η₁ acima de uns 20 a 80, o treino explode, qualquer que seja η₀. Embaixo à direita, outro laranja: com η₀ acima de uns 4.000 e η₁ abaixo de uns 0,1, também.

A fronteira de cima é a mais interessante. À direita, de perto, é recortada, com pontos azuis no meio do laranja e o contrário: é dela que sai o zoom.

À esquerda, ela é quase reta, e aqui a conta da aula 2 explica. Com η₀ muito pequena, a camada de entrada quase não anda, e só a de saída treina: o treino é a regressão linear da aula 2 sobre as saídas fixas da camada oculta, e a perda é uma tigela. O passo diverge acima de η₁ = 2/λ, com λ o maior autovalor da hessiana da perda, a mesma conta do limiar 0,513 da reta. Aqui, λ = 0,0388, e o limiar é 51,5: no mapa, logo acima, em η₁ ≈ 52, há uma linha fina de treinos que divergem. Hessiana é a matriz das derivadas segundas da perda; na aula 2 ela entrou como caixa-preta, e aqui dá o número.

Acima da linha, até η₁ ≈ 79, outra faixa azul: a perda explode e volta. Com η₁ = 70, ela sobe a 2.291 e termina em 0,82. Na explosão, o gradiente fica tão grande que a camada de entrada se mexe, 35% dos pesos, mesmo com η₀ = 0,001, e o maior autovalor cai para 0,0231, abaixo de 2/70: o passo deixa de explodir, e o treino converge. Com η₁ = 80, a explosão vence, e o treino diverge.

O artigo observa que nem toda parte da fronteira é fractal: com só a camada de saída treinando, ela é lisa e tem fórmula. É a parte da esquerda.

3 · O mapa das duas taxas

A rede da aula 7 no plano

À esquerda, o plano das duas taxas da rede da aula 7, de 0,01 a 316, no passo 200: azul-claro embaixo, onde a perda voltou abaixo da de antes do treino, laranja numa faixa larga, em trânsito, e marrom no alto, onde o treino explodiu, com a diagonal tracejada e um quadrado preto na borda da faixa; à direita, a perda de duas taxas vizinhas por 600 passos, uma sempre acima da perda de antes e a outra oscilando em volta dela

Na faixa, a perda oscila sem se assentar: no passo 200, taxas vizinhas caem em classes diferentes.

Limiar, aula 9: o fractal e o projeto

A aula 7 achou, entre 3,86 e 7,55, uma faixa em que taxas vizinhas dão respostas diferentes, melhora ou piora, e deixou para esta aula a causa da mistura. Aqui, a rede pequena da aula 7, 784 entradas, 16 neurônios com a tanh e 10 saídas, nos 256 primeiros exemplos do MNIST, sem lotes, ganha uma taxa por camada. A taxa única da aula 7 é a diagonal tracejada, η₀ = η₁.

À esquerda, o plano de 0,01 a 316, com 128 por 128 treinos de 200 passos, como na aula 7. Cada pixel fica numa de três classes no passo 200: voltou, a perda abaixo da de antes do treino, 2,32, o "melhorou a rede" da aula 7; em trânsito, a perda ainda acima dela; explodiu, a perda passou de 1.000 em algum passo. Voltaram 68% dos treinos, estão em trânsito 20% e explodiram 12%. A diagonal cruza a borda da faixa laranja perto de η = 4 a 8, onde a aula 7 achou a mistura.

À direita, a causa do granulado, em duas taxas vizinhas do quadrado preto, a segunda 0,9% maior que a primeira, treinadas por 600 passos. A perda das duas salta da inicial para dezenas nos primeiros passos e depois fica oscilando, sem se assentar: a de η₀ = 5,93 acima da perda de antes o tempo todo, a de η₀ = 5,99 em volta dela, abaixo pela primeira vez no passo 145. No passo 200, a primeira está em trânsito e a segunda voltou. Na mesma linha, de seis taxas vizinhas, três ficam abaixo pela primeira vez nos passos 145, 269 e 325, e três não ficam até o passo 600. A classe num passo fixo depende de onde a oscilação de cada treino está naquele passo, e isso muda sem ordem de uma taxa para a vizinha: é o granulado.

Mais passos não desfazem os grãos. No quadrado preto, η₀ de 3,98 a 12,6 e η₁ de 3,55 a 11,2, com 128 por 128 treinos de 600 passos, voltaram 34% no passo 200, 40% no 400 e 43% no 600, e os pares de pixels vizinhos em classes diferentes foram de 15,5% para 18,5%. Nas 601 taxas da diagonal, as da figura do zoom da aula 7, as que pioram a rede caem de 375 no passo 200 para 345 no 600, e a resposta continua trocando entre vizinhas, 81 vezes.

A oscilação muda sem ordem porque o treino, nessa faixa, é caótico: uma diferença minúscula no começo cresce até mudar o resultado. Com η = 5, a conta da aula 7 dá 11,13 de perda final, e a mesma conta com as somas em outra ordem, a do programa desta aula, 14,99; a diferença começa na 16ª casa decimal. Pelo mesmo motivo, no passo 200 o programa desta aula conta 375 taxas da diagonal que pioram a rede, e o da aula 7, 383.

A regra do artigo, a média da perda nos 20 últimos passos abaixo da do começo, dá a mesma classe que "voltou" em 99,3% dos pixels: neste mapa, a fronteira do artigo é a mesma faixa granulada.

4 · O zoom e a dimensão

O zoom na fronteira

O mapa das duas taxas amplia seis vezes seguidas, cada janela quatro vezes menor, até 1.024 vezes; a fronteira continua com filamentos, redemoinhos e ilhas. Ao lado, o aumento e o intervalo das duas taxas

Limiar, aula 9: o fractal e o projeto

O vídeo amplia a fronteira de cima seis vezes seguidas, cada janela quatro vezes menor que a anterior, até 1.024 vezes. Cada janela é um mapa novo, de 512 por 512 treinos, calculado do zero; o quadrado preto marca onde fica a seguinte. Ao lado, o aumento e as taxas da janela: na última, η₀ vai de 11,97 a 12,22 e η₁ de 46,46 a 47,41.

Em nenhuma escala a fronteira vira uma linha lisa: aparecem filamentos, redemoinhos e ilhas de uma cor dentro da outra. É o que define um fractal. Os centros das janelas foram escolhidos à mão, olhando cada mapa, como o próprio artigo diz que fez.

Mil vezes são três ordens de grandeza. O artigo foi muito mais longe: sequências de uns 50 mapas, cada um com o dobro do aumento do anterior, e a fronteira continuou fractal por mais de dez ordens de grandeza, até onde o float64 deixa de distinguir taxas vizinhas.

As cores de cada janela se ajustam ao próprio mapa, como no artigo: o mesmo azul pode ser rápido numa janela e lento na outra. A troca de convergiu para divergiu é a mesma em todas.

4 · O zoom e a dimensão

Seis janelas, uma dentro da outra

Seis mapas em duas linhas de três: a janela inteira e cinco zooms de 4, 16, 64, 256 e 1.024 vezes, cada um com o quadrado da janela seguinte; filamentos e redemoinhos aparecem a partir da janela 3

Limiar, aula 9: o fractal e o projeto

4 · O zoom e a dimensão

A dimensão pela contagem de caixas

N(s): as caixas de lado s que a figura toca; ∝, proporcional a

A dimensão d é a inclinação da reta.

a linha

caixa pela metade, 2 vezes mais caixas

a área

caixa pela metade, 4 vezes mais caixas

1 a 2

a fronteira fractal

entre uma e outra

Limiar, aula 9: o fractal e o projeto

Dimensão, aqui, é um número que diz o quanto uma figura enche o plano. A ideia é a contagem de caixas. Corta-se a imagem numa grade de caixas de lado s e contam-se as caixas que a figura toca, N(s). Depois, corta-se a caixa pela metade e conta-se de novo.

Uma linha toca 2 vezes mais caixas quando s cai pela metade: N ∝ (1/s)¹. Uma área, 4 vezes: N ∝ (1/s)². O símbolo ∝, lê-se proporcional a, quer dizer igual a menos de um fator fixo. O expoente d de N ∝ (1/s)^d é a dimensão. Numa fronteira fractal, ele fica entre 1 e 2: quebrada demais para ser linha, magra demais para ser área.

Tirando o logaritmo, log N = d log(1/s) + constante: os pontos (log(1/s); log N) caem numa reta, e d é a inclinação. É a conta de caixas() e dimensao() em codigo/fractal.py, com caixas de 2, 4, 8 e 16 pixels.

Na física e na geometria, dimensão costuma ser o número de direções independentes, 1 na linha, 2 no plano, 3 no espaço, sempre inteiro. A contagem de caixas dá o mesmo número para essas figuras e dá números quebrados para as fractais.

4 · O zoom e a dimensão

Contar caixas

Uma diagonal e um quadrado cobertos por grades cada vez mais finas: a diagonal toca 4, 8 e 16 caixas, o quadrado 4, 16 e 64. Depois, a fronteira da janela 3 do zoom com caixas de 16, 8, 4 e 2 pixels, e os quatro pontos num gráfico em escala logarítmica, sobre uma reta de inclinação 1,68

Limiar, aula 9: o fractal e o projeto

O vídeo faz a contagem. Primeiro, para calibrar: uma diagonal de 512 pixels toca 4, 8 e 16 caixas de 128, 64 e 32 pixels, sempre o dobro; um quadrado cheio de 256 pixels toca 4, 16 e 64, sempre o quádruplo.

Depois, a fronteira da janela 3 do zoom, 64 vezes ampliada: os pixels que têm um vizinho do outro lado, convergiu de um lado e divergiu do outro. Com caixas de 16, 8, 4 e 2 pixels, ela toca 836, 2.795, 9.018 e 27.260 caixas. Cada vez que a caixa cai pela metade, a contagem sobe umas 3,2 vezes: 2^1,68. A inclinação da reta é 1,68, a dimensão da fronteira nessa janela.

As caixas de 32 e 64 pixels ficaram de fora da reta: nessa janela, quase todas tocam a fronteira, a contagem para de crescer e a reta entortaria. O pixel sozinho também: nele, a conta mede a espessura do desenho, não a fronteira.

4 · O zoom e a dimensão

A dimensão da fronteira

janela

aumento

dimensão

1 ×

1,39

4 ×

1,51

16 ×

1,57

64 ×

1,68

256 ×

1,66

1.024 ×

1,72

Caixas de 2, 4, 8 e 16 pixels, em mapas de 512 por 512.

1,62

a mediana das seis janelas, com os múons do CMS

1,66

no artigo: tanh, lote completo, dado aleatório

Perto de 1,6, entre a linha e a área. A diferença para o artigo, 0,04, é menor que a variação entre as janelas.

Limiar, aula 9: o fractal e o projeto

A mesma conta nas seis janelas do zoom. A dimensão sobe da janela inteira para as de dentro: 1,39, 1,51, 1,57, 1,68, 1,66 e 1,72. Na janela inteira, boa parte da fronteira é a linha quase reta da esquerda, que não é fractal, e puxa o número para perto de 1. Nas janelas de dentro, a fronteira é toda quebrada.

O artigo estima a dimensão como a mediana das estimativas de todos os mapas de um zoom. Aqui, a mediana das seis é 1,62. O artigo, com a tanh, o lote completo e dado aleatório, mede 1,66; com a ReLU, 1,20; numa rede linear, 1,17; com um exemplo só, 1,41; com lotes de 16, 1,55.

O número depende das janelas escolhidas à mão, dos tamanhos de caixa e da resolução, e a variação de uma janela para outra dá a ordem dessa incerteza: de 1,51 a 1,72 nas cinco janelas de dentro. O artigo usa outra ferramenta, a contagem de caixas da biblioteca PoreSpy, e 50 mapas por zoom. A fronteira dos múons tem dimensão perto de 1,6, entre a linha e a área. A diferença para o 1,66 do artigo, 0,04, é menor que a variação entre as janelas: os dois números são compatíveis, com outra rede e outros dados.

5 · De onde vem

Da conta repetida ao treino

1918

Gaston Julia publica o estudo do que acontece quando se repete uma conta como z² + c.

1978

Robert Brooks e Peter Matelski desenham pela primeira vez o conjunto de Mandelbrot.

1980

Benoit Mandelbrot obtém imagens de alta qualidade do conjunto, na IBM.

2024

Jascha Sohl-Dickstein mostra que a fronteira das taxas que treinam é fractal.

A figura do artigo de Sohl-Dickstein: um zoom na fronteira da rede com a tanh, com redemoinhos azuis, verdes, vermelhos e amarelos

Figura 1 do artigo: a rede com a tanh e o lote completo, dimensão 1,66. Jascha Sohl-Dickstein, 2024, arXiv:2402.06184, CC BY 4.0.

Limiar, aula 9: o fractal e o projeto

A conta repetida tem mais de cem anos. Em 1918, Gaston Julia publicou, aos 25 anos, o Mémoire sur l'itération des fonctions rationnelles, 199 páginas sobre o que acontece quando se repete uma conta como z² + c; Pierre Fatou trabalhou no mesmo problema, na mesma época. Sem computador, as figuras ficaram na imaginação.

Em 1975, Benoit Mandelbrot criou a palavra fractal. Em 1978, Robert Brooks e Peter Matelski definiram e desenharam pela primeira vez o conjunto que hoje leva o nome de Mandelbrot, num estudo de grupos de Klein. Em 1980, Mandelbrot obteve imagens de alta qualidade do conjunto no centro de pesquisa Thomas J. Watson, da IBM.

Em 9 de fevereiro de 2024, Jascha Sohl-Dickstein publicou no arXiv "The boundary of neural network trainability is fractal", três páginas: a fronteira entre as taxas que treinam e as que não treinam é fractal em todas as configurações que testou. A imagem do slide é a da figura 1 do artigo, a rede com a tanh e o lote completo, de dimensão 1,66, publicada com a licença CC BY 4.0.

O artigo também diz por que isso importa: as melhores taxas costumam ficar perto da borda da instabilidade, e quem as procura anda em cima de um fractal. É o que a aula 7 já tinha visto, com a melhor taxa logo antes da região em que o treino piora.

6 · O projeto

Com os dados do CMS, quase a mesma paisagem

Dois mapas das duas taxas lado a lado, com 256 por 256 treinos: à esquerda, dado aleatório, à direita, 72 eventos do CMS; os dois com azul embaixo, laranja em cima e embaixo à direita, e a fronteira de cima perto de 10 a 80

A pergunta do projeto: a fronteira com dados reais continua fractal, e qual é a dimensão dela?

Limiar, aula 9: o fractal e o projeto

O projeto refaz o artigo com dados reais. A pergunta: com 72 eventos de dois múons do CMS no lugar do dado aleatório, a fronteira continua fractal, e qual é a dimensão dela?

A figura compara as duas janelas inteiras, com a mesma rede, os mesmos pesos iniciais e 256 por 256 treinos. À esquerda, entradas e alvos sorteados de uma normal, como no artigo; à direita, os 72 eventos. A paisagem é quase a mesma: o azul embaixo, o laranja em cima e embaixo à direita, a fronteira de cima perto de log₁₀ η₁ = 1,2 a 1,9. Com os múons, a região que diverge embaixo à direita começa um pouco mais acima, em η₁ perto de 0,1, e a de cima tem uma faixa mais clara acima de η₁ = 10⁵.

A resposta da primeira parte já está no zoom desta aula: com os múons, a fronteira é fractal até mil vezes de aumento, com dimensão perto de 1,6. O que falta ao projeto é ir mais fundo, com mais janelas e mais resolução, e medir a dimensão com cuidado.

6 · O projeto

O custo: cada pixel é um treino

mapa

treinos

tempo

128 × 128

16.384

3,6 s

16 processos

256 × 256

65.536

85 s

1 processo, como no varredura.py

512 × 512

262.144

73 s

16 processos

4.096 × 4.096

16.777.216

≈ 78 min

estimativa: 64 vezes a de 512

No laptop de cada um

a janela inteira em 128 por 128

No PC do laboratório

as janelas grandes e o zoom fundo

Tempos no laptop do professor, bem mais forte que o dos alunos.

Limiar, aula 9: o fractal e o projeto

Cada pixel é um treino de 100 passos, e o custo cresce com o número de pixels: dobrar o lado da imagem quadruplica a conta.

Medido no laptop do professor, com 16 processos: 128 por 128, 16.384 treinos, 3,6 segundos; 512 por 512, 262.144 treinos, 73 segundos. Com um processo só, como o projeto/varredura.py roda, 256 por 256 levou 85 segundos. A janela do tamanho do artigo, 4.096 por 4.096, tem 16.777.216 treinos: 64 vezes a de 512, perto de 78 minutos no mesmo laptop, uma estimativa pela proporção, não medida. O artigo fez uns 50 mapas desse tamanho para cada zoom.

O laptop do professor é bem mais forte que o dos alunos, e o tempo dele não vale para a turma. No laptop de cada um, a varredura fica em 128 por 128. As janelas grandes e o zoom fundo vão para o PC do laboratório, o Dell Aurora R15 com o Core i9-13900K e a GeForce RTX 4070 Ti, acessado pelo Chrome Remote Desktop.

Conta pesada não se repete à toa: cada mapa sai com um .npy, a imagem em números, e um .json com a semente, a janela, a resolução, o SHA-256 do arquivo de dados e o tempo. A figura se refaz do .npy, sem treinar.

6 · O projeto

O código

perda_e_gradientes: a rede escrita para ler, uma de cada vez

treinar: a mesma conta para milhares de redes, uma por par de taxas

medida: cada treino vira um número, convergiu ou divergiu, e a rapidez

--conferir: o gradiente contra a derivada numérica, antes de qualquer imagem

fractal.py: os pixels repartidos entre os núcleos do processador

projeto/varredura.py

X, y = carregar_muons(72, 0)

perdas = treinar(X, y, W0, W1,

taxa0, taxa1, 100)

V = medida(perdas)

Antes de qualquer imagem

python projeto/varredura.py --conferir

Limiar, aula 9: o fractal e o projeto

O código do projeto está em projeto/varredura.py, e o desta aula, em codigo/fractal.py, que só o chama.

perda_e_gradientes é a rede escrita para ser lida: a passada para a frente, a perda e a retropropagação da aula 5, para uma rede só. treinar faz a mesma conta para milhares de redes de uma vez, uma por par de taxas, reorganizada em multiplicações de matrizes grandes. medida resume cada treino num número, com a regra do notebook do artigo.

Antes de qualquer imagem, python projeto/varredura.py --conferir confere as duas versões: o gradiente bate com a derivada numérica, a diferença central da aula 4, até a décima casa, e um passo da versão rápida dá a mesma perda que a de leitura. Conta que não se confere não vira figura.

fractal.py reparte os pixels entre os núcleos do processador: cada processo treina um pedaço com a função treinar do projeto. O mapa de 256 por 256 que sai dele é igual, pixel a pixel, ao do projeto, feito com um processo só.

6 · O projeto

Cinco etapas, feitas pela turma inteira

A rede e a conferência

o --conferir explicado

A varredura

a janela inteira e as grandes, com o .json

As imagens

as figuras finais, legíveis em cinza

O zoom e a dimensão

a sequência de janelas e a contagem de caixas

Os dados e a história

o CMS, o artigo e o fio da apresentação

Limiar, aula 9: o fractal e o projeto

O projeto se faz junto, pela turma inteira, em cinco etapas, uma depois da outra, como se trabalha no CERN.

A conferência da rede: rodar o --conferir, entender o que ele confere e saber explicar por que o gradiente da versão rápida é o mesmo da versão de leitura. Sem ela, nenhuma imagem vale.

A varredura: a janela inteira em 128 por 128 no laptop de cada um, e as janelas grandes no PC do laboratório, cada uma com o .json ao lado.

As imagens: as figuras finais, com os eixos em log₁₀ da taxa, a vírgula decimal, a legenda fora dos dados e as cores do curso, que se separam em cinza.

O zoom e a dimensão: a sequência de janelas na fronteira, mais funda que a desta aula, e a dimensão de cada uma pela contagem de caixas.

Os dados e a história: o que é o dimuon.csv, quais são os 72 eventos, o que é o CMS, o que o artigo fez e o que o projeto muda; é o fio da apresentação.

Cada etapa usa o que a anterior entregou, e todos passam por todas: na apresentação, qualquer um explica qualquer parte.

6 · O projeto

A apresentação da aula 10, como um artigo curto

A pergunta: com dados do CMS, a fronteira é fractal? Qual a dimensão?

O método: a rede, os dados, o treino, a regra e as cores

Os resultados: a janela, o zoom e a dimensão, com a incerteza

A comparação com o artigo: o que bate e o que não bate

Os limites, ditos como tal: as janelas e as caixas

Como refazer: a semente, os dados e o comando de cada figura

Limiar, aula 9: o fractal e o projeto

7 · Fechamento

Para estudar e entregar

Estudo

a apresentação da aula 10
Sohl-Dickstein, 2024, “The boundary of neural network trainability is fractal”, três páginas

Entrega, até 11/12

as imagens finais do projeto
a apresentação pronta, no repositório

A seguir

aula 10: a apresentação do projeto
e a revisão do curso inteiro

Limiar, aula 9: o fractal e o projeto