SIENA, NIPS-CERN, UFJF

Limiar

Redes neurais, do neurônio ao fractal

Aula 1: o neurônio e o perceptron

25/09/2026. C∴ Chrysthofer A. A. Afonso

Buddhabrot: o conjunto de Mandelbrot desenhado pelos caminhos dos pontos que fogem. Imagem: Johann Korndoerfer, Wikimedia Commons, CC BY 3.0 DE

Limiar, aula 1: o neurônio e o perceptron

1 · Revisão

O que ficou da aula de quarta

O que é um modelo?

O que é treinar?

O que é a função de perda?

Por que as redes só deram certo depois de 2012?

Limiar, aula 1: o neurônio e o perceptron

2 · Como o curso funciona

Limiar: o nome do curso

Limiar

do latim liminaris, relativo à soleira da porta: o ponto em que se passa de um lado para o outro, e também o começo de alguma coisa.

Neurônio

o neurônio artificial dispara quando a soma das entradas passa de um limiar

Projeto

o projeto de dezembro desenha o limiar entre o treino que dá certo e o que explode

Pesquisa

para quem acabou de entrar na graduação, o curso é o limiar da pesquisa

Limiar, aula 1: o neurônio e o perceptron

2 · Como o curso funciona

O projeto de dezembro

Dados reais do CMS, um dos detectores do CERN.

A mesma rede, treinada milhares de vezes, com taxas de aprendizado diferentes.

Um mapa de onde o treino dá certo e de onde explode.

Duas fotos de câmara de nuvens com uma placa de metal no meio: o rastro de um múon atravessa a placa em cada uma

À esquerda, o CMS, um dos quatro grandes detectores do LHC, no CERN; foto de Vineet Menon, CC BY-SA 2.0. À direita, múons numa câmara de nuvens; foto antiga, autor não identificado. As duas do Wikimedia Commons.

De onde vem o nome: fractal

do latim fractus, quebrado; nome criado por Benoit Mandelbrot em 1975, como a figura da capa.

Limiar, aula 1: o neurônio e o perceptron

O projeto final vem do artigo de Jascha Sohl-Dickstein, de 2024, "The boundary of neural network trainability is fractal". A mesma rede pequena é treinada milhares de vezes, cada vez com um par de taxas de aprendizado, uma para cada camada. A taxa de aprendizado é o tamanho de cada correção dos pesos. Cada par vira um ponto de um mapa, pintado conforme o treino convergiu ou divergiu, e no artigo a fronteira entre as duas regiões é fractal.

O artigo usou dados aleatórios. O projeto usa eventos reais de dois múons registrados pelo CMS em 2010, públicos no portal de dados abertos do CERN. O múon é uma partícula elementar parecida com o elétron: a mesma carga e cerca de 207 vezes a massa. O nome do CMS, sigla de Compact Muon Solenoid, junta três coisas: o detector é relativamente compacto, detecta múons e é construído em volta de um solenoide, uma bobina que gera campo magnético quando passa corrente. A figura do projeto fica fora desta aula de propósito.

A foto ao lado do CMS mostra múons de raio cósmico, criados quando partículas vindas do espaço batem na atmosfera, numa câmara de nuvens: uma caixa fechada com vapor de água ou de álcool a ponto de condensar. A partícula carregada arranca elétrons das moléculas do gás pelo caminho, e o vapor condensa em gotículas em volta desses íons, as moléculas que perderam elétrons; o rastro fica visível por alguns segundos. O físico escocês Charles Thomson Rees Wilson inventou a câmara no começo do século 20, e foi com câmaras assim que Carl Anderson descobriu o pósitron, o elétron de carga positiva, em 1932, e, com Seth Neddermeyer, o múon, em 1936.

Na foto, uma placa de metal corta a câmara ao meio. Pela legenda da Wikipedia, à esquerda o múon cruza a placa quase sem desvio; à direita, perde energia na placa e sai com o rastro mais curvo, porque a câmara fica num campo magnético. Pela massa maior, o múon freia muito menos que o elétron e penetra fundo na matéria: os múons de raio cósmico chegam ao chão e até ao fundo de minas. Por isso as câmaras de múons do CMS ficam na parte de fora do detector, onde o múon é a única partícula que costuma deixar um sinal claro. Pelo aspecto, a foto é o escaneamento de uma impressão antiga; o autor não foi identificado.

Fractal é uma figura com detalhe em qualquer escala. O nome vem do latim fractus, quebrado, e foi criado por Benoit Mandelbrot em 1975.

2 · Como o curso funciona

Como é cada semana

O NIPS-CERN, o laboratório da UFJF que participa do ATLAS, no CERN

Revisão falada

15 minutos no começo de cada aula

Seminário

o estudo da semana e o código, linha a linha

Entrega

o código no GitHub e uma pergunta, até a sexta

Colaboração

o trabalho final dividido na turma, como no CERN

Limiar, aula 1: o neurônio e o perceptron

3 · Aprender com dados

Como escrever um programa que reconhece um 7 escrito à mão?

Dígitos do MNIST escritos à mão, de 0 a 9, dezesseis de cada

Dígitos do MNIST, escritos à mão por funcionários do censo dos Estados Unidos e por estudantes. Imagem: Josef Steppan, Wikimedia Commons, CC BY-SA 4.0

Limiar, aula 1: o neurônio e o perceptron

3 · Aprender com dados

Aprender a partir de exemplos

Exemplo rotulado

uma entrada e a resposta certa para ela

Aprendizado supervisionado

aprender a partir de exemplos rotulados, comparando o que a máquina respondeu com o que devia ter respondido

Padrão

uma regularidade que se repete nos dados. Uma rede neural é uma máquina de achar padrões

Limiar, aula 1: o neurônio e o perceptron

3 · Aprender com dados

A mesma ferramenta, dados diferentes

99,35%

de acerto em fotos de folhas, com 38 classes

Mohanty, Hughes e Salathé, 2016

Planeta passando na frente da estrela e a queda no brilho

Kepler-90 i

um planeta achado por uma rede no brilho das estrelas

Shallue e Vanderburg, 2018

Calorímetro

a amplitude do pulso, estimada em sinais simulados

Diogo, Bernardo, Gustavo e Luciano, do NIPS-CERN, 2026

Imagens do Wikimedia Commons: Scot Nelson, CC0; NASA, domínio público; Argonne, CC BY-SA 2.0

Limiar, aula 1: o neurônio e o perceptron

Três áreas, a mesma ferramenta.

Agricultura: Mohanty, Hughes e Salathé, em 2016, treinaram uma rede com 54.306 fotos de folhas de 14 culturas, sadias ou com uma de 26 doenças, 38 classes ao todo. Ela acertou 99,35% das fotos de teste.

Astronomia: o telescópio espacial Kepler mediu o brilho de milhares de estrelas. Quando um planeta passa na frente da estrela, o brilho cai um pouco. Shallue e Vanderburg, em 2018, treinaram uma rede para reconhecer essa queda, e ela achou dois planetas novos. Um deles, Kepler-90 i, é o oitavo da estrela Kepler-90, o mesmo número de planetas do Sistema Solar.

Física: aqui no NIPS-CERN, Diogo, Bernardo, Gustavo e Luciano mostraram em 2026 que redes convolucionais estimam a amplitude do pulso, proporcional à energia, em sinais simulados de calorímetro, errando de modo geral menos que o filtro ótimo, o método usado hoje.

3 · Aprender com dados

99,35%

31%

A mesma rede das folhas, testada em fotos de outras fontes, achadas na internet.

Generalização: acertar em dado que a rede nunca viu. É o problema do SIENA.

Limiar, aula 1: o neurônio e o perceptron

O slide anterior terminou em 99,35%. Este começa por uma pergunta: o que acontece quando a mesma rede vê fotos de outro tipo?

As 54.306 fotos de treino, do banco PlantVillage, foram tiradas em condições controladas: uma folha só, virada para cima, sobre fundo homogêneo. Mohanty, Hughes e Salathé buscaram então fotos de folhas doentes na internet, no Bing e no banco IPM Images, conferiram uma a uma e montaram dois conjuntos pequenos, de 121 e de 119 imagens, tiradas em condições diferentes das do treino. Pela descrição das fotos de treino, a diferença está no fundo, na luz e no enquadramento; isso é dedução, o artigo só diz condições diferentes. A melhor rede acertou 31,40% no primeiro conjunto e 31,69% no segundo: pouco mais de um acerto em três, com 38 classes.

A pergunta para a turma: por que a mesma rede caiu de 99% para 31%? A resposta que se quer ouvir: a rede aprendeu o tipo de foto junto com a doença, o fundo, a luz, o enquadramento, e quando o tipo de foto mudou, o que ela aprendeu deixou de servir. Os autores dizem que mais dados, e mais variados, devem bastar para o acerto subir.

Generalização é acertar em dado que a rede nunca viu. Os 99,35% já eram em fotos que a rede não viu no treino, separadas para o teste, mas do mesmo tipo; os 31% são em fotos de outro tipo. Generalizar bem dentro do tipo de dado do treino e mal fora dele é o comportamento comum, e por isso a origem do dado de teste importa tanto quanto o número que sai.

É o problema do SIENA: a rede que estima a energia no TileCal acerta nas condições em que foi treinada e erra quando elas mudam, por exemplo quando muda a célula ou o empilhamento, os sinais de colisões vizinhas que se somam ao pulso. Levar a rede a outras condições e a outros calorímetros é o projeto, e é o motivo de o curso começar pelo neurônio: saber o que a rede aprende, e não só quanto ela acerta.

4 · O neurônio artificial

De onde vem o neurônio artificial

1943

McCulloch e Pitts

o neurônio de conta: soma ponderada e limiar

McCulloch estudava o cérebro; Pitts, lógica

1958

Rosenblatt

o perceptron, o primeiro neurônio que aprende os próprios pesos

psicólogo, 1928 a 1971; a Marinha dos Estados Unidos pagou a máquina

1969

Minsky e Papert

o livro Perceptrons mostra os limites de um neurônio sozinho

a pesquisa em redes neurais encolhe nos anos 1970

1986

Rumelhart, Hinton e Williams

a retropropagação, que chega na aula 5

Hinton dividiu o Nobel de Física de 2024 com John Hopfield

Limiar, aula 1: o neurônio e o perceptron

Quatro datas contam a história.

1943: Warren McCulloch, que estudava o cérebro, e Walter Pitts, que estudava lógica, publicaram o neurônio de conta, uma soma ponderada das entradas com disparo acima de um limiar. Os pesos eram fixos, e aquele neurônio não aprendia.

1958: Frank Rosenblatt, psicólogo, juntou ao neurônio uma regra que corrige os pesos a cada erro: o perceptron. Rosenblatt viveu de 1928 a 1971 e morreu no dia em que fazia 43 anos, num acidente de barco.

1969: Marvin Minsky e Seymour Papert publicaram o livro Perceptrons, que mostra com rigor o que um neurônio sozinho não consegue fazer. O livro costuma ser apontado como uma das causas do encolhimento da pesquisa em redes neurais nos anos 1970.

1986: David Rumelhart, Geoffrey Hinton e Ronald Williams mostraram, na Nature, como treinar redes de várias camadas: a retropropagação, assunto da aula 5. Hinton dividiu o Nobel de Física de 2024 com John Hopfield, por descobertas que permitem o aprendizado de máquina com redes neurais artificiais.

4 · O neurônio artificial

A inspiração: o neurônio de verdade

Desenho de Cajal de células do cerebelo de pombo, com os ramos dos dendritos

Santiago Ramón y Cajal, neurocientista espanhol, Nobel de Fisiologia ou Medicina de 1906: células do cerebelo de pombo, desenho de 1899. Domínio público.

O neurônio recebe sinais de outras células pelos dendritos, os ramos do desenho.

Quando o estímulo acumulado passa de um limiar, ele dispara um sinal pelo axônio.

Ou dispara por inteiro, ou não dispara: tudo ou nada.

O neurônio artificial copia só essa ideia: somar as entradas e disparar acima de um limiar.

Limiar, aula 1: o neurônio e o perceptron

4 · O neurônio artificial

Vetor, produto escalar e somatório

Vetor

no curso, uma lista ordenada de n números reais

o vetor das entradas é a lista x₁, x₂, até xₙ, e pertence a ℝⁿ, o conjunto das listas de n números reais

Produto escalar

multiplica termo a termo e soma

Somatório

a mesma soma, escrita curta; Σ é o sigma grego, de soma

somatório, de k igual a 1 até n, de wₖ vezes xₖ

O neurônio

um produto escalar mais o viés b

Limiar, aula 1: o neurônio e o perceptron

Vetor, no curso, é uma lista ordenada de n números reais. As entradas do neurônio formam o vetor $\vec{x}$ = (x₁, x₂, …, xₙ), e os pesos, o vetor $\vec{w}$ = (w₁, w₂, …, wₙ). Nos slides, vetor vem com uma seta em cima e número solto em itálico; o índice embaixo diz a posição na lista, e x₁ é o primeiro componente de $\vec{x}$ . O ∈ ℝⁿ se lê pertence a ℝⁿ: ℝ é o conjunto dos números reais, e ℝⁿ, o das listas de n números reais.

A palavra tem outros sentidos, e a definição do curso é uma escolha. Na física, vetor é uma seta, definida pelo tamanho e pela direção, como a velocidade. Na matemática em geral, é qualquer coisa que se possa somar e multiplicar por um número seguindo algumas regras, como setas, polinômios e funções. Na programação, a palavra costuma nomear uma sequência ordenada de elementos de qualquer tipo, como o std::vector do C++. A lista de números é o ponto de vista que serve às redes neurais, e um array de uma dimensão do NumPy guarda exatamente isso. O capítulo 1 da série de álgebra linear do 3Blue1Brown, "Vectors, what even are they?", compara os três pontos de vista.

O produto escalar de dois vetores do mesmo tamanho multiplica termo a termo e soma: $\vec{w}$ · $\vec{x}$ = w₁x₁ + w₂x₂ + ⋯ + wₙxₙ. Os três pontos querem dizer que a soma continua no mesmo padrão até o termo n. O resultado é um número só, e não um vetor; número solto, em álgebra linear, chama-se escalar, daí o nome.

O somatório escreve a mesma soma curta. Σ, a letra grega sigma maiúscula, de soma, com k = 1 embaixo e n em cima, manda somar o termo wₖxₖ para k = 1, 2, até n. A letra k é só um contador: trocar k por j não muda nada.

Com isso, o neurônio cabe numa linha: z = $\vec{w}$ · $\vec{x}$ + b, um produto escalar mais o viés. O exemplo com números fica na tabela do E, dois slides adiante.

Na aula 3, uma matriz junta os vetores de pesos de vários neurônios, um por linha, e uma camada inteira vira uma conta só.

4 · O neurônio artificial

Um neurônio, três passos

Entradas x₁, x₂ e 1 ligadas ao neurônio pelos pesos w₁, w₂ e b; soma Σ, degrau e saída y

A terceira entrada vale sempre 1, e o peso da linha dela é o viés: b · 1 = b. É o jeito clássico de desenhar o viés.

Pesar

cada entrada vezes o seu peso

Somar

os produtos e o viés b

Disparar

dar saída 1; o degrau decide

Limiar, aula 1: o neurônio e o perceptron

O neurônio faz três passos.

Pesar: cada entrada é multiplicada pelo seu peso, w₁x₁ e w₂x₂. O peso diz quanto a entrada importa e em que sentido; peso negativo puxa a soma para baixo.

Somar: os produtos são somados, junto com o viés b, e o resultado é z = w₁x₁ + w₂x₂ + b.

Disparar, no neurônio artificial, é dar saída 1; não disparar é dar saída 0. Quem decide é o degrau: y = degrau(z), que vale 1 se z ≥ 0 e 0 se z < 0; ≥ se lê maior ou igual. A palavra vem do neurônio de verdade, que dispara o sinal pelo axônio ou fica quieto; aqui é só o nome da saída 1, e é nesse sentido que os slides seguintes dizem que uma entrada dispara ou que um lado da reta dispara. A chave junta os dois casos numa definição só: vale a linha cuja condição é verdadeira.

O viés faz o papel do limiar. Disparar quando w₁x₁ + w₂x₂ passa de um limiar é o mesmo que disparar quando w₁x₁ + w₂x₂ + b passa de zero, com b igual a menos o limiar. No desenho, a terceira bolinha tem um 1 dentro: é uma entrada que vale sempre 1, e b é o peso da linha dela, não o valor dela. Como b · 1 = b, o viés entra na soma como qualquer outro produto peso vezes entrada, e a conta z = w₁x₁ + w₂x₂ + b não muda. É o jeito clássico de desenhar, e vale para qualquer b, inclusive o −1,5 da tabela do E.

Cada equação dos slides traz ao lado, em letra miúda, a frase que se diz em voz alta, com as letras e os símbolos escritos como são.

A definição exatamente em z = 0 importa: ali o degrau dá 1, e é isso que decide a primeira linha da tabela das épocas.

4 · O neurônio artificial

E, OU e XOR: as tabelas-verdade

função

XOR

vale 1 quando

as duas são 1

pelo menos uma é 1

só uma é 1

em Python

x1 & x2

x1 | x2

x1 ^ x2

Em Python, ^ é o XOR, e não a potência: 2 ^ 3 dá 1. A potência se escreve 2 ** 3, que dá 8.

Limiar, aula 1: o neurônio e o perceptron

Uma tabela-verdade lista a saída de uma função lógica para cada combinação das entradas. Com duas entradas que valem 0 ou 1, são quatro combinações, uma por linha.

O E, x₁ ∧ x₂, vale 1 só quando as duas entradas são 1. O OU, x₁ ∨ x₂, vale 1 quando pelo menos uma é 1. O XOR, x₁ ⊕ x₂, o ou exclusivo, vale 1 quando só uma é 1, isto é, quando as duas são diferentes. O XOR é o OU sem a última linha: em (1, 1), o OU dá 1 e o XOR dá 0, a célula em laranja. O ⊕ é um mais dentro de um círculo, e faz sentido: o XOR é a soma que esquece o vai-um. 1 + 1 = 10 em binário, e 1 ⊕ 1 = 0, o último algarismo.

Em Python, &, | e ^ fazem essas contas bit a bit, algarismo binário por algarismo binário, sobre números inteiros. Com 0 e 1, o resultado é exatamente a tabela, e com arrays do NumPy a conta vale elemento a elemento: se x1 e x2 são as colunas das entradas, x1 & x2 dá os alvos do E, e é assim que o perceptron.py monta os alvos. As palavras and e or fazem a mesma lógica com True e False; não existe a palavra xor, e com True e False o != faz o papel do XOR.

Um erro comum: em Python, ^ não é potência. 2 ^ 3 dá 1, porque 2 é 10 e 3 é 11 em binário, e os dois só diferem no último algarismo; a potência é 2 ** 3, que dá 8.

4 · O neurônio artificial

Um neurônio que calcula o E

−1,5

−0,5

0,5

Só a entrada (1, 1) dispara: é o E.

Que valor de b faz o OU?

Limiar, aula 1: o neurônio e o perceptron

Com w₁ = w₂ = 1 e b = −1,5, a conta geral z = w₁x₁ + w₂x₂ + b vira z = x₁ + x₂ − 1,5. A seta para baixo no slide é essa troca: os números entram no lugar das letras.

Na entrada (1, 0), $\vec{w}$ · $\vec{x}$ = 1 · 1 + 1 · 0 = 1, e z = 1 − 1,5 = −0,5; como −0,5 < 0, y = 0. O ⇒ se lê então, ou implica. Na entrada (1, 1), z = 1 + 1 − 1,5 = 0,5 ≥ 0, e y = 1. As outras entradas dão −1,5 ou −0,5. Só (1, 1) dispara: a saída é 1 só quando as duas entradas são 1, e esse neurônio calcula o E, a coluna x₁ ∧ x₂ da tabela-verdade.

Para o OU, a entrada (0, 0) precisa dar z < 0, o que pede b < 0, e as entradas (0, 1) e (1, 0) precisam dar z ≥ 0, o que pede 1 + b ≥ 0, isto é, b ≥ −1. Qualquer b com −1 ≤ b < 0 serve, por exemplo −0,5.

Com b = +0,5, até (0, 0) dá z positivo: o neurônio dispara sempre.

4 · O neurônio artificial

Cada neurônio desenha uma reta

A reta

z é 0 se, e somente se, x₁ mais x₂ for igual a 1,5

(−1,5; 1,5) é o deslocamento sobre a reta, de (1,5; 0) a (0; 1,5); produto escalar zero é ser perpendicular. Andar o vetor dos pesos a partir da reta soma 2 a z: o lado que dispara

Linearmente separável

existem pesos e viés tais que, para todo exemplo, o degrau da soma ponderada é igual à resposta certa t: uma reta deixa as respostas 1 de um lado e as respostas 0 do outro

Limiar, aula 1: o neurônio e o perceptron

Com duas entradas, cada exemplo é um ponto do plano (x₁, x₂). Os pontos em que z = 0 formam uma reta; no neurônio do E, z = 0 ⇔ x₁ + x₂ = 1,5. O ⇔ se lê se e somente se: as duas igualdades valem juntas, uma exatamente quando a outra vale.

De um lado da reta, z > 0 e o neurônio dispara: em (1, 1), z = 0,5. Do outro, z < 0: em (1, 0), z = −0,5. Mudar os pesos gira a reta; mudar o viés a desloca.

O vetor $\vec{w}$ guarda o que o neurônio sabe: cada componente diz quanto a entrada correspondente conta e em que sentido, e o conjunto deles dá a direção da reta, enquanto b dá a posição. Aprender, na regra do perceptron, é mexer em $\vec{w}$ e em b.

O vetor $\vec{w}$ = (1, 1) é perpendicular à reta, o ⊥ do slide. Perpendicular, no curso, quer dizer produto escalar zero; no plano, isso é o ângulo reto do desenho, e a figura deixa conferir. A conta do slide: (1,5; 0) e (0; 1,5) são dois pontos da reta, e andar de um ao outro é o deslocamento (−1,5; 1,5). O produto escalar com $\vec{w}$ dá 1 · (−1,5) + 1 · 1,5 = 0. Isso vale para qualquer deslocamento sobre a reta, e para qualquer neurônio: se $\vec{p}$ e $\vec{q}$ estão na reta, $\vec{w}$ · $\vec{p}$ + b = 0 e $\vec{w}$ · $\vec{q}$ + b = 0, e subtraindo uma da outra sobra $\vec{w}$ · ( $\vec{p}$ − $\vec{q}$ ) = 0. Por isso $\vec{w}$ é sempre perpendicular à reta z = 0, quaisquer que sejam os pesos.

E $\vec{w}$ aponta para o lado que dispara: saindo de um ponto $\vec{p}$ da reta e andando $\vec{w}$ , chega-se a $\vec{p}$ + $\vec{w}$ , onde z = $\vec{w}$ · ( $\vec{p}$ + $\vec{w}$ ) + b = ( $\vec{w}$ · $\vec{p}$ + b) + $\vec{w}$ · $\vec{w}$ = 0 + 2 = 2 > 0. Na direção de $\vec{w}$ , z cresce o mais depressa possível; é a ideia do gradiente, que chega na aula 2.

Um conjunto de exemplos é linearmente separável quando existe uma reta que deixa as respostas 1 de um lado e as respostas 0 do outro. Em símbolos, ∃ $\vec{w}$ , b ∀ ( $\vec{x}$ , t): degrau( $\vec{w}$ · $\vec{x}$ + b) = t, que se lê existem $\vec{w}$ e b tais que, para todo exemplo ( $\vec{x}$ , t), o neurônio responde t. ∃ é existe, ∀ é para todo, e ( $\vec{x}$ , t) é um exemplo rotulado: a entrada $\vec{x}$ e a resposta certa t, do inglês target, alvo. Com mais entradas, a reta vira um plano e, com muitas, um hiperplano; a definição não muda.

5 · O perceptron e o XOR

1958: o perceptron de Rosenblatt

“A Marinha revelou hoje o embrião de um computador eletrônico que ela espera que seja capaz de andar, falar, ver, escrever, se reproduzir e ter consciência da própria existência.”

The New York Times, 8 de julho de 1958, tradução livre

Frank Rosenblatt, psicólogo, 1928 a 1971
Mark I: 20 × 20 fotocélulas, 400 pixels
pesos em potenciômetros girados por motores

O Mark I Perceptron diante de uma letra C, com a câmera e os painéis ao fundo

O Mark I, que aprendia a reconhecer letras, diante de uma letra C. Foto da Marinha dos Estados Unidos, 1960, domínio público.

De onde vem o nome: perceptron

de percepto, aquilo que se percebe, com o sufixo -tron, que em grego indica instrumento e ficou comum em nomes de máquinas depois do cíclotron.

Limiar, aula 1: o neurônio e o perceptron

Em 1958, Frank Rosenblatt publicou na Psychological Review "The perceptron: a probabilistic model for information storage and organization in the brain". O perceptron é o neurônio de McCulloch e Pitts com uma regra que corrige os pesos a cada erro: o primeiro neurônio que aprende. O nome junta percepto, aquilo que se percebe, ao sufixo grego -tron, de instrumento, comum em nomes de máquinas desde o cíclotron.

A máquina, o Mark I Perceptron, foi construída no Cornell Aeronautical Laboratory, em Buffalo, com verba da Marinha dos Estados Unidos. Via por uma matriz de 20 por 20 fotocélulas, 400 pixels, e guardava os pesos em potenciômetros girados por motores. Hoje está no Smithsonian.

Em 8 de julho de 1958, o New York Times prometeu uma máquina que andaria, falaria e teria consciência da própria existência. O XOR, mais adiante, mostra a distância entre a promessa e a máquina. Na legenda da foto que a Marinha divulgou em 1960, treinado com um tipo de letra, o Mark I acertava 85% das vezes com letras de outro tipo: generalização de novo.

5 · O perceptron e o XOR

A regra do perceptron

t é a resposta certa; y, a saída do neurônio; η, a letra grega eta, é a taxa de aprendizado, o tamanho de cada correção; ← se lê “passa a valer”.

Os três casos

Exemplo, com η = 1: a entrada (1, 1) na época 1

antes, os pesos eram (0, 0) e o viés, −1; saiu y = 0, e a resposta certa é t = 1

Limiar, aula 1: o neurônio e o perceptron

A regra do perceptron corrige os pesos a cada exemplo errado: $\vec{w}$ ← $\vec{w}$ + η (t − y) $\vec{x}$ e b ← b + η (t − y). Aqui t é a resposta certa; y é a saída do neurônio; η, a letra grega eta, é a taxa de aprendizado; e a seta ← quer dizer que o valor da esquerda passa a ser o da direita.

Se o neurônio acertou, t − y = 0 e nada muda. Se a saída foi 0 e devia ser 1, t − y = +1, e $\vec{w}$ ← $\vec{w}$ + η $\vec{x}$ : os pesos crescem na direção da entrada, o que aumenta z para aquela entrada. Se foi 1 e devia ser 0, t − y = −1, e $\vec{w}$ ← $\vec{w}$ − η $\vec{x}$ : os pesos diminuem.

No exemplo, com η = 1, $\vec{w}$ = (0, 0) e b = −1, a entrada (1, 1) deu y = 0 quando devia dar 1: t − y = 1, e a correção leva $\vec{w}$ a (1, 1) e b a 0. É a quarta linha da tabela das épocas.

A taxa de aprendizado é o tamanho da correção. Com os pesos começando em zero, trocar η = 1 por η = 0,1 faz as mesmas correções, dez vezes menores, e a reta final é a mesma, porque o degrau só olha o sinal de z. A taxa passa a importar na aula 2, com o gradiente, e é ela que vira eixo no projeto de dezembro.

5 · O perceptron e o XOR

Duas épocas do E, à mão

Época: uma passada por todos os exemplos. Pesos e viés começam em zero; η = 1.

Época

Entrada

Errou?

(0, 0)

sim

(0, 0)

−1

(0, 1)

−1

não

(0, 0)

−1

(1, 0)

−1

não

(0, 0)

−1

(1, 1)

−1

sim

(1, 1)

(0, 0)

sim

(1, 1)

−1

(0, 1)

sim

(1, 0)

−2

(1, 0)

−1

não

(1, 0)

−2

(1, 1)

−1

sim

(2, 1)

−1

Limiar, aula 1: o neurônio e o perceptron

5 · O perceptron e o XOR

1969: nenhuma reta separa o XOR

O XOR, o ou exclusivo, vale 1 quando as duas entradas são diferentes. Os círculos ficam em diagonal, e nenhuma reta os separa dos quadrados.

Aula 3

Rede neural

neurônios em camadas: a saída de uns é a entrada de outros

Aula 5

Retropropagação

o método de 1986 que acha os pesos sozinho

Os quatro pontos do XOR: círculos em (0, 1) e (1, 0), quadrados em (0, 0) e (1, 1)

Limiar, aula 1: o neurônio e o perceptron

5 · O perceptron e o XOR

Por que nenhuma reta separa o XOR

Suponha um neurônio que acerte o XOR:

O que cada entrada exige

(0, 0) ↦ 0: a entrada (0, 0) tem de dar 0, o que exige b < 0; o mesmo nas outras três linhas

A conta

Logo, esse neurônio não existe.

Limiar, aula 1: o neurônio e o perceptron

6 · O código

E e OU se separam; o XOR, não

Três painéis: o perceptron separa E e OU com uma reta e não separa o XOR

python aulas/01-neuronio/codigo/perceptron.py

Limiar, aula 1: o neurônio e o perceptron

7 · Fechamento

Até a próxima sexta

Vídeos, nesta ordem

3Blue1Brown, redes neurais, capítulo 1
3Blue1Brown, cálculo, capítulo 2: a derivada
3Blue1Brown, redes neurais, capítulo 2

Entrega até 02/10

ambiente instalado
conta no GitHub
perceptron de E e OU que imprime a tabela das épocas
uma pergunta sobre os vídeos

Seminário da aula 2

o perceptron de E e OU, linha a linha
neurônio entre 0 e 1, contra 0 ou 1
custo, no vídeo, e perda, aqui
o paradoxo da derivada

Limiar, aula 1: o neurônio e o perceptron

Para a próxima sexta, 02/10, o estudo são três vídeos do 3Blue1Brown, nesta ordem: o capítulo 1 da série sobre redes neurais, que mostra uma rede que reconhece dígitos; o capítulo 2 da série sobre cálculo, sobre a derivada; e o capítulo 2 da série sobre redes neurais, sobre o gradiente descendente, que usa a derivada. Os vídeos têm legenda em português.

A entrega é o ambiente instalado pelo guia, uma conta no GitHub, um perceptron em NumPy que aprende E e OU e imprime a tabela das épocas no formato do slide, para a comparação ser direta, e uma pergunta sobre os vídeos. Sem pressa: quem não terminar entrega o que fez, e o que conta é explicar cada linha do que entregou.

O seminário da aula 2 tem o perceptron de quem apresenta, explicado linha a linha, e três perguntas sobre os vídeos. No vídeo, cada neurônio guarda um número entre 0 e 1, e não só 0 ou 1: uma saída contínua permite corrigir os pesos aos poucos, pelo gradiente, o assunto da aula 2. O que o vídeo chama de custo é o que aqui se chama de perda. E a derivada num instante parece um paradoxo porque variação pede dois instantes; o vídeo resolve olhando o que acontece quando o intervalo entre eles encolhe.