SIENA, NIPS-CERN, UFJF

Limiar

Redes neurais, do neurônio ao fractal

Aula 4: derivadas parciais e o Jacobiano

13/11/2026. C∴ Chrysthofer A. A. Afonso

Uma grade de linhas azuis que se curvam e se apertam perto das bordas de um quadrado

Uma grade regular do plano, levada pela camada com a tanh do exemplo da aula: as retas viram curvas, que se apertam nas bordas, onde a tanh se achata.

Limiar, aula 4: derivadas parciais e o Jacobiano

A aula 4 trata do Jacobiano: a tabela das derivadas parciais de uma função que recebe um vetor e devolve outro, como uma camada de rede neural. Com ele, a regra da cadeia da aula 2 ganha vetores: o Jacobiano de duas camadas seguidas é o produto dos Jacobianos das duas. A rede inteira é uma cadeia de camadas que termina na perda, e o gradiente da perda é o produto de todos os Jacobianos, calculado de trás para a frente. É a conta que a aula 5, a retropropagação, faz camada por camada.

A imagem da capa é uma grade regular do plano das entradas, com retas de −3 a 3 a cada 0,25, levada pela camada do exemplo da aula, a da tanh. Cada reta vira uma curva no plano das saídas, que fica entre −1 e 1 nos dois eixos. Perto das bordas, onde a tanh se achata, as curvas se apertam: a camada estica o meio e espreme as bordas. O Jacobiano é a conta que diz quanto ela estica ou espreme perto de cada ponto. O retrato de Jacobi está no slide da história.

1 · Revisão

O que ficou das aulas 2 e 3, de memória

O que uma camada calcula, escrita como matriz?

Por que duas camadas lineares valem uma?

O que é a derivada parcial?

Para onde aponta o gradiente?

Limiar, aula 4: derivadas parciais e o Jacobiano

A revisão é de memória: quatro perguntas sobre as aulas 2 e 3, e a turma responde falando.

O que uma camada calcula, escrita como matriz? $\vec{h}$ = ativação(W $\vec{x}$ + $\vec{b}$ ): cada linha de W guarda os pesos de um neurônio e faz o produto escalar com as entradas; a ativação vale para cada posição.

Por que duas camadas lineares valem uma? Porque W₂ (W₁ $\vec{x}$ + $\vec{b}$ ₁) + $\vec{b}$ ₂ = (W₂ W₁) $\vec{x}$ + (W₂ $\vec{b}$ ₁ + $\vec{b}$ ₂), a forma de uma camada só; por isso a camada oculta precisa de uma ativação que não seja linear.

O que é a derivada parcial? A derivada de uma função de várias variáveis em relação a uma delas, com as outras paradas: na aula 2, o corte da superfície da perda por um plano.

Para onde aponta o gradiente? Para onde a função mais cresce. Ele junta as derivadas parciais num vetor, e o gradiente descendente anda contra ele.

1 · Revisão

O fio do curso, da aula 1 à 10

O neurônio e o perceptron

um neurônio desenha uma reta, e nenhuma reta separa o XOR

25/09, presencial

Derivada e gradiente

o passo contra a derivada; a taxa grande demais faz o treino divergir

02/10, presencial

Matrizes e camadas

duas camadas separam o XOR, com pesos escolhidos à mão

13/11, on-line

O Jacobiano

a regra da cadeia com vetores, uma camada de cada vez

13/11, on-line

Retropropagação

a regra da cadeia, de trás para a frente, acha os pesos do XOR

13/11, on-line

O MNIST em NumPy

um MLP em 70 mil dígitos escritos à mão, com treino, validação e teste

27/11, on-line

PyTorch

a biblioteca faz a retropropagação; o erro final contra a taxa

27/11, on-line

Os dados do CERN

um MLP estima a massa dos dois múons, conferida pela fórmula

04/12, on-line

O fractal e o projeto

a fronteira entre a taxa que converge e a que diverge

04/12, on-line

A apresentação

a apresentação do projeto e a revisão do curso inteiro

11/12, on-line

Limiar, aula 4: derivadas parciais e o Jacobiano

O curso segue um fio, e este slide aparece em todas as aulas, com a aula do dia em destaque.

Na aula 1, um neurônio desenha uma reta, e nenhuma reta separa o XOR. Na aula 2, o gradiente descendente acha os pesos de um neurônio, e a taxa de aprendizado tem um limiar. Na aula 3, duas camadas separam o XOR, com pesos escolhidos à mão. Nesta aula, a 4, a regra da cadeia ganha vetores, uma camada de cada vez: é a ferramenta que falta para calcular a derivada da perda em relação aos pesos de uma rede com camadas. Na aula 5, a retropropagação usa essa conta, de trás para a frente, e acha os pesos do XOR sozinha.

Depois, a mesma ideia cresce: o MNIST, na aula 6; o PyTorch, na 7; os dados do CERN, na 8; e o projeto, nas aulas 9 e 10, em que o limiar da taxa da aula 2 volta, com uma taxa por camada.

1 · Revisão

Da aula 2: derivada parcial e gradiente

Curvas de nível da perda da rede desta aula em função das duas entradas, com setas cinza do gradiente, cada uma em ângulo reto com as curvas, e uma seta laranja no ponto (1; 0,25)

A perda da rede desta aula e o gradiente.

Derivada parcial: as outras variáveis paradas

Gradiente: para onde a função mais cresce

Até aqui, a função devolvia um número só, a perda. Uma camada devolve um vetor.

Limiar, aula 4: derivadas parciais e o Jacobiano

Duas ideias da aula 2 voltam aqui.

A derivada parcial de uma função f de várias variáveis em relação a uma delas, xⱼ, é a derivada que se obtém com as outras paradas: ∂f/∂xⱼ. Na aula 2, era a inclinação do corte da superfície da perda por um plano vertical.

O gradiente junta as derivadas parciais num vetor, $\vec{\nabla}$ f = (∂f/∂x₁; ∂f/∂x₂), e aponta para onde f mais cresce. A figura aplica a ideia a uma função nova, a perda da rede desta aula em função das duas entradas, L( $\vec{x}$ ): as curvas de nível e o gradiente em vários pontos, sempre em ângulo reto com as curvas. A seta laranja é o gradiente no ponto (1; 0,25), (1,0940; −4,6074), que a aula calcula no fim pela regra da cadeia; as cinza têm todas o mesmo tamanho, porque só a direção importa aqui.

A derivada numérica confere qualquer derivada parcial sem fórmula: mexe só a variável j, h para cima e h para baixo, e divide a variação da função por 2h. É assim que esta aula confere o Jacobiano.

Até aqui, a função devolvia um número só, a perda. Uma camada devolve um vetor, e é aí que entra o Jacobiano.

2 · O Jacobiano

E quando a saída é um vetor?

Uma camada de duas entradas e duas saídas tem quatro derivadas parciais: cada saída depende das duas entradas.

Limiar, aula 4: derivadas parciais e o Jacobiano

2 · O Jacobiano

Uma linha por saída, uma coluna por entrada

a linha i é da saída i; a coluna j, da entrada j

Perto do ponto, um passo pequeno na entrada muda a saída de J vezes o passo: J é a melhor aproximação linear da função.

Jacobiano, no curso: a matriz m × n das derivadas parciais de uma função que recebe n números e devolve m. Com m = 1, é o gradiente, deitado.

Limiar, aula 4: derivadas parciais e o Jacobiano

O Jacobiano de uma função que recebe n números e devolve m números é a matriz m por n das derivadas parciais de cada saída em relação a cada entrada. A linha i guarda as derivadas da saída i, uma por entrada; a coluna j guarda o efeito da entrada j, uma derivada por saída. Para a camada de duas entradas e duas saídas, J tem quatro números: ∂h₁/∂x₁ e ∂h₁/∂x₂ na primeira linha, ∂h₂/∂x₁ e ∂h₂/∂x₂ na segunda.

O que ele quer dizer: perto de um ponto $\vec{x}$ , um passo pequeno Δ $\vec{x}$ na entrada muda a saída de aproximadamente J Δ $\vec{x}$ . É a derivada da aula 2 em versão de vetores: lá, a variação da saída era a derivada vezes a variação da entrada; aqui, é a matriz vezes o vetor da variação. Por isso se diz que J é a melhor aproximação linear da função perto do ponto.

Com uma saída só, m = 1, o Jacobiano é uma linha com as derivadas parciais: o gradiente, escrito deitado. Alguns livros definem o Jacobiano transposto, com as linhas e as colunas trocadas; o curso usa uma linha por saída, como a Wikipedia.

2 · O Jacobiano

Numa camada linear, o Jacobiano é W

Na aula 2, a reta

A derivada em relação a x é w, em qualquer ponto. Uma função linear tem a mesma inclinação em todo lugar.

Camada linear, no curso: a camada sem ativação, só a soma ponderada mais o viés.

Limiar, aula 4: derivadas parciais e o Jacobiano

2 · O Jacobiano

A tangente hiperbólica e a inclinação dela

À esquerda, a tanh em forma de S, de −1 a 1, passando por 0 em z = 0; à direita, a inclinação 1 − tanh², que vale 1 em z = 0 e some longe do zero, com um ponto laranja em z = 0,75 e inclinação 0,5966

tanh, a tangente hiperbólica

Caixa-preta: entra z, sai a inclinação. A conta pede a derivada da exponencial e não se abre agora; o código a confere pela derivada numérica.

Limiar, aula 4: derivadas parciais e o Jacobiano

2 · O Jacobiano

O Jacobiano de uma camada com tanh

A linha k de J é a linha k de W vezes um número só, a inclinação da tanh no neurônio k. Muda de ponto para ponto.

Um exemplo

com o vetor b = (0; −1) e o ponto x = (1; 0,25); a derivada numérica dá o mesmo J, com diferença de 7,0 · 10⁻¹¹

Limiar, aula 4: derivadas parciais e o Jacobiano

Agora a camada com a ativação, $\vec{h}$ = tanh(W $\vec{x}$ + $\vec{b}$ ). A saída k é hₖ = tanh(zₖ), uma função dentro de outra, e a regra da cadeia de um número só, da aula 2, dá ∂hₖ/∂xⱼ = tanh′(zₖ) · wₖⱼ = (1 − hₖ²) wₖⱼ. Então a linha k do Jacobiano é a linha k de W multiplicada por um número só, 1 − hₖ², a inclinação da tanh no neurônio k.

O exemplo usa W com as linhas (1; −1) e (0,5; 2), $\vec{b}$ = (0; −1) e o ponto $\vec{x}$ = (1; 0,25). As somas são z₁ = 0,75 e z₂ = 0; as saídas, h₁ = 0,6351 e h₂ = 0; as inclinações, 0,5966 e 1. A primeira linha de J é (1; −1) vezes 0,5966; a segunda é a própria linha (0,5; 2), porque em z = 0 a inclinação da tanh é 1. O código confere com a derivada numérica: as duas contas diferem em 7 · 10⁻¹¹.

Diferente da camada linear, o Jacobiano da camada com tanh muda de ponto para ponto: depende de $\vec{h}$ , e $\vec{h}$ depende de onde a entrada está.

2 · O Jacobiano

O Jacobiano coluna a coluna

À esquerda, o ponto (1; 0,25) e dois pontos azuis a uma distância delta, só na direção de x1; à direita, as imagens deles e a seta da coluna 1 de J, que se firma em (0,5966; 0,5) quando delta vai de 0,5 a 0,001. Depois o mesmo com x2, em laranja, e a seta cresce até (−0,5966; 2); no fim, a matriz J

Limiar, aula 4: derivadas parciais e o Jacobiano

O vídeo monta o Jacobiano da camada do exemplo sem fórmula nenhuma, só mexendo nas entradas. É a derivada numérica da aula 2, com vetores, e é a conta que a entrega pede.

Primeiro, só a entrada x₁ se mexe: os dois pontos azuis, à esquerda, são $\vec{x}$ com x₁ trocado por x₁ + Δ e por x₁ − Δ, e x₂ parado. A camada leva os dois a dois pontos do plano das saídas, à direita. A variação da saída, dividida por 2Δ, é a seta azul, desenhada a partir de $\vec{h}$ ( $\vec{x}$ ): é a coluna 1 de J, o efeito da entrada 1 nas duas saídas. Dividir por 2Δ, e não por Δ, é a diferença central da aula 2: um passo para cada lado.

O Δ encolhe, de 0,5 para 0,25, 0,05 e 0,001, e a coluna chega a (0,5966; 0,5000). Depois, a mesma coisa com x₂, em laranja: com Δ = 0,5, a coluna sai (−0,6034; 1,5232); com 0,001, (−0,5966; 2,0000). A seta laranja cresce até 2, porque perto de z₂ = 0 a tanh é quase uma reta de inclinação 1, e o peso w₂₂ vale 2.

No fim, as duas colunas lado a lado formam J, a mesma matriz da conta à mão do slide anterior.

O Δ do vídeo é o passo numa entrada só; o Δ $\vec{x}$ do slide do Jacobiano é um passo num vetor inteiro.

2 · O Jacobiano

O passo encolhe, e a coluna chega à conta

A coluna j, pela diferença central

o vetor e de índice j: um passo só na entrada j

No código, Δ = 10⁻⁶, e a diferença para a conta à mão é 7 · 10⁻¹¹.

Limiar, aula 4: derivadas parciais e o Jacobiano

A tabela do vídeo, com os números todos. Cada linha é um tamanho de passo Δ; as colunas são as duas colunas do Jacobiano pela diferença central, ( $\vec{h}$ ( $\vec{x}$ + Δ eⱼ) − $\vec{h}$ ( $\vec{x}$ − Δ eⱼ))/(2Δ), em que eⱼ quer dizer mexer só a entrada j.

Com Δ = 0,5, a coluna 2 sai 1,5232 no lugar de 2: o passo é grande, e a tanh já curvou. Com Δ = 0,25, 1,8485; com 0,05, 1,9934; com 0,001, 2,0000 até a quarta casa. A coluna 1 erra menos com passo grande, porque ali a curva da tanh pesa menos: 0,6034 contra 0,5966.

A conta à mão, na última linha, é (1 − hₖ²) vezes a linha k de W: (0,5966; −0,5966) e (0,5; 2). O código usa Δ = 10⁻⁶, um milionésimo, e a diferença entre as duas contas é de 7 · 10⁻¹¹.

Por que não usar Δ cada vez menor, até zero? Porque o computador guarda os números com umas 16 casas: com Δ pequeno demais, a diferença $\vec{h}$ ( $\vec{x}$ + Δ) − $\vec{h}$ ( $\vec{x}$ − Δ) perde as casas que importam. Neste exemplo, a maior diferença para a conta à mão é 3 · 10⁻⁴ com Δ = 10⁻², 7 · 10⁻¹¹ com 10⁻⁶, a menor, e volta a crescer: 5 · 10⁻⁵ com 10⁻¹² e 6 · 10⁻³ com 10⁻¹⁴.

Na entrega, a tabela é a mesma ideia: o Jacobiano numérico contra o à mão, e a maior diferença entre os dois.

2 · O Jacobiano

Perto do ponto, a camada age como J

À esquerda, o plano das entradas com uma grade e um quadradinho laranja em volta do ponto (1; 0,25); à direita, a grade curva que a camada desenha e a imagem do quadradinho, ao lado do paralelogramo tracejado que a matriz J faz; a câmera chega perto, e as duas figuras quase coincidem

Limiar, aula 4: derivadas parciais e o Jacobiano

O vídeo mostra o que quer dizer melhor aproximação linear. À esquerda, o plano das entradas, com uma grade de passo 0,25; à direita, o plano das saídas da camada do exemplo. A camada leva a grade reta a uma grade curva, apertada perto das bordas, onde a tanh se achata em −1 e 1.

O ponto laranja é $\vec{x}$ = (1; 0,25), e o quadradinho em volta dele tem lado 0,25. A camada leva o quadradinho a uma figura curva, em laranja, à direita. O paralelogramo tracejado, em azul, é o mesmo quadradinho levado pela matriz J, a partir do ponto de saída: os lados dele são as colunas de J vezes 0,25.

De longe, as duas figuras parecem iguais; a câmera chega perto, e elas quase coincidem. É a mesma ideia da derivada no vídeo da aula 2, em que a curva vista de perto virava reta: aqui, a camada vista de perto vira uma matriz. Quanto menor o quadradinho, mais as duas figuras coincidem.

3 · A regra da cadeia com vetores

O Jacobiano da composição é o produto

∘, bola: g ∘ f é f e depois g

Por quê

No exemplo, duas camadas

o Jacobiano numérico das duas camadas dá o mesmo, com diferença de 1,0 · 10⁻¹⁰

Limiar, aula 4: derivadas parciais e o Jacobiano

A regra da cadeia com vetores: se f leva $\vec{x}$ a $\vec{u}$ , e g leva $\vec{u}$ a $\vec{y}$ , o Jacobiano da composição g ∘ f, f e depois g, é o produto dos Jacobianos, J_g ∘ f( $\vec{x}$ ) = J_g(f( $\vec{x}$ )) J_f( $\vec{x}$ ). O ∘ se lê composta com, ou bola. O J_g se calcula no ponto f( $\vec{x}$ ), por onde a conta passa, e não em $\vec{x}$ . A ordem importa: o Jacobiano da última função vem primeiro, à esquerda.

De onde vem: um passo Δ $\vec{x}$ muda $\vec{u}$ de aproximadamente J_f Δ $\vec{x}$ ; essa mudança de $\vec{u}$ muda $\vec{y}$ de aproximadamente J_g (J_f Δ $\vec{x}$ ) = (J_g J_f) Δ $\vec{x}$ , pela associatividade da aula 3. A aproximação linear da composição é o produto das duas. Com um número só em cada passo, é a regra da cadeia da aula 2, em que as taxas se multiplicavam.

A regra das dimensões confere: J_g é m por k, J_f é k por n, e o produto é m por n, o tamanho certo para uma função que leva n números a m números.

No exemplo, a segunda camada tem W₂ com as linhas (2; 1) e (−1; 1) e $\vec{b}$ ₂ = (0; 0,5). O produto J₂ J₁ e o Jacobiano numérico da composição dão a mesma matriz, com diferença de 1 · 10⁻¹⁰.

3 · A regra da cadeia com vetores

Até a perda, o gradiente é uma linha

o gradiente de L em relação ao vetor x: o produto dá 1 × 2, uma linha

A saída e a perda

com o vetor v = (1; −1), c = 0 e t = 0

Os números

pela cadeia e pela derivada numérica, com diferença de 1,4 · 10⁻¹⁰

Limiar, aula 4: derivadas parciais e o Jacobiano

Uma rede é uma cadeia de camadas, e a última peça é a perda, que devolve um número só. No exemplo, $\vec{x}$ passa pelas duas camadas com tanh, $\vec{h}$ ₁ e $\vec{h}$ ₂; depois pela saída linear, y = $\vec{v}$ · $\vec{h}$ ₂ + c, com $\vec{v}$ = (1; −1) e c = 0; e pela perda de um exemplo, L = (y − t)², com t = 0.

Pela regra da cadeia, o Jacobiano da rede inteira é o produto dos Jacobianos de cada peça: o de L em relação a y, um número, 2(y − t); o de y em relação a $\vec{h}$ ₂, a linha $\vec{v}$ ; e os das duas camadas, J₂ e J₁. As dimensões, embaixo de cada um, são 1 por 1, 1 por 2, 2 por 2 e 2 por 2, e o produto dá 1 por 2: uma linha, o gradiente da perda em relação à entrada.

Os números: L = 0,9766, e o gradiente é (1,0940; −4,6074), o mesmo pela cadeia e pela derivada numérica, com diferença de 1,4 · 10⁻¹⁰.

Aqui o gradiente é em relação à entrada $\vec{x}$ , para a conta ficar com poucos números. O treino precisa do gradiente em relação aos pesos, e a aula 5 mostra que a mesma linha, parada em cada camada, dá as derivadas dos pesos daquela camada.

3 · A regra da cadeia com vetores

De trás para a frente custa menos

De trás para a frente

linha vezes matriz

Da frente para trás

matriz vezes matriz

3 camadas de m = 1.000: 3 milhões de multiplicações contra 2 bilhões.

Limiar, aula 4: derivadas parciais e o Jacobiano

O produto dos Jacobianos dá o mesmo em qualquer ordem, pela associatividade, mas o custo não é o mesmo. Começando pela perda, de trás para a frente, o primeiro fator é uma linha: linha vezes matriz dá outra linha, e cada passo é uma linha vezes uma matriz, m² multiplicações, com m neurônios por camada. Começando pela entrada, da frente para trás, os fatores são matrizes: matriz vezes matriz, m³ multiplicações por passo, e só no fim a linha.

No slide, $\vec{g}$ é a linha da derivada da perda em relação à saída da última camada, 1 por m, e J₁, J₂ e J₃ são os Jacobianos das três camadas, m por m. Os parênteses mostram o que se multiplica primeiro.

Com 3 camadas de largura m, de trás para a frente são 3m² multiplicações, e da frente para trás, 2m³ + m². Com m = 1.000, 3 milhões contra 2 bilhões. A figura mostra as duas contas em escala logarítmica nos dois eixos, em que cada marca vale dez vezes a anterior: a diferença cresce com a largura. O código confere que as duas ordens dão o mesmo gradiente, com matrizes sorteadas: diferença de 9 · 10⁻¹⁶.

A passada para a frente da rede também custa m² por camada, uma matriz vezes um vetor. Que o gradiente de trás para a frente custe da mesma ordem que a passada para a frente é dedução desta contagem, e é o que a literatura chama de princípio do gradiente barato: Griewank, em 2012, mostra que o gradiente de uma função de um número só sai por um múltiplo pequeno do custo da própria função, qualquer que seja o número de variáveis. A derivada numérica, ao contrário, custa duas avaliações da função por variável.

3 · A regra da cadeia com vetores

As duas ordens, conta a conta

O produto g J3 J2 J1 com 4 neurônios por camada, em quadradinhos. Em cima, de trás para a frente, a linha engole uma matriz de cada vez: 16 multiplicações por passo, 48 ao todo. Embaixo, da frente para trás, as matrizes se multiplicam primeiro: 64 por passo, 144 ao todo

Limiar, aula 4: derivadas parciais e o Jacobiano

O vídeo conta as multiplicações do slide anterior, com 4 neurônios por camada e três camadas. Cada quadradinho é um número: a linha $\vec{g}$ tem 4, e cada Jacobiano, 16.

De trás para a frente, em cima: $\vec{g}$ vezes J₃ dá outra linha de 4 números, e cada um deles é uma soma de 4 produtos, 16 multiplicações. A linha engole J₂, mais 16, e J₁, mais 16: 48, e sai o gradiente, uma linha.

Da frente para trás, embaixo: J₂ vezes J₁ dá uma matriz de 16 números, cada um uma soma de 4 produtos, 64 multiplicações. J₃ vezes essa matriz, mais 64. Só no fim entra $\vec{g}$ , mais 16: 144, e o mesmo gradiente.

A diferença cresce com a largura: com m neurônios, de trás para a frente custa 3m² e da frente para trás, 2m³ + m². Com 100 neurônios, 30.000 contra 2.010.000, a tabela que o jacobiano.py imprime. A retropropagação, da aula 5, é a ordem barata.

3 · A regra da cadeia com vetores

A retropropagação é esse produto, de trás para a frente

Uma linha vezes uma matriz, camada por camada, começando pela perda: a conta da aula 5.

Limiar, aula 4: derivadas parciais e o Jacobiano

4 · De onde vem

Da regra da cadeia ao gradiente barato

1676

A regra da cadeia aparece numa memória de Leibniz, ao que parece pela primeira vez.

1841

Jacobi publica “De determinantibus functionalibus”, sobre o determinante da matriz das derivadas parciais, que hoje leva o nome dele.

1970

Seppo Linnainmaa descreve, na dissertação de mestrado, o modo reverso da diferenciação automática: a conta de trás para a frente.

1983

Baur e Strassen mostram que o gradiente custa um múltiplo pequeno do custo da própria função.

Retrato de Carl Gustav Jacob Jacobi, de terno escuro e gravata, com os braços cruzados

Jacobi em 1843, retrato de August Kaselowsky. Wikimedia Commons, domínio público.

Fontes: Wikipedia, verbetes “Chain rule”, “Jacobian matrix and determinant” e “Automatic differentiation”; Andreas Griewank, 2012, “Who invented the reverse mode of differentiation?”.

Limiar, aula 4: derivadas parciais e o Jacobiano

Quatro datas.

1676: a regra da cadeia parece ter sido usada primeiro por Gottfried Wilhelm Leibniz, numa memória de 1676, para derivar a raiz quadrada de a + bz + cz² como uma função dentro de outra, com um erro de sinal na conta. A notação comum da regra também é dele. A palavra parece é da fonte, a Wikipedia, que a apoia num estudo de 1917 dos manuscritos de Leibniz.

1841: Carl Gustav Jacob Jacobi publicou, no volume 22 do Journal für die reine und angewandte Mathematik, o Jornal de Matemática Pura e Aplicada, "De determinantibus functionalibus", sobre os determinantes funcionais: o determinante da matriz das derivadas parciais de n funções de n variáveis, que hoje se chama jacobiano. A matriz e o determinante levam o nome dele. O determinante fica de fora do curso: aqui só a matriz importa.

1970: Seppo Linnainmaa publicou, na dissertação de mestrado na Universidade de Helsinque, o modo reverso da diferenciação automática, a conta de trás para a frente para qualquer cadeia de funções, e não só para redes. A Wikipedia registra também um artigo dele de 1976 sobre o mesmo método. A retropropagação das redes neurais é um caso particular do modo reverso.

1983: Baur e Strassen mostraram, segundo Griewank, que o gradiente custa um múltiplo pequeno do custo da função; é o resultado que Griewank, em 2012, chama de princípio do gradiente barato. O artigo de Baur e Strassen foi conferido pelo texto de Griewank, e não aberto.

O retrato, à direita, é de Carl Gustav Jacob Jacobi, matemático alemão, de 1804 a 1851, pintado por August Kaselowsky em 1843 e reproduzido num livro de 1904 sobre ele, de Leo Koenigsberger. Está no Wikimedia Commons, em domínio público. O nome Jacobiano é uma homenagem a ele.

5 · O código

O Jacobiano em NumPy, passo a passo

A camada com a tangente hiperbólica, com os pesos e o ponto do exemplo

O Jacobiano à mão: cada linha de W vezes a inclinação da tanh

O Jacobiano numérico: uma coluna por entrada, mexendo só ela

As duas matrizes comparadas, e o produto J₂ J₁ contra o numérico das duas camadas

As multiplicações contadas nas duas ordens

O NumPy que resolve

np.tanh(W @ x + b)

(1 - h**2)[:, None] * W

np.column_stack(colunas)

linha @ J

[:, None] faz do vetor uma coluna, e cada linha de W vai vezes o seu número

Limiar, aula 4: derivadas parciais e o Jacobiano

O código da aula fica pronto e testado antes: codigo/jacobiano.py, a solução de referência da entrega, que não vai para a turma antes do prazo.

Os passos dele são: a camada com a tanh; o Jacobiano à mão, a linha k de W vezes 1 − hₖ²; o Jacobiano numérico, uma coluna por entrada, mexendo só aquela entrada, h para cima e h para baixo; a comparação das duas matrizes; a regra da cadeia para duas camadas, o produto J₂ J₁ contra o numérico da composição; e a contagem das multiplicações nas duas ordens.

Quatro peças do NumPy resolvem quase tudo. np.tanh(W @ x + b) é a camada. (1 - h**2)[:, None] * W multiplica cada linha de W pelo seu número: o [:, None] transforma o vetor 1 − h² numa coluna, e o NumPy multiplica cada linha pelo número correspondente. np.column_stack(colunas) monta a matriz a partir das colunas do Jacobiano numérico. E linha @ J é uma linha vezes uma matriz, o passo de trás para a frente.

5 · O código

O que a entrega pede

À mão

Numérico

Uma função que calcula o Jacobiano numérico de uma camada e o compara com o calculado à mão. Cada um escolhe a própria camada e o próprio ponto.

Limiar, aula 4: derivadas parciais e o Jacobiano

6 · Fechamento

Para estudar e entregar

Estudo

3Blue1Brown, redes neurais, capítulo 3
3Blue1Brown, redes neurais, capítulo 4
Nielsen, capítulo 2, “How the backpropagation algorithm works”

Entrega

o Jacobiano numérico de uma camada, comparado com o calculado à mão
uma pergunta sobre o estudo

A seguir

aula 5: a retropropagação acha os pesos do XOR
aula 6: o MNIST em NumPy, com treino, validação e teste

Limiar, aula 4: derivadas parciais e o Jacobiano