The class
Topic
A matriz, uma tabela de números com m linhas e n colunas. O produto de matriz por vetor e de matriz por matriz, e a regra das dimensões: m×n vezes n×p dá m×p. Uma camada inteira é uma conta só, z = Wx + b, com um neurônio em cada linha de W. As propriedades que a rede usa: a transposta, com (AB)ᵀ = BᵀAᵀ, que leva o erro de volta na retropropagação; a associatividade, A(BC) = (AB)C, que mostra que duas camadas lineares seguidas são uma só; AB diferente de BA, porque a ordem das camadas importa; o produto elemento a elemento, diferente do produto de matrizes; e o produto externo, x·yᵀ, a forma do gradiente de uma matriz de pesos. A função de ativação, aplicada à saída de cada neurônio, e por que ela não pode ser linear. Na história, Minsky e Papert, 1969, o livro Perceptrons.
O deck desta aula cobre a camada como matriz, a rede do XOR com pesos à mão, a camada oculta, o MLP, duas camadas lineares que valem uma e a sigmoide. A transposta, o produto elemento a elemento, o produto externo e Minsky e Papert ficaram de fora do deck: a transposta e o produto externo aparecem no código da aula 5, na conta da retropropagação, e Minsky e Papert já estão na aula 1.
Practice in class
Produto de matrizes à mão e em NumPy, e a conferência numérica das propriedades. Depois, a passada para a frente de um MLP com duas entradas, dois neurônios ocultos e uma saída, com pesos escolhidos à mão que resolvem o XOR da aula 1.
Assignment
- A passada para a frente para qualquer número de camadas, e a conferência em NumPy de que duas camadas lineares seguidas equivalem a uma.
- Uma pergunta sobre o estudo da semana.
