Identifique o papel de uma função de perda, de ativação ou de uma regra de atualização antes de recordar sua expressão. Saber a fórmula não mostra se um modelo é adequado a um conjunto de dados.
Onde isso ajuda
Ler e implementar modelos de aprendizado de máquina consultando menos fórmulas.
Antes de começar
Experimente os exemplos para ver o que você vai praticar. Confira o formato da resposta e as condições indicadas.
Para J(θ) = θ² em θ = 3, o gradiente é 6. Com tamanho de passo η = 0,1:
θ seguinte = 3 − 0,1 × 6 = 2,4.
Use θ seguinte = θ − η∇J(θ), em que J é uma função de perda derivável, ∇J é seu gradiente e η > 0 é o tamanho do passo. Em uma dimensão, uma derivada positiva indica diminuir θ, e uma negativa indica aumentar θ. Um passo suficientemente pequeno nesse sentido reduz a perda. Uma derivada zero, sozinha, não dá uma direção de descida. Um passo grande pode ir longe demais.
Some as entradas ponderadas e o intercepto
Sejam x = (2, 3), w = (4, −1) e b = 5.
ŷ = 4 × 2 + (−1) × 3 + 5 = 10.
O modelo é ŷ = w · x + b. Associe cada entrada ao seu peso, some os produtos e acrescente o intercepto b uma única vez. Os vetores w e x precisam ter a mesma quantidade de elementos.
Tire a média dos erros ao quadrado
Os valores observados são 2 e 5. As previsões são 3 e 3.
MSE = ((2 − 3)² + (5 − 3)²)/2 = (1 + 4)/2 = 2,5.
Use MSE = Σ(yᵢ − ŷᵢ)²/n para n > 0 pares. Aqui, yᵢ é um valor observado, ŷᵢ é sua previsão e Σ significa somar todos os n termos. Elevar ao quadrado impede que erros opostos se cancelem.
Transforme uma pontuação em um valor entre zero e um
Em z = 0, σ(z) = 1/(1 + e⁰) = 1/2.
A fórmula da sigmoide é σ(z) = 1/(1 + exp(−z)), em que exp(u) significa e elevado a u. Para uma pontuação real finita z, o resultado fica estritamente entre 0 e 1. Pontuações positivas dão valores acima de 1/2, e negativas dão valores abaixo de 1/2. Mantenha o sinal de menos no expoente.
Transforme várias pontuações em proporções
Suponha que as exponenciais de duas pontuações sejam 2 e 3. Seus valores softmax são:
2/(2 + 3) = 2/5
3/(2 + 3) = 3/5
Para K pontuações, softmax(z)ᵢ = exp(zᵢ)/Σⱼ₌₁ᴷ exp(zⱼ). Aqui, exp(u) significa e elevado a u. Divida a exponencial da pontuação escolhida pela soma das exponenciais de todas as pontuações. As saídas são positivas e somam 1.
Experimentar alguns exemplos
Prática de verdade. Progresso de verdade.
Exemplo 1 de 4
Complete a atualização dos parâmetros na descida do gradiente
J é diferenciável. θ é o vetor de parâmetros, e η > 0 é o tamanho do passo.
próximo valor de θ = □
Escolha a expressão exata.
Anos escolares dos EUA e cursos que incluem este tópico