Prima di richiamare una formula, individua il ruolo della funzione di perdita, della funzione di attivazione o della regola di aggiornamento. Ricordare una formula non basta a stabilire se un modello sia adatto a un insieme di dati.
A cosa serve
Leggere e implementare modelli di apprendimento automatico consultando meno spesso le formule.
Prima di iniziare
Prova gli esempi per vedere su cosa ti eserciterai. Controlla in che forma va data la risposta e le eventuali condizioni indicate.
Per J(θ) = θ² in θ = 3, il gradiente è 6. Con passo η = 0,1:
θ successivo = 3 − 0,1 × 6 = 2,4.
Usa θ successivo = θ − η∇J(θ), dove J è una funzione di perdita derivabile, ∇J è il suo gradiente e η > 0 è il passo. In una dimensione, una derivata positiva indica di diminuire θ e una derivata negativa di aumentarlo. Uno spostamento abbastanza piccolo in quel verso riduce la perdita. Una derivata nulla, da sola, non indica un verso di diminuzione. Un passo grande può andare troppo oltre.
Somma gli ingressi pesati e l'intercetta
Siano x = (2, 3), w = (4, −1) e b = 5.
ŷ = 4 × 2 + (−1) × 3 + 5 = 10.
Il modello è ŷ = w · x + b. Abbina ogni ingresso al suo peso, somma i prodotti e aggiungi l'intercetta b una sola volta. I vettori w e x devono avere lo stesso numero di componenti.
Calcola la media degli errori al quadrato
I valori osservati sono 2 e 5. Le previsioni sono 3 e 3.
MSE = ((2 − 3)² + (5 − 3)²)/2 = (1 + 4)/2 = 2,5.
Usa MSE = Σ(yᵢ − ŷᵢ)²/n per n > 0 coppie. Qui yᵢ è un valore osservato, ŷᵢ è la sua previsione e Σ significa sommare tutti gli n termini. Elevare al quadrato impedisce agli errori di segno opposto di annullarsi.
Trasforma un punteggio in un valore tra zero e uno
In z = 0, σ(z) = 1/(1 + e⁰) = 1/2.
La formula della sigmoide è σ(z) = 1/(1 + exp(−z)), dove exp(u) significa e elevato alla potenza u. Per un punteggio reale finito z, il risultato è strettamente compreso tra 0 e 1. I punteggi positivi danno valori maggiori di 1/2 e quelli negativi valori minori di 1/2. Mantieni il segno meno nell'esponente.
Trasforma più punteggi in quote
Supponi che gli esponenziali di due punteggi siano 2 e 3. I loro valori softmax sono:
2/(2 + 3) = 2/5
3/(2 + 3) = 3/5
Per K punteggi, softmax(z)ᵢ = exp(zᵢ)/Σⱼ₌₁ᴷ exp(zⱼ). Qui exp(u) significa e elevato alla potenza u. Dividi l'esponenziale del punteggio scelto per la somma degli esponenziali di tutti i punteggi. I risultati sono positivi e la loro somma è 1.
Prova alcuni esempi
Esercizi reali. Progressi reali.
Esempio 1 di 4
Completa l'aggiornamento dei parametri nella discesa del gradiente
J è differenziabile. θ è il vettore dei parametri ed η > 0 è l'ampiezza del passo.
theta successivo = □
Scegli l'espressione esatta.
Classi (USA) e corsi che includono questo argomento