Bedenk eerst wat een verliesfunctie, activatiefunctie of bijwerkregel doet voordat je de formule oproept. Een formule kennen betekent niet dat een model geschikt is voor een gegevensverzameling.
Waar dit bij helpt
Machinelearningmodellen lezen en implementeren zonder steeds formules op te zoeken.
Voordat je begint
Probeer de voorbeelden om te zien wat je gaat oefenen. Let op de gevraagde antwoordvorm en eventuele voorwaarden.
Voor J(θ) = θ² bij θ = 3 is de gradiënt 6. Bij stapgrootte η = 0,1 geldt:
θ nieuw = 3 − 0,1 × 6 = 2,4.
Gebruik θ nieuw = θ − η∇J(θ), waarbij J een differentieerbare verliesfunctie is, ∇J de gradiënt en η > 0 de stapgrootte. In één dimensie betekent een positieve afgeleide dat je θ verkleint en een negatieve dat je θ vergroot. Een voldoende kleine stap in die richting verlaagt het verlies. Een afgeleide van nul alleen geeft geen richting voor een daling. Een grote stap kan te ver gaan.
Gewogen invoerwaarden en de constante term optellen
Neem x = (2, 3), w = (4, −1) en b = 5.
ŷ = 4 × 2 + (−1) × 3 + 5 = 10.
Het model is ŷ = w · x + b. Koppel elke invoer aan zijn gewicht, tel de producten op en voeg één keer de constante term b toe. De vectoren w en x moeten evenveel elementen hebben.
Het gemiddelde van de gekwadrateerde fouten nemen
De waargenomen waarden zijn 2 en 5. De voorspellingen zijn 3 en 3.
MSE = ((2 − 3)² + (5 − 3)²)/2 = (1 + 4)/2 = 2,5.
Gebruik MSE = Σ(yᵢ − ŷᵢ)²/n voor n > 0 paren. Hier is yᵢ een waargenomen waarde en ŷᵢ de voorspelling ervan. Σ betekent alle n termen optellen. Kwadrateren voorkomt dat tegengestelde fouten elkaar opheffen.
Eén score omzetten naar een waarde tussen nul en één
Bij z = 0 geldt σ(z) = 1/(1 + e⁰) = 1/2.
De sigmoïdeformule is σ(z) = 1/(1 + exp(−z)), waarbij exp(u) gelijk is aan e tot de macht u. Voor een eindige reële score z ligt de uitkomst strikt tussen 0 en 1. Positieve scores geven waarden boven 1/2 en negatieve scores waarden onder 1/2. Behoud het minteken in de exponent.
Meerdere scores omzetten naar delen van een geheel
Stel dat de exponentiële waarden van twee scores 2 en 3 zijn. Hun softmaxwaarden zijn:
2/(2 + 3) = 2/5
3/(2 + 3) = 3/5
Voor K scores geldt softmax(z)ᵢ = exp(zᵢ)/Σⱼ₌₁ᴷ exp(zⱼ). Hier betekent exp(u) e tot de macht u. Deel de exponentiële waarde van de gekozen score door de som van die van alle scores. De uitkomsten zijn positief en tellen op tot 1.
Probeer een paar voorbeelden
Echt oefenen. Echte vooruitgang.
Voorbeeld 1 van 4
Vul de parameterupdate bij gradiëntdaling aan
J is differentieerbaar. θ is de parametervector en η > 0 is de stapgrootte.
volgende θ = □
Kies de exacte uitdrukking.
Amerikaanse leerjaren en cursussen met dit onderwerp