Zanim przypomnisz sobie wzór, ustal rolę funkcji straty, funkcji aktywacji lub reguły aktualizacji. Sama znajomość wzoru nie dowodzi, że model pasuje do zbioru danych.
Do czego to się przydaje
Czytanie i wdrażanie modeli uczenia maszynowego bez tak częstego sprawdzania wzorów.
Zanim zaczniesz
Wypróbuj przykłady, by zobaczyć, co będziesz ćwiczyć. Sprawdź wymaganą postać odpowiedzi i podane warunki.
Dla J(θ) = θ² przy θ = 3 gradient wynosi 6. Przy kroku η = 0,1:
θ nowe = 3 − 0,1 × 6 = 2,4.
Użyj θ nowe = θ − η∇J(θ), gdzie J jest różniczkowalną funkcją straty, ∇J jej gradientem, a η > 0 długością kroku. W jednym wymiarze dodatnia pochodna oznacza zmniejszenie θ, a ujemna zwiększenie θ. Dostatecznie mały krok w tę stronę zmniejsza stratę. Sama zerowa pochodna nie wskazuje kierunku zmniejszania. Duży krok może pójść za daleko.
Dodaj ważone dane wejściowe i wyraz wolny
Niech x = (2, 3), w = (4, −1) i b = 5.
ŷ = 4 × 2 + (−1) × 3 + 5 = 10.
Model ma postać ŷ = w · x + b. Połącz każdą daną wejściową z jej wagą, dodaj iloczyny, a potem dodaj raz wyraz wolny b. Wektory w i x muszą mieć tyle samo elementów.
Oblicz średnią kwadratów błędów
Zaobserwowane wartości to 2 i 5. Przewidywania to 3 i 3.
MSE = ((2 − 3)² + (5 − 3)²)/2 = (1 + 4)/2 = 2,5.
Użyj MSE = Σ(yᵢ − ŷᵢ)²/n dla n > 0 par. Tutaj yᵢ to zaobserwowana wartość, ŷᵢ to jej przewidywanie, a Σ oznacza dodanie wszystkich n składników. Kwadratowanie zapobiega znoszeniu się przeciwnych błędów.
Zamień jeden wynik na wartość między zerem a jedynką
Przy z = 0 mamy σ(z) = 1/(1 + e⁰) = 1/2.
Wzór sigmoidy to σ(z) = 1/(1 + exp(−z)), gdzie exp(u) oznacza e do potęgi u. Dla skończonego rzeczywistego wyniku z wartość leży ściśle między 0 a 1. Dodatnie wyniki dają wartości powyżej 1/2, a ujemne poniżej 1/2. Zachowaj minus w wykładniku.
Zamień kilka wyników na udziały
Załóżmy, że wartości funkcji wykładniczej dla dwóch wyników to 2 i 3. Ich wartości softmax to:
2/(2 + 3) = 2/5
3/(2 + 3) = 3/5
Dla K wyników softmax(z)ᵢ = exp(zᵢ)/Σⱼ₌₁ᴷ exp(zⱼ). Tutaj exp(u) oznacza e do potęgi u. Podziel wartość funkcji wykładniczej dla wybranego wyniku przez sumę takich wartości dla wszystkich wyników. Wartości wyjściowe są dodatnie i sumują się do 1.
Spróbuj rozwiązać kilka przykładowych zadań
Prawdziwe ćwiczenia. Rzeczywiste postępy.
Przykład 1 z 4
Uzupełnij wzór aktualizacji parametrów metodą spadku gradientowego
J jest różniczkowalna. θ jest wektorem parametrów, a η > 0 jest długością kroku.