勾配と逆向きに1歩進む
J(θ) = θ²でθ = 3のとき、勾配は6です。ステップ幅η = 0.1なら、 次のθ = 3 − 0.1 × 6 = 2.4です。
次のθ = θ − η∇J(θ)を使います。Jは微分可能な損失関数、∇Jはその勾配、η > 0はステップ幅です。1次元では、導関数が正ならθを減らし、負ならθを増やします。その向きに十分小さく動くと、損失が減ります。導関数が0というだけでは、減少する向きはわかりません。歩幅が大きすぎると、行きすぎることがあります。
オンラインで無料の数学練習
よく使う損失、活性化、確率、最適化の公式を練習します。
式を思い出す前に、損失関数、活性化関数、更新則がそれぞれ何をするか確認しましょう。公式を覚えているだけでは、モデルがデータに適しているとは判断できません。
公式を調べる回数を減らし、機械学習モデルを読んだり実装したりすること。
例題を試して、どんな練習ができるか見てみましょう。答え方の指定や条件を確認してください。
J(θ) = θ²でθ = 3のとき、勾配は6です。ステップ幅η = 0.1なら、 次のθ = 3 − 0.1 × 6 = 2.4です。
次のθ = θ − η∇J(θ)を使います。Jは微分可能な損失関数、∇Jはその勾配、η > 0はステップ幅です。1次元では、導関数が正ならθを減らし、負ならθを増やします。その向きに十分小さく動くと、損失が減ります。導関数が0というだけでは、減少する向きはわかりません。歩幅が大きすぎると、行きすぎることがあります。
x = (2, 3)、w = (4, −1)、b = 5とすると、 ŷ = 4 × 2 + (−1) × 3 + 5 = 10です。
モデルはŷ = w · x + bです。各入力と対応する重みをかけ、積をたしてから切片bを1回たします。ベクトルwとxの成分数は同じでなければなりません。
観測値が2と5、予測値が3と3です。 MSE = ((2 − 3)² + (5 − 3)²)/2 = (1 + 4)/2 = 2.5です。
n > 0組のデータには、MSE = Σ(yᵢ − ŷᵢ)²/nを使います。yᵢは観測値、ŷᵢはその予測値、Σはn個の項をすべてたす記号です。2乗することで、正と負の誤差が打ち消し合うのを防ぎます。
z = 0では、σ(z) = 1/(1 + e⁰) = 1/2です。
シグモイド関数の式はσ(z) = 1/(1 + exp(−z))です。exp(u)はeのu乗を表します。有限の実数のスコアzに対して、結果は0より大きく1より小さくなります。正のスコアなら1/2より上、負なら1/2より下です。指数のマイナスを忘れません。
2つのスコアの指数関数の値が2と3なら、ソフトマックスの値は、 2/(2 + 3) = 2/5 3/(2 + 3) = 3/5です。
K個のスコアでは、softmax(z)ᵢ = exp(zᵢ)/Σⱼ₌₁ᴷ exp(zⱼ)です。exp(u)はeのu乗を表します。選んだスコアの指数関数の値を、全スコアの指数関数の値の合計でわります。出力はすべて正で、合計は1です。
例題をいくつか試す
J は微分可能です。θ はパラメーターベクトル、η > 0 はステップ幅です。
厳密な式を選んでください。