オンラインで無料の数学練習

機械学習の数式を練習

よく使う損失、活性化、確率、最適化の公式を練習します。

練習を始める機械学習の数式

  • 無料で練習できます。
  • アカウントは不要です。
  • 練習の記録はこの端末に保存されます。

練習する内容

式を思い出す前に、損失関数、活性化関数、更新則がそれぞれ何をするか確認しましょう。公式を覚えているだけでは、モデルがデータに適しているとは判断できません。

役立つ場面

公式を調べる回数を減らし、機械学習モデルを読んだり実装したりすること。

始める前に

例題を試して、どんな練習ができるか見てみましょう。答え方の指定や条件を確認してください。

解説

勾配と逆向きに1歩進む

J(θ) = θ²でθ = 3のとき、勾配は6です。ステップ幅η = 0.1なら、 次のθ = 3 − 0.1 × 6 = 2.4です。

次のθ = θ − η∇J(θ)を使います。Jは微分可能な損失関数、∇Jはその勾配、η > 0はステップ幅です。1次元では、導関数が正ならθを減らし、負ならθを増やします。その向きに十分小さく動くと、損失が減ります。導関数が0というだけでは、減少する向きはわかりません。歩幅が大きすぎると、行きすぎることがあります。

入力に重みをかけてたし、切片を加える

x = (2, 3)、w = (4, −1)、b = 5とすると、 ŷ = 4 × 2 + (−1) × 3 + 5 = 10です。

モデルはŷ = w · x + bです。各入力と対応する重みをかけ、積をたしてから切片bを1回たします。ベクトルwとxの成分数は同じでなければなりません。

誤差の2乗の平均をとる

観測値が2と5、予測値が3と3です。 MSE = ((2 − 3)² + (5 − 3)²)/2 = (1 + 4)/2 = 2.5です。

n > 0組のデータには、MSE = Σ(yᵢ − ŷᵢ)²/nを使います。yᵢは観測値、ŷᵢはその予測値、Σはn個の項をすべてたす記号です。2乗することで、正と負の誤差が打ち消し合うのを防ぎます。

1つのスコアを0と1の間の値にする

z = 0では、σ(z) = 1/(1 + e⁰) = 1/2です。

シグモイド関数の式はσ(z) = 1/(1 + exp(−z))です。exp(u)はeのu乗を表します。有限の実数のスコアzに対して、結果は0より大きく1より小さくなります。正のスコアなら1/2より上、負なら1/2より下です。指数のマイナスを忘れません。

複数のスコアを割合にする

2つのスコアの指数関数の値が2と3なら、ソフトマックスの値は、 2/(2 + 3) = 2/5 3/(2 + 3) = 3/5です。

K個のスコアでは、softmax(z)ᵢ = exp(zᵢ)/Σⱼ₌₁ᴷ exp(zⱼ)です。exp(u)はeのu乗を表します。選んだスコアの指数関数の値を、全スコアの指数関数の値の合計でわります。出力はすべて正で、合計は1です。

例題をいくつか試す

実際の問題で練習し、上達を確かめましょう。

例題 1/4

J は微分可能です。θ はパラメーターベクトル、η > 0 はステップ幅です。

厳密な式を選んでください。

このトピックを含む米国の学年とコース

関連する練習

練習を始める機械学習の数式

  • 無料で練習できます。
  • アカウントは不要です。
  • 練習の記録はこの端末に保存されます。