J(θ) = θ²에서 θ = 3이면 기울기는 6이에요. 스텝 크기 η = 0.1이면
다음 θ = 3 − 0.1 × 6 = 2.4예요.
다음 θ = θ − η∇J(θ)를 써요. J는 미분 가능한 손실함수, ∇J는 그 기울기 벡터, η > 0은 스텝 크기예요. 1차원에서는 도함수가 양수이면 θ를 줄이고, 음수이면 θ를 늘려요. 그 방향으로 충분히 작게 이동하면 손실이 줄어요. 도함수가 0이라는 사실만으로는 감소 방향을 알 수 없어요. 너무 크게 이동하면 지나칠 수 있어요.
가중치를 곱한 입력과 절편 더하기
x = (2, 3), w = (4, −1), b = 5이면
ŷ = 4 × 2 + (−1) × 3 + 5 = 10이에요.
모델은 ŷ = w · x + b예요. 각 입력에 해당 가중치를 곱해 더한 다음 절편 b를 한 번 더해요. 벡터 w와 x의 성분 수는 같아야 해요.