沿梯度的反方向走一步
对于J(θ) = θ²,当θ = 3时,梯度是6。取步长η = 0.1: 下一步的θ = 3 − 0.1 × 6 = 2.4。
使用下一步的θ = θ − η∇J(θ),其中J是可导的损失函数,∇J是它的梯度,η > 0是步长。在一维情况下,导数为正就减小θ,导数为负就增大θ。沿这个方向移动足够小的一步,损失就会降低。仅凭导数为0,无法确定使损失降低的方向。步长过大,可能越过合适的位置。
免费在线数学练习
常用的损失函数、激活函数、概率和优化公式。
回忆公式前,先弄清损失函数、激活函数或更新规则各有什么作用。记住公式,并不能说明某个模型适合一组数据。
阅读和实现机器学习模型时,减少查阅公式的次数。
试做例题,了解你将练习什么。留意答案形式和题目给出的条件。
对于J(θ) = θ²,当θ = 3时,梯度是6。取步长η = 0.1: 下一步的θ = 3 − 0.1 × 6 = 2.4。
使用下一步的θ = θ − η∇J(θ),其中J是可导的损失函数,∇J是它的梯度,η > 0是步长。在一维情况下,导数为正就减小θ,导数为负就增大θ。沿这个方向移动足够小的一步,损失就会降低。仅凭导数为0,无法确定使损失降低的方向。步长过大,可能越过合适的位置。
设x = (2, 3),w = (4, −1),b = 5。 ŷ = 4 × 2 + (−1) × 3 + 5 = 10。
模型为ŷ = w · x + b。每个输入与对应权重相乘,将乘积相加,最后只加一次截距b。向量w和x的元素个数必须相同。
观测值为2和5,预测值为3和3。 MSE = ((2 − 3)² + (5 − 3)²)/2 = (1 + 4)/2 = 2.5。
对于n > 0组配对值,使用MSE = Σ(yᵢ − ŷᵢ)²/n。这里yᵢ是观测值,ŷᵢ是对应的预测值,Σ表示将所有n项相加。平方可以避免正负误差相互抵消。
当z = 0时,σ(z) = 1/(1 + e⁰) = 1/2。
S形函数的公式是σ(z) = 1/(1 + exp(−z)),其中exp(u)表示e的u次幂。对于有限的实数分数z,结果严格位于0与1之间。正的分数得到大于1/2的值,负的分数得到小于1/2的值。注意保留指数中的负号。
假设两个分数取指数函数后的值分别为2和3。它们经过softmax转换后为: 2/(2 + 3) = 2/5 3/(2 + 3) = 3/5
对于K个分数,softmax(z)ᵢ = exp(zᵢ)/Σⱼ₌₁ᴷ exp(zⱼ)。这里exp(u)表示e的u次幂。将所选分数的指数函数值,除以所有分数的指数函数值之和。输出值都为正数,且相加等于1。
试做几道例题
J 可微。θ 是参数向量,η > 0 是步长。
选择精确的表达式。