Kenali peran fungsi kerugian, fungsi aktivasi, atau aturan pembaruan sebelum mengingat rumusnya. Hafal rumus saja tidak membuktikan bahwa suatu model cocok untuk sebuah kumpulan data.
Kegunaannya
Membaca dan menerapkan model pembelajaran mesin tanpa terlalu sering mencari rumus.
Sebelum mulai
Coba contoh soalnya untuk melihat apa yang akan kamu latih. Periksa bentuk jawaban dan setiap syarat yang disebutkan.
Untuk J(θ) = θ² pada θ = 3, gradiennya 6. Dengan ukuran langkah η = 0,1:
θ berikutnya = 3 − 0,1 × 6 = 2,4.
Gunakan θ berikutnya = θ − η∇J(θ), dengan J fungsi kerugian yang dapat diturunkan, ∇J gradiennya, dan η > 0 ukuran langkahnya. Dalam satu dimensi, turunan positif berarti kurangi θ, dan turunan negatif berarti tambah θ. Langkah yang cukup kecil ke arah itu menurunkan kerugian. Turunan nol saja tidak memberi arah penurunan. Langkah yang besar bisa melampaui sasaran.
Menjumlahkan input berbobot dan intersep
Misalkan x = (2, 3), w = (4, −1), dan b = 5.
ŷ = 4 × 2 + (−1) × 3 + 5 = 10.
Modelnya ŷ = w · x + b. Pasangkan setiap input dengan bobotnya, jumlahkan hasil perkaliannya, lalu tambahkan intersep b sekali. Vektor w dan x harus memiliki banyaknya elemen yang sama.
Merata-ratakan kuadrat kesalahan
Nilai pengamatannya 2 dan 5. Prediksinya 3 dan 3.
MSE = ((2 − 3)² + (5 − 3)²)/2 = (1 + 4)/2 = 2,5.
Gunakan MSE = Σ(yᵢ − ŷᵢ)²/n untuk n > 0 pasangan. Di sini yᵢ adalah nilai pengamatan, ŷᵢ prediksinya, dan Σ berarti menjumlahkan seluruh n suku. Menguadratkan mencegah kesalahan yang berlawanan saling menghilangkan.
Mengubah satu skor menjadi nilai di antara nol dan satu
Pada z = 0, σ(z) = 1/(1 + e⁰) = 1/2.
Rumus sigmoid adalah σ(z) = 1/(1 + exp(−z)), dengan exp(u) berarti e berpangkat u. Untuk skor real berhingga z, hasilnya benar-benar di antara 0 dan 1. Skor positif menghasilkan nilai di atas 1/2, dan skor negatif menghasilkan nilai di bawah 1/2. Pertahankan tanda minus pada pangkat.
Mengubah beberapa skor menjadi proporsi
Misalkan dua skor memiliki nilai eksponensial 2 dan 3. Nilai softmax-nya adalah:
2/(2 + 3) = 2/5
3/(2 + 3) = 3/5
Untuk K skor, softmax(z)ᵢ = exp(zᵢ)/Σⱼ₌₁ᴷ exp(zⱼ). Di sini exp(u) berarti e berpangkat u. Bagi eksponensial skor yang dipilih dengan jumlah eksponensial seluruh skor. Semua keluaran positif dan jumlahnya 1.
Coba beberapa contoh soal
Latihan nyata. Kemajuan nyata.
Contoh 1 dari 4
Lengkapi pembaruan parameter penurunan gradien
J dapat didiferensialkan. θ adalah vektor parameter dan η > 0 adalah ukuran langkah.
theta berikutnya = □
Pilih bentuk aljabar yang tepat.
Tingkat kelas di AS dan kursus yang mencakup topik ini