Avant de retrouver une formule, repérez si elle décrit une perte, une fonction d’activation ou une règle de mise à jour. Connaître une formule ne suffit pas à établir qu’un modèle convient à un jeu de données.
À quoi cela sert
Lire et implémenter des modèles d’apprentissage automatique en ayant moins besoin de rechercher les formules.
Avant de commencer
Essayez les exemples pour découvrir ce que vous allez travailler. Vérifiez la forme de réponse demandée et les conditions indiquées.
Pour J(θ) = θ² en θ = 3, le gradient vaut 6. Avec un pas η = 0,1 :
θ suivant = 3 − 0,1 × 6 = 2,4.
Utilise θ suivant = θ − η∇J(θ), où J est une fonction de perte dérivable, ∇J son gradient et η > 0 la taille du pas. En une dimension, une dérivée strictement positive indique de diminuer θ, et une dérivée strictement négative indique de l’augmenter. Un pas assez petit dans ce sens réduit la perte. Une dérivée nulle ne donne pas, à elle seule, de direction de descente. Un grand pas peut aller trop loin.
Additionne les entrées pondérées et le terme constant
Soient x = (2, 3), w = (4, −1) et b = 5.
ŷ = 4 × 2 + (−1) × 3 + 5 = 10.
Le modèle est ŷ = w · x + b. Associe chaque entrée à son poids, additionne les produits, puis ajoute le terme constant b une seule fois. Les vecteurs w et x doivent avoir le même nombre d’éléments.
Fais la moyenne des erreurs au carré
Les valeurs observées sont 2 et 5. Les prédictions sont 3 et 3.
MSE = ((2 − 3)² + (5 − 3)²)/2 = (1 + 4)/2 = 2,5.
Utilise MSE = Σ(yᵢ − ŷᵢ)²/n pour n > 0 paires. Ici, yᵢ est une valeur observée, ŷᵢ sa prédiction et Σ signifie additionner les n termes. Le carré empêche les erreurs opposées de s’annuler.
Transforme un score en valeur entre zéro et un
À z = 0, σ(z) = 1/(1 + e⁰) = 1/2.
La formule sigmoïde est σ(z) = 1/(1 + exp(−z)), où exp(u) signifie e élevé à la puissance u. Pour un score réel fini z, le résultat est strictement entre 0 et 1. Les scores strictement positifs donnent des valeurs supérieures à 1/2, et les scores strictement négatifs des valeurs inférieures à 1/2. Garde le signe moins dans l’exposant.
Transforme plusieurs scores en proportions
Supposons que deux scores aient pour exponentielles 2 et 3. Leurs valeurs softmax sont :
2/(2 + 3) = 2/5
3/(2 + 3) = 3/5
Pour K scores, softmax(z)ᵢ = exp(zᵢ)/Σⱼ₌₁ᴷ exp(zⱼ). Ici, exp(u) signifie e élevé à la puissance u. Divise l’exponentielle du score choisi par la somme des exponentielles de tous les scores. Les résultats sont strictement positifs et leur somme vaut 1.
Essayer quelques exemples
De vrais exercices. De vrais progrès.
Exemple 1 sur 4
Complétez la mise à jour des paramètres par descente de gradient.
J est différentiable. θ est le vecteur des paramètres et η > 0 est la taille du pas.
θ suivant = □
Choisissez l’expression exacte.
Niveaux scolaires américains et cours qui incluent ce thème