Howtosignalprocessing
- Pourquoi la régularisation L1 mène-t-elle à la rareté?
- Pourquoi L1 donne-t-il une solution clairsemée?
- La régularisation L1 peut-elle entraîner des modèles clairsemés?
- Comment L1 crée-t-il la rareté?
Pourquoi la régularisation L1 mène-t-elle à la rareté?
Raison de la rareté
La régularisation L1 fait que les coefficients convergent vers 0 assez rapidement car la contrainte limite tous les vecteurs de poids se trouvent dans la norme L1. Le taux de convergence est plus élevé pour L1 en raison de la première dérivée de la perte étant simplement λ pour L1 alors que étant 2 λ 2 \ lambda 2λ pour L2.
Pourquoi L1 donne-t-il une solution clairsemée?
La raison de l'utilisation de la norme L1 pour trouver une solution clairsemée est due à sa forme spéciale. Il a des pointes qui se trouvent à des points clairsemés. L'utiliser pour toucher la surface de la solution sera très susceptible de trouver un point de contact sur une pointe de pointe et donc une solution clairsemée.
La régularisation L1 peut-elle entraîner des modèles clairsemés?
La régularisation de L1 pénalise la somme des valeurs absolues des poids, tandis que la régularisation L2 pénalise la somme des carrés des poids. La solution de régularisation L1 est clairsemée. La solution de régularisation L2 est non sapée.
Comment L1 crée-t-il la rareté?
Le cercle noir dans tous les contours représente celui qui interesectiont la norme L1 ou le lasso. Il se croit relativement près des axes. Il en résulte de faire des coefficients à 0 et donc une sélection de fonctionnalités. D'où la norme l1 rendez le modèle clairsemé.
