Normalisation du poids

Normalisation du poids, une réparamétrisation des vecteurs de poids dans un réseau neuronal qui découple la longueur de ces vecteurs de poids de leur direction. Il accélère la convergence alors qu'elle n'introduisait aucune dépendance entre les exemples d'un minibatch.

1. Qu'est-ce que le poids normalisé?
2. Qu'est-ce que la normalisation dans CNN?
3. Qu'est-ce que les poids dans CNN?
4. Qu'est-ce que la normalisation de la couche?

Qu'est-ce que le poids normalisé?

Les poids normalisés considèrent les poids d'enquête, mais pas les autres aspects de la conception (stratification, échantillonnage en grappes, étalonnage, etc.). Il s'agit d'une modification de l'approche basée sur le modèle (pour inclure des poids) ou une application incomplète de l'approche basée sur la conception.

Qu'est-ce que la normalisation dans CNN?

La normalisation est une technique de prétraitement utilisée pour normaliser les données. En d'autres termes, avoir différentes sources de données dans la même gamme. Ne pas normaliser les données avant la formation peut causer des problèmes dans notre réseau, ce qui rend considérablement plus difficile de former et de diminuer sa vitesse d'apprentissage.

Qu'est-ce que les poids dans CNN?

Un noyau est un éventail de poids 2D.

Les poids associés aux couches convolutionnelles dans un CNN sont ce qui constitue les noyaux (n'oubliez pas que toutes les couches d'un CNN ne sont pas une couche convolutionnelle). Jusqu'à ce que les poids soient entraînés, aucun des noyaux ne sait quelles «caractéristiques» ils devraient détecter.

Qu'est-ce que la normalisation de la couche?

La normalisation de la couche normalise chacune des entrées du lot indépendamment sur toutes les fonctionnalités. Comme la normalisation des lots dépend de la taille du lot, elle n'est pas efficace pour les petites tailles de lots. La normalisation de la couche est indépendante de la taille du lot, elle peut donc être appliquée aux lots avec des tailles plus petites également.