Apprentissage en profondeur à l'aide d'unités linéaires rectifiées (RELU)

1. Que fait Relu dans l'apprentissage en profondeur?
2. Pourquoi une fonction linéaire redressée est-elle la fonction d'activation la plus populaire la plus populaire?
3. Pouvons-nous utiliser du relu dans la régression linéaire?
4. Comment relu peut être utilisé avec les réseaux de neurones?

Que fait Relu dans l'apprentissage en profondeur?

La fonction RELU est une autre fonction d'activation non linéaire qui a gagné en popularité dans le domaine d'apprentissage en profondeur. Relu signifie une unité linéaire rectifiée. Le principal avantage de l'utilisation de la fonction RELU sur d'autres fonctions d'activation est qu'il n'activait pas tous les neurones en même temps.

Pourquoi une fonction linéaire redressée est-elle la fonction d'activation la plus populaire la plus populaire?

La fonction d'activation linéaire rectifiée surmonte le problème du gradient de fuite, permettant aux modèles d'apprendre plus rapidement et de mieux fonctionner. L'activation linéaire rectifiée est l'activation par défaut lors du développement de réseaux de neurones multicouches et de réseaux de neurones convolutionnels.

Pouvons-nous utiliser du relu dans la régression linéaire?

Relu en régression

Nous appliquons des fonctions d'activation sur les neurones cachés et de sortie pour empêcher les neurones de devenir trop bas ou trop élevés, ce qui fonctionnera contre le processus d'apprentissage du réseau. Simplement, les mathématiques fonctionnent mieux de cette façon. La fonction d'activation la plus importante est celle appliquée à la couche de sortie.

Comment relu peut être utilisé avec les réseaux de neurones?

Une façon d'améliorer les réseaux de neurones est en accélérant l'entraînement. Le calcul du gradient est très simple (0 ou 1 selon le signe de x). De plus, l'étape de calcul d'un relu est facile: tous les éléments négatifs sont définis sur 0.0 - pas d'exponentiels, pas de multiplication ou d'opérations de division.