Qui a inventé relu

La fonction d'activation de l'unité linéaire rectifiée (RELU) a été proposée par Nair et Hinton 2010, et depuis, a été la fonction d'activation la plus utilisée pour les applications d'apprentissage en profondeur avec des résultats de pointe à ce jour [57].

1. Qui a introduit l'activation de relu?
2. Pourquoi relu a-t-il été introduit?
3. Pourquoi relu est-il célèbre?
4. Pourquoi relu est appelé relu?

Qui a introduit l'activation de relu?

Fukushima a publié le journal Cognitron original en 1975. C'était la première instance de relu. Il est défini dans l'équation 2 ici: Fukushima, k.

Pourquoi relu a-t-il été introduit?

Actuellement, RELU est utilisé comme activation par défaut dans le développement de réseaux multicouches neuronaux et perceptron. La fonction d'activation RELU résout ce problème permettant aux modèles de mieux fonctionner et d'apprendre plus rapidement. Il n'y a pas de bonnes ou de mauvaises façons d'apprendre les technologies AI et ML - plus, mieux c'est, mieux!

Pourquoi relu est-il célèbre?

Les relations sont populaires car c'est simple et rapide. D'un autre côté, si le seul problème que vous trouvez avec RELU est que l'optimisation est lente, la formation du réseau plus longtemps est une solution raisonnable. Cependant, il est plus courant pour les articles de pointe pour utiliser des activations plus complexes.

Pourquoi relu est appelé relu?

Relu est devenu la fonction d'activation chéri du monde du réseau neuronal. Abréviation de l'unité linéaire rectifiée, c'est une fonction linéaire par morceaux qui est définie comme étant 0 pour toutes les valeurs négatives de x et égale à un × x sinon, où A est un paramètre apprenable.