RNN empilé Pytorch

1. Ce qui est rnn empilé?
2. Pourquoi LSTM est meilleur que RNN?
3. Quelle est la taille cachée dans RNN Pytorch?

Ce qui est rnn empilé?

L'empilement des RNN signifie simplement alimenter la sortie d'une couche RNN vers une autre couche RNN. Les couches RNN peuvent sortir des séquences (c'est-à-dire la sortie à chaque pas de temps) et celles-ci peuvent être alimentées, comme n'importe quelle séquence d'entrée, dans la couche RNN suivante.

Pourquoi LSTM est meilleur que RNN?

Les réseaux LSTM combattent les gradients de fuite du RNN ou le problème de dépendance à long terme. La fuite du gradient fait référence à la perte d'informations dans un réseau neuronal alors que les connexions se reproduisent sur une période plus longue. En termes simples, LSTM s'attaque à la disparition du gradient en ignorant des données / informations inutiles dans le réseau.

Quelle est la taille cachée dans RNN Pytorch?

Hidden_Size - Le nombre de fonctionnalités dans l'état caché h. num_layers - Nombre de couches récurrentes. E.g., Définir num_layers = 2 signifierait empiler deux RNN ensemble pour former un RNN empilé, le deuxième RNN prenant les sorties du premier RNN et calculant les résultats finaux. Par défaut: 1.