Matrice d'informations mutuelles Python

1. Qu'est-ce que les informations mutuelles dans Python?
2. Qu'est-ce que la matrice d'informations mutuelles?
3. Comment calculer les informations mutuelles?
4. Comment interprétez-vous le score d'information mutuelle?

Qu'est-ce que les informations mutuelles dans Python?

Les informations mutuelles (MI) [1] entre deux variables aléatoires sont une valeur non négative, qui mesure la dépendance entre les variables. Il est égal à zéro si et seulement si deux variables aléatoires sont indépendantes, et des valeurs plus élevées signifient une dépendance plus élevée.

Qu'est-ce que la matrice d'informations mutuelles?

L'information mutuelle est une métrique de la théorie de l'information qui quantifie les co-dépendances non linéaires entre une paire de variables aléatoires. Lorsqu'il est étendu à plus d'une paire, une matrice d'informations mutuelles peut être construite, similaire à la matrice de corrélation.

Comment calculer les informations mutuelles?

Les informations mutuelles peuvent également être calculées comme la divergence KL entre la distribution de probabilité articulaire et le produit des probabilités marginales pour chaque variable. - page 57, reconnaissance des modèles et apprentissage automatique, 2006. Cela peut être énoncé formellement comme suit: i (x; y) = kl (p (x, y) || p (x) * p (y))

Comment interprétez-vous le score d'information mutuelle?

Le score MI tombera dans la plage de 0 à ∞. La valeur plus élevée, la connexion plus étroite entre cette fonctionnalité et la cible, ce qui suggère que nous devrions mettre cette fonctionnalité dans l'ensemble de données de formation. Si le score MI est 0 ou très bas comme 0.01. Le score bas suggère une connexion faible entre cette fonctionnalité et la cible.