Informations mutuelles

1. Quelle est la signification des informations mutuelles?
2. Comment utilisez-vous des informations mutuelles?
3. Quelle est la différence entre la corrélation et les informations mutuelles?
4. L'information mutuelle est-elle positive?

Quelle est la signification des informations mutuelles?

Les informations mutuelles sont une quantité qui mesure une relation entre deux variables aléatoires qui sont échantillonnées simultanément. En particulier, il mesure la quantité d'informations communiquée, en moyenne, dans une variable aléatoire sur une autre.

Comment utilisez-vous des informations mutuelles?

Les informations mutuelles sont souvent utilisées comme une forme générale d'un coefficient de corrélation, e.g. une mesure de la dépendance entre les variables aléatoires. Il est également utilisé comme aspect dans certains algorithmes d'apprentissage automatique.

Quelle est la différence entre la corrélation et les informations mutuelles?

L'analyse de corrélation fournit un moyen quantitatif de mesurer la force d'une relation linéaire entre deux vecteurs de données. Les informations mutuelles sont essentiellement la mesure de la quantité de «connaissances» que l'on peut acquérir d'une certaine variable en connaissant la valeur d'une autre variable.

L'information mutuelle est-elle positive?

Les informations mutuelles sont non négatives, je.e. I (x; y) ≥ 0. Équivalence, h (x | y) ≤ h (x). Par conséquent, conditionnement d'une variable aléatoire sur un autre ne peut que diminuer l'entropie. L'égalité se tient si et seulement si les variables aléatoires sont indépendantes.