Difficultés à comprendre le concept d'information mutuelle

1. Les informations mutuelles peuvent-elles être négatives dans la théorie de l'information?
2. Comment évaluez-vous les informations mutuelles?
3. Comment interprétez-vous les valeurs d'information mutuelle?
4. Quelle est la signification des informations mutuelles dans la théorie de l'information?
5. Pourquoi l'information mutuelle est meilleure que la corrélation?
6. Les informations mutuelles conditionnelles peuvent-elles être négatives?

Les informations mutuelles peuvent-elles être négatives dans la théorie de l'information?

Notez que les informations mutuelles sont symétriques dans les arguments. C'est-à-dire i (x; y) = i (y; x). Les informations mutuelles sont également non négatives, comme nous le montrerons dans une minute.

Comment évaluez-vous les informations mutuelles?

Les informations mutuelles peuvent également être calculées comme la divergence KL entre la distribution de probabilité articulaire et le produit des probabilités marginales pour chaque variable. - page 57, reconnaissance des modèles et apprentissage automatique, 2006. Cela peut être énoncé formellement comme suit: i (x; y) = kl (p (x, y) || p (x) * p (y))

Comment interprétez-vous les valeurs d'information mutuelle?

Des informations mutuelles élevées indiquent une forte réduction de l'incertitude; Les informations mutuelles faibles indiquent une petite réduction; et aucune information mutuelle entre deux variables aléatoires signifie que les variables sont indépendantes.

Quelle est la signification des informations mutuelles dans la théorie de l'information?

Les informations mutuelles sont une quantité qui mesure une relation entre deux variables aléatoires qui sont échantillonnées simultanément. En particulier, il mesure la quantité d'informations communiquée, en moyenne, dans une variable aléatoire sur une autre.

Pourquoi l'information mutuelle est meilleure que la corrélation?

La principale différence est que la corrélation est une mesure de la dépendance linéaire, tandis que l'information mutuelle mesure la dépendance générale (y compris les relations non linéaires). Par conséquent, l'information mutuelle détecte les dépendances qui ne dépendent pas seulement de la covariance.

Les informations mutuelles conditionnelles peuvent-elles être négatives?

Étant donné que les informations mutuelles conditionnelles peuvent être supérieures ou inférieures à son homologue inconditionnel, les informations d'interaction peuvent être positives, négatives ou zéro, ce qui rend difficile l'interprétation.