Взаимная информация — статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой.
Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как
I
(
X
;
Y
)
=
H
(
X
)
−
H
(
X
Y
)
=
H
(
X
)
+
H
(
Y
)
−
H
(
X
,
Y
)
{\displaystyle I\left({X;Y}\right)=H\left(X\right)-H\left({X Y}\right)=H\left(X\right)+H\left(Y\right)-H\left({X,Y}\right)}
Взаимная информация определяется через энтропию и условную энтропию двух случайных величин как
I
(
X
;
Y
)
=
H
(
X
)
−
H
(
X
Y
)
=
H
(
X
)
+
H
(
Y
)
−
H
(
X
,
Y
)
{\displaystyle I\left({X;Y}\right)=H\left(X\right)-H\left({X Y}\right)=H\left(X\right)+H\left(Y\right)-H\left({X,Y}\right)}
Источник: Wipedia.org