Количество информации в теории информации – это количество информации в одном случайном объекте относительно другого.
Пусть
x
{\displaystyle x}
и
y
{\displaystyle y}
– случайные величины, заданные на соответствующих множествах
X
{\displaystyle X}
и
Y
{\displaystyle Y}
. Тогда количество информации
x
{\displaystyle x}
относительно
y
{\displaystyle y}
есть разность априорной и апостериорной энтропий:
I
(
x
,
y
)
=
H
(
x
)
−
H
(
x
y
)
{\displaystyle I(x,y)=H(x)-H(x y)}
,
где
H
(
x
)
=
−
∑
x
∈
X
p
(
x
)
log
2
p
(
x
)
{\displaystyle H(x)=-\sum _{x\in X}p(x)\log _{2}p(x)}
— энтропия, а
H
(
x
y
)
=
−
∑
y
∈
Y
p
(
y
)
∑
x
∈
X
p
(
x
y
)
log
2
p
(
x
y
)
{\displaystyle H(x y)=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x y)\log _{2}p(x y)}
— условная энтропия, в теории передачи информации она характеризует шум в канале.
Пусть
x
{\displaystyle x}
и
y
{\displaystyle y}
– случайные величины, заданные на соответствующих множествах
X
{\displaystyle X}
и
Y
{\displaystyle Y}
. Тогда количество информации
x
{\displaystyle x}
относительно
y
{\displaystyle y}
есть разность априорной и апостериорной энтропий:
I
(
x
,
y
)
=
H
(
x
)
−
H
(
x
y
)
{\displaystyle I(x,y)=H(x)-H(x y)}
,
где
H
(
x
)
=
−
∑
x
∈
X
p
(
x
)
log
2
p
(
x
)
{\displaystyle H(x)=-\sum _{x\in X}p(x)\log _{2}p(x)}
— энтропия, а
H
(
x
y
)
=
−
∑
y
∈
Y
p
(
y
)
∑
x
∈
X
p
(
x
y
)
log
2
p
(
x
y
)
{\displaystyle H(x y)=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x y)\log _{2}p(x y)}
— условная энтропия, в теории передачи информации она характеризует шум в канале.
Источник: Wipedia.org