Кількість інформації

Кількість інформації - в теорії інформації це кількість інформації в одному випадковому об'єкті щодо іншого. Нехай x і y - Випадкові величини, задані на відповідних множинах X і Y . Тоді кількість інформації x щодо y є:

I (x, y) = H (x)-H (x | y) ,

де

H (x) = - \ sum_ {x \ in X} p (x) \ ln p (x) , - ентропія, а

H (x | y) = - \ sum_ {y \ in Y} p (y) \ sum_ {x \ in X} p (x | y) \ ln p (x | y) , - Умовна ентропія, в теорії передачі інформації вона характеризує шум у каналі.


Властивості ентропії

Для ентропії справедливі властивості:

0 \ leqslant H (x) \ leqslant \ ln (m) ,

де m кількість елементів множини X .

При цьому, H (x) = 0 , Якщо один з елементів множини реалізується з імовірністю 1, а решта, відповідно, 0, в силу того, що 1 \ ln 1 = 0 і 0 \ ln 0 = 0 .

Максимум значення ентропії H (x) = \ ln (m) досягається, коли всі p (x) = 1 / m , Тобто всі результати рівноймовірно.

Для умовної ентропії справедливі властивості:

0 \ leqslant H (x | y) \ leqslant H (x) ,

При цьому, H (x | y) = 0 , Якщо відображення Y в X однозначне, тобто \ Forall y \ exists x \ colon p (x | y) = 1 .

Максимум значення умовної ентропії H (x | y) = H (x) досягається, коли x і y - Незалежні випадкові величини.


Властивості кількості інформації

Для кількості інформації справедливі властивості:

I (x, y) = I (y, x), як наслідок теореми Байєса.
I (x, y) \ geqslant 0,
I (x, y) = 0, якщо x і y - Незалежні випадкові величини.
I (x, x) = H (x).

Остання властивість показує, що кількість інформації збігається з ентропією, якщо компонента втрати інформації (шум) дорівнює нулю.