Надмірність - термін з теорії інформації, який означає перевищення кількості інформації, використовуваної для передачі або зберігання повідомлення, над його інформаційної ентропією. Для зменшення надмірності застосовується стиснення даних без втрат, в той же час контрольна сума застосовується для внесення додаткової надмірності в потік, що дозволяє виробляти виправлення помилок при передачі інформації по каналах, що вносить спотворення (супутникова трансляція, бездротова передача і т. д.).


Кількісне визначення

Інформаційний зміст одного повідомлення в потоці, в найбільш загальному випадку, визначається як:

r = \ mathbb E H (M_t | M_ {t-1}, M_ {t-2}, M_ {t-3}, \ dots)

Позначимо як R логарифм числа символів в алфавіті повідомлень:

R = \ log | M |

Абсолютна надмірність може бути визначена як різниця цих двох величин:

D = R - r

Співвідношення \ Frac D R називається відносною надмірністю і дає математичну оцінку максимальної ступеня стиснення, на яку може бути зменшено розмір файлу.


Інші визначення надмірності

Міра надмірності між двома випадковими величинами - взаємна інформація.


Перегляд цього шаблону Методи стиснення
Теорія
Інформація Власна Взаємна Ентропія Умовна ентропія Складність Надмірність
Одиниці виміру Біт Нат Ніббл Хартлі Формула Хартлі
Без втрат
Ентропійно стиснення Алгоритм Хаффмана Адаптивний алгоритм Хаффмана Алгоритм Шеннона - Фано Арифметичне кодування (Інтервальне) Коди Голомба Дельта Універсальний код ( Еліаса Фібоначчі)
Словникові методи RLE Deflate LZ ( LZ77/LZ78 LZSS LZW LZWL LZO LZMA LZX LZRW LZJB LZT)
Інше RLE CTW BWT MTF PPM DMC
Аудіо
Теорія Згортка PCM Аліасінг Дискретизація Теорема Котельникова
Методи LPC (LAR LSP) WLPC CELP ACELP A-закон μ-закон MDCT Перетворення Фур'є Психоакустичної моделі
Інше Компресор аудіосигналу Стиснення мови Смугове кодування
Зображення
Терміни Колірний простір Піксель Субдіскретізація насиченості Артефакти стиснення
Методи RLE DPCM Фрактальний Вейвлетного EZW SPIHT LP ДКП ПКЛ
Інше Бітрейт Test images PSNR Квантування
Відео
Терміни Характеристики відео Кадр Типи кадрів Якість відео
Методи Компенсація руху ДКП Квантування Вейвлетного
Інше Відеокодек Rate distortion theory ( CBR ABR VBR)