Для терміну "Кодування" см. інші значення.

Ентропійно кодування - кодування послідовності значень з можливістю однозначної відновлення з метою зменшення обсягу даних (довжини послідовності) за допомогою усереднення імовірностей появи елементів в закодованій послідовності.

Передбачається, що до кодування окремі елементи послідовності мають різну ймовірність появи. Після кодування в результуючій послідовності ймовірності появи окремих символів практично однакові ( ентропія на символ максимальна).

Розрізняють декілька варіантів кодів:

  • Зіставлення кожному елементу вихідної послідовності різного числа елементів результуючої послідовності. Чим більше вірогідність появи вихідного елемента, тим коротше відповідна результуюча послідовність. Прикладом можуть служити код Шеннона - Фано, код Хаффмана,
  • Зіставлення кількох елементів вихідної послідовності фіксованого числа елементів кінцевої послідовності. Прикладом є код Танстола.
  • Інші структурні коди, засновані на операціях з послідовністю символів. Прикладом є кодування довжин серій.
  • Якщо приблизні характеристики ентропії потоку даних попередньо відомі, може бути корисний більш простий статичний код, такий як Унарне кодування, гамма-код Еліаса, код Фібоначчі, код Голомба або кодування Райса.

Згідно теоремі Шеннона, існує межа стиснення без втрат, залежний від ентропії джерела. Чим більш передбачувані одержувані дані, тим краще їх можна стиснути. Випадкова незалежна рівноймовірно послідовність стисненню без втрат не піддається.


Перегляд цього шаблону Методи стиснення
Теорія
Інформація Власна Взаємна Ентропія Умовна ентропія Складність Надмірність
Одиниці виміру Біт Нат Ніббл Хартлі Формула Хартлі
Без втрат
Ентропійно стиснення Алгоритм Хаффмана Адаптивний алгоритм Хаффмана Алгоритм Шеннона - Фано Арифметичне кодування (Інтервальне) Коди Голомба Дельта Універсальний код ( Еліаса Фібоначчі)
Словникові методи RLE Deflate LZ ( LZ77/LZ78 LZSS LZW LZWL LZO LZMA LZX LZRW LZJB LZT)
Інше RLE CTW BWT MTF PPM DMC
Аудіо
Теорія Згортка PCM Аліасінг Дискретизація Теорема Котельникова
Методи LPC (LAR LSP) WLPC CELP ACELP A-закон μ-закон MDCT Перетворення Фур'є Психоакустичної моделі
Інше Компресор аудіосигналу Стиснення мови Смугове кодування
Зображення
Терміни Колірний простір Піксель Субдіскретізація насиченості Артефакти стиснення
Методи RLE DPCM Фрактальний Вейвлетного EZW SPIHT LP ДКП ПКЛ
Інше Бітрейт Test images PSNR Квантування
Відео
Терміни Характеристики відео Кадр Типи кадрів Якість відео
Методи Компенсація руху ДКП Квантування Вейвлетного
Інше Відеокодек Rate distortion theory ( CBR ABR VBR)