Розподіл Діріхле

В теорії ймовірностей та математичній статистиці розподіл Діріхле (по імені Іогaнна Пeтера Гyстава Лежен-Діріхлe) часто позначається Dir (α) - це сімейство безперервних багатовимірних імовірнісних розподілів параметрезованих вектором α невід'ємних дійсних чисел. Розподіл Діріхле є узагальненням Бета-розподілу на багатовимірний випадок. Тобто, його функція щільності ймовірності повертає довірчу ймовірність того, що ймовірність кожного з K взаімноісключающіх подій дорівнює x_i за умови, що кожна подія спостерігалося \ Alpha_i-1 раз.


1. Функція щільності ймовірності

Функція щільності ймовірності для розподілу Діріхле порядку K є:

f (x_1, \ dots, x_K; \ alpha_1, \ dots, \ alpha_K) = \ frac {1} {\ mathrm {B} (\ alpha)} \ prod_ {i = 1} ^ K x_i ^ {\ alpha_i - 1}

де x_i \ ge 0 \, , \ Sum_ {i = 1} ^ K x_i = 1 \, , І \ Alpha_i \ ge 0 \, .

2. Властивості

Нехай X = (X_1, \ ldots, X_K) \ sim \ operatorname {Dir} (\ alpha) і \ Alpha_0 = \ sum_ {i = 1} ^ K \ alpha_i, тоді

\ Mathrm {E} [X_i | \ alpha] = \ frac {\ alpha_i} {\ alpha_0},
\ Mathrm {Var} [X_i | \ alpha] = \ frac {\ alpha_i (\ alpha_0-\ alpha_i)} {\ alpha_0 ^ 2 (\ alpha_0 +1)},
\ Mathrm {Cov} [X_iX_j | \ alpha] = \ frac {- \ alpha_i \ alpha_j} {\ alpha_0 ^ 2 (\ alpha_0 +1)}.

Модою розподілу є вектор x (x 1,..., x K) з

x_i = \ frac {\ alpha_i - 1} {\ alpha_0 - K}, \ quad \ alpha_i> 1.

Розподіл Діріхле є спряженим апріорним розподілом до мультіноміальному розподілу, а саме: якщо

\ Beta | X = (\ beta_1, \ ldots, \ beta_ {K}) | X \ sim \ operatorname {Mult} (X),

де β i - число входжень i в вибірку з n точок дискретного розподілу на {1, ..., K} певного через X, то

X | \ beta \ sim \ operatorname {Dir} (\ alpha + \ beta).

Цей зв'язок використовується в байєсівської статистики для того, щоб оцінити приховані параметри, X, дискретного імовірнісного розподілу маючи набір з n вибірок. Очевидно, якщо апріорний розподіл позначено як Dir (α), то Dir (α + β) є апостеріорне розподіл після серії спостережень з гістограмою β.


3. Зв'язки з іншими розподілами

Якщо для i \ in \ {1,2, \ ldots, K \},

Y_i \ sim \ operatorname {Gamma} (\ textrm {shape} = \ alpha_i, \ textrm {scale} = 1) незалежно, то
V = \ sum_ {i = 1} ^ KY_i \ sim \ operatorname {Gamma} (\ textrm {shape} = \ sum_ {i = 1} ^ K \ alpha_i, \ textrm {scale} = 1),

і

(X_1, \ ldots, X_K) = (Y_1 / V, \ ldots, Y_K / V) \ sim \ operatorname {Dir} (\ alpha_1, \ ldots, \ alpha_K).

Незважаючи на те, що X i не є незалежними один від одного, вони можуть бути сгенерірованни з набору з K незалежних гамма випадкових величин. До нещастя, так як сума V втрачається в процесі формування X = (X 1,..., X K), стає неможливо відновити початкові значення гамма випадкових величин тільки по цих значень. Тим не менш, завдяки тому, що працювати з незалежними випадковими величинами простіше, це перетворення параметрів може бути корисно при доказі властивостей розподілу Діріхле.


4. Генерація випадкових чисел

Метод побудови випадкового вектора x = (x_1, \ ldots, x_K) для розподілу Діріхле розмірності K з параметрами (\ Alpha_1, \ ldots, \ alpha_K) випливає безпосередньо з цього зв'язку. Спочатку отримаємо K незалежних випадкових вибірок y_1, \ ldots, y_K з гамма-розподілів, кожне з яких має щільність

\ Frac {y_i ^ {\ alpha_i-1} \; e ^ {-y_i}} {\ Gamma (\ alpha_i)}, \!

а потім покладемо

x_i = y_i / \ sum_ {j = 1} ^ K y_j. \!

5. Наочна трактування параметрів

Як приклад використання розподілу Діріхле можна запропонувати завдання, у якій потрібно розрізати нитки (кожна початкової довжини 1.0) на K частин з різними довжинами так, щоб всі частини мали задану середню довжину, але з можливістю деякої варіації відносних довжин частин. Значення α / α 0 визначають середні довжини частин нитки, отримані з розподілу. Дисперсія навколо середнього значення обернено пропорційна α 0.