Знаймо

Додати знання

приховати рекламу

Цей текст може містити помилки.

Метод найменших квадратів



План:


Введення

Метод найменших квадратів - один з методів регресійного аналізу для оцінки невідомих величин за результатами вимірів, що містять випадкові помилки.

Метод найменших квадратів застосовується також для наближеного представлення заданої функції іншими (простішими) функціями і часто виявляється корисним при обробці спостережень.

Коли бажана величина може бути виміряна безпосередньо, як, наприклад, довжина відрізка або кут, то, для збільшення точності, вимірювання проводиться багато разів, і за остаточний результат беруть арифметичне середнє з усіх окремих вимірювань. Це правило арифметичної середини грунтується на міркуваннях теорії ймовірностей; легко показати, що сума квадратів відхилень окремих вимірювань від арифметичної середини буде менше, ніж сума квадратів відхилень окремих вимірювань від якої б то не було іншої величини. Само правило арифметичної середини представляє, отже, найпростіший випадок методу найменших квадратів.


1. Історія

До початку XIX ст. вчені не мали певних правил для вирішення системи рівнянь, в якій число невідомих менше, ніж число рівнянь; до цього часу вживалися приватні прийоми, залежали від виду рівнянь і від дотепності обчислювачів, і тому різні обчислювачі, виходячи з тих же даних спостережень, приходили до різних висновків. Лежандру (1805-06) і Гауссу (1794-95) належить перше застосування до вирішення вказаної системи рівнянь теорії ймовірностей, виходячи з начал, аналогічних з початком арифметичної середини, вже здавна і, так би мовити, несвідомо застосовуваних до висновків результатів в простому випадку багаторазових вимірювань. Як і у випадку арифметичної середини, знову винайдений спосіб не дає, звичайно, істинних значень шуканих, але зате дає найбільш імовірні значення. Цей спосіб поширений і вдосконалений подальшими дослідженнями Лапласа, Енке, Бесселя, Ганзена та ін і отримав назву методу найменших квадратів, бо після підстановки в початкові рівняння невідомих величин, виведених цим способом, в правих частинах рівнянь виходять якщо і не нулі, то невеликі величини, сума квадратів яких виявляється меншою, ніж сума квадратів подібних залишків після підстановки яких би то не було інших значень невідомих. Крім цього, рішення рівнянь за способом найменших квадратів дає можливість виводити ймовірні помилки невідомих, тобто величини, за якими судять про ступінь точності висновків.


2. Приклади

Приклад кривої, проведеної через точки, що мають нормально розподілене відхилення від істинного значення.


Нехай необхідно вирішити систему рівнянь

\ Begin {cases} a_ {1} x + b_ {1} y + c_ {1} z + \ dots + n_ {1} = 0 \ \ a_ {2} x + b_ {2} y + c_ {2} z + \ dots + n_ {2} = 0 \ \ a_ {3} x + b_ {3} y + c_ {3} z + \ dots + n_ {3} = 0 \ \ \ dots \ \ \ end {cases }
(1)

число яких більше числа невідомих x , y , {Z} \ dots

Щоб вирішити їх за способом найменших квадратів, складають нову систему рівнянь, число яких дорівнює числу невідомих і які потім вирішуються по звичайних правилами алгебри. Ці нові, або так звані нормальні рівняння складаються за наступним правилом: множать спершу всі дані рівняння на коефіцієнти у першої невідомою x і, склавши почленно, отримують перше нормальне рівняння, множать всі дані рівняння на коефіцієнти у другої невідомою y і, склавши почленно, здобувають другу нормальне рівняння і т. д. Якщо позначити для стислості:

\ Begin {cases} {[} aa {]} = a_ {1} a_ {1} + a_ {2} a_ {2} + \ dots \ \ {[} ab {]} = a_ {1} b_ {1 } + a_ {2} b_ {2} + \ dots \ \ {[} ac {]} = a_ {1} c_ {1} + a_ {2} c_ {2} + \ dots \ \ \ dots \ \ { [} ba {]} = b_ {1} a_ {1} + b_ {2} a_ {2} + \ dots \ \ {[} bb {]} = b_ {1} b_ {1} + b_ {2} b_ {2} + \ dots \ \ {[} bc {]} = b_ {1} c_ {1} + b_ {2} c_ {2} + \ dots \ \ \ dots \ \ \ end {cases}

то нормальні рівняння представляться в наступному простому вигляді:

\ Begin {cases} {[} aa {]} x + {[} ab {]} y + {[} ac {]} z + \ dots + {[} an {]} = 0 \ \ {[} ba {]} x + {[} bb {]} y + {[} bc {]} z + \ dots + {[} bn {]} = 0 \ \ {[} ca {]} x + {[} cb {]} y + {[} cc {]} z + \ dots + {[} cn {]} = 0 \ \ \ dots \ \ \ end {cases}
(2)

Легко помітити, що коефіцієнти нормальних рівнянь досить легко складаються з коефіцієнтів даних, і до того ж коефіцієнт у першої невідомої в другому рівнянні рівний коефіцієнту у другої невідомої в першому, коефіцієнт у першої невідомої в третьому рівнянні рівний коефіцієнту у третьої невідомої в першому і т. д. Для пояснення сказаного нижче наведено рішення п'яти рівнянь з двома невідомими:

\ Begin {cases} 5 {x} - 8 {y} - 16 = 0 \ \ 8 {x} - {y} - 32 = 0 \ \ 16 {x} + 8 {y} - 55 = 0 \ \ 9 {x} + 7 {y} - 32 = 0 \ \ 9 {x} + 20 {y} - 29 = 0 \ end {cases}

Склавши значення [A a] , [A b] , Отримуємо такі нормальні рівняння:

\ Begin {cases} 507 {x} + 323 {y} - 1765 = 0 \ \ 323 {x} + 578 {y} - 1084 = 0 \ end {cases}
,

Простіше кажучи перемножується матриця X і транспонована матриця Xт. Розмірності цих матриць 3x6 і 6x3, відповідно в підсумку виходить матриця 3x3, яка і є підсумкове рівняння.

звідки

x = 3,55;

y = - 0,109

При складанні звичайної регресійної моделі використовується та ж методика, і дані коефіцієнти являють собою коефіцієнти рівняння регресії.

Рівняння (1) представляють систему лінійних рівнянь, тобто рівнянь, в яких всі невідомі входять в першого ступеня. У більшості випадків рівняння, що зв'язують спостережувані і шукані величини, бувають вищих ступенів і навіть трансцендентні, але це не змінює суті справи: попередніми дослідженнями завжди можна знайти величини шуканих з таким наближенням, що потім, розклавши відповідні функції в ряди і нехтуючи вищими ступенями шуканих поправок , можна привести будь-яке рівняння до лінійного.

Суворе обгрунтування і встановлення кордонів змістовної застосовності методу дані А. А. Марковим і А. Н. Колмогоровим.


Примітки

При написанні цієї статті використовувався матеріал з Енциклопедичного словника Брокгауза і Ефрона (1890-1907).



Цей текст може містити помилки.

Схожі роботи | скачати

Схожі роботи:
Закон зворотних квадратів
Тотожність восьми квадратів
Теорема Лагранжа про суму чотирьох квадратів
Метод
Метод Касіскі
Метод моментів
Многосеточних метод
Метод релаксації
Метод Якобі
© Усі права захищені
написати до нас
Рейтинг@Mail.ru