Нейронна мережа

Схема простої нейронної мережі. Зеленим кольором позначені вхідні нейрони, блакитним приховані нейрони, фіолетовим - вихідний нейрон

Нейронна мережа - термін, що має два значення:

  1. Біологічна нейронна мережа - мережа, що складається з біологічних нейронів, які пов'язані або функціонально об'єднані в нервовій системі. В нейронауках найчастіше визначається як група нейронів, які виконують специфічні фізіологічні функції.
  2. Штучна нейронна мережа - мережа, що складається з штучних нейронів (програмована конструкція, що імітує властивості біологічних нейронів). Штучні нейронні мережі використовуються для вивчення властивостей біологічних нейронних мереж, а також для вирішення завдань у сфері штучного інтелекту.

У даній статті розглядаються відносини між двома цими поняттями, докладний опис кожного з них дано в окремих статтях - біологічна нейронна мережа та штучна нейронна мережа.


1. Загальний огляд

Біологічна нейронна мережа складається з групи або груп хімічно або функціонально пов'язаних нейронів. Один нейрон може бути пов'язаний з багатьма іншими нейронами, а загальна кількість нейронів і зв'язків у мережі може бути досить великим. Місце контакту нейронів називається синапсом, типовий синапс - аксо - дендрітіческіе хімічний. Передача імпульсів здійснюється хімічним шляхом за допомогою медіаторів або електричним шляхом за допомогою проходження іонів з однієї клітини в іншу.

Дослідження в сфері штучного інтелекту та когнітивного моделювання намагаються імітувати деякі властивості біологічних нейронних мереж. У сфері штучного інтелекту штучні нейронні мережі були успішно застосовані для розпізнавання мови, аналізу зображень та адаптивного управління з метою розробки програмних агентів (наприклад, в комп'ютерних і відеоіграх) або автономних роботів. Більшість штучних нейронних мереж, що використовуються в даний час у сфері штучного інтелекту, розроблені на основі статистичних методів, теорії оптимізації та теорії управління.

У сфері когнітивного моделювання ведеться фізична або математичне моделювання поведінки нейронних систем, починаючи з рівня окремих нейронів (наприклад, моделювання реакції нейрона на стимул), з виходом на рівень нейронних кластерів (наприклад, моделювання виходу дофаміну в базальних гангліях) і організму в цілому (наприклад, моделювання відповіді організму на подразники).


2. Історія досліджень нейронних мереж

Основи теорії нейронних мереж були незалежно розроблені А.Бейном [1] (1873) і У.Джеймсом [2] (1890). У своїх роботах вони розглядають розумову діяльність як результат взаємодії між нейронами в головному мозку.

Згідно Бейн [1], будь-яка діяльність веде до активізації певного набору нейронів. При повторенні тієї ж діяльності зв'язку між цими нейронами зміцнюються. Відповідно до його теорії, ці повторення ведуть до формування пам'яті. Наукове співтовариство того часу сприйняло теорію Бейн скептично, оскільки наслідком її було виникнення надмірної кількості нейронних зв'язків у мозку. Тепер очевидно, що мозок є надзвичайно складною конструкцією і здатний працювати з кількома завданнями одночасно.

Теорія Джеймса була схожа з теорією Бейн [2], але в той же час Джеймс припустив, що формування пам'яті відбувається в результаті проходження електричних струмів між нейронами в головному мозку, не вимагаючи з'єднань нейронів для кожного акту запам'ятовування або дії.

Британський фізіолог Ч.Шеррінгтон в 1898 провів експерименти для перевірки теорії Джеймса. [3] Він пропускав електричний струм уздовж спинного мозку щурів. При цьому замість очікуваного посилення струму, відповідно до теорії Джеймса, Шеррінгтон виявив, що електричний струм слабшає з часом. Результати експериментів Шеррінгтона відіграли важливу роль у розробці теорії звикання.

У 1943 Мак-Каллок і Піттс розробили комп'ютерну модель нейронної мережі [4] на основі математичних алгоритмів. Вони назвали цю модель "порогової логікою". Модель Мак-Каллока - Піттса заклала основи двох різних підходів досліджень нейронних мереж. Один підхід був орієнтований на вивчення біологічних процесів у головному мозку, інший - на застосування нейронних мереж для штучного інтелекту.

В кінці 1940-х канадський фізіолог і психолог Дональд Хебб висунув гіпотезу інтерпретації навчання на основі механізму нейронної пластичності, відому як теорія Хебба. Теорія Хебба вважається типовим випадком самонавчання, при якому випробувана система спонтанно навчається виконувати поставлене завдання, без втручання з боку експериментатора. У пізніх варіантах теорія Хебба лягла в основу опису явища довготривалої потенціації. Ці ідеї з 1948 почали застосовуватися для обчислювальних моделей в B-машинах А.Тьюрінга.

Фарлі і Кларк в 1954 з використанням комп'ютерів розробили імітацію мережі Хебба в Массачусетському технологічному інституті. [5] Інші дослідження нейронних мереж за допомогою комп'ютерного моделювання були проведені в 1956 Рочестером, Холландом, Хебітом і Дуда. [6]

У 1957 Ф.Розенблатт розробив перцептрон [7] - математичну і комп'ютерну модель сприйняття інформації мозком, на основі двошарової навчальної комп'ютерної мережі, що використовує дії додавання і віднімання. У математичній нотації Розенблатт описав також схему не тільки основного перцептрона, але і схему логічного додавання, яка не могла бути реалізована до розробки у 1975 Вербосом методу зворотного поширення помилки. [8]

Дослідження нейронних мереж застопорилися після публікації роботи по машинному навчанню Мінського і Пейперта в 1969. [9] Вони виявили дві основні проблеми, пов'язані з обчислювальними машинами, які обробляють нейронні мережі. Перша проблема полягала в тому, що одношарові нейронні мережі не могли здійснювати логічне додавання. Другою важливою проблемою було те, що комп'ютери не володіли достатньою обчислювальною потужністю, щоб ефективно обробляти величезний обсяг обчислень, необхідних для великих нейронних мереж. Дослідження нейронних мереж сповільнилися до того часу, коли комп'ютери досягли великих обчислювальних потужностей. Одним з важливих більш пізніх досягнень було відкриття методу зворотного поширення помилки, який дозволив вирішити проблему з логічним складанням. [8]

Когнітрону, розроблений К.Фукусімой в 1975, [10] був однією з перших багатошарових нейронних мереж з алгоритмом навчання. Фактична структура мережі і методи, використовувані в когнітрону для завдання відносних ваг зв'язків, варіювалися від однієї стратегії до іншої, кожна з стратегій мала свої переваги і недоліки. Мережі могли поширювати інформацію тільки в одному напрямку, або перекидати інформацію з одного кінця в інший, поки не активувалися всі вузли і мережа не приходила в кінцевий стан. Досягти двосторонньої передачі інформації між нейронами / вузлами вдалося лише в мережі Хопфілда (1982), і спеціалізація цих вузлів для конкретних цілей була введена в перших гібридних мережах.

Алгоритм паралельної розподіленої обробки даних в середині 1980-х став популярний під назвою коннектівізма. Робота Руммельхарта і Мак-Клелланда (1986) [11] повністю використовує коннектівізма для комп'ютерного моделювання нейронних процесів.

Поширення мереж, заснованих на методі зворотного поширення помилки, викликало великий ентузіазм у науковому співтоваристві і породило численні суперечки про те, чи може таке навчання бути реалізовано в головному мозку, почасти тому, що механізм зворотного проходження сигналу не був очевидним у той час, але головним чином тому, що не було явного джерела "навчає" або "цільового" сигналу. Тим не менше з 2006 було запропоновано декілька неконтрольованих процедур навчання нейронних мереж з одним або декількома шарами з використанням так званих алгоритмів глибокого навчання. Ці алгоритми можуть бути використані для вивчення проміжних уявлень, як з вихідним сигналом, так і без нього, щоб зрозуміти основні особливості розподілу сенсорних сигналів, що надходять на кожен шар нейронної мережі.


3. Головний мозок, нейронні мережі і комп'ютери

Комп'ютерна модель гіллястою архітектури дендритів пірамідальних нейронів. [12]

Нейронні мережі, використовувані в сфері штучного інтелекту, традиційно розглядаються як спрощені моделі нейронних мереж головному мозку, хоча питання про те, якою мірою штучні нейронні мережі відображають реальну структуру головного мозку, як і раніше залишається відкритим. [13]

Предметом досліджень в теоретичній нейробіології є питання про рівень складності і властивості, якими повинні володіти окремі нейрони для того, щоб відтворити щось, схоже на розум тварин.

Історично склалося, що розвиток комп'ютерної техніки йшло від архітектури фон Неймана, яка заснована на послідовній обробці та виконанні явних інструкцій. З іншого боку, розробка штучних нейронних мереж грунтувалася на моделях обробки інформації в біологічних системах, які припускають паралельну обробку інформації, а також використання неявних інструкцій на основі розпізнавання "сенсорних" входів із зовнішніх джерел. Іншими словами, нейронна мережа являє собою складний статистичний процесор (на відміну від систем, заснованих на послідовній обробці і виконанні команд).

Нейрокодірованіе засноване на тому, як нейрони являють сенсорну та іншу інформацію в мозку. Основна мета вивчення нейрокодірованія - виявити характер зв'язку між стимулом і індивідуальній чи груповій реакцією нейронів на нього, а також взаємозв'язок між електричною активністю нейронів у групі. [14] Вважається, що нейрони можуть кодувати як цифрову, так і аналогову інформацію. [15]


3.1. Нейронні мережі та штучний інтелект

Нейронна мережа (НС), у разі штучних нейронів звана штучної нейронної мережею (ІНС) або змодельованій нейронною мережею (СНС), є взаємопов'язаною групою природних або штучних нейронів, яка використовує математичні та обчислювальні моделі для обробки інформації на основі коннектівісткого підходу до обчислення. У більшості випадків ІНС є адаптивною системою, яка змінює свою структуру під впливом зовнішньої або внутрішньої інформації, яка тече через мережу.

З практичної точки зору нейронні мережі є нелінійними статистичними системами моделювання даних або системами прийняття рішень. Вони можуть бути використані для моделювання складних відносин між вхідними та вихідними даними або для знаходження закономірностей у даних. Відчутний ефект від застосування штучних нейронних мереж виникає тільки при вирішенні дуже складних завдань високої і надвисокої розмірності. Там, де завдання може бути вирішене класичними методами, застосування штучних нейронних мереж недоцільно.


4. Нейронні мережі та нейронаука

5. Архітектура

6. Критика

Примітки

  1. 1 2 Bain Mind and Body: The Theories of Their Relation. - New York: D. Appleton and Company, 1873.
  2. 1 2 James The Principles of Psychology. - New York: H. Holt and Company, 1890.
  3. Sherrington, CS. "Experiments in Examination of the Peripheral Distribution of the Fibers of the Posterior Roots of Some Spinal Nerves". Proceedings of the Royal Society of London 190: 45-186.
  4. McCullock, Warren; Walter Pitts (1943). "A Logical Calculus of Ideas Immanent in Nervous Activity". Bulletin of Mathematical Biophysics 5 (4): 115-133. DOI : 10.1007/BF02478259 - dx.doi.org/10.1007/BF02478259.
  5. Farley, B; WA Clark (1954). "Simulation of Self-Organizing Systems by Digital Computer". IRE Transactions on Information Theory 4 (4): 76-84. DOI : 10.1109/TIT.1954.1057468 - dx.doi.org/10.1109/TIT.1954.1057468.
  6. Rochester, N.; JH Holland, LH Habit, and WL Duda (1956). "Tests on a cell assembly theory of the action of the brain, using a large digital computer". IRE Transactions on Information Theory 2 (3): 80-93. DOI : 10.1109/TIT.1956.1056810 - dx.doi.org/10.1109/TIT.1956.1056810.
  7. Rosenblatt, F. (1958). "The Perceptron: A Probalistic Model For Information Storage And Organization In The Brain". Psychological Review 65 (6): 386-408. DOI : 10.1037/h0042519 - dx.doi.org/10.1037/h0042519. PMID 13602029.
  8. 1 2 Werbos PJ Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences. - 1975.
  9. Minsky M. An Introduction to Computational Geometry. - MIT Press, 1969. - ISBN 0-262-63022-2
  10. Fukushima, Kunihiko (1975). "Cognitron: A self-organizing multilayered neural network". Biological Cybernetics 20 (3-4): 121-136. DOI : 10.1007/BF00342633 - dx.doi.org/10.1007/BF00342633. PMID 1203338.
  11. Rummelhart DE Parallel Distributed Processing: Explorations in the Microstructure of Cognition. - Cambridge: MIT Press, 1986.
  12. (2010) "PLoS Computational Biology Issue Image". PLoS Computational Biology 6 (8): ev06.ei08. DOI : 10.1371/image.pcbi.v06.i08 - dx.doi.org/10.1371/image.pcbi.v06.i08.
  13. Russell, Ingrid Neural Networks Module - uhaweb.hartford.edu / compsci / neural-networks-definition.html. Читальний - www.webcitation.org/68cxjel4M з першоджерела 23 червня 2012.
  14. (2004) "Multiple neural spike train data analysis: state-of-the-art and future challenges". Nature Neuroscience 7 (5): 456-61. DOI : 10.1038/nn1228 - dx.doi.org/10.1038/nn1228. PMID 15114358.
  15. Spike arrival times: A highly efficient coding scheme for neural networks - pop.cerco.ups-tlse.fr/fr_vers/documents/thorpe_sj_90_91.pdf, SJ Thorpe - Parallel processing in neural systems, 1990

Література