Англоязычный вариант может быть кратким или полным



страница1/4
Дата09.08.2019
Размер1.23 Mb.
#126881
  1   2   3   4

Нейросетевое моделирование когнитивных функций мозга: обзор основных идей

Терехин А.Т.*, Будилова Е.В.**, Качалова Л.М.***, Карпенко М.П.****



Московский государственный университет им. М.В.Ломоносова, Москва, Россия

Современная гуманитарная академия, Москва, Россия
Дан обзор основных идей нейросетевого моделирования когнитивных функций мозга. Описаны ряд моделей нейрона (пороговый нейрон Маккаллоха и Питтса, нейрон с сигмоидальной функцией активации, нейрон с немонотонной функцией активации, стохастический нейрон, импульсный нейрон) и ряд нейросетевых архитектур (перцептрон, сеть обратного распространения, сеть Хопфилда, машина Больцмана). Рассмотрены структурные модели, состоящие из нескольких нейронных сетей и моделирующие функции конкретных систем мозга (гиппокамп, гиппокамп – неокортекс, префронтальная кора – базальные ганглии). Обсуждаются общие проблемы моделирования когнитивных функций мозга.

Keywords: нейросетевое моделирование, нейронные сети, модель нейрона, перцептрон, нейронная сеть, сеть обратного распространения, машина Больцмана, когнитивные функции, мозг, гиппокамп, неокортекс, префронтальная кора, базальные ганглии

Neural network modeling of brain cognitive functions: review of basic ideas

Terekhin A.T.*, Budilova E.V.**, Kachalova L.M.***, Karpenko M.P.****



Lomonosov Moscow State University, Moscow, Russia

Modern University for the Humanities, Moscow, Russia
Abstract

A review of basic ideas of neural network modeling of brain cognitive functions is given. Several models of the neuron are described: threshold neuron of McCulloch and Pitts, neuron with sigmoid activation function, neuron with non-monotone activation function, stochastic neuron, impulse neuron. As well different types of network architectures are described: perceptron, back-propagation network, Hopfield network, Boltzman machine. Structured models composed of more than one neural networks and used for modeling particular brain systems (hyppocampus, hippocampus – neocortex system, prefrontal cortex – basal ganglia system) are considered. In conclusuion, general principles of brain modeling are discussed.



Keywords: neural network modeling, neural network, neuron model, perceptron, Hopfield network, back-propagation network, Boltzman machine, cognitive functions, brain, hyppocampus, neocortex, prefrontal cortex, basal ganglia


Оглавление
Введение

1 Модели нейрона

1.1 Пороговый нейрон Мак-Каллока и Питтса

1.2 Нейрон с сигмоидной функцией активации


1.3 Нейрон с немонотонной функцией активации

1.4 Стохастическая модель нейрона

1.5 Импульсная модель нейрона

2 Персептроны и сети обратного распространения



2.1 Персептроны

2.2 Сети обратного распространения ошибки

3 Сети Хопфилда


3.1 Пороговая функция активации

3.2 Сигмоидная функция активации

3.3 Машина Больцмана и моделированный отжиг

3.4 Запоминание последовательностей
4 Импульсные сети

4.1 Обучение

4.2 Стохастичность

4.3 Запоминание последовательностей

5 Структурные сетевые модели


5.1 Гиппокамп

5.2 Гиппокамп – неокортекс

5.3 Префронтальная кора – базальные ганглии

5.4 Основные принципы моделирования мозга




Обсуждение и перспективы работ

Литература

Математическое моделирование работы мозга позволяет получить научные результаты, к которым трудно прийти иным путем. Хотя несомненно, что на интуитивно-вербальном уровне формируются первоначальные гипотезы и в вербальной форме формулируются окончательный результаты исследования, только после построения строгой математической модели можно быть уверенным, что вербальная модель не имеет скрытых противоречий, логических пропусков и неявных нестыковок. В процессе построения математической модели выявляются пробелы в имеющихся знаниях о некоторых частях моделируемого объекта и формируются рабочие гипотезы о возможных механизмах функционирования этих частей, стимулирующие проведение эффективных экспериментальных исследований. Во многих случаях, когда реальный эксперимент затруднен или невозможен, он может быть заменен модельным экспериментом. Часто результаты, полученные в результате моделирования, радикально отличаются от тех, которые основаны на чисто вербальных теориях [O'Reilly, Munakata, 2003]. Поэтому нейросетевое моделирование играет важную роль в когнитивных исследованиях, как при планировании экспериментальных работ, так и при теоретическом осмыслении их результатов.


Предметом нашего рассмотрения будут так называемые нейронные сети. Удобно различать реальные биологические, математические и технические нейронные сети.

Биологические нейронные сети, состоящие из анатомически и информационно связанных между собой клеток-нейронов, являются основой нервной системы животных и человека и служат предметом изучения нейроанатомии и нейрофизиологии.


Математические нейронные сети исторически возникли как модели биологических нейронных сетей. Первым наиболее заметным достижением в этом направлении явилась работа Мак-Каллока и Питтса [McCulloch, Pitts, 1943], в которой в качестве модели реальной нейронной сети была предложена абстрактная сеть из формальных нейронов, функционирующих по строго определенным математическим правилам. Дальнейшие продвижения в этой области были связаны с созданием так называемых персептронов – сетей, преобразующих сигналы, поступающие на входной слой сенсоров, в нужные сигналы на выходном слое, состоящем из формальных нейронов Мак-Каллока и Питтса [Rosenblatt, 1962]. Существенным развитием персептронов стали сети обратного распространения ошибки (error back-propagation networks), фактически представляющие собой многослойные персептроны с алгоритмом обучения, основанном на обратном (от выходного слоя к входному) распространении ошибки (отклонения выходных сигналов от желаемых) [Rumelhart, Hinton, Williams, 1986]. Сильное влияние на развитие нейросетевых исследований оказала работа Хопфилда [Hopfield, 1982], в которой исследовалось поведение полносвязных сетей из формальных нейронов и было показано, что если проводить обучение такой сети по правилу Хебба [Hebb, 1949], т.е. при предъявлении на входе сети некоторого образа усиливать связи между одновременно возбужденными нейронами, то в последующем достаточно предъявлять сети только части этого образа для того, чтобы он восстанавливался полностью, т.е. сеть Хопфилда обладает свойством ассоциативного вспоминания. Высокую степень воздействия этой работы на ускорение исследований в области нейронных сетей демонстрирует экспоненциальный рост числа ссылок на нее во второй половине 80-х и начале 90-х годов [Дунин-Барковский, Терехин, 1990; Budilova, Teriokhin, 1992]. Это стимулирующее влияние сохраняется и в настоящее время – библиографическая поисковая система Scholar Google выдает 700 ссылок на документы 2007 года, содержащие набор ключевых слов «Hopfield neural networks».
Следует отметить, что хотя традиционно математические нейронные сети воспринимаются как модели биологических сетей, большая часть нейросетевых исследований в настоящее время посвящена разработке и анализу нейронных сетей, предназначенных для решения вычислительных задач и задач управления техническими системами. Основным критерием в этом случае становится эффективность решения сетью поставленной задачи, а ее биологическая правдоподобность вообще не принимается во внимание. Реализованные в виде компьютерных программ или микропроцессорных схем такие математические сети фактически становятся столь же реальными как и биологические сети – можно назвать их техническими нейронными сетями. Размах прикладного технического направления в нейросетевых исследованиях можно, в частности, оценить по большому числу ссылок на документы, содержащие набор ключевых слов «error back-propagation networks» в поисковой системе Scholar Google – около 1400 ссылок на работы 2007 года (сети обратного распространения редко рассматриваются как адекватные модели реальных биологических сетей и используются, в основном, как формальный метод для решения вычислительных задач).
В этом обзоре мы сосредоточимся на рассмотрении математических нейронных сетей исключительно в качестве моделей биологических нейронных сетей как инструмента, позволяющего теоретически объяснить имеющиеся экспериментальные результаты нейроанатомических, нейрофизиологических и нейропсихологических исследований и, возможно, наметить перспективные направления дальнейших экспериментальных работ.
1 Модели нейрона
1.1 Пороговый нейрон Мак-Каллока и Питтса
Пороговый нейрон Мак-Каллока и Питтса [McCulloch, Pitts, 1943] представляет собой, по-видимому, самую простую модель биологического нейрона, которая, тем не менее, отражает наиболее существенные функции последнего и поэтому вплоть до настоящего времени служит базовым элементом при построении многих нейросетевых моделей.
Этот модельный нейрон представляет собой элемент с несколькими входами и одним выходом и представляет собой устройство, преобразующее набор входных сигналов в выходной сигнал по строго определенным правилам (рис. 1).

Рис. 1. Формальный нейрон Мак-Каллока и Питтса.
Предполагается, что если на входы (синапсы) нейрона подаются сигналы от выходов других нейронов или внешние сигналы, то они умножаются на весовые множители , суммируются и сравниваются с пороговым значением . В зависимости от результата сравнения выход -го нейрона устанавливается равным либо значению 0, если взвешенная сумма входных сигналов меньше порога (невозбужденное состояние нейрона, соответствующее минимальной фоновой интенсивности генерации спайков), либо значению 1, если взвешенная сумма входных сигналов больше порога или равна ему (возбужденное состояние, соответствующее максимальной интенсивности генерации спайков), т.е.

Другими словами, нейрон Мак-Каллока и Питтса после умножения каждого входа на соответствующий ему синаптический вес и суммирования полученных произведений преобразует полученную сумму в выходной сигнал с помощью пороговой функции



( – параметр этой функции, задающий ее порог). На рис. 2 приведен пример графика пороговой функции для .



Рис. 2. Пример пороговой функции для .
Функция, преобразующая взвешенную сумму входов в выходной сигнал нейрона называется его функцией активации.
1.2 Нейрон с сигмоидной функцией активации
Наряду с пороговой функцией в нейросетевом моделировании используются и другие функции активации, в частности, так называемая сигмоидная, или логистическая функция

пример которой для и представлен на рис. 3.



Рис. 3. Пример сигмоидной функции для , .
Параметр сдвига этой функции аналогичен параметру порога пороговой функции, а параметр определяет тангенс угла наклона кривой в точке перегиба: чем больше , тем круче кривая, приближаясь к пороговой функции при неограниченном увеличении . В отличие от пороговой функции, принимающей только два значения 0 и 1, сигмоидная функция может принимать любое значение в промежутке между 0 и 1, что более адекватно описывает реальный нейрон, который может генерировать спайки и с промежуточными между минимальной и максимальной интенсивностями.
1.3 Нейрон с немонотонной функцией активации
Пороговая и сигмоидная функции активации являются монотонно неубывающими функциями. Однако определенными преимуществами обладают и немонотонные функции активации [Morita, 1996] типа функции, заданной формулой

и представленной на рис. 4 для следующих значений ее параметров: , , и (параметр определяет уровни асимптот, а - ширину диапазонов, где близок к 0 или 1. Характерным свойством такого нейрона является снижение уровня выходного сигнала в предпороговой области и его повышение (с последующим снижением) – в послепороговой.



Рис. 4. Пример немонотонной функции активации для , , и .
1.4 Стохастическая модель нейрона
Стохастический нейрон, так же как и нейрон Мак-Каллока и Питтса может принимать только два выходных значения – 0 или 1, однако эти значения не определяются однозначно взвешенной суммой входов, а зависят от нее стохастически, а именно, вероятность появления значения 1 на выходе нейрона сигмоидально (с нулевым сдвигом) зависит от этой суммы [Hinton, Sejnowski, 1986]

Параметр , входящий в эту формулу и называемый температурой нейрона, определяет степень его стохастичности. При степень стохастичности уменьшается, так как крутизна сигмоидной кривой неограниченно растет и формула начинает работать детерминистически просто как пороговая функция активации: значение 1 принимается с вероятностью 1 при , а значение 0 - с вероятностью 1 при . И, наоборот, при крутизна сигмоидной кривой уменьшается и она стремится к горизонтальной прямой, проходящей на уровне , т.е. при очень больших температурах независимо от значения взвешенной суммы входных сигналов выходной сигнал с равными вероятностями может принять значения 0 или 1 и, таким образом, стохастичность (неопределенность) достигает своего максимума.


1.5 Импульсная модель нейрона
В рассмотренных выше моделях нейронов значение выходного сигнала фактически ассоциируется просто со средней частотой следования спайков в пакете. Напротив, так называемые импульсные (integrate-and-fire) модели нейрона [Gerstner, 1995; Gerstner, Kistler, 2002] основаны на учете информации о моментах появления отдельных спайков и, в этом смысле, более детально описывают функционирование нейрона [Hodgkin, Huxley, 1952].
Суть работы импульсного нейрона полностью отражена в его английском названии “integrate and fire - интегрировать и возбуждаться: каждый поступающий на нейрон входной спайк увеличивает мембранный потенциал нейрона и как только этот потенциал превзойдет заданный порог активности , нейрон генерирует выходной спайк. После генерации спайка мембранный потенциал падает до фонового уровня, а нейрон становится на некоторое время (период рефракторности) неспособным генерировать следующий спайк.
Также предполагается, что параллельно с увеличением мембранного потенциала нейрона под воздействием спайков, поступающих на его синаптические входы, происходит самопроизвольное (за счет утечек) уменьшение этого потенциала во времени, т.е. динамика изменения мембранного потенциала нейрона может быть описана следующим дифференциальным уравнением

где – синаптический приток, – электрическая емкость нейрона, а – его сопротивление утечки. Чтобы отобразить эффект самопроизвольного падения мембранного потенциала в импульсном нейроне в его англоязычное название иногда добавляют еще один эпитет – “leaky имеющий протечки): “leaky integrate and fire neuron.


Форму зависимости выходного импульса (спайка) от времени можно задать, в простейшем случае, просто дельта-функцией , т.е. функцией, значение которой равно бесконечности в точке нуль и нулю вне этой точки и интеграл от которой в нуле равен 1. В этом случае спайк, сгенерированный некоторым нейроном в момент , будет описываться дельта-функцией, сдвинутой на время вправо от нуля, т.е. как , а на синаптический вход нейрона этот спайк придет с некоторым запаздыванием и будет равен . Соответственно, общий синаптический приток нейрона будет равен взвешенной сумме притоков от отдельных синапсов

где - эффективность (вес) синаптический связи от нейрона к нейрону .


Более реалистичная, но достаточно простая для моделирования, модель импульсного нейрона была предложена в [Izhikevich, 2003]. Она задается системой двух дифференциальных уравнений

где переменная по-прежнему обозначает мембранный потенциал нейрона , тогда как потенциал восстановления связан с активацией калиевого и дезактивацией натриевого ионных токов и обеспечивает обратную связь для . Константы являются параметрами этих уравнений. Еще три параметра и характеризуют процесс образования спайка: он генерируется, как только мембранный потенциал превысит порог , после чего немедленно мембранный потенциал опускается до уровня , а потенциал устанавливается на уровне .


На рис. 5 показаны разные типы последовательностей спайков, которые могут быть сгенерированы этой моделью [Izhikevich, 2003].

Рис. 5. Различные типы последовательностей спайков, генерируемых импульсной моделью нейрона Ижикевича [Izhikevich, 2003].
2 Персептроны и сети обратного распространения
2.1 Персептроны
Появление персептронов в начале 60-х годов прошлого века [Rosenblatt, 1962; Розенблатт, 1965] вызвало первый бум нейросетевого моделирования, поскольку было показано, что даже совсем простая сеть из нейронов Мак-Каллока и Питтса может демонстрировать элементы интеллектуального поведения.
Персептрон состоит из входного слоя сенсоров, соединенных синаптическими связями с нейронами выходного слоя по принципу «все со всеми». На рис. 6 приведен пример персептрона с четырьмя входами и двумя выходами.


Поделитесь с Вашими друзьями:
  1   2   3   4




База данных защищена авторским правом ©vossta.ru 2022
обратиться к администрации

    Главная страница