Англоязычный вариант может быть кратким или полным



страница3/4
Дата09.08.2019
Размер1.23 Mb.
#126881
1   2   3   4

4 Импульсные сети
В персептронах и сетях Хопфилда, рассмотренных выше, в качестве элементов используются модельные нейроны, функция активации которых ассоциируется с частотой генерации спайков реальным нейроном. Это довольно грубое приближение, хотя, как мы видели, сети из таких нейронов способны моделировать основные когнитивные функции мозга. Тем не менее, имеются существенные сомнения в их достаточной биологической адекватности в качестве моделей реальных когнитивных процессов. Поэтому в настоящее время существует нарастающая тенденция использовать в качестве нейробиологических моделей импульсные сети, т.е. сети, построенные из импульсных нейронов (п. 1.5). Иногда их даже называют сетями третьего поколения, противопоставляя сетям из нейронов с пороговыми и аналоговыми (например, сигмоидными) функциями активации [Мааss, 1996; Florian, 2003]. Тем более, что можно показать, что любая сеть Хопфилда (включая сети с асимметричными связями) может быть эмулирована импульсной сетью [Maass, 1997; Maass, Natschläger, 1998]
В качестве примера несоответствия классических активационных моделей нейронов биологической реальности рассматривается, в частности, такая ситуация. Показано, что анализ зрительного образа, включающий не менее 10 синаптических стадий, начиная с сетчатки и кончая височными долями, может быть осуществлен человеком за 100 мсек [Perrett, Rolls, Caan, 1982; Thorpe, Imbert, 1989]. В тоже время, на регистрацию частоты спайков на одной стадии требуется, по меньшей мере, 20-30 мсек [Rolls, Tovee, 1994]. Это приводит к выводу о том, что существенные процессы обработки информации в мозгу человека, по-видимому, происходят уже на уровне отдельных спайков.
4.1 Обучение
Хеббовское обучение в случае импульсных сетей приобретает некоторую специфику по сравнению с сетями, составленными из активационных нейронов, - оно асимметрично во времени. А именно, в импульсных сетях более полно учитывается соотношение между временем появления импульса на синаптическом входе нейрона и временем генерации его собственного импульса. Максимальное приращение синаптического веса происходит в случае, когда выходной импульс генерируется немедленно после входного, а при увеличении запаздывания это приращение уменьшается. Если же, наоборот, момент генерации выходного импульса предшествует появлению сигнала на синапсе, то вес этого синапса уменьшается, причем максимальное уменьшение соответствует минимальному времени предшествования. Зависимость степени изменения синаптического веса от степени запаздывания выходного импульса по отношению к входному, заданная формулой

схематически показана на рис. 12 [Bi, 2002].



Рис. 12. Относительное изменение синаптического веса в зависимости от степени запаздывания выходного импульса по отношению к входному.
Обучение, зависящее от соотношения времен следования входных и выходных импульсов, имеет то преимущество перед классическим хеббовским обучением, что оно асимметрично во времени и, таким образом, фиксируя возможные причинные связи между событиями, создает базу для прогнозирования будущего.
4.2 Стохастичность
Введение стохастичности (шума) в нейронную сеть целесообразно как с точки зрения ее биологического правдоподобия – реальные нейронные сети подвержены внутренним и внешним случайным влияниям, так и с точки зрения ее эффективной работы – для обеспечения возможности выхода из ложных зацикливаний.
В импульсных сетях стохастичность может быть введена путем добавления шума либо к уровню порога, либо к длине рефракторного периода, либо к величине мембранного потенциала.
4.3 Запоминание последовательностей
Асимметричное хеббовское правило, описанное выше, хорошо подходит для запоминания временных последовательностей [Gerstner, Ritz, van Hemmen, 1993; Gerstner, Kistler, 2002]. Если один паттерн нейронов активизируется раньше другого паттерна, то синаптические связи от нейронов первого паттерна к нейронам второго усилятся. Аналогичным образом усилятся связи от нейронов второго паттерна к нейронам третьего паттерна, если нейроны второго паттерна активизируются раньше нейронов третьего паттерна, и т.д. В результате, если после обучения на вход сети подать образ, соответствующий активности нейронов первого паттерна, то он будет стимулировать последующую активность второго паттерна, затем – третьего и т.д. Таким образом сеть воспроизведет всю последовательность.
Часто важно, чтобы сеть воспроизвела последовательность в том же темпе, в каком она была предъявлена, например, при запоминании мелодий. Эта способность может быть, в частности, обеспечена, если пары нейронов связаны не одной связью, а несколькими, различающимися временем аксональной задержки. В этом случае в наибольшей степени будет увеличиваться вес той связи, задержка которой ближе всего к разности моментов активизации пресинаптического и постсинаптического нейронов [Gerstner, Kempter, van Hemmen, Wagner, 1996; Herz, Sulzer, Kuhn, van Hemmen, 1989; Senn, Schneider, Ruf, 2002].
5 Структурные сетевые модели
До сих пор, обсуждая принципиальные когнитивные свойства сетей Хопфилда или импульсных сетей, мы не уточняли их структуру, фактически считая их полносвязными и однородными. Однако нейронная сеть реального мозга неоднородна – она состоит из нескольких, хотя и тесно связанных друг с другом, но анатомически, структурно и функционально различающихся подсетей. В этом разделе мы рассмотрим несколько моделей функциональных систем мозга, учитывающих эту структурированность.
5.1 Гиппокамп
В [Hasselmo, Wyble, 1997; Hasselmo, McClelland, 1999] была предпринята попытка построить многокомпонентную нейросетевую модель гиппокампа. Ее общая схема представлена на рис. 13.
Предполагается, что входные образы из второго слоя энторинальной коры поступают в зубчатую извилину, где происходит процесс самоорганизации, в результате которого формируются представления образов с меньшим взаимным перекрытием. Этот этап очень важен, поскольку гиппокамп должен обладать способностью возможно точно фиксировать огромный объем поступающей информации. Затем активность распространяется на область СА3 гиппокампа, где наличие большого числа возбуждающих рекуррентных связей между нейронами обеспечивает установление ассоциативных связей между различными частями образов и их ассоциативный вызов. Входные образы из энторинальной коры также поступают в область СА1 гиппокампа, формируя новые представления входных образов, которые сравниваются с представлениями этих образов, сформированными в СА3. Между СА3 и СА1 имеется гетероассоциативная связь. Имеются также пути от области СА1 к энторинальной коре, поэтому между этими частями также формируются взаимные ассоциативные связи. Область СА1 через связь с медиальным септумом регулирует холинэргическую модуляцию, обеспечивающую контроль динамики установления ассоциативных связей в гиппокампе.


Рис. 13. Модель гиппокампа.
Описанная модель была использована для выяснения механизма действия на память инъекций блокатора ацетилхолиновых рецепторов скополамина. В частности, на ней был воспроизведен эффект более слабого отрицательного воздействия скополамина на узнавание образов по сравнению с воздействием на их вспоминание.
В реальном эксперименте испытуемым обычно предъявляется список слов, который автоматически сопровождается контекстом – обстановкой эксперимента. Задача вспоминания формулируется как просьба воспроизвести список слов, а задача узнавания как просьба указать, какие слова из вновь предъявляемых входили в ранее предъявленный список.
В численном эксперименте во время обучения на одну часть входа модельной энторинальной коры подавались сигналы соответствующие контексту, а на другую – запоминаемым словам. Задача вспоминания имитировалась активизацией в модели энторинальной коры входов, соответствующих контексту, а задача узнавания – активизацией входов, соответствующих словам. При успешном вспоминании активизация контекста приводила к последовательному воспроизведению запомненных слов, а при успешном узнавании активизация слова приводила к активизации контекста.

Воздействие скополамина в моделировании имитировалось уменьшением интенсивности усиления синаптических связей. Это нарушало процесс вспоминания, но не нарушало успешность узнавания. Причина состоит в том, что контекст предъявляется чаще, чем текст, поэтому связанные с контекстом синапсы усиливаются в большей степени и, как следствие, для его активизации достаточно даже относительно слабой ассоциации в виде слова из числа ранее предъявленных.


Детальное описание данного подхода к моделированию гиппокампа можно найти в [Hasselmo, Wyble, Cannon, 2001].
5.2 Гиппокамп - неокортекс
Ранее на примере сети Хопфилда было проиллюстрировано, что нейронная сеть хранит запоминаемые образы распределенными во всей системе синаптических весов. Отмечалось также, что в результате такого совмещенного хранения может присходить своего рода интерференция, порождающая новые химерические образы. Этот процесс может приобрести катастрофический характер, если число запоминаемых образов будет слишком велико [McCloskey, Cohen, 1989; Ratcliff, 1990]. Однако в человеческом мозгу такой катастрофической интерференции не происходит. В [McClelland, McNaughton, O’Reilly, 1995] было выдвинуто предположение, что этого удается избежать благодаря тому, что функция запоминания осуществляется совместно двумя системами мозга – гиппокампом и новой корой: новые образы сначала запоминаются гиппокампом, после чего постепенно передаются в новую кору.
В ряде работ это предположение проверялась на двухкомпонентных нейросетевых моделях [Ans, Rousset, 1997; French, 1997; French, Ans, Rousset, 2001], в основу которых было положена идея об образовании в мозгу так называемых псевдообразов [Robins, 1995, 1996]. Робинс предположил, что для избежания катастрофической интерференции при запоминании нового образа сеть дополнительно запоминает серию псевдообразов, отражающих ранее запомненные образы, т.е. как бы повторяет, репетирует их в разных вариантах. Путем нейромоделирования было показано, что такой режим запоминания действительно снижает шансы появления катастрофической интерференции [Robins, McCallum, 1998].
Двухкомпонентная модель [French, Ans, Rousset, 2001] включает две нейронных сети, одну из которых можно ассоциировать с гиппокампом, а вторую – с новой корой. Новая информация поступает в гиппокамп, но туда приходят также и псевдообразы, сгенерированные на основе образов, полученных ранее новой корой из гиппокампа. Псевдообразы также используются для передачи новой информации из гиппокампа в новую кору. Показано, что такая процедура уменьшает взаимное искажение между старой и новой информацией.
Предполагается также, что обмен псевдообразами между гиппокампом и корой лежит в основе процесса консолидации долговременной памяти во сне [Robins, McCallum, 1998; Stickgold, 1999; Sutherland, McNaughton, 2000]. Кроме того, в рамках этой модели удается объяснить загадочный феномен избирательного ослабления памяти при аномии [French, 1997; French, Mareschal, 1998], а также механизмы антероградной и ретроградной амнезии [Ans, Rousset, 1997].
5.3 Префронтальная кора – базальные ганглии
Модель взаимодействия гиппокампа и новой коры, рассмотренная в предыдущем пункте, имела целью выяснение механизмов формирования долговременной памяти. Рассматриваемая ниже модель [Frank, Loughry, O'Reilly, 2001; O'Reilly, Frank, 2005], основанная на моделировании взаимодействия префронтальной коры и базальных ганглиев, построена для изучения механизмов функционирования кратковременной, рабочей памяти.
Практически общепризнано, что префронтальная кора играет центральную роль в фунционировании рабочей памяти. Также известно, что базальные ганглии тесно взаимодействуют с префронтальной корой и их повреждение вызывает такие же когнитивные нарушения как и повреждение префронтальной коры. Соответственно, возникает проблема разделения функций этих двух структур, решение которой было одной из целей при построении нейросетевой модели системы «префронтальная кора – базальные ганглии».
Рабочая память используется при решении текущих когнитивных задач, позволяя временно сохранять и в нужный момент предоставлять необходимые информационные компоненты, например, при проведении в уме арифметических вычислений или при анализе смысла предложения. В модели предполагается, что, в отличие от долговременной памяти, где информация хранится в весах связей, в рабочей памяти она хранится в виде паттернов возбужденных нейронов, что обеспечивает оперативность взаимодействия с ней, но ограничивает ее потенциальную емкость и осложняет хранение.
Стандартный тест для рабочей памяти состоит в том, что испытуемому предъявляется произвольная последовательность букв и цифр и он должен положительно реагировать на появление X после A, если последней из цифр 1 и 2 появилась цифра 1, и должен положительно реагировать на появление Y после B, если последней появилась цифра 2. Очевидно, что при выполнении этого теста испытуемый должен попеременно хранить в рабочей памяти последнюю их этих цифр, заменяя ее в нужный момент другой. Таким образом, желательно, чтобы имелся механизм, принимающий решение о пропуске или непропуске очередного стимула в рабочую память. Основной постулат модели состоит в том, что такой «пропускной контроль» (“gating” в терминологии авторов) существует и осуществляется структурой базальных ганглиев, что имеет биологическое основание [Deniau, Chevalier, 1985].
Общая схема модели представлена на рис. 14. Существенная роль в ней отведена формированию в среднем мозге условного рефлекса (в модели этот процесс осуществляется с помощью биологически обоснованного аналога алгоритма обратного распространения ошибки). Проверка продемонстрировала способность модели успешно выполнять широкий круг тестов рабочей памяти.

Рис. 14. Модель системы «префронтальная кора – базальные ганглии».
5.4 Основные принципы моделирования мозга
В [O'Reilly, 1998] сформулированы ряд принципов, на которых, по мнению автора, должно базироваться моделирование мозга. Три принципа касаются архитектуры модели и взаимодействия составляющих ее нейроноподобных элементов. И еще два принципа относятся к способам обучения. Но основным является требование биологического правдоподобия модели. По крайней мере, первые пять принципов должны ему удовлетворять.
Три архитектурных принципа – это распределенное представление, двустороннее взаимодействие и конкурентное ингибирование. Два принципа обучения состоят в том, что должны быть использованы оба принципиально возможных типа обучения – обучение без учителя (самоорганизация хеббовского типа) и обучение с учителем (обучение на ошибках типа дельта-правила).

Распределенный характер представления информации в мозге подтверждается электрофизиологическими исследованиями. При таком представлении информация хранится во многих нейронах и один нейрон участвует в хранении различной информации. С функциональной точки зрения, оно обеспечивает эффективность использования информации, а также ее точность и надежность. Кроме того, распределенное представление дает возможность отражать сходство между разными единицами хранимой информации – через общность используемых нейронов.


Двустороннее взаимодействие нейронов можно противопоставить однонаправленному потоку информации, проходящему через них, как это имело место в персептронах. Такое взаимодействие объединяет в один процесс разные уровни обработки информации, благодаря чему, например, анализ на уровне слов помогает правильному восприятию букв, т.е. анализу на более низком уровне.

Конкурентное ингибирование приводит к ограничению числа одновременно активных нейронов. Кора содержит около 20% ингибирующих интернейронов, которые предотвращают взрыв активности связанных стимулирующими связями пирамидальных нейронов (что происходит, например, при эпилепсии). Благодаря ингибированию, создается так называемое «разреженное» представление информации в нейронной сети мозга (своего рода «контрастирование»), что способствует ее быстрой и эффективной обработке, например, снижает риск попадания состояния сети в ложные локальные минимумы.


Обучение сети требует решения двух различных, хотя и взаимодополняющих, проблем: построения модели окружающей среды и принятия правильного решения в конкретной ситуации. Эти задачи решаются двумя различными способами: первая – с помощью «хеббовского обучения», вторая – с помощью «обучения на ошибках».
Биологическая правдоподобность хеббовского обучения общепризнанна – оно может реализоваться через НМДА-опосредованный механизм долговременной потенциации синаптических связей. Хеббовское обучение фиксирует коррелированность, частоту совстречаемости различных характеристик внешнего мира, что позволяет создать не только сетевое представление его структуры, но и отразить существующие в нем причинно-следственные связи.

Обучение на ошибках, например, метод обратного распространения ошибки, доказало свою эффективность в вычислительных применениях нейронных сетей. Его цель – научиться выдавать нужный ответ на предъявленный вход на основе обучения методом проб и ошибок на серии ситуаций с известными ответами. Хотя с психологической точки зрения такая постановка задачи вполне естественна, трудно было найти нейробиологическое обоснование для процесса «обратного распространения ошибки». Было также неясно, откуда может прийти сигнал о правильном ответе. Однако все же удалось предложить такую модификацию метода обратного распространения ошибки, которая может иметь биологическое обоснование [O'Reilly, 1996]. Идея состоит в том, что вместо обратного распространения ошибки распространяются входной и выходной сигналы и сравниваются модификации весов, соответствующие этим двум сигналам. Следует также отметить, что два типа обучения не просто дополняют друг друга, но и синергетически взаимодействуют: при обучении решению задач методом проб и ошибок активно используются знания, ранее полученные методом корреляционного обучения.


Обсуждение и перспективы работ
В этом обзоре мы попытались отразить как классические (до конца 80-х годов), так и более современные основные подходы к нейросетевому моделированию когнитивной деятельности мозга. Если с классикой все более или менее понятно, то с анализом современного состояния этой области научных исследований дело обстоит сложнее. Уже просто потому, что за последние 15-20 лет ее развитие носило взрывной характер и общее число публикаций по нейронным сетям измеряется многими тысячами. В качестве характерного примера размаха нейросетевых исследований можно привести монографию В. Герстнера и В.М. Кистлера, посвященную импульсным сетям [Gerstner, Kistler, 2002], т.е. относительно новому направлению нейромоделирования, – она содержит более 450 страниц текста и около 500 ссылок на литературу.
К счастью, не было больших проблем с получением полных текстов нужных публикаций – большинство из них удалось найти в Интернете, иногда даже полные тексты книг [напр., Gerstner, Kistler, 2002]. Находились они, главным образом, в свободном доступе на личных сайтах авторов. Как ни странно, научные журналы, некогда созданные для распространения научных достижений, превратились в тормоз на этом пути – во многих из них доступ платный и довольно дорогой и часто они запрещают размещать рукопись в Интернете, как условие публикации в журнале, таким образом, ограничивая ее доступность для научного сообщества.
Среди массы работ по нейромоделированию есть, конечно, и публикации обзорного характера, некоторые из которых довольно информативны и легко воспринимаются, как, например, технический отчет Р.В. Флориана [Florian, 2003], посвященный особенностям использования нейронных сетей в робототехнике. Однако, к сожалению, не удалось найти текста, который можно было бы использовать как основу для данной работы. Некоторые из обзоров носили слишком общий характер, другие были перегружены деталями, третьи касались слишком частных вопросов. Поэтому пришлось, в основном, пытаться понять современное состояние нейросетевого моделирования, обращаясь непосредственно к оригинальным публикациям. Наверное, и этот обзор в чем-то не удовлетворит некоторых читателей и им придется обращаться к первоисточникам.
На наш взгляд, основная дилемма нейросетевого моделирования на данный момент состоит в выборе между активационными и импульсными сетями. На первый взгляд, ситуация проста. Очевидно, что импульсные сети более детально и биологически более правдоподобно моделируют реальные сети. Однако, как и в случае любой более сложной модели, ее труднее реализовать и труднее интерпретировать полученные с ее помощью результаты. Кроме того, из-за увеличения сложности, небольшие ошибки в локальных предпосылках модели могут повлечь катастрофические отклонения от реальности в ее глобальном поведении.

Общее правило состоит в том, что для решения любой задачи следует выбирать самую простую модель среди тех, которые обеспечивают решение поставленной задачи. Поэтому стандартная рекомендация могла бы быть такой: если активационная модель обеспечивает на уровне экспериментальных наблюдений адекватное описание явления и дает приемлемые и полезные предсказания поведения исследуемого объекта в новых ситуациях, то ее и следует использовать. Если же некоторые наблюдаемые эффекты ею не воспроизводятся, то следует изменить модель, – например, воспользоваться импульсной моделью.


Однако ситуация не так однозначна – некоторые новые техники программирования могут упростить компьютерную реализацию импульсной нейросетевой модели до такой степени, что она станет проще компьютерной реализации активационной модели, а это, в свою очередь, может, например, позволить на порядок увеличить число нейронов в модельной сети [Gerstner, 1999; Mattia, Del Giudice, 2000; Marian, Reilly R, Mackey, 2002]. В конечном результате, может оказаться, что импульсная модель в каком-то смысле проще активационной. В конце концов, спайки, если абстрагироваться от их точной формы и кодировать как бинарные переменные (0 или 1), реализуются проще, чем сигмоидная функция .
Из сказанного следует, что правильный выбор между активационными и импульсными сетями можно сделать только проинвентаризировав и проанализировав созданное на сегодняшний день богатое программное обеспечение нейросетевого моделирования (мы не относим сюда нейросетевые программы обработки данных и нейросетевые системы технического назначения). Вопросы эффективной программной реализации нейросетевых моделей остались за рамками данного обзора ввиду их технического характера, но, как мы видим, они выходят на первый план.
С содержательной точки зрения, проведенный анализ состояния исследований в области нейросетевого моделирования приводит к следующему выводу. Имеется огромное количество работ решающих частные проблемы – либо биологического, либо математического характера. И есть дефицит работ, которые, используя эту базу, получали бы новые научные результаты более высокого уровня, такие, которые могли бы уже иметь практическое применение в психологии и педагогике. Компьютерное моделирование и экспериментальные исследования полезны, и даже необходимы и в этом случае, но они отступают на второй план, служат для подтверждения или опровержения выводов и догадок, полученных на основании комплексного анализа работ других авторов.
Более конкретно, представляется перспективным в таком плане изучить феномен вспоминания, точнее, применить нейросетевое моделирование для выяснения нейробиологических механизмов различных типов сбоев при решении задачи вспоминания здоровым мозгом и разработки на этой основе методов их преодоления.
Модель аттракторных нейронных сетей описывает сущность этого процесса как попадание в бассейн притяжения вспоминаемого образа и движения в направлении образа-аттрактора в пространстве состояний сети. Процедура моделированного отжига (повышение температуры сети с последующим ее постепенным понижением) может быть положена в основу практической методики повышения эффективности решения задачи вспоминания. Имеется и ряд других полученных при анализе модельных нейронных сетей результатов, раскрывающих особенности механизмов работы реального мозга, которые могли бы быть переработаны в комплекс методик по «гигиене памяти». Необходимы, однако, большие усилия по синтезу и развитию достижений, полученных в нейросетевом моделировании, нейрофизиологии и психологии, чтобы получить новые научные результаты, которые могли стать основой для практических рекомендаций. О.С. Виноградова формулирует такой подход следующим образом [Виноградова, 2000]: «Нейробиология - многоуровневая наука, исследования которой ведутся на молекулярном - субклеточном - клеточном - структурном - межструктурном (мозговом) - поведенческом (когнитивном) уровнях. Каждый уровень использует синтетические данные предыдущего и представляет аналитические данные для последующего уровня; перепрыгивание через уровень в логических и модельных построениях недопустимо.»


Поделитесь с Вашими друзьями:
1   2   3   4




База данных защищена авторским правом ©vossta.ru 2022
обратиться к администрации

    Главная страница