Рис.2. Рисунок мозга в разрезе демонстрирует некоторые внутренние структуры мозга. Амигдалоид и гиппокамп находятся глубоко в мозге, но показано так, чтобы было видно в какой части.
Две крупных структуры лимбической системы - амигдалоид и гиппокамп также отвечают за память.
Гиппокамп - (от греч. Hippocampos - мифическое существо Гиппокамп) небольшая часть мозга, одна из функций которой, кратковременная память и сохранение вновь возникающих воспоминаний. Гиппокамп занимается перекодировкой информации в краткосрочной памяти человека для её последующей записи в долговременной памяти.
Диэнцифалон, который также расположен под корой головного мозга, содержит таламус и гипоталамус (рис.2). Таламус задействован в сенсорном восприятиии и регулировании моторных функций (то есть движений). Он соединяет области коры головного мозга, которые отвечают за сенсорное восприятие и движение, с другими частями головного и спинного мозга, у которых также свои роли в ощущениях и движениях.
Гипоталамус очень маленький, но важный компонент диэнцифалона. Он играет главную роль в регулировании гормонов, гипофиза, температуры тела, надпочечника и прочего.
Кора головного мозга, разделенная на правое и левое полушария, составляет около двух третей массы мозга и покрывает большую часть остальных структур мозга. Это самая развитая часть человеческого мозга, ответственная за мышление, восприятие, употребление и понимание языка. Это также самая молодая структура в плане эволюции мозга. Кора головного мозга может быть разделена на области, каждая из которых выполняет свою функцию (рис. 3). Например, есть области, ответственные за зрение, слух, осязание, движение, обоняние. Другие области отвечают за мышление и объяснение причин. Хотя многие функции, такие как осязание, регулируются и правым и левым полушариями, есть такие, которые управляются только одним полушарием. Например, у многих людей способности к языку зависят только от левого полушария.
Рис. 3. Рисунок мозга в разрезе демонстрирует доли коры головного мозга и их функции.
Мозг состоит из миллиардов нервных клеток - нейронов. Нейрон (от греч. neuron -нерв ), нервная клетка, состоящая из тела и отходящих от него отростков -относительно коротких дендритов и длинного аксона; основная функциональная и структурная единица нервной системы. Нейрон проводит нервные импульсы от рецепторов в центральную нервную систему (чувствительные нейроны); от центральной нервной системы к исполнительным органам (двигательные нейроны); соединяют между собой другие нервные клетки (вставочные нейроны).
Рис.4. Схема нейрона
Нейрон проводит электрические импульсы, находясь в возбужденном состоянии. Рассмотрим строение нейрона. В природе не существует "типичного" нейрона, поэтому постараюсь схематически описать свойства, общие для большинства нейронов, хотя в каждом специальном случае эту обобщенную картину придется соответственно модифицировать. Возбуждение нейронов изменяет потенциал дендритов и тела клетки. Эффекты этих изменений сходятся на аксонном холмике. В результате чего, при соответствующей пространственно-временной конфигурации пришедших сигналов, импульс мембранного потенциала начинает распространяться по аксону, расходится по концевым разветвлениям и активизирует концевые синаптические луковички, которые в свою очередь изменяют мембранный потенциал других нейронов или мышечных волокон. Луковички так же называют пуговками. Пуговки лежат на других нейронах или на эффекторах. Места соприкосновения этих веточек с другими клетками называются синапсами.
Хоть и указано направление передачи информации от дендритов к аксону, нейрон может "проводить" в обоих направлениях, но, в большинстве случаев, возбуждение передается на дендрит или сому (соматические - клетки животных или растений, кроме половых) той клетки, с которой он образует синапс (рис. 5). При этом возбуждение сначала передается на холмик, а за тем распространяется по аксону, пока не достигнет концевого разветвления.
Рис.5. Синапс
Рассмотрим клетку как живое существо, помещенное в мембрану, между наружной и внутренней поверхностью которой существует разность потенциалов. Если изменить эту разность, то это изменение распространяется пассивным образом (как распространяется тепло от нагретого конца к другим частям металлического стержня). Для клеток с короткими отростками этого достаточно чтобы передать сигнал об изменении потенциала из одного конца системы в другой. Но если аксон достаточно длинный, то этого механизма не достаточно.
У клеточных мембран есть дополнительное свойство: когда разность потенциалов превышает так называемый порог, то в цилиндрических образованиях типа аксона возникает импульс, который активно распространяется, сохраняет постоянную амплитуду, то есть не затухает (подобно горению пороха в металлической трубке, то есть происходит цепная реакция передачи энергии от одного слоя пороха другому, регенеративный процесс). Но в трубке порох прогорит и в дальнейшем возможен только пассивный теплообмен. Поэтому аксон лучше сравнивать с перезаряжающимся запалом: представим, что после распространения каждого такого импульса по аксону происходят химические процессы - аналог -перезарядка запала. Поэтому имеется короткий рефрактерный период (рис. 6), во время которого аксон не может передавать импульс; именно в этот период происходит химическое восстановление.
Рис.6. Осциллограмма колебаний, снятая с изолированного живого нейрона. Запись сделана с LP-нейрона стоматогастрального ЦГР омара, когда активность всех остальных нейронов подавлена. Характерное периодичное затухание является рефрактерным периодом.
Если бы внести разряжение в каком-либо участке по длине аксона, то возбуждение пошло бы в обе стороны. Однако, если импульс возникает на одном конце аксона (обычно на холмике), то он может распространяться лишь в одном направлении, так как возбужденный конец становится рефракторным и остается в таком состоянии довольно долго. Передвигаясь по аксону, он вызывает новые импульсы в каждом из ответвлений (или коллатералий), а те, в свою очередь, вызывают новые импульсы в каждой из более тонких веточек. Когда же импульс доходит до концевой пуговки, то после небольшой задержки на мембране клетки, с которой аксон образует синапс, возникает разность потенциалов. Мембрана концевой пуговки называется пресинаптической мембраной, а мембрана той, клетки, на которую передается импульс, - постсинаптической. В большинстве случаев непосредственная причина изменения потенциала постсинаптической мембраны имеет не электрическую, а химическую природу. В некоторых синапсах изменение поляризации происходит без химических медиаторов. Но, как правило, электрический импульс, достигнув концевой пуговки, вызывает выделение из так называемых синаптических пузырьков вещества, называемого медиатором, которое диффундирует через небольшую синаптическую щель к постсинаптической мембране. Попав на эту мембрану, медиатор вызывает изменение ее поляризации. Медиатор по своему действию может быть двух основных типов: возбуждающим, если он изменяет разность потенциалов на постсинаптической мембране в направлении к пороговому значению, или тормозным, то есть изменяет разность потенциалов в обратную сторону. Здесь действует закон Дейла: если проследить за всеми ветвлениями одного и того же аксона, то все синапсы, образуемые этим аксоном с другими клетками, окажутся либо только возбуждающими, либо только тормозными. Но закон Дейла выведен для беспозвоночных, и может оказаться неверным даже для млекопитающих.
Импульс, достигший концевой пуговки аксона, обычно вызывает лишь предпороговое возбуждение постсинаптической мембраны. Но синапсов обычно много и от одного, и от многих нейронов, и поэтому, накапливаясь, потенциалы, передаваясь пассивным методом, подойдут к аксонному холмику, и суммарное возбуждение может превзойти пороговое, то есть получаем, так называемый, резонанс. Когда согласованный эффект многих таких подпороговых изменений в аксоном холмике превысит порог, и, если это происходит в момент, когда рефрактерный период после предыдущего возбуждения уже закончился, то вдоль аксона начнет распространяться следующий импульс. Если же кумулятивный эффект окажется гораздо больше нормального, то он может превысить и текущее значение порога, прежде чем тот вернется к своему нормальному значению. Период, в течение которого никакое повторное раздражение, не зависимо от его силы, не может вызвать второй импульс, называется абсолютным рефракторным периодом. Когда же очень сильное входное возбуждение может привести к возникновению в аксоне второго импульса, то говорят об относительном рефракторном периоде.
Таким образом, нейрон воспринимает химический сигнал, и реагирует на него повышением или понижением ответов. В этих процессах восприятия химических сигналов и генерации импульсов нейроном важную роль играют перестройки надмолекулярных структур в различных частях данной нервной клетки, а также волны структурных перестроек, сопровождающие передачу информации в пределах данного нейрона и от одного нейрона к другому. Процессы метаболизма (обеспечивающие, в частности, клетку энергией) восстанавливают эти надмолекулярные структуры перестраивающиеся в процессе передачи информации.
2. Основная часть
2.1 Введение
От процесса мышления можно провести аналогию к процессу распознавания. Процесс распознавания образа в нейрокомпьютерах обладает почти всеми свойствами мышления. Действительно:
-- он происходит в нейросетях, у человека -- в реальных, в компьютере -- в искусственных. Основные принципы функционирования тех и других можно считать одинаковыми;
-- в нем происходит обработка информации;
-- принятие решения в данном случае сводится к выбору класса (из числа обученных), к которому принадлежит данный объект;
при недостатке информации принятие решения -- акт творчества. Для этого в нейрокомпьютере есть все необходимое, включая аппарат рецепции информации, перемешивающий слой (больцмановский шум) и запоминание результата. Момент принятия решения нейро-процессор умеет выбирать сам. В нейрокомпьютере решение принимается интуитивно;
каждый нейрокомпьютер индивидуален. Это проявляется на разных стадиях обучения. Так, локализация образа в процессоре Гроссберга происходит в элементе, выбранном случайно. В исходно одинаковых процессорах эти элементы, как правило, не совпадают. Это немешает работе процессора, но определяет его индивидуальность.
Нейронная сеть представляет собой систему динамически взаимодействующих элементов с набором входных и выходных сигналов. Простейший вариант такого дискретного элемента показан на рис. 7а, где 1 входные функции, Ф (1, 2, 3,… n) -- семейство входных функций, {а1, а2, а3, ..., аn} -- набор чисел (весовых коэффициентов), -- пороговая функция, -- выходная функция. Пусть X-- набор признаков внешних стимулов, воздействующих на рецепторы, генерирующие входные функции i. В дискретном пороговом варианте (Х) = 1 тогда и только тогда, когда ii(Х) > . На интуитивном уровне ясно, что каждое i из семейства Ф содержит определенные сведения о том, будет ли истинной или ложной выходная функция для каждой внешней ситуации X. Если в целом (Х) имеет положительную корреляцию с семейством (Х), то можно ожидать, что и веса будут положительными, тогда как при отрицательной корреляции отрицательными будут и веса . Однако идею корреляции в данном случае следует воспринимать не буквально, а лишь как аналогию. В нейронных сетях, как будет ясно из дальнейшего изложения, возможны более сложные зависимости, нежели просто корреляционные соотношения. В зависимости от решаемой задачи элементы нейронной сети могут с различной степенью детализации имитировать принципы функционирования отдельных нейронов, нейронных популяций (например, тормозных и возбуждающих) или нейронных структур. В классических нейрофизиологических экспериментах этим уровням детализации соответствуют импульсная активность одиночных нейронов, локальный полевой потенциал нейронных ансамблей и электроэнцефалограммы (ЭЭГ), получаемые методом многоэлектродного отведения от мозга в целом.
Рис7а, б. Простейший вариант нейронной сети (а) и его механическая аналогия (б)
Простейшей механической аналогией вычислений в нейронных сетях являются в одномерном случае "качели с распределенным расположением груза", в двумерном -- "скатывание шарика по поверхности, испещренной оврагами". На рисунке 76 в качестве примера показаны "качели". Допустим, что внешняя ситуация X отображена в виде расположения грузов в некоторых зонах {p1, p2 , … , рп}- Пусть i(X) = 1, когда груз находится в i-й точке. Для случая, изображенного на рис. 76, имеем i = (i -- 4), = 0, результат вычисления будет: (i -- 4) I(X) > 0, а логическое заключение о ситуации -- "доска наклонится вправо", т.е. при распознавании двух ситуаций, будет выбрана одна.
Мозг человека выполняет трудную задачу обработки непрерывного потока сенсорной информации, получаемой из окружающего мира. Из потока тривиальной информации он должен выделить жизненно важную информацию, обработать ее и, возможно, зарегистрировать в долговременной памяти. Понимание процесса человеческой памяти представляет собой серьезную проблему; новые образы запоминаются в такой форме, что ранее запомненные не модифицируются и не забываются. Это создает дилемму: каким образом память остается пластичной, способной к восприятию новых образов, и в то же время сохраняет стабильность, гарантирующую, что образы не уничтожатся и не разрушатся в процессе функционирования?
Традиционные искусственные нейронные сети оказались не в состоянии решить проблему стабильности-пластичности. Очень часто обучение новому образу уничтожает или изменяет результаты предшествующего обучения. В некоторых случаях это не существенно. Если имеется только фиксированный набор обучающих векторов, они могут предъявляться при обучении циклически. В сетях с обратным распространением, например, обучающие векторы подаются на вход сети последовательно до тех пор, пока сеть не обучится всему входному набору. Если, однако, полностью обученная сеть должна запомнить новый обучающий вектор, он может изменить веса настолько, что потребуется полное переобучение сети.
Итак, основной целью данной работы является создание нейронной сети, являющейся одним из способов решения проблемы стабильности-пластичности.
Одним из результатов исследования этой проблемы является Адаптивная резонансная теория (APT) Гроссберга.
2.2 Постановка задачи
2.2.1 Неформальная постановка задачи
Создание нейронной сети, которая:
§ распознает входной сигнал, если была ему ранее обучена;
§ в случае не распознавания входного сигнала, запоминает его;
§ совершает эти действия с учетом проблемы стабильности-пластичности. Т.е. при подаче на вход сигнала схожего с одним из запомненных ранее, классифицирует его, как узнанный. Если входной сигнал сильно отличается от запомненных ранее, не уничтожая результаты предыдущего обучения, запоминает его.
Программную реализацию осуществить в среде Matlab.
2.2.2 Формальная постановка задачи
Введем обозначения:
X - множество входных векторов
Страницы: 1, 2, 3, 4, 5, 6
|