Воспитание-10

М. Тилден с сотрудниками построили около сотни действующих образцов. биоморфных машин. (.биоморфов., или. жизнеподобных.), главная задача которых mdash; преодолевать незнакомые сложные ландшафты в поисках. пищи.. Управляющее ядро этих машин представляет собой аналоговую нейросеть осцилляторного типа с очень небольшим числом нейронов в ней (как правило, менее десятка). Эти машины продемонстрировали очень высокую приспосабливаемость к меняющемуся рельефу местности.

Кроме статьи [33], информацию о работах М. Тилдена можно найти по адресам Интернет, перечисленным под номером [34] в списке литературы в конце предисловия. Среди этих ресурсов можно найти патент М. Тилдена на нейросеть, используемую им в биоморфных машинах.

Пересказывать содержание этой многоплановой и интересной лекции здесь нет никакой необходимости, укажем лишь ряд дополнительных источников, с помощью которых можно более глубоко проработать затронутые в лекции вопросы.

Различные аспекты зарождения и развития жизни на Земле, общие законы функционирования живого освещаются в книгах [35-43]. Принципы биологической эволюции, ее механизмы и модели рассматриваются в книгах [44-69]. Об эволюционном возникновении интеллекта можно прочитать в книгах [70,71], об организации психики человека, происхождении, формировании и развитии высших потребностей познания mdash; в книгах [72,73]. Попытка мысленно представить эволюционное возникновение иерархии биологических систем управления сделана в прекрасной В.Ф. Турчина [13].

Общая схема адаптивного поведения, рассматриваемая В.Г. Редько, основывается на функциональной системе, разработанной советским нейрофизиологом П.К. Анохиным [74]. Функциональная система характеризyет такие свойства схемы управления поведением, как целенаправленность, мотивацию для формирования цели, доминанту по А.А. Ухтомскому для мобилизации ресурсов животного на достижение приоритетной цели (в том числе и мобилизацию интеллектуальных ресурсов mdash; концентрацию внимания), а также ряд других.

Как показано в лекции игумена Феофана (Крюкова). Модель внимания и памяти, основанная на принципе доминанты., важнейшая роль в этом перечне свойств принадлежит доминанте.

В лекции описаны шесть основных проблем внимания: проблема селективности стимулов (почему из нескольких одновременно предъявленных стимулов одни привлекают внимание и получают таким образом доступ к высшей сенсорной обработке, а другие не получают?); проблема долговременной памяти (каков механизм взаимодействия внимания и долговременной памяти?); проблема интеграции (как и где происходит реконструкция интегрального образа для стимулов, обрабатывавшихся параллельно?); проблема инерции (какова основа сохранения длительного внимания в случаях, когда стимулы предъявляются кратковременно?); проблема торможения и подавления помех (что происходит со стимулами, которым не оказывается внимания?); проблема Центрального Управителя (существует ли отдельная структура для координации процессов внимания и памяти или же здесь работают процессы самоорганизации новой коры?).

В лекции показано, что на основе принципа доминанты А.А. Ухтомского удается найти ответы на все шесть перечисленных выше вопросов. Показано, что в основе учения о доминанте лежит физическое явление фазовых переходов, а также трактовка нейронной сети как системы связанных нелинейных осцилляторов. Приводятся доказательства того, что неравновесные фазовые переходы действительно происходят в мозге.

Нейрофизиологический материал, необходимый для понимания материала лекции игумена Феофана (Крюкова), можно почерпнуть, например, в общем курсе биологии [39], а также в книгах [75,76]. Об исследованиях мозга говорится в книгах [77,78]. О связях высшей нервной деятельности с психологией рассказывается в книге [79], здесь рассматривается и роль доминанты А.А. Ухтомского для понимания процессов высшей нервной деятельности.

На важность и перспективность использования в обработке информации колебательных моделей, включая и колебательные (осцилляторные) нейронные сети, автор данной лекции обращал внимание нейросетевого сообщества в ходе. Дискуссии о нейрокомпьютерах., состоявшейся в рамках конференции. Нейроинформатика-99. (см. [80], с. 29-33, выступление В.И. Крюкова). Им утверждалось, в частности, что. ...материальным носителем биологической памяти, если таковой существует, ямляется не синаптическая система, а скорее целостная нервная ткань, как это предсказывается, исходя из принципа доминанты..

Того же мнения о значимости колебательных нейронных сетей придерживается и Р.М. Борисюк, который на той же самой дискуссии в ответе на вопросы о наиболее значительных достижениях в теории нейронных сетей и в понимании работы мозга, полученных в течение 90-х годов (см. [80], с. 13-16) отметил:. Одним из основных достижений можно считать создание теории осцилляторных нейронных сетей и демонстрацию того, что принцип синхронизации нейронной активности янляется важным принципом обработки информации в структурах мозга. Детальная разработка этой теории, имеющей глубокие корни в работах выдающегося физиолога А.А. Ухтомского, была начата в нашей стране В.И. Крюковым, а на Западе в работах К. фон дер Мальсбурга (Christoph von der Malsburg). Дальнейшее развитие теории показало, что на основе принципа синхронизации можно решать задачи распознавания образов, запоминания информации, интеграции признаков объекта в цельный образ, формирования и управления фокусом внимания и др...

Вопросам, связанным с осцилляторными нейронными сетями, постоянно уделялось внимание и на конференциях. Нейроинформатика. (см. [81-87]).

Здесь уместно будет отметить, что работы М. Тилдена по. живым машинам., упоминавшиеся выше, также основываются на использовании осцилляторных нейронных сетей.

В лекции игумена Феофана (Крюкова) в противовес традиционной коннекционистской архитектуре нейросетевых систем предлагается доминантная архитектура обработки информации в мозге. Кроме того, в ней ставится вопрос о неудовлетворительности существующей концептуальной базы (парадигмы[4]) нейроинформатики и делается вывод о необходимости смены этой парадигмы:. Почти все теоретики мозга ищут не истину, а подтверждения хеббовской программы, приняв гипотезу за незыблемый факт. А истина лежит совсем в другом месте mdash; в учении А.А. Ухтомского о доминанте..

В лекции В.Г. Редько отмечается, что удивительная эффективность функционирования живых организмов, гармоничность и согласованность работы органов (.компонент.) живых существ обеспечивается биологическими управляющими системами. Относительно этих систем возникает целый ряд вопросов, в том числе и такой важнейший, как пути возникновения интеллекта.

Другой аспект этой же проблемы рассматривался в лекции игумена Феофана (Крюкова), где показано, как на основе принципа доминанты А.А. Ухтомского можно адекватно моделировать такие, не менее важные, свойства живых существ, как память и внимание.

Но ведь управляющие системы встречаются не только в живых системах, но и в системах, создаваемых человеком, они являются важнейшим элементом, определяющим в значительной мере уровень возможностей той или иной системы.

Лекция Ю.И. Нечаева. Нейросетевые технологии в бортовых интеллектуальных системах реального времени. посвящена вопросам создания управляющих систем именно такого рода, а также систем анализа и интерпретации измерительной информации о поведении динамического объекта.

Эта лекция представляет собой один из примеров того междисциплинарного подхода, что упоминался выше как весьма желательный для Школы-семинара.

Предметом рассмотрения в лекции Ю.И. Нечаева являются бортовые интеллектуальные системы, обеспечивающие управление динамическим объектом, идентификацию экстремальных ситуаций, оценку параметров динамического объекта и внешней среды.

Эти задачи решаются с привлечением целого ряда новых подходов, в число которых входят: геометрическая интерпретация динамических моделей на основе теории хаотических систем и принципов самоорганизации; нейросетевые технологии; методы построения систем, основанных на знаниях; методы нечеткой (размытой) логики и нечетких систем; методы теории возможностей; эволюционное моделирование (генетические алгоритмы и т.п.); различные комбинированные технологии (нейро-нечеткие, нейро-генетические и т.д.).

Целесообразность применения этой совокупности методов и средств, взаимодействие их между собой, последовательно демонстрируется на конкретных примерах задач для динамических объектов, таких как управление движением подводного аппарата, идентификация экстремальных ситуаций для плавучих динамических объектов, оценка динамических характеристик объекта и внешней среды, создание интеллектуальных нейросетевых датчиков.

В лекции Ю.И. Нечаева показано, что сложности, присущие традиционным подходам к созданию бортовых измерительных и управляющих систем, могут быть в значительной мере преодолены, если воспользоваться технологиями мягких вычислений (включая нейросети, нечеткие системы, генетические алгоритмы и т.п.). Рациональное использование этих технологий позволяет обеспечить измерительным и управляющим системам гибкость и способность адаптироваться к изменяющимся условиям внешней и внутренней среды динамического объекта.

Дополнительные сведения по затронутым в лекции Ю.И. Нечаева вопросам можно получить в следующих книгах: по нелинейной динамике, хаотическим системам, самоорганизации mdash; в [90-103] (см. также журнал. Компьютерра. [89] с темой номера. Хаос.); по системам, основанным на знаниях mdash; в [14-16]; по нечеткой логика, нечетким системам mdash; и 1104-113] (см. также журнал. Компьютерра. [114] с темой номера. Нечеткая логика.); теория возможностей mdash; в [115-117]; по нейросетевым технологиям mdash; в [15,17-21]; по генетическим алгоритмам, эволюционному моделированию mdash; в [22-28]; по смешанным технологиям мягких вычислений mdash; в [28,29]; по информационной обработке и управлению ни основе технологий мягких вычислений mdash; в [118-126]. Значительное число программ и публикаций по таким темам, как искусственные нейронные сети, нечеткие системы, генетические алгоритмы, а также их применениям можно найти через портал научных вычислений, адрес которого содержится в позиции [127] списка литературы к предисловию.

В начале данного предисловия было сказано о двух диаметрально противоположных подходах к построению моделей систем mdash; традиционном и эволюционном. Эти два подхода вовсе не исключают, а скорее дополняют друг друга.

Примерами, основанными на традиционном подходе являются и лекция игумена Феофана (Крюкова), и лекция Ю.И. Нечаева. А именно, в лекции игумена Феофана (Крюкова) используется подход, типичный для науки: изучение объекта, его особенностей и т. п. В лекции Ю.И. Нечаева наряду с данным вариантом широко применяется и подход типа. черный ящик., реализующийся в искусственных нейросетях (но здесь широко используются и обычные математические модели движения динамических объектов, записанные в виде систем дифференциальных уравнений).

Еще дальше идет С.А. Шумский в своей лекции. Байесова регуляризация обучения.. В ней речь идет о системе типа. черный ящик., для которой есть только некие описывающие ее эмпирические данные.

Рассматривается задача машинного обучения, цель решения которой mdash; выявление закономерностей в эмпирических данных.

Как отмечает С.А. Шумский:. В противоположность математическому моделированию, изучающему следствия из известных законов, машинное обучение стремится воссоздать причины, наблюдая порожденные ими следствия mdash; эмпирические данные..

Отсюда следует, что рассматриваемая задача относится к классу обратных задач, которые в общем случае являются плохо определенными или некорректными. Вследствие повышенной чувствительности некоторых из решений таких задач к данным, для нахождения устойчивых решений приходится применять процедуру так называемой регуляризации, которая приводит к ограничению класса допустимых решений.

При этом надо, с одной стороны, не потерять чувствительность к данным, чтобы оставалась возможность объяснения всех имеющихся фактов, а с другой mdash; не переусложнить модель так, что она станет реагировать не только на требуемую закономерность, но и на случайные события в обучающей выборке. Или, как замечает С.А. Шумский,. пройти между Сциллой переупрощения и Харибдой переусложнения..

В лекции С.А. Шумского подробно рассматривается один из наиболее эффективных способов решения этой проблемы mdash; байесова регуляризация, основанная не на оценке ожидаемой ошибки, как это принято в традиционных методах математической статистики, а на выборе наиболее правдоподобной (с учетом имеющихся данных) модели.

Иллюстрируется данный подход на задачах оценки параметров, интерполяции функций и кластеризации; одна из практически интересных задач здесь mdash; определение рационального числа элементов в скрытом слое искусственной нейросети.

По теме лекции С.А. Шумского можно рекомендовать следующую дополнительную литературу: некорректные задачи и регуляризация mdash; (128, 129]; традиционная математическая статистика mdash; [130-133]; байесовский подход [134] (здесь управление трактуется как процесс обучения, подробно рассматривается теорема Байеса и ее применение).

Есть задачи, они особенно часто встречаются в ряде областей численного анализа и оптимизации, для решения которых есть, казалось бы, все необходимое mdash; теоретическая база, алгоритмы, даже компьютерные программы. Но тем не менее, решение почти каждой такой задачи представляет собой. штучную работу., в значительной степени опирающуюся на ранее полученный опыт решения аналогичных задач.

Пример решения именно такого рода задачи демонстрируется в лекции С.А.Терехова. Нейросетевые аппроксимации плотности распределения вероятности в задачах информационного моделирования.. Здесь, как и в лекции С.А. Шумского, изучается проблема построения эмпирических моделей на основе числовых данных. При этом рассматривается поучение без учителя на примерах, в условиях неопределенности в характере модели.

Эта задача аппроксимации плотности распределения вероятности, описывающего множество многомерных экспериментальных данных.

К такой постановке сводятся многие важные прикладные задачи: задача распознавания образов, проблема заполнения пропусков в таблицах данных, вероятностный прогноз и т. п.

В лекции С.А. Терехова дается сопоставление нескольких подходов к аппроксимации плотности распределения, в числе которых параметрические методы аппроксимации и методы непараметрической статистики. Рассматриваются также байесовы сети, представляющие собой одно из наиболее важных достижений последнего десятилетия в области искусственного интеллекта.

В качестве еще одного подхода предлагается заменить задачу аппроксимации эквивалентной ей задачей классификации. Здесь опять возникает проблема регуляризации, о которой, хотя и в несколько ином плане говорилось в лекции С.А. Шумского.

Дополнительную информацию по затронутым в лекции С.А. Терехова вопросам можно получить из книг [130-133] (математическая статистика), а также [15,17-20] (искусственные нейросети и их применений). Популярное изложение материала о байесовых сетях, а также пакет расширения (Bayes Net Toolbox) для Matlab содержится по адресам, указанным в позиции [135] списка литературы к предисловию.

Наряду с лекцией Ю.И. Нечаева, лекция Н.Г. Макаренко. Фракталы, аттракторы, нейронные сети и все такое. представляет собой яркий образец междисциплинарного подхода. Ценность его mdash; в демонстрации глубоких взаимосвязей между различными областями науки, в том числе и такими, что возникли и развивались вначале совершенно независимо друг от друга.

Изложение в лекции Н.Г. Макаренко начинается с изложения концепции дробной размерности и фрактала. Затем вводятся системы итеративных функций в пространстве компактов.

Изучение предельной динамики систем итеративных функций ведет к теории дискретных динамических систем. Далее показано, что процесс аппроксимации аттрактора системы итеративных функций эквивалентен работе бинарной нейронной сети.

Как замечает Н.Г.Макаренко:. Таким образом, термины. фрактал. в геометрии и. странный аттрактор. в динамике оказываются синонимами, а систему итеративных функций (СИФ) можно рассматривать как рекуррентную асимметричную нейросеть. С другой стороны, Фернандо Ниньо в 2000 году установил, что случайная итеративная нейронная сеть (гипернейрон) топологически эквивалентна динамической системе с заданным аттрактором. Круг замкнулся, образовав Единый Контекст, объединяющий фракталы, СИФ, аттракторы и нейронные сети. Цель лекции mdash; показать взаимную связь этих предметов, потому что единое лучше, чем всё вместе, но по-отдельности..

Дополнительные сведения по фракталам можно найти в книгах [136, 137], по динамическим системам mdash; в книгах [138-141].

Как это уже было в [1], помимо традиционного списка литературы каждая из лекций сопровождается списком интернетовских адресов, где можно найти информацию по затронутому в лекции кругу вопросов, включая и дополнительные ссылки, позволяющие расширить, при необходимости, зону поиска.

Вызвано это тем, что ссылки в списке литературы на традиционные. письменные. источники обычно трудно. разрешимы., материалы, на которые они указывают, в современной ситуации мало доступны, особенно вне столиц. В то же время, в Интернете можно найти сейчас информацию практически по любой тематике, часто mdash;те же статьи, которые включены в список литературы mdash; надо только знать, где их искать. Включение в лекции ссылок на интернетовские ресурсы дает подобного рода сведения тем, кто заинтересуется соответствующей тематикой и захочет более подробно разобраться в ней. Учитывая все расширяющиеся возможности доступа к Интернету, это обеспечивает доступ к разнообразным данным практически всем желающим.

Перечень проблем нейроинформатики и смежных с ней областей, требующих привлечения внимания специалистов из нейросетевого и родственных с ним сообществ, далеко не исчерпывается, конечно, вопросами, рассмотренными в предлагаемом сборнике.

В дальнейшем предполагается расширение данного списка за счет рассмотрения насущных проблем собственно нейроинформатики, проблем. пограничного. характера, особенно относящихся к взаимодействию нейросетевой парадигмы с другими парадигмами, развиваемыми в рамках концепции мягких вычислений, проблем использования методов и средств нейроинформатики для решения различных классов прикладных задач. Не будут забыты и взаимодействия нейроинформатики с такими важнейшими ее. соседями., как нейробиология, нелинейная динамика (синергетика mdash;в первую очередь), численный анализ (вейвлет-анализ и др.) и т.п.

Замечания, пожелания и предложения по содержанию и форме лекций, перечню рассматриваемых тем и т.п. просьба направлять электронной почтой по адресу tium@mai.ru Тюменцеву Юрию Владимировичу.