Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.1 (11) След. > >>    Поиск:
Автор	Тема: Какие методы обучения ИНС существуют и чем отличаются?
daner Сообщений: 4593	Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 27 июл 08 15:25 Какие методы обучения ИНС существуют и чем отличаются? Ну про Обратное Распространение Ошибки, думаю здесь можно не писать. Уж слишком метод общеизвестен. Интересно какие есть альтернативы. Еще хочу подчеркнуть. Мне бы не хотелось обсуждать здесь разные ВИДЫ ИНС (типа Хопфильда, Ассоциативные, Хемминга и т.д.). Понятно, что там свои методы обучения. Я же говорю о стандартной Многоуровневой Сети из Нейронов с сигмоидной (ну или подобной) функцией активации. Кто что знает, встречал или слышал (ссылки приветствуются). [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 27 июл 08 18:01 А кроме обратного распространения больше ничего и нет В любом случае градиент будет вычисляться методом обратного распространения ошибки, а уж как этот градиент использовать - другой вопрос. Если брать классические схемы из теории градиентной оптимизации гладких функций - то будут методы сопряженных градиентов, квазиньютоновские, Левенберга-Марквардта,... Если этой теории не знать - то будут всякие "извраты" типа RProp, QProp,... Отличаются все методы двумя вещами 1. используется либо направление градиента, либо более оптимальное (но построенное на базе текущего градиента) 2. способ выбора шага коррекции в этом направлении (константный на весь процесс обучения, изменяемый по жесткому правилу от эпохи к эпохе, оптимально подбираемый на каждой эпохе) Реально из уникального можно назвать, наверно, только две вещи: 1. Обратное распространение вторых производных - чтобы реализовать "диагональный" метод Ньютона (т.к. не вся матрица вторых производных считается, а её диагональ - то поэтому и диагональный). 2. Метод каскадной корреляции - понейронное наращивание сети. Сеть будет не совсем "стандартной" - будет многоуровневой, но с передачей сигналов не только со слоя на слой, но и на все последующие слои (хотя это не принципиально и структуру связей можно ограничить так, как будет нужно). Если надо - дам выходные данные статей. Обе они - до 90го года, т.е. почти уже 20летней давности Ну и ещё вариант - эволюционные или генетические алгоритмы оптимизации (если функция активации не сигмоидная и градиент не посчитать - но и тут имеются варианты послойного обучения сети неслучайным поиском) -------------------------- нейронные сети, анализ данных, прогнозирование [Ответ][Цитата]
daner Сообщений: 4593	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 27 июл 08 18:30 Спасибо. Доходчиво! Подкиньте ссылку на метод каскадной корреляции. И еще вы как-то давали ссылку на перевод ИНС в дерево решений... я даже статью скачивал... но куда-то потерял, и если вы еще знаете где ее взять, то тоже буду рад. [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 28 июл 08 17:33 Каскадная корреляция - 1. Fahlman S., Lebiere C. The cascade correlation architecture / Advances in Neural Information Processing Systems 2 (1989). Morgan Kaufmann, 1990. – pp.524-532. Развития-обобщения КасКора и других алгоритмов создания-обучения растущих сетей (обучаемым с учителем - а то есть растущие сети и для обучения без учителя, например, "нейронный газ" - типа растущей карты Кохонена) есть в этих обзорах с подробной внутренней библиографией: 2. Campbell C. Constructive learning techniques for designing neural network systems / Neural Network Systems and Applications (C.Leondes ed.), Academic Press, 1997. 3. Kwok T., Yeung D. Constructive algorithms for structure learning in feedforward neural networks for regression problems / IEEE Trans. Neural Networks, 1999. Vol.8, №3. – pp.630-645 Все три статьи есть в инете. По извлечение знаний из нейросеток - у меня всё лежит на старом винте, глубоко зарытом в закромах Надо искать по ключевикам типа rule extraction, rule induction, rule refinement, knowledge extraction,... (в соединении с neural networks или иными уточняющими словами про нейросетки). Помню только одного автора с циклом работ в 90е - это амер Jude Shavlik, страничка со статьями в инете у него была. Других авторов не помню - много времени прошло. Наверно, будет проще смотреть-искать, кто цитирует работы Шавлика по этой теме, чтобы с подбором ключевиков для поиска не бодаться. Да и опирался я сам в 90е годы еще и во многом на бумажные источники, которые в электронный вид вряд ли перевели (например, на материалы японских-корейских международных конференций - они на английском были, но всё-таки это не СШАшные конференции или журналы центральных издательств) - поэтому мой список ссылок просто во многом не от мира сегодняшнего [Ответ][Цитата]
daner Сообщений: 4593	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 28 июл 08 23:53 Все, спасибо!!! я думаю этого вполне достаточно. [Ответ][Цитата]
Вася Сообщений: 180	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 31 июл 08 15:04 daner, вот, смотри: http://www.springerlink.com/content/138844556g26m527/fulltext.pdf тут про эволюционные методы обучения, и даже про эволюционный синтез самих методов обучения [Ответ][Цитата]
Вася Сообщений: 180	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 31 июл 08 18:23 Кстати, расскажи, для какой задачи тебе нужно обучение нейросетей. [Ответ][Цитата]
daner Сообщений: 4593	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 31 июл 08 18:34 Цитата: Автор: Вася Кстати, расскажи, для какой задачи тебе нужно обучение нейросетей. для задачи -- самообразования. . тот проект которым я хотел заняться и который связан с ГА и ИНС... так и висит в воздухе. Руки до него явно не доходят. [Ответ][Цитата]
Вася Сообщений: 180	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 31 июл 08 21:01 Ладно... прочти статейку, вдруг воодушевишься Если по-английски разбираться лень, то я её скоро переведу. [Ответ][Цитата]
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 01 авг 08 2:44 Цитата: Автор: Вася Ладно... прочти статейку, вдруг воодушевишься Если по-английски разбираться лень, то я её скоро переведу. Когда переведете, киньте мне тоже плиз - сюда tac@inbox.lv [Ответ][Цитата]
daner Сообщений: 4593	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 01 авг 08 11:43 Цитата: Автор: tac Когда переведете, киньте мне тоже плиз - сюда tac@inbox.lv нет уж, давайте, если выкладывать -- так выкладывать всем. [Ответ][Цитата]
Вася Сообщений: 180	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 03 авг 08 14:32 Вот перевод: http://narod.ru/disk/1807523000/5%20%D0%9D%D0%B5%D0%B9%D1%80%D0%BE%D1%8D%D0%B2%D0%BE%D0%BB%D1%8E%D1%86%D0%B8%D1%8F.doc.html Все картинки и одна формула - в оригинале: http://www.springerlink.com/content/138844556g26m527/fulltext.pdf Статейка, конечно, обзорная, без глубин и подробностей, но из неё становится понятно, каких успехов достигли на сегодня западные коллеги и куда вся тема движется. От себя хочу заметить, что копают парни широко, но не очень глубоко. Подход в целом какой-то скорее формальный, чем содержательный. Например, мне стало очень интересно, когда я дочитал до места, в котором описываются те же биологические предпосылки, на которые я опирался в собственных разработках. И что же вы думаете? Они точно скопировали формальную составляющую механизма, но истинная его сущность протекла у них между пальцами, оставив в руках громоздкие конструкции. Хотя, и для таких замысловатых штуковин нашлось практическое применение. Появятся мысли, вопросы - пииште, обсудим. [Ответ][Цитата]
daner Сообщений: 4593	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 04 авг 08 4:23 спасибо за такую работу. [Ответ][Цитата]
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 04 авг 08 16:19 Да, большое спасибо ... Начинаю читать, со временем возможно обсудим ... [Ответ][Цитата]
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 05 авг 08 16:36 Цитата: Автор: Вася Появятся мысли, вопросы - пииште, обсудим. Не плохая обзорная статья, мало конкретики конечно, но этого сейчас редко и бывает ... Но главный минус эволюционных подходов (почему я и занимаюсь нейронными сетями) в следующем: "Для эволюционного синтеза нейросети нужно сделать несколько выборов. Кроме выбора приемлемой функции пригодности и настройки параметров эволюционного процесса, таких как размер популяции и частота мутаций, ключевой вопрос состоит в выборе удачного генетического представления" Из всего этого главное "приемлемая функции пригодности", наличие такого полностью уничтожает любую надежду ... Эту функцию я привык называть "целевая функция" ... Просто представьте нужно Вам решить частную задачу классификации - аппроксимации (что и есть основная задача нейросеток), а Вам говорят давайка оцени на сколько это пригодно ... т.е. по сути Вам уже нужно знать ответ на решаемую задачу, и при этом не в виде примеров вход-выход, а как аналитическое выражение этой функции ... Ну, и для чего тогда вообще все это затевать ... Да, и потом - происходит сравнение постоянно с алгоритмом обратного распространения, т.е. одного калеку сравнивают с другим А вот это "нейромодулирующие архитектуры (5.1)" как раз то, что я хотел попробывать ... если кто вдруг сталкивался, или знает большие подробности, то напишите, буду очень благодарен ... [Ответ][Цитата]
Стр.1 (11): [1]  2  3  4  5  ...  11 След. > >>