GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.24 (27)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Рефлекс
гость
78.25.120.*
На: Рефлекс
Добавлено: 05 сен 14 5:08
VGT>

пожалуйства пару слов сюда про ESOINN, TurSOM
[Ответ][Цитата]
Валентин
Сообщений: 4536
На: Рефлекс
Добавлено: 06 сен 14 1:27
"Кстати, суть - это предельно доступный нам уровень абстракции."
- А можно и суть - это предельно доступный нам уровень детализации.
[Ответ][Цитата]
гость
78.25.123.*
На: Рефлекс
Добавлено: 06 сен 14 4:55
к.> Именно такую сигмоиду рисуют в нейронных сетях. Это упрощение вряд ли позволит создать саморазвивающуюся нейронную сеть

ничто не мешает параметризовать сигмоиду и рассматривать нейроны с параметрическим
управлением (специальным входом), рассматривать комбинированное обучение, модифицируя
и синаптические веса и параметрические установки.
[Ответ][Цитата]
kondrat
Сообщений: 4026
На: Рефлекс
Добавлено: 06 сен 14 5:01
Цитата:
Автор: Валентин

"Кстати, суть - это предельно доступный нам уровень абстракции."
- А можно и суть - это предельно доступный нам уровень детализации.

Всё понял. Суть в абстрактном понятии "уровень детализации" )))))
[Ответ][Цитата]
kondrat
Сообщений: 4026
На: Рефлекс
Добавлено: 06 сен 14 5:01
Изменено: 06 сен 14 5:03
Цитата:
Автор: гость

к.> Именно такую сигмоиду рисуют в нейронных сетях. Это упрощение вряд ли позволит создать саморазвивающуюся нейронную сеть

ничто не мешает параметризовать сигмоиду и рассматривать нейроны с параметрическим
управлением (специальным входом), рассматривать комбинированное обучение, модифицируя
и синаптические веса и параметрические установки.

Угу. Вот только подбирать параметры придется оооочень долго.
[Ответ][Цитата]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: Рефлекс
Добавлено: 06 сен 14 5:36
Изменено: 06 сен 14 5:38
Цитата:
Автор: гость
пожалуйства пару слов сюда про ESOINN, TurSOM

Ладно, таки заставил себя

ESOINN - потомок-модификация SOINN (тему про SOINN тут на форуме создавал ЕМНИП Игнат года 2 или 3 назад). Кластеризует (делит карту на несвязные фрагменты - в отличие от нейрогаза и обычной SOM, у которых таки будут/останутся связи между нейронами, лежащими поверх разных кластеров данных) не на втором, а сразу на первом слое сети (второго слоя у ESOINN нет).
Опубликована в статье "An enhanced self-organizing incremental neural network for online unsupervised learning" 2007г.

TurSOM - модификация SOM, режущая связи между нейронами в карте в ходе адаптации карты. Т.е. опять в итоге получаем соответствующие кластерам несвязные фрагменты карты - вместо того, чтобы потом самому кластеризовать "глазами" по раскраске карты.
Публикации по ней (копипаст из обзорной статейки 2010г - т.е. за последующим развитием и укоренением в умах других людей я не следил):
Beaton, D. (2008). Bridging Turing unorganized machines and self-organizing maps for cognitive replication. Master’s Thesis, University of Massachusetts Dartmouth.
Beaton, D., Valova, I., MacLean, D. (2009a). TurSOM: a Turing inspired self-organizing map, International Joint Conference on Neural Networks.
Beaton, D., Valova, I., MacLean, D. (2009b). Growing Mechanisms and Cluster Identification with TurSOM, International Joint Conference on Neural Networks.
Beaton D., Valova, I., MacLean, D. (2009c). The Use of TurSOM for Color Image Segmentation. IEEE Conference on Systems, Man and Cybernetics.

Главное отличие между подходами - SOINN/ESOINN является в первую очередь РАСТУЩЕЙ в ходе адаптации (к данным и/или к нестационарности) сеткой, заодно выстраивающей и необходимые связи между нейронами, а в TurSOM просто режутся/переупорядочиваются лишние и неоптимальные связи.
(Почему тут сказал про переупорядочение - потому, что буржуины ан масс продолжают случайно накидывать нейроны карты Кохонена и ей подобных на данные (т.е. в итоге получается бардак, где после инициализации карты "соседние" в карте нейроны могут быть положены на разные стороны облака данных) вместо того, чтобы равномерненько расположить нейроны на плоскости, соответствующей первым двум главным компонентам данных, например. Вот и преодолевают потом те трудности, которые сами себе создали чисто служебным и совсем неоптимальным алгоритмом инициализации).
И под "связями" между нейронами тут понимаются не связи, по которым идут какие-то сигналы - а наличие-отсутствие отношения соседства (т.е. связности, т.е. рёбер) между узлами неориентированного графа (в SOMоподобных подходах к некоторому текущему паттерну данных адаптируется не только нейрон-"победитель", но и соседние с ним нейроны (они - с меньшей "скоростью")).
[Ответ][Цитата]
гость
78.25.120.*
На: Рефлекс
Добавлено: 06 сен 14 7:06
ага, мерси, понятно.
[Ответ][Цитата]
kondrat
Сообщений: 4026
На: Рефлекс
Добавлено: 06 сен 14 8:02
Цитата:
Автор: Victor G. Tsaregorodtsev
TurSOM - модификация SOM, режущая связи между нейронами в карте в ходе адаптации .

Это мой подход. +гипотеза о связности пространства задачи.+сложный рафлекс. +значительная роль учи еля
[Ответ][Цитата]
гость
78.25.120.*
На: Рефлекс
Добавлено: 06 сен 14 8:06
консервативное комбинирование механизмов, пока без существенного нового качества?
[Ответ][Цитата]
NO.
Сообщений: 10700
На: Рефлекс
Добавлено: 06 сен 14 8:17
Бердяев О РАБСТВЕ И СВОБОДЕ ЧЕЛОВЕКА
http://www.vehi.net/berdyaev/rabstvo/index.html
[Ответ][Цитата]
гость
78.25.121.*
На: Рефлекс
Добавлено: 06 сен 14 23:48
еще у него хорошо про природу русского коммунизма.
[Ответ][Цитата]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: Рефлекс
Добавлено: 07 сен 14 8:41
Изменено: 07 сен 14 8:42
Цитата:
Автор: kondrat
>режущая связи между нейронами в карте в ходе адаптации .

Это мой подход. +гипотеза о связности пространства задачи.+сложный рафлекс. +значительная роль учи еля

Ну, это очень широко исследованный подход. Существенно разными и независимыми способами/алгоритмами, которые можно затем соединять воедино.

Резать лишние связи можно и в обычном персептроне обратного распространения ошибки (и в перечисляемых ниже случаях/нейросетках - тоже). В итоге оставляем от нейронки "шкилетик", по которому можно попытаться осмыслить полученный сеткой в ходе обучения навык решения задачи (например, превратить сетку в набор правил "если ... то ..." и дать синдромам какие-то осмысленные именования).
(но в отличие от SOMоподобных сеток - тут по связям уже гуляют сигналы).

Связность пространства задачи - ну, например, та же гипотеза/идея multitask learning, где многослойная сетка обучается решению сразу нескольких задач (на одном и том же наборе независимых признаков или на существенно перекрывающихся наборах) и промежуточные сигналы выстраивает более адекватно-универсально (пригодными для решения сразу нескольких задач) и за счёт такой регуляризации повышает точность решения каждой решаемой задачи из кучки задач.

Можно у многослойной сетки дополнительно ввести модульность - что-то типа переключающих (switching) нейронов в серёдке, пропускающих или не пропускающих далее выход того или иного блока, на которые поделены предыдущие слои. Это иерархическое смешение мнений (соревнующихся) экспертов (hierarchical mixtures of competing experts - кратенько о них есть в седьмой главе талмуда Хайкина).

Везде - обучение именно с учителем. Просто здесь приходится отдельно проводить фазу обучения, а уж затем, при необходимости, фазу отрезания всего лишнего (повторно при этом прокручивая через сетку данные). Т.е. совсем не онлайн-адаптация и уж совсем не адаптация к нестационарным данным (в отличие от возможностей ESOINN, например).
[Ответ][Цитата]
NO.
Сообщений: 10700
На: Рефлекс
Добавлено: 07 сен 14 8:58
Цитата:
Автор: гость

еще у него хорошо про природу русского коммунизма.

программисты любят читать про природу русского коммунизма Это только для отвода глаз у них разные редакторы и отладчики. А чуть отвернёшься, они компьютер бросают, достают из под стола томик Бердяева и взахлёб читают о России и природе коммунизма.
[Ответ][Цитата]
гость
78.25.121.*
На: Рефлекс
Добавлено: 07 сен 14 22:15
NO>

неа, это именно не прочитав про руссокоммунизьму (для экономии энергии) программеры
на досуге, отложив буржуинские отладчики, начинают философствовать (дико) о достоинствах национальной идеи (принимая за таковую достоинства русского быта), отстаивать совершенно дико понятую гордость великороссов.. даже философы разные дрейфусы прежде чем валять о программировании 'чего могут и чего не могут' хотя бы пробегают глазами тьюринговы начала..
[Ответ][Цитата]
kondrat
Сообщений: 4026
На: Рефлекс
Добавлено: 10 сен 14 13:01
Изменено: 10 сен 14 13:45
Перед погружением в глубокий самоликбез, хочу, все-таки, рассказать миру про рефлекторную петлю.
Она простая.
Помимо игрока в неё входят арбитр и учитель. Это условное разделение критика. Арбитр отвечает за соблюдение правил игры, а учитель - за быстрое посвящение в них игрока.
Петлю я предпочитаю разбивать на ещё две, т.е. подавать поощрение и наказание по отдельному от провокаторов ребру.
Арбитр только наказывает за неправильные ходы и дает бонус в случае победы. Поощрение - это долгожданное добавление энергии (жизненной силы) игроку. Наказание - это насильственный слив энергии. Бездействие, по чуть-чуть, наказывается арбитром. Именно этот факт лежит в природе тормозящих рефлексов: лучше потерять немного на бездействии, чем жахнуть все на неоправданное действие. Т.е. возбуждающие рефлексы по чуть-чуть питают клетку, а тормозящие питаются от неё.
Далее я буду называть узел рефлексов клеткой, чтобы это вызывало правильные ассоциации. Не стоит забывать, при этом, что клетка сама является рефлекторной структурой.
Надеюсь, плавно становится понятно, почему я обломался с формализацией этого хозяйства. А мы ещё не трогали как следует динамику: инерцию и эволюцию рефлекса. Да и питание с репликацией (в том числе арбитра) ещё не раскрыты.
[Ответ][Цитата]
 Стр.24 (27)1  ...  20  21  22  23  [24]  25  26  27<< < Пред. | След. > >>