GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.10 (12)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Обучение сети
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 9:46
Цитата:
Автор: 3d6
Для рекуррентного случая при обратном распространении ошибки коррекцию веса тоже нужно считать по рекуррентному соотношению, на обычное BP это не очень похоже - как минимум потому, что ошибка не падает монотонно при сколько-нибудь ощутимых скоростях. Эльман тоже имеет некоторую специфику...


А не могли бы вы рассказать чуть подробнее (или послать меня куда нибудь почитать), я видел, что в основе лежит ВР (т.е. посылать меня к Хайкину не надо, я от туда пришел), а чем отличается ? Мне казалось, что после некоторых операций все снова сводится к чистому ВР ...

Если мы будем решать нашу тестовую задачку - что изменится ? Есть шанс, что введение реккурентности нам поможет на обучении ?
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 10:32
Цитата:
Автор: tac



Это не совсем так. Это сново длиный разговор. Но попробую развеять неправильное преподнесение этой информации ... Итак о чем разговор - для простоты возьмем черно-белые образы размером 4х4 и количеством 65536. Попробуем снова их все ассоциативно запомнить. Если пресмотреться то окажется, что это ровна та же самая задача, которую мы без успешно пытались решить с помощью ВР.

А я не хочу решать эту задачу Я хочу запомнить сразу картинку 256х256. Ответ-то я все равно смогу дать на вопрос о цвете в любой точке. Потому как в вашей постановке задача крайне бессмысленна, и, кстати, мозг человека ее решить практически не может.
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 10:36
Цитата:
Автор: tac



А не могли бы вы рассказать чуть подробнее (или послать меня куда нибудь почитать), я видел, что в основе лежит ВР (т.е. посылать меня к Хайкину не надо, я от туда пришел), а чем отличается ? Мне казалось, что после некоторых операций все снова сводится к чистому ВР ...

Если мы будем решать нашу тестовую задачку - что изменится ? Есть шанс, что введение реккурентности нам поможет на обучении ?

Про рекуррентный перцептрон - не знаю куда послать. Я увидел хороший метод в книжке Осовского, но потом книжку где-то посеял, так что точную ссылку дать не могу, метод вывел заново, и обобщил на случай нескольких входов/выходов (там было только для одного).

Если будем решать другую задачу: на входе у нас либо 0,1, либо 1,0, а отвечать нужно 0 или 1 в зависимости от того, что подали сейчас, и что подавали в предыдущий момент времени, то перцептрон без препроцессора в принципе не сможет ее решить - у него нет памяти о том, что было раньше
А вашу задачу я даже пытаться решить не хочу - но, если вы расскажете, чем эта задача может быть полезна в реальной жизни - я подумаю.
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 11:06
Цитата:
Автор: 3d6
А я не хочу решать эту задачу Я хочу запомнить сразу картинку 256х256. Ответ-то я все равно смогу дать на вопрос о цвете в любой точке. Потому как в вашей постановке задача крайне бессмысленна, и, кстати, мозг человека ее решить практически не может.


Ну, что вам сказать - то, что не понимаем - называем бесмысленным - это классика

Хорошо, тогда перцептрон выигрывает не по скорости, а по объему затраченной памяти ... Предположим, что картинки у нас теперь размером 256х256 и их скажем 10 штук - это на входе, а на выходе хотим получит 10 слов по 20 букв. У нас же ассоциативная память ? Можете оценить что вам прейдется запомнить ... получится ужасающая картина, тоже самое что данные одной базы данных записать в единую гиганскую таблицу ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 11:13
Цитата:
Автор: 3d6

Если будем решать другую задачу: на входе у нас либо 0,1, либо 1,0, а отвечать нужно 0 или 1 в зависимости от того, что подали сейчас, и что подавали в предыдущий момент времени, то перцептрон без препроцессора в принципе не сможет ее решить - у него нет памяти о том, что было раньше
А вашу задачу я даже пытаться решить не хочу - но, если вы расскажете, чем эта задача может быть полезна в реальной жизни - я подумаю.


Почему же вы уверены, что ВР вы можете обобщить на реккурентную сеть, а перцептрон нет Вот тут могу вам предложить мою конструкцию http://ru.vlab.wikia.com/wiki/Сергей_Яковлев:Статья:Yak1 "Использование принципа рекуррентности Джордана в перцептроне Розенблатта"

Про задачу я вам уже рассказывал - это тест на скорость и на сходимость, т.е. мой вариант будет работать просто быстрее, чем скажем рекуррентная сеть с ВР и будет гарантировать сходиомсть, при прочих равных условиях.


[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 11:58
Цитата:
Автор: tac

Ну, что вам сказать - то, что не понимаем - называем бесмысленным - это классика

Предложите смысл - и я перестану называть это бессмысленным. Иначе само это возражение - бессмысленно

Цитата:
Хорошо, тогда перцептрон выигрывает не по скорости, а по объему затраченной памяти ...

Может быть - но выигрыш в памяти от силы в 10 раз, а время отличается примерно в 10000 раз

Цитата:
Предположим, что картинки у нас теперь размером 256х256 и их скажем 10 штук - это на входе, а на выходе хотим получит 10 слов по 20 букв. У нас же ассоциативная память ? Можете оценить что вам прейдется запомнить ... получится ужасающая картина, тоже самое что данные одной базы данных записать в единую гиганскую таблицу ...

Одна картинка -> одно слово? Тогда это будет гетероассоциативная память размером 256х256 нейронов в одном слое, и, скажем, 33х20 - во втором (или меньше, если взять более оптимальное кодирование).
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 12:02
Цитата:
Автор: tac

Почему же вы уверены, что ВР вы можете обобщить на реккурентную сеть, а перцептрон нет

Я абсолютно уверен, что могу обобщить перцептрон на рекуррентный случай. Более того, один из таких вариантов (без обучения всего, кроме связей А-R) называется Echo States Network - тоже интересная штука. Но тех возможностей, которые я ищу в рекуррентных сетях, у них нет и взяться им неоткуда.

Цитата:
Про задачу я вам уже рассказывал - это тест на скорость и на сходимость, т.е. мой вариант будет работать просто быстрее, чем скажем рекуррентная сеть с ВР и будет гарантировать сходиомсть, при прочих равных условиях.

А зачем нам сходимость сама по себе? Она может быть нужна только в комбинации с какими-то еще свойствами. Иначе - это просто запоминающее устройство, весьма медленное, и весьма глупо устроенное - после того, как оно обучено, запомнить еще несколько образов, не испортив старые - не выйдет.
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 13:10
Цитата:
Автор: 3d6
Одна картинка -> одно слово? Тогда это будет гетероассоциативная память размером 256х256 нейронов в одном слое, и, скажем, 33х20 - во втором (или меньше, если взять более оптимальное кодирование).


Хорошо, а сколько слоев связей ? Один между первым и вторым, и еще один совершенно другой от второго к первому ? Тогда как вы будите находить веса в этих двух слоях ? Или все же будет всего один слоей связей между первым и вторым ?
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 13:13
Цитата:
Автор: 3d6
Но тех возможностей, которые я ищу в рекуррентных сетях, у них нет и взяться им неоткуда.


Что вы имеете в веду ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 13:15
Цитата:
Автор: 3d6
Я абсолютно уверен, что могу обобщить перцептрон на рекуррентный случай.


Тогда зачем ВР применять, если он проигрывает как минимум по скорости обучения ?
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 13:16
Цитата:
Автор: 3d6
Более того, один из таких вариантов (без обучения всего, кроме связей А-R) называется Echo States Network - тоже интересная штука.


А это надо почитать, на первый взгляд очень похоже на мой RP-1
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 14:47
Цитата:
Автор: tac

Хорошо, а сколько слоев связей ? Один между первым и вторым, и еще один совершенно другой от второго к первому ? Тогда как вы будите находить веса в этих двух слоях ? Или все же будет всего один слоей связей между первым и вторым ?

Эм... Если на пальцах - для того, чтобы сеть ставила образ Y в соответствие образу X, нужно найти две матрицы, такие, чтобы X*W1=Y и Y*W2=X. Метод нахождения этих матриц с помощью псевдообращения известен, если вас интересуют ссылки на конкретные работы - могу поискать, а если просто вопрос о том, работает оно или нет - скажу сразу: работает, в нейрокомпьютере NeuroLand это есть.
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 14:56
Цитата:
Автор: tac

Тогда зачем ВР применять, если он проигрывает как минимум по скорости обучения ?

А разве проигрывает? На задаче, которую вы мне прислали, до 10 ошибок можно дойти за 2 минуты. В прикладных задачах такой уровень ошибок на обучающей выборке обычно достаточен - все решают ошибки на тестовой выборке. А за сколько перцептрон спустится до 10 ошибок на этой задаче?
Хотя в принципе я не спорю, в некоторых прикладных случаях перцептрон может оказаться эффективнее. В любом случае, меня это слабо интересует - статикой я не занимаюсь.

Цитата:
Автор: tac

Что вы имеете в веду ...

На данный момент, я хочу сделать сеть, которая сможет запоминать последовательности входных данных таким образом, чтобы если ей показать некоторый участок, сеть выходила в режим генерации продолжения последовательности. Также, мне бы хотелось, чтобы сеть была в некоторой мере устойчива к искажениям, которые могут быть допущены при показе. И, что самое главное, мне бы хотелось добиться самообучения - если сети показывают последовательность, которая не похожа на то, что она помнит - последовательность запоминается, а если похожа - уточняется образ в памяти.
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 15:59
Цитата:
Автор: 3d6
На данный момент, я хочу сделать сеть, которая сможет запоминать последовательности входных данных таким образом, чтобы если ей показать некоторый участок, сеть выходила в режим генерации продолжения последовательности.


Ну, это похоже любая рекуррентная сеть может, моя уж точно

Остальное дело техники ... Устойчивость к искажениям - это по сути возможность прогнозировать ... А самообучение в вашем понимании добавляется очень просто введением алгоритма анализирующего похожесть, только надо ввести меру этой похожести ...

В принципе я тоже над похожем работаю
И не случайно Вам предлагал Террариум посмотреть - это поле для прогона таких сетей ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 16:02
Цитата:
Автор: 3d6
Метод нахождения этих матриц с помощью псевдообращения известен, если вас интересуют ссылки на конкретные работы - могу поискать, а если просто вопрос о том, работает оно или нет - скажу сразу: работает, в нейрокомпьютере NeuroLand это есть.


Меня интересует алгорим Ну, буду рад любому, что вы сможете мне рассказать ... Но я оооочень сомневаюсь, что это будет хоть на сколько то быстрее
[Ответ][Цитата]
 Стр.10 (12)1  ...  6  7  8  9  [10]  11  12<< < Пред. | След. > >>