GotAI.NET
Форум: Проблемы искусственного интеллекта
Регистрация
|
Вход
Все темы
|
Новая тема
Стр.10 (12)
<<
< Пред.
|
След. >
>>
Поиск:
Автор
Тема: На: Обучение сети
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 9:46
Цитата:
Автор: 3d6
Для рекуррентного случая при обратном распространении ошибки коррекцию веса тоже нужно считать по рекуррентному соотношению, на обычное BP это не очень похоже - как минимум потому, что ошибка не падает монотонно при сколько-нибудь ощутимых скоростях. Эльман тоже имеет некоторую специфику...
А не могли бы вы рассказать чуть подробнее (или послать меня куда нибудь почитать), я видел, что в основе лежит ВР (т.е. посылать меня к Хайкину не надо, я от туда пришел), а чем отличается ? Мне казалось, что после некоторых операций все снова сводится к чистому ВР ...
Если мы будем решать нашу тестовую задачку - что изменится ? Есть шанс, что введение реккурентности нам поможет на обучении ?
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 10:32
Цитата:
Автор: tac
Это не совсем так. Это сново длиный разговор. Но попробую развеять неправильное преподнесение этой информации ... Итак о чем разговор - для простоты возьмем черно-белые образы размером 4х4 и количеством 65536. Попробуем снова их все ассоциативно запомнить. Если пресмотреться то окажется, что это ровна та же самая задача, которую мы без успешно пытались решить с помощью ВР.
А я не хочу решать эту задачу
Я хочу запомнить сразу картинку 256х256. Ответ-то я все равно смогу дать на вопрос о цвете в любой точке. Потому как в вашей постановке задача крайне бессмысленна, и, кстати, мозг человека ее решить практически не может.
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 10:36
Цитата:
Автор: tac
А не могли бы вы рассказать чуть подробнее (или послать меня куда нибудь почитать), я видел, что в основе лежит ВР (т.е. посылать меня к Хайкину не надо, я от туда пришел), а чем отличается ? Мне казалось, что после некоторых операций все снова сводится к чистому ВР ...
Если мы будем решать нашу тестовую задачку - что изменится ? Есть шанс, что введение реккурентности нам поможет на обучении ?
Про рекуррентный перцептрон - не знаю куда послать. Я увидел хороший метод в книжке Осовского, но потом книжку где-то посеял, так что точную ссылку дать не могу, метод вывел заново, и обобщил на случай нескольких входов/выходов (там было только для одного).
Если будем решать другую задачу: на входе у нас либо 0,1, либо 1,0, а отвечать нужно 0 или 1 в зависимости от того, что подали сейчас, и что подавали в предыдущий момент времени, то перцептрон без препроцессора в принципе не сможет ее решить - у него нет памяти о том, что было раньше
А вашу задачу я даже пытаться решить не хочу - но, если вы расскажете, чем эта задача может быть полезна в реальной жизни - я подумаю.
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 11:06
Цитата:
Автор: 3d6
А я не хочу решать эту задачу
Я хочу запомнить сразу картинку 256х256. Ответ-то я все равно смогу дать на вопрос о цвете в любой точке. Потому как в вашей постановке задача крайне бессмысленна, и, кстати, мозг человека ее решить практически не может.
Ну, что вам сказать - то, что не понимаем - называем бесмысленным - это классика
Хорошо, тогда перцептрон выигрывает не по скорости, а по объему затраченной памяти ... Предположим, что картинки у нас теперь размером 256х256 и их скажем 10 штук - это на входе, а на выходе хотим получит 10 слов по 20 букв. У нас же ассоциативная память ? Можете оценить что вам прейдется запомнить ... получится ужасающая картина, тоже самое что данные одной базы данных записать в единую гиганскую таблицу ...
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 11:13
Цитата:
Автор: 3d6
Если будем решать другую задачу: на входе у нас либо 0,1, либо 1,0, а отвечать нужно 0 или 1 в зависимости от того, что подали сейчас, и что подавали в предыдущий момент времени, то перцептрон без препроцессора в принципе не сможет ее решить - у него нет памяти о том, что было раньше
А вашу задачу я даже пытаться решить не хочу - но, если вы расскажете, чем эта задача может быть полезна в реальной жизни - я подумаю.
Почему же вы уверены, что ВР вы можете обобщить на реккурентную сеть, а перцептрон нет
Вот тут могу вам предложить мою конструкцию
http://ru.vlab.wikia.com/wiki/С
ергей_Яковлев:Статья:Yak1 "Использование принципа рекуррентности Джордана в перцептроне Розенблатта"
Про задачу я вам уже рассказывал - это тест на скорость и на сходимость, т.е. мой вариант будет работать просто быстрее, чем скажем рекуррентная сеть с ВР и будет гарантировать сходиомсть, при прочих равных условиях.
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 11:58
Цитата:
Автор: tac
Ну, что вам сказать - то, что не понимаем - называем бесмысленным - это классика
Предложите смысл - и я перестану называть это бессмысленным. Иначе само это возражение - бессмысленно
Цитата:
Хорошо, тогда перцептрон выигрывает не по скорости, а по объему затраченной памяти ...
Может быть - но выигрыш в памяти от силы в 10 раз, а время отличается примерно в 10000 раз
Цитата:
Предположим, что картинки у нас теперь размером 256х256 и их скажем 10 штук - это на входе, а на выходе хотим получит 10 слов по 20 букв. У нас же ассоциативная память ? Можете оценить что вам прейдется запомнить ... получится ужасающая картина, тоже самое что данные одной базы данных записать в единую гиганскую таблицу ...
Одна картинка -> одно слово? Тогда это будет гетероассоциативная память размером 256х256 нейронов в одном слое, и, скажем, 33х20 - во втором (или меньше, если взять более оптимальное кодирование).
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 12:02
Цитата:
Автор: tac
Почему же вы уверены, что ВР вы можете обобщить на реккурентную сеть, а перцептрон нет
Я абсолютно уверен, что могу обобщить перцептрон на рекуррентный случай. Более того, один из таких вариантов (без обучения всего, кроме связей А-R) называется Echo States Network - тоже интересная штука. Но тех возможностей, которые я ищу в рекуррентных сетях, у них нет и взяться им неоткуда.
Цитата:
Про задачу я вам уже рассказывал - это тест на скорость и на сходимость, т.е. мой вариант будет работать просто быстрее, чем скажем рекуррентная сеть с ВР и будет гарантировать сходиомсть, при прочих равных условиях.
А зачем нам сходимость сама по себе? Она может быть нужна только в комбинации с какими-то еще свойствами. Иначе - это просто запоминающее устройство, весьма медленное, и весьма глупо устроенное - после того, как оно обучено, запомнить еще несколько образов, не испортив старые - не выйдет.
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 13:10
Цитата:
Автор: 3d6
Одна картинка -> одно слово? Тогда это будет гетероассоциативная память размером 256х256 нейронов в одном слое, и, скажем, 33х20 - во втором (или меньше, если взять более оптимальное кодирование).
Хорошо, а сколько слоев связей ? Один между первым и вторым, и еще один совершенно другой от второго к первому ? Тогда как вы будите находить веса в этих двух слоях ? Или все же будет всего один слоей связей между первым и вторым ?
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 13:13
Цитата:
Автор: 3d6
Но тех возможностей, которые я ищу в рекуррентных сетях, у них нет и взяться им неоткуда.
Что вы имеете в веду ...
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 13:15
Цитата:
Автор: 3d6
Я абсолютно уверен, что могу обобщить перцептрон на рекуррентный случай.
Тогда зачем ВР применять, если он проигрывает как минимум по скорости обучения ?
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 13:16
Цитата:
Автор: 3d6
Более того, один из таких вариантов (без обучения всего, кроме связей А-R) называется Echo States Network - тоже интересная штука.
А это надо почитать, на первый взгляд очень похоже на мой RP-1
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 14:47
Цитата:
Автор: tac
Хорошо, а сколько слоев связей ? Один между первым и вторым, и еще один совершенно другой от второго к первому ? Тогда как вы будите находить веса в этих двух слоях ? Или все же будет всего один слоей связей между первым и вторым ?
Эм... Если на пальцах - для того, чтобы сеть ставила образ Y в соответствие образу X, нужно найти две матрицы, такие, чтобы X*W1=Y и Y*W2=X. Метод нахождения этих матриц с помощью псевдообращения известен, если вас интересуют ссылки на конкретные работы - могу поискать, а если просто вопрос о том, работает оно или нет - скажу сразу: работает, в нейрокомпьютере NeuroLand это есть.
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 27 янв 09 14:56
Цитата:
Автор: tac
Тогда зачем ВР применять, если он проигрывает как минимум по скорости обучения ?
А разве проигрывает? На задаче, которую вы мне прислали, до 10 ошибок можно дойти за 2 минуты. В прикладных задачах такой уровень ошибок на обучающей выборке обычно достаточен - все решают ошибки на тестовой выборке. А за сколько перцептрон спустится до 10 ошибок на этой задаче?
Хотя в принципе я не спорю, в
некоторых
прикладных случаях перцептрон может оказаться эффективнее. В любом случае, меня это слабо интересует - статикой я не занимаюсь.
Цитата:
Автор: tac
Что вы имеете в веду ...
На данный момент, я хочу сделать сеть, которая сможет запоминать последовательности входных данных таким образом, чтобы если ей показать некоторый участок, сеть выходила в режим генерации продолжения последовательности. Также, мне бы хотелось, чтобы сеть была в некоторой мере устойчива к искажениям, которые могут быть допущены при показе. И, что самое главное, мне бы хотелось добиться самообучения - если сети показывают последовательность, которая не похожа на то, что она помнит - последовательность запоминается, а если похожа - уточняется образ в памяти.
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 15:59
Цитата:
Автор: 3d6
На данный момент, я хочу сделать сеть, которая сможет запоминать последовательности входных данных таким образом, чтобы если ей показать некоторый участок, сеть выходила в режим генерации продолжения последовательности.
Ну, это похоже любая рекуррентная сеть может, моя уж точно
Остальное дело техники ... Устойчивость к искажениям - это по сути возможность прогнозировать ... А самообучение в вашем понимании добавляется очень просто введением алгоритма анализирующего похожесть, только надо ввести меру этой похожести ...
В принципе я тоже над похожем работаю
И не случайно Вам предлагал Террариум посмотреть - это поле для прогона таких сетей ...
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 27 янв 09 16:02
Цитата:
Автор: 3d6
Метод нахождения этих матриц с помощью псевдообращения известен, если вас интересуют ссылки на конкретные работы - могу поискать, а если просто вопрос о том, работает оно или нет - скажу сразу: работает, в нейрокомпьютере NeuroLand это есть.
Меня интересует алгорим
Ну, буду рад любому, что вы сможете мне рассказать ... Но я оооочень сомневаюсь, что это будет хоть на сколько то быстрее
[
Ответ
][
Цитата
]
Стр.10 (12)
:
1
...
6
7
8
9
[10]
11
12
<<
< Пред.
|
След. >
>>
Главная
|
Материалы
|
Справочник
|
Гостевая книга
|
Форум
|
Ссылки
|
О сайте
Вопросы и замечания направляйте нам по
Copyright © 2001-2022, www.gotai.net