GotAI.NET
Форум: Проблемы искусственного интеллекта
Регистрация
|
Вход
Все темы
|
Новая тема
Стр.4 (12)
<<
< Пред.
|
След. >
>>
Поиск:
Автор
Тема: На: Обучение сети
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 14 янв 09 14:50
Цитата:
Автор: гость
А чем таким принципиальным алгоритм обучения перцептрона отличается от BP? Вроде та же коррекция ошибки, то же движение по градиенту, просто схема чуть другая?
Уууу ... многим. Для затравки - бинарностью, а еще главнее как раз то, что выдают за преимущество - обучение первого слоя, на практике означает, что есть ситуации когда нельзя достичь сходимости.
[
Ответ
][
Цитата
]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: Обучение сети
Добавлено: 14 янв 09 17:23
Да бинарность пофиг
В смысле, при обучении персептрона прогон через порог нужен только для определения собственно наличия/отсутствия отклонения выходного сигнала от эталона (ну и при боевой работе персептрона тоже), на коррекцию весов бинарность затем влиять не будет.
>есть ситуации когда нельзя достичь сходимости.
Сходимость будет к локальному минимуму
Что означает, что сходимость-таки есть - просто алгоритм обратного распространения есть градиентный алгоритм и его имманенное свойство в том, что он скатывается в ближайшую особую точку (седловую или локальный/глобальный минимум; для запрещения остановок в седловых точках надо над градиентом, вычисленным в ходе обратного распространения, надстраивать, например, квазиньютона). Решения задачи глобальной оптимизации (нахождения именно глобального минимума) от обучения бэкпропом никто, понимающий принципы бэкпропа и знакомый с теорией градиентной оптимизации, и не ожидает.
За практическую проблему "отсутствие сходимости" выдавать нельзя - всё-таки бэкпроп превратился за 22 года в самый широко используемый на практике принцип обучения машин (под "обучением машин" понимаются вообще все итерационно-оптимизационные методы, применяемые в нейросетях, идентификации систем,...), а юзеры проблемный метод (плюс нагруженный, возможно, при этом еще и кривизной реализации в некотором конкретном софте)массово применять бы не стали.
--------------------------
нейронные сети, анализ данных, прогнозирование
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 14 янв 09 17:36
Цитата:
Автор: Victor G. Tsaregorodtsev
Сходимость будет к локальному минимуму
Речь не об этом. Массовое применение думаю слишком приувеличенно ... Сделайте эксперимент описанный выше - про шахматную доску размером 256х256 - если он сойдется, я буду очень удивлен !!! Под сходимостью я понимаю, что на все 65536 примеров обучения, после обучения не будет делаться ни одной ошибки - и все !! Глобальный, это или локальный мне по барабану ...
[
Ответ
][
Цитата
]
гость
83.218.236.*
На: Обучение сети
Добавлено: 14 янв 09 17:41
Цитата:
Автор: tac
1. На задаче с шахматной доской - да ! Попробуйте только без ваших хитростей ... Структура перцептрона - обычный элементарный перцептрон: 16 бинарных входов 2000 А-элементов
На словах "бинарные входы" можно ставить точку и смайлик
Хватило бы и 3х A-элементов. Вопрос на засыпку - почему?
[
Ответ
][
Цитата
]
гость
83.218.236.*
На: Обучение сети
Добавлено: 14 янв 09 17:43
Цитата:
Автор: tac
Ни в чем
Просто очень хорошо нагружает сеть, практически это может иметь разные приложения - не суть важно какие ... мы не затачиваем под задачу - нам нужна универсальная сеть . Ведь так ?
Сеть не нагружает абсолютно, почему - я уже спросил, если не догадаетесь - я расскажу. А вот попробуйте тот же перцептрон обучить на задачке, где не шахматная доска, а произвольная картинка - узнаете много нового
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 14 янв 09 17:50
Вот теорема, которую доказал Розенблатт:
"Даны трехслойный перцептрон с последовательными связями, простыми A и R элементами и переменными S-A связями и классификация C(W), для которой известно, что решение существует. Тогда может оказаться, что решение недостижимо при использовании детерминистического процесса коррекции, подчиняющегося правилу локальной информации."
Упомянутый перцептрон - это полноценный аналог (синоним) MLP. Метод обратного распространения - как раз использует детерминированный процесс коррекции и подчиняется правилу локальной информации. Детали тут
http://ru.wikipedia.org/wiki/П
ерцептрон_с_переменными_S-A_связями, а лучше в оригинале ...
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 14 янв 09 17:52
Цитата:
Автор: гость
Сеть не нагружает абсолютно, почему - я уже спросил, если не догадаетесь - я расскажу. А вот попробуйте тот же перцептрон обучить на задачке, где не шахматная доска, а произвольная картинка - узнаете много нового
Расскажите (сомниваюсь и не догадываюсь) ! При произвольной картинке - просто увеличится число А-элементов - и все. Я пробывал и очень давно
---
Хотя нет, думаю если число входов-выходов не изменится, т.е. останется черно-белая картинка, существенно ничего не изменится ... ща, попробую ..
не - все же увеличится - вопрос лишь на сколько ...
---
блин ... походу так же как и с цветным - пахать ему неделю
Поэтому уточняем для произвольного черно-белого изображения хватает размера 10х255 - суть не изменяется, а результат можно получить за пару часов
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 14 янв 09 17:54
Цитата:
Автор: гость
На словах "бинарные входы" можно ставить точку и смайлик
Хватило бы и 3х A-элементов. Вопрос на засыпку - почему?
Ничего не понял ... так вы сделайте - потом скажите чего хватило, и сколько заняло ...
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 14 янв 09 19:57
Цитата:
Автор: tac
Ничего не понял ... так вы сделайте - потом скажите чего хватило, и сколько заняло ...
Не поняли - а зря. Стоило подумать.
Объясняю: последний бит координаты в бинарном представлении - это остаток от деления на 2. Т.е. перцептрону нужно обнаружить, что надо игнорировать все биты, кроме последнего в каждой координате, а для этих двух бит - решить задачу XOR.
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 14 янв 09 20:00
Цитата:
Автор: 3d6
Не поняли - а зря. Стоило подумать.
Объясняю: последний бит координаты в бинарном представлении - это остаток от деления на 2. Т.е. перцептрону нужно обнаружить, что надо игнорировать все биты, кроме последнего в каждой координате, а для этих двух бит - решить задачу XOR.
Блин ... ну мы же это проходили уже - страницу назад с вашим mod - я же написал специально !!!
Попробуйте только без ваших хитростей
А сам собой - без предобработки - ни перцептрон, ни другая ИНС этого не обнаружат !!!
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 14 янв 09 20:02
Цитата:
Автор: tac
Поэтому уточняем для произвольного черно-белого изображения хватает размера 10х255 - суть не изменяется, а результат можно получить за пару часов
Пришлите точную формулировку, исходные данные, структуру перцептрона, который это решает - и я расскажу, какого размера MLP и за какое время учится тому же по BP.
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 14 янв 09 20:03
Цитата:
Автор: tac
Блин ... ну мы же это проходили уже - страницу назад с вашим mod - я же написал специально !!!
Попробуйте только без ваших хитростей
А сам собой - без предобработки - ни перцептрон, ни другая ИНС этого не обнаружат !!!
о__О
Вы использовали эту хитрость, и сами этого до сих пор не поняли. Это мрак...
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 14 янв 09 20:10
Цитата:
Автор: 3d6
Пришлите точную формулировку, исходные данные, структуру перцептрона, который это решает - и я расскажу, какого размера MLP и за какое время учится тому же по BP.
Формулировка в принципе таже:
"Возьмём СЛУЧАЙНОЕ чёрно-белое изображение размером 10×256 пикселей. Обучаем перцептрон всем возможным состояниям, то есть на вход подаём последовательно координаты X, Y и требуем на выходе соответствующий цвет точки. В итоге имеем 65 536 различных пар «стимул—реакция». Обучить без ошибок."
Не знаю зачем вам структура перцептрона - но все тоже самое, только количество А элементов 2500
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 14 янв 09 20:12
Цитата:
Автор: 3d6
о__О
Вы использовали эту хитрость, и сами этого до сих пор не поняли. Это мрак...
Где ? не томите ... изъясняйтесь точнее ...
Если вы имеете введу, что при обучении перцептрона ?? Нет это не так !!!
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 14 янв 09 20:29
Цитата:
Автор: 3d6
перцептрону нужно обнаружить, что надо игнорировать все биты, кроме последнего в каждой координате
А вроде дошло, что вы имеете введу - но дело в том, что перцептрон НЕ МОЖЕТ этого обнаружить ... такое вот у него устройство !!!
[
Ответ
][
Цитата
]
Стр.4 (12)
:
1
2
3
[4]
5
6
7
8
...
12
<<
< Пред.
|
След. >
>>
Главная
|
Материалы
|
Справочник
|
Гостевая книга
|
Форум
|
Ссылки
|
О сайте
Вопросы и замечания направляйте нам по
Copyright © 2001-2022, www.gotai.net