Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.4 (12) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Обучение сети
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 14:50 Цитата: Автор: гость А чем таким принципиальным алгоритм обучения перцептрона отличается от BP? Вроде та же коррекция ошибки, то же движение по градиенту, просто схема чуть другая? Уууу ... многим. Для затравки - бинарностью, а еще главнее как раз то, что выдают за преимущество - обучение первого слоя, на практике означает, что есть ситуации когда нельзя достичь сходимости. [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: Обучение сети Добавлено: 14 янв 09 17:23 Да бинарность пофиг В смысле, при обучении персептрона прогон через порог нужен только для определения собственно наличия/отсутствия отклонения выходного сигнала от эталона (ну и при боевой работе персептрона тоже), на коррекцию весов бинарность затем влиять не будет. >есть ситуации когда нельзя достичь сходимости. Сходимость будет к локальному минимуму Что означает, что сходимость-таки есть - просто алгоритм обратного распространения есть градиентный алгоритм и его имманенное свойство в том, что он скатывается в ближайшую особую точку (седловую или локальный/глобальный минимум; для запрещения остановок в седловых точках надо над градиентом, вычисленным в ходе обратного распространения, надстраивать, например, квазиньютона). Решения задачи глобальной оптимизации (нахождения именно глобального минимума) от обучения бэкпропом никто, понимающий принципы бэкпропа и знакомый с теорией градиентной оптимизации, и не ожидает. За практическую проблему "отсутствие сходимости" выдавать нельзя - всё-таки бэкпроп превратился за 22 года в самый широко используемый на практике принцип обучения машин (под "обучением машин" понимаются вообще все итерационно-оптимизационные методы, применяемые в нейросетях, идентификации систем,...), а юзеры проблемный метод (плюс нагруженный, возможно, при этом еще и кривизной реализации в некотором конкретном софте)массово применять бы не стали. -------------------------- нейронные сети, анализ данных, прогнозирование [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 17:36 Цитата: Автор: Victor G. Tsaregorodtsev Сходимость будет к локальному минимуму Речь не об этом. Массовое применение думаю слишком приувеличенно ... Сделайте эксперимент описанный выше - про шахматную доску размером 256х256 - если он сойдется, я буду очень удивлен !!! Под сходимостью я понимаю, что на все 65536 примеров обучения, после обучения не будет делаться ни одной ошибки - и все !! Глобальный, это или локальный мне по барабану ... [Ответ][Цитата]
гость 83.218.236.*	На: Обучение сети Добавлено: 14 янв 09 17:41 Цитата: Автор: tac 1. На задаче с шахматной доской - да ! Попробуйте только без ваших хитростей ... Структура перцептрона - обычный элементарный перцептрон: 16 бинарных входов 2000 А-элементов На словах "бинарные входы" можно ставить точку и смайлик Хватило бы и 3х A-элементов. Вопрос на засыпку - почему? [Ответ][Цитата]
гость 83.218.236.*	На: Обучение сети Добавлено: 14 янв 09 17:43 Цитата: Автор: tac Ни в чем Просто очень хорошо нагружает сеть, практически это может иметь разные приложения - не суть важно какие ... мы не затачиваем под задачу - нам нужна универсальная сеть . Ведь так ? Сеть не нагружает абсолютно, почему - я уже спросил, если не догадаетесь - я расскажу. А вот попробуйте тот же перцептрон обучить на задачке, где не шахматная доска, а произвольная картинка - узнаете много нового [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 17:50 Вот теорема, которую доказал Розенблатт: "Даны трехслойный перцептрон с последовательными связями, простыми A и R элементами и переменными S-A связями и классификация C(W), для которой известно, что решение существует. Тогда может оказаться, что решение недостижимо при использовании детерминистического процесса коррекции, подчиняющегося правилу локальной информации." Упомянутый перцептрон - это полноценный аналог (синоним) MLP. Метод обратного распространения - как раз использует детерминированный процесс коррекции и подчиняется правилу локальной информации. Детали тут http://ru.wikipedia.org/wiki/Перцептрон_с_переменными_S-A_связями, а лучше в оригинале ... [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 17:52 Цитата: Автор: гость Сеть не нагружает абсолютно, почему - я уже спросил, если не догадаетесь - я расскажу. А вот попробуйте тот же перцептрон обучить на задачке, где не шахматная доска, а произвольная картинка - узнаете много нового Расскажите (сомниваюсь и не догадываюсь) ! При произвольной картинке - просто увеличится число А-элементов - и все. Я пробывал и очень давно --- Хотя нет, думаю если число входов-выходов не изменится, т.е. останется черно-белая картинка, существенно ничего не изменится ... ща, попробую .. не - все же увеличится - вопрос лишь на сколько ... --- блин ... походу так же как и с цветным - пахать ему неделю Поэтому уточняем для произвольного черно-белого изображения хватает размера 10х255 - суть не изменяется, а результат можно получить за пару часов [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 17:54 Цитата: Автор: гость На словах "бинарные входы" можно ставить точку и смайлик Хватило бы и 3х A-элементов. Вопрос на засыпку - почему? Ничего не понял ... так вы сделайте - потом скажите чего хватило, и сколько заняло ... [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 14 янв 09 19:57 Цитата: Автор: tac Ничего не понял ... так вы сделайте - потом скажите чего хватило, и сколько заняло ... Не поняли - а зря. Стоило подумать. Объясняю: последний бит координаты в бинарном представлении - это остаток от деления на 2. Т.е. перцептрону нужно обнаружить, что надо игнорировать все биты, кроме последнего в каждой координате, а для этих двух бит - решить задачу XOR. [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 20:00 Цитата: Автор: 3d6 Не поняли - а зря. Стоило подумать. Объясняю: последний бит координаты в бинарном представлении - это остаток от деления на 2. Т.е. перцептрону нужно обнаружить, что надо игнорировать все биты, кроме последнего в каждой координате, а для этих двух бит - решить задачу XOR. Блин ... ну мы же это проходили уже - страницу назад с вашим mod - я же написал специально !!! Попробуйте только без ваших хитростей А сам собой - без предобработки - ни перцептрон, ни другая ИНС этого не обнаружат !!! [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 14 янв 09 20:02 Цитата: Автор: tac Поэтому уточняем для произвольного черно-белого изображения хватает размера 10х255 - суть не изменяется, а результат можно получить за пару часов Пришлите точную формулировку, исходные данные, структуру перцептрона, который это решает - и я расскажу, какого размера MLP и за какое время учится тому же по BP. [Ответ][Цитата]
3d6 Сообщений: 325	На: Обучение сети Добавлено: 14 янв 09 20:03 Цитата: Автор: tac Блин ... ну мы же это проходили уже - страницу назад с вашим mod - я же написал специально !!! Попробуйте только без ваших хитростей А сам собой - без предобработки - ни перцептрон, ни другая ИНС этого не обнаружат !!! о__О Вы использовали эту хитрость, и сами этого до сих пор не поняли. Это мрак... [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 20:10 Цитата: Автор: 3d6 Пришлите точную формулировку, исходные данные, структуру перцептрона, который это решает - и я расскажу, какого размера MLP и за какое время учится тому же по BP. Формулировка в принципе таже: "Возьмём СЛУЧАЙНОЕ чёрно-белое изображение размером 10×256 пикселей. Обучаем перцептрон всем возможным состояниям, то есть на вход подаём последовательно координаты X, Y и требуем на выходе соответствующий цвет точки. В итоге имеем 65 536 различных пар «стимул—реакция». Обучить без ошибок." Не знаю зачем вам структура перцептрона - но все тоже самое, только количество А элементов 2500 [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 20:12 Цитата: Автор: 3d6 о__О Вы использовали эту хитрость, и сами этого до сих пор не поняли. Это мрак... Где ? не томите ... изъясняйтесь точнее ... Если вы имеете введу, что при обучении перцептрона ?? Нет это не так !!! [Ответ][Цитата]
tac Сообщений: 2601	На: Обучение сети Добавлено: 14 янв 09 20:29 Цитата: Автор: 3d6 перцептрону нужно обнаружить, что надо игнорировать все биты, кроме последнего в каждой координате А вроде дошло, что вы имеете введу - но дело в том, что перцептрон НЕ МОЖЕТ этого обнаружить ... такое вот у него устройство !!! [Ответ][Цитата]
Стр.4 (12): 1  2  3  [4]  5  6  7  8  ...  12 << < Пред. | След. > >>