GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.2 (12)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Обучение сети
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 12 янв 09 0:54
Э... а куда делась активационная функция? Без нее это не перцептрон, а линейный оператор получается.
Правда, если требуемые выходы находятся вне пределов 0...1 (или -1...1 для симметричных относительно 0 функций), активационную функцию конечно лучше не применять Ибо у нормального нелинейного перцептрона выходы нейронов, вследствие активационной функции, ограничены - соответственно, если пытаться обучить чему-то, что находится вне этого диапазона, результат будет печальным.

И отдельно, на ваших примерах линейному классификатору обучиться крайне сложно И вот почему:

input[0, 0] = 7;
input[1, 0] = 4;
input[2, 0] = 5;
input[3, 0] = 0;
Output[0] = 10;

input[0, 1] = 6;
input[1, 1] = 4;
input[2, 1] = 5;
input[3, 1] = 0;
Output[1] = 20;
- в этой паре вход номер 0 должен иметь отрицательный вес - все входы кроме 0го одинаковы, выход больше при меньшем входе 0

input[0, 2] = 7;
input[1, 2] = 5;
input[2, 2] = 6;
input[3, 2] = 0;
Output[2] = 30;

input[0, 4] = 8;
input[1, 4] = 5;
input[2, 4] = 6;
input[3, 4] = 0;
Output[4] = 50;
- в этой паре вход номер 0 должен иметь положительный вес - все входы кроме 0го одинаковы, выход больше при большем входе 0

Соответственно, при обучении классификатор будет дергаться туда-сюда при прохождении этих примеров, и ничему обучиться не сможет в принципе.
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 12 янв 09 1:03
Минутку, tac здесь и SergeyJ в википедии - это один и тот же человек?
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 12 янв 09 2:01
Цитата:
Автор: 3d6

Минутку, tac здесь и SergeyJ в википедии - это один и тот же человек?


К вашим услугам почтенный пути господни неисповедимы
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 12 янв 09 2:16
Цитата:
Автор: 3d6
Э... а куда делась активационная функция? Без нее это не перцептрон, а линейный оператор получается.


Вы действительно правы - весит мертвым грузом ... правда он мало чем тут поможет

"Соответственно, при обучении классификатор будет дергаться туда-сюда при прохождении этих примеров, и ничему обучиться не сможет в принципе."

Как не повезло яблоку Умею же я случайно подыскать примерчик неподъемный для ВР, захотел бы так не придумал Благодарен вам за анализ ситуации ... тем самым мы и видим ограничения ВР по сравнению с перцептроном Розенблатта !
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 12 янв 09 2:41
Цитата:
Автор: tac

Как не повезло яблоку Умею же я случайно подыскать примерчик неподъемный для ВР, захотел бы так не придумал Благодарен вам за анализ ситуации ... тем самым мы и видим ограничения ВР по сравнению с перцептроном Розенблатта !

На самом деле, это типичная задача XOR. Которая легко может быть решена любым многослойным перцептроном, при использовании нелинейной активационной функции конечно А при линейной тут и Розенблатт не поможет

Насчет википедии я чего собственно спросил - у вас там опять ошибка. Перцептрон с этой картинки: http://ru.wikipedia.org/wiki/%D0%A4%D0%B0%D0%B9%D0%BB:Perceptron_XOR3.jpg
не решает задачу XOR: на 0,0 ответ 0, на 1,0 и 0,1 - -1, на 1,1 - -2.
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 12 янв 09 2:56
Цитата:
Автор: 3d6
Насчет википедии я чего собственно спросил - у вас там опять ошибка. Перцептрон с этой картинки: http://ru.wikipedia.org/wiki/%D0%A4%D0%B0%D0%B9%D0%BB:Perceptron_XOR3.jpg
не решает задачу XOR: на 0,0 ответ 0, на 1,0 и 0,1 - -1, на 1,1 - -2.


тьфу ты ... я то наскоро посчитав уже было засомневался, а оказалось, что вы считать не умеете

на 0,0 ответ 0, на 1,0 и 0,1 - +1, на 1,1 - -1.

Если не согласны посчитайте вслух ...
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 12 янв 09 3:03
Цитата:
Автор: 3d6
На самом деле, это типичная задача XOR. Которая легко может быть решена любым многослойным перцептроном, при использовании нелинейной активационной функции конечно А при линейной тут и Розенблатт не поможет


Не спешите !!! Эта ошибка с активационной функцией - была у того кому я помагал, точнее я стер не думая комментарии автора. Мой же пример был проигранн на совсем другой программе - там все ок - в этом плане (текст программы где-то тут валяется).

Далее согласен задача XOR - получается ВР ее не решает при любом расскладе !! Попробуйте переписать алгоритм, чтобы решала ---

Что же касается перцептрона Розенблатта - у него просто пороговая функция - линейная .. как видите спокойно решает XOR !!! Так что линейность активационной функции тут не причем !
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 12 янв 09 3:30
Кстати, введение расчета через активационную функцию, там где Артем закомментировал - полностью ломает сходимость ... сама функция вроде написана верно, сигмоида как минимум ... не знаю что-то еще нужно поменять ... пока лениво тестировать, т.к. сам Артем пропал

(да и дело не в выходах, я их сделал 0.1 и 0.2)

Короче лажа с этим ВР - как не крути ...

---
Хотя с примером Артема - а не моим (где различается только один вход) - более и менее можно еще настроить - но показатели явно хуже ...
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 12 янв 09 10:01
Цитата:
Автор: tac

тьфу ты ... я то наскоро посчитав уже было засомневался, а оказалось, что вы считать не умеете

на 0,0 ответ 0, на 1,0 и 0,1 - +1, на 1,1 - -1.

Если не согласны посчитайте вслух ...

Давайте вслух.
Y = F(2*(-X1+X2) + 2*(X1-X2) - (X1+X2))
0,0 - 0, тут мы сошлись.
1,0 - F(2*(-1) + 2*(1) - 1) = F(-1) = -1 при линейной, 0 при пороговой
0,1 - F(2*(1) + 2*(-2) - 1) = F(-1) = -1 при линейной, 0 при пороговой
1,1 - F(2*0 + 2*0 - 2) = F(-2) = -2 при линейной, 0 при пороговой

Или может быть синие элементы у вас реализуют пороговую функцию? Тогда это уже не "ассоциативные элементы", а полноценные нейроны, а вся конструкция является не перцептроном Розенблатта, а многослойным перцептроном. Или Розенблатта очень, очень сильно оклеветали
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 12 янв 09 10:05
Цитата:
Автор: tac

Короче лажа с этим ВР - как не крути ...

Я с полной ответственностью заявляю, что вы неправы. Я могу решить с помощью BP абсолютно любую задачу, которую вы решите с помощью перцептрона Розенблатта, с той же точностью решения. Если вы считаете, что я неправ - предлагаю дуэль: вы формулируете задачу, вы и я независимо отсылаем арбитру решение - вы с помощью перцептрона, я с помощью MLP обученного по BP, после чего решения выкладываются на всеобщее обозрение
[Ответ][Цитата]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 12 янв 09 10:45
Цитата:
Автор: 3d6

Или Розенблатта очень, очень сильно оклеветали

Почитал что пишет сам Розенблатт на эту тему. Его ДЕЙСТВИТЕЛЬНО сильно оклеветали! о__О
Перцептрон Розенблатта - это и есть многослойный перцептрон со структурой вход -> скрытый слой -> выход. Правда, связи "вход -> скрытый слой" не модифицируются в процессе обучения, что конечно не очень хорошо - но и не особо плохо.

Однако сюрприз... Тогда возникает интересный вопрос - с чего Минский взял, что перцептрон якобы не решает XOR?
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 12 янв 09 16:16
Цитата:
Автор: 3d6
Однако сюрприз... Тогда возникает интересный вопрос - с чего Минский взял, что перцептрон якобы не решает XOR?


Это только начало Читайте дальше Минского - и НИРАЗУ !!! не найдете что Минский утверждает, что "перцептрон якобы не решает XOR" ... Такую байку насколько я искал первым придумал сам Румельхард (1986), затем уже Вассерман (1989) - последний и стал очень популярным в интернете ... до обратного распространения вообще было все тихо - Бонгард (1967) например еще все пишет про перцептрон правильно и критикует его за дело (по сути тоже самое, что и Минский (хотя Минский официально пишет позже 1969), только с другой колокольни) ... а вот промежуток 1970 - 1985 - темные века, поди разбери кто, что напридумывал ... вообще такое ощущение что мы диградируем, чем старее книга, тем серьезнее иследование ...

Вся критика Минского достаточна сложна и достаточно конструктивна - справедлива практически для многих современных нейронных сетей ! Да, его порой заносит, но словить его за слово очень сложно - в общем на 80-90 % там все верно - но нужно читать о что именно ... в вики я общую суть изложил ...

[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 12 янв 09 16:23
Цитата:
Автор: 3d6
Я с полной ответственностью заявляю, что вы неправы. Я могу решить с помощью BP абсолютно любую задачу, которую вы решите с помощью перцептрона Розенблатта, с той же точностью решения. Если вы считаете, что я неправ - предлагаю дуэль: вы формулируете задачу, вы и я независимо отсылаем арбитру решение - вы с помощью перцептрона, я с помощью MLP обученного по BP, после чего решения выкладываются на всеобщее обозрение


Пожалуйсто, очень вас прошу - докажите мне, что я неправ, я готов сразу признать поражение, только дайте код, который решает поставленную выше задачу !!!

Имеется введу следующие:
/*input[0, 0] = 7;
input[1, 0] = 4;
input[2, 0] = 5;
Output[0] = 10;

input[0, 1] = 6;
input[1, 1] = 4;
input[2, 1] = 5;
Output[1] = 20;

input[0, 2] = 7;
input[1, 2] = 5;
input[2, 2] = 6;
Output[2] = 30;

input[0, 3] = 6;
input[1, 3] = 3;
input[2, 3] = 5;
Output[3] = 40;

input[0, 4] = 8;
input[1, 4] = 5;
input[2, 4] = 6;
Output[4] = 50;*/

можете маштабировать входы-выходы как хотите ...

Мой код здесь http://gotai.net/forum/Default.aspx?postid=10445

Получаю результат только где-то за 20000 итераций ... Взгяните в чем может быть ошибка ...

Дальше хуже если не найдете ошибки, то есть задача где дождаться решения я не могу - задача XOR в квадрате - губка с водой:

Возьмём чёрно-белое изображение размером 256×256 пикселей. Цвета размещены как на шахматной доске. Обучаем перцептрон всем возможным состояниям, то есть на вход подаём последовательно координаты X, Y и требуем на выходе соответствующий цвет точки. В итоге имеем 65 536 различных пар «стимул—реакция». Обучить без ошибок.

вот на этой задаче готов на дуэль !!! (в смысле кто быстрее)


Но вначале покажите может ошибочен мой алгоритм ВР на первоначальной задаче .

Я на вас расчитываю - мне это достаточно важно !
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 12 янв 09 16:26
Цитата:
Автор: 3d6


Давайте вслух.
Y = F(2*(-X1+X2) + 2*(X1-X2) - (X1+X2))
0,0 - 0, тут мы сошлись.
1,0 - F(2*(-1) + 2*(1) - 1) = F(-1) = -1 при линейной, 0 при пороговой
0,1 - F(2*(1) + 2*(-2) - 1) = F(-1) = -1 при линейной, 0 при пороговой
1,1 - F(2*0 + 2*0 - 2) = F(-2) = -2 при линейной, 0 при пороговой

Или может быть синие элементы у вас реализуют пороговую функцию? Тогда это уже не "ассоциативные элементы", а полноценные нейроны, а вся конструкция является не перцептроном Розенблатта, а многослойным перцептроном. Или Розенблатта очень, очень сильно оклеветали


Именно так ! Реализуют пороговую функцию - но вижу ниже вы уже разобрались, приятно иметь дело с образованным человеком ...

Для других формула Y = F(2*(-X1+X2) + 2*(X1-X2) - (X1+X2)) - будет посложнее (эта не верна), вы совсем не учли коэффициенты первого слоя, и их активацию
Считать нужно, например так, определить какие А-элементы активируются при входах 1 и 0 - это будут второй и третий А-элемент и соответственно сложить их веса 2-1= 1, аналогично в других случаях
[Ответ][Цитата]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 12 янв 09 16:48
Цитата:
Автор: 3d6
Перцептрон Розенблатта - это и есть многослойный перцептрон со структурой вход -> скрытый слой -> выход. Правда, связи "вход -> скрытый слой" не модифицируются в процессе обучения, что конечно не очень хорошо - но и не особо плохо.


Там все же есть мелкие отличия, не в пользу многослойного перцептрона Румельхарда. Если не трогать обучение и бинарность кодировки ... то главное , что у Розенблатта не полносвязность !!! Минскому пришлось сильно прогнутся, чтобы найдти задачу чтобы перцептрон должен быть полносвязным, кстати это один из важнейших пунктов критики Минского - а тут в многослойном перцептроне Румельхарда вот тебе пожалуйсто - сразу полносвязность, т.е. сразу не пригодность по Минскому

да, и прочих деталей хватает, поверьте на слово ...
[Ответ][Цитата]
 Стр.2 (12)1  [2]  3  4  5  6  ...  12<< < Пред. | След. > >>