GotAI.NET
Форум: Проблемы искусственного интеллекта
Регистрация
|
Вход
Все темы
|
Новая тема
Стр.5 (12)
<<
< Пред.
|
След. >
>>
Поиск:
Автор
Тема: На: Обучение сети
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 14 янв 09 21:33
Цитата:
Автор: tac
Формулировка в принципе таже:
Мне нужно то самое изображение, на котором вы учите - это может быть очень важно
Цитата:
Автор: tac
А вроде дошло, что вы имеете введу - но дело в том, что перцептрон НЕ МОЖЕТ этого обнаружить ... такое вот у него устройство !!!
Перцептрон именно это и обнаруживает, хотя конечно BP для MLP покажет это намного эффективнее
Проанализировав полученные весовые матрицы, вы это увидите.
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 14 янв 09 23:23
Цитата:
Автор: 3d6
Перцептрон именно это и обнаруживает, хотя конечно BP для MLP покажет это намного эффективнее
Проанализировав полученные весовые матрицы, вы это увидите.
Как бы я много дал бы, чтобы вы так глубоко не заблуждались бы ... сам бы желал бы, чтобы перцептрон такой умным был бы - но похоже вы все же не доучили его возможности за два дня
А за BP&MLP давайте поговорим тогда когда вы эксперимент сделаете и тогда уже на цифрах увидим ...
Если найду ваш мейл пришлю вам случайную коллекцию нулей и единиц в тестовом файле подойдет ? Разницы, то право нету - пудумаешь на пару минут больше меньше - не суть. А хотя - поставьте RND - мне поначалу ЛЮБАЯ последовательность сгодится - лишь бы сошлось бы - я даже на время не обижусь если в приделах 10 часов
Ок ? Или все же прислать ?
Да, а если же MLP делает это эффективнее перцептрона - чтож вы так хотели предпроцессинг сделать - не делайте - MLP же по вашему это сам сделает
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 14 янв 09 23:42
Последовательность здесь
http://ru.vlab.wikia.com/wiki/К
абинет:Сергей_Яковлев:rnd
Размерность правда несколько другая 11х255 - но это не принципиально.
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 15 янв 09 1:02
Цитата:
Автор: tac
Как бы я много дал бы, чтобы вы так глубоко не заблуждались бы ... сам бы желал бы, чтобы перцептрон такой умным был бы - но похоже вы все же не доучили его возможности за два дня
А каким же образом тогда, по-вашему, перцептрон с тремя А-элементами мог бы решить задачу классификации 65536 разных образов?
Обучите и покажите матрицу весов. Я на ней покажу вам, почему перцептрон понял зависимость.
P.S. начал учить MLP по BP на вашей задаче, 700 нейронов в скрытом слое, 2 на выходе. Прошло пока 8 минут, точность 67%
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 15 янв 09 1:16
Цитата:
Автор: 3d6
А каким же образом тогда, по-вашему, перцептрон с тремя А-элементами мог бы решить задачу классификации 65536 разных образов?
Обучите и покажите матрицу весов. Я на ней покажу вам, почему перцептрон понял зависимость.
P.S. начал учить MLP по BP на вашей задаче, 700 нейронов в скрытом слое, 2 на выходе. Прошло пока 8 минут, точность 67%
А кто такое говорил, что тремя нейронами ? Вы сделали такой эксперимент ? Я гарантирую, что 3 нейронов МАЛО - нужно минимум 1000!!! Или вы опять где-то схитрили !
С нетерпением жду - 67% - это он наверное все нули запомнил
Если достигните 90% в приделах двух часов - уже это меня повергет в шок - сообщите обязательно ...
а попросить у вас ваш код (тот который вы запустили с моими данными) - будет сильной наглостью с моей стороны ? Просто боюсь, что у меня все же не то, что надо запрограммированно ... неможет же быть столь большая разница в результатах ...
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 15 янв 09 2:07
Цитата:
Автор: tac
А кто такое говорил, что тремя нейронами ? Вы сделали такой эксперимент ? Я гарантирую, что 3 нейронов МАЛО - нужно минимум 1000!!! Или вы опять где-то схитрили !
На задаче с губкой при битовом представлении координат - 3х нейронов хватит, если повезет со связями S-A. Хотите верьте, хотите проверьте.
Цитата:
Если достигните 90% в приделах двух часов - уже это меня повергет в шок - сообщите обязательно ...
Сейчас 94%, ошибка стабильно снижается. Прошло 1350 эпох. На ночь ставить не буду, уж больно шумит, а вот завтра могу на подольше поставить.
Цитата:
а попросить у вас ваш код (тот который вы запустили с моими данными) - будет сильной наглостью с моей стороны ? Просто боюсь, что у меня все же не то, что надо запрограммированно ... неможет же быть столь большая разница в результатах ...
Ну, там целый нейрокомпьютер (NeuroLand), его исходники я дать не могу. Могу дать класс BP собственного написания - на нем я пока не тестировал, но думаю результат будет примерно тот же, завтра могу проверить - заодно, если результат не сойдется, исправлю свои ошибки
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 15 янв 09 2:11
Цитата:
Автор: 3d6
Могу дать класс BP собственного написания - на нем я пока не тестировал, но думаю результат будет примерно тот же, завтра могу проверить - заодно, если результат не сойдется, исправлю свои ошибки
Буду очень благодарен - мне как раз маленький классик то и надо
[
Ответ
][
Цитата
]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: Обучение сети
Добавлено: 15 янв 09 17:39
Цитата:
Автор: tac
Массовое применение думаю слишком приувеличенно ...
Глобальный, это или локальный мне по барабану ...
Не надо передергивать. Вопрос был о том, чем отличаются, я позволил себе высказать мнение, противоположное Вашему именно "в принципе", и не надо тут пытаться переводить доказательство своего мнения на единственную конкретную задачу (ладно, некоторый класс задач, тем не менее тенденциозно подобранный).
Насчет массовости - тогда скажите, какой метод применяется более часто. Именно при неочевидности или необходимости выбора метода решения той или иной задачи. Все жестко заложенные, например, в "железо" схемы типа автоматического регулирования (слежение за уровнем нуля, например, в области современных электронных коммуникаций и в виде миллионнотиражных микросхем или их подблоков) и не масштабируемые по сложности/нелинейности реализуемой модели (т.е. не имеющие возможности наподобие свободного выбора числа слоев нейронов и самих нейронов в нейросетке) идут лесом - прошу назвать именно метод над достаточно широким классом возможных моделей, в софте и для конечного пользователя-чайника.
Учить сетку на "шахматной доске" не буду - могу предложить гораздо более реальные задачи, где народ уже поприменял разные алгоритмы и выводы свои о том, какие сетки круче, сделал.
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 16 янв 09 0:56
Цитата:
Автор: 3d6
а вот завтра могу на подольше поставить.
завтра могу проверить - заодно, если результат не сойдется, исправлю свои ошибки
3d6 - ну как там ???
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 16 янв 09 1:09
Цитата:
Автор: Victor G. Tsaregorodtsev
Не надо передергивать.
Хорошо, поясните мне пожалуйсто о чем идет речь когда говорят о локальной или глобальной сходимости на обучении. Правильно ли я понимаю, что и та и другая предполагает на множестве обучающей выборки 100% безошибочности. Речь же идет только о экзаменационом множесте, или точне о всех тех примерах которым сеть не была обучена. Говоря о локальности и глобальности имеется введу некий минимум, по аналогии с экстремумами функции или энергетические минимумы. О чем же идет речь при распозновании, а точнее прогнозировании с помощью сети не известных данных.
По сути сеть решает систему неравенств или уравнений. Если с уравнениями то вообще не ясно - система может иметь различное число решений - и все решения равнозначны. Если же неравенства (а это более точно), то у меня есть предположение, что речь идет о том, чтобы было получено не любое произвольное решение, а так чтобы неизвестные точки решения находились бы в центрах по отношению ко всем известным ... как это предполагают в Support vector machines (SVMs) - т.е. они как я понимаю и предполагают нахождение глобального схождения, но похоже это только разговоры (я нигде не видел алгоритма как такое решение получить).
Если я не прав - то прошу рассказать мне точнее - откуда вообще может идти речь о локальном и глобальном схождении в контексте ИНС.
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 16 янв 09 1:14
Цитата:
Автор: Victor G. Tsaregorodtsev
народ уже поприменял разные алгоритмы и выводы свои о том, какие сетки круче, сделал.
Народ даже не знает что такое перцептрон
, назовите мне хотя бы один промышленный проект, где реализован перцептрон Розенблатта ? Поэтому выводы - эти не от хорошей жизни
[
Ответ
][
Цитата
]
3d6
Сообщений: 325
На: Обучение сети
Добавлено: 16 янв 09 11:13
Цитата:
Автор: tac
3d6 - ну как там ???
Буду проверять завтра - на работе завал, мягко говоря...
[
Ответ
][
Цитата
]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: Обучение сети
Добавлено: 16 янв 09 17:45
2 tac
>о чем идет речь когда говорят о локальной или глобальной
>сходимости на обучении. Правильно ли я понимаю, что и та
>и другая предполагает на множестве обучающей выборки 100%
>безошибочности.
Термины понимаются в том смысле, который они несут в теории оптимизации.
Ничего о точности не предполагают. В какой экстремум попадет - в такой и попадет. Но при правильных настройках алгоритма в экстремум попадать должны (а не скакать как попало - в этом случае обучение не сходится или даже расходится).
Персептрон тоже может не сходиться в случае линейной неразделимости классов.
>система может иметь различное число решений - и все решения
>равнозначны. Если же неравенства (а это более точно), то у меня
>есть предположение, что речь идет о том, чтобы было получено не
>любое произвольное решение, а так чтобы неизвестные точки решения
>находились бы в центрах по отношению ко всем известным ...
Число локальных и глобальных минимумов в сети обратного распространения комбинаторно даже без возможности иметь несколько решений задачи. На свойства решения (если произвольное не катит) и на свойства обобщения проще влиять доп.слагаемыми в штрафной функции, чем алгоритмом обучения. Также и локальные минимумы (пусть не все, но многие) могут превращаться в глобальные изменением штрафной функции (например, при вводе разрешенного допуска на точность решения). Поэтому при адекватной постановке задачи и приемлемом размере сети "ближайшим" минимумом обычно оказывается глобальный и проблем с необходимостью обучения нескольких вариантов сети с разных стартовых весов не имеется.
>откуда вообще может идти речь о локальном и глобальном схождении
>в контексте ИНС.
Только в том контексте, что алгоритм градиентной оптимизации при определенных ограничениях (на выбор шага и т.д.) гарантированно сходится к некоторой особой точке - это доказано в теории градиентной оптимизации. Из нейросетевого тут - только способ расчета этого самого градиента, что на метод оптимизации никак не влияет.
Поэтому для "шахматной" задачи неуспешность обучения бэкпроповской сети является неуспешным только с точки зрения пользователя (нужная точность не достигнута - ну так это проблемы пользователя: нужно знать, какие классы задач данный вариант сеток может решать), а с точки зрения алгоритма обучения - всё прошло успешно, какой-то экстремум достигнут.
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 16 янв 09 18:47
Цитата:
Автор: Victor G. Tsaregorodtsev
Персептрон тоже может не сходиться в случае линейной неразделимости классов.
Это не так !!! Я как раз пишу статью об этом (с мат. выкладками)
, перцептрон ВСЕГДА строит такое пространство (отображение входов), в котором образы ВСЕГДА линейно разделимы - этим и занимается первый слой перцептрона
Кстати, нашел близкую связь с RBF-сетями (точнее с ее мат. основами), к сожалению у меня электронная версия Хайкина "Нейронные сети", и там обрезан список литературы - не могли бы подсказать где он есть (где скачать), или выборочно не могли бы подсказать, что за ссылка [219] про теорему Ковера ? и кто такой Ковер, и когда он доказал эту теорему ?
-----
(спустя 6 часов)
Я тут начитался умных слов - поэтому объясню точнее в соответствии с принятой терминалогией. Первый слой перцептрона со 100% успехом делает нелинейное отображение входного вектора в пространство признаков более высокой размерности в соответствии с теоремой Ковера (Розенблатт тоже самое называет теоремой Джозефа) - и только потом строит гиперплоскость. Это и гарантирует 100% сходимость при любом раскладе обучающей выборки.
[
Ответ
][
Цитата
]
tac
Сообщений: 2601
На: Обучение сети
Добавлено: 16 янв 09 19:30
Цитата:
Автор: tac
поясните мне пожалуйсто о чем идет речь когда говорят о локальной или глобальной сходимости на обучении. Правильно ли я понимаю, что и та и другая предполагает на множестве обучающей выборки 100% безошибочности.
Victor G. Tsaregorodtsev - тогда учитывая ваши пояснения получается, что я понимаю локальность-глобальность так скажем слишком оптимистично. Т.е. это как раз
касается обучения и только его.
И локальная сходимость означает ЗАЦИКЛИВАНИЕ при котором количество ошибок больше не уменьшеается и скажем выучены, например, только 90% обучающей выборки. Это так ?
[
Ответ
][
Цитата
]
Стр.5 (12)
:
1
2
3
4
[5]
6
7
8
9
...
12
<<
< Пред.
|
След. >
>>
Главная
|
Материалы
|
Справочник
|
Гостевая книга
|
Форум
|
Ссылки
|
О сайте
Вопросы и замечания направляйте нам по
Copyright © 2001-2022, www.gotai.net