Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.3 (4) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Rumelhart
tac Сообщений: 2601	На: Rumelhart Добавлено: 08 дек 08 0:31 Цитата: Автор: daner замечательная теорема. только "множество слоев" я там не замечаю (может, я что-то упустил). Множество слоев там совершенно не нужно рассматривать - есть только А и R элементы ... а главное G-матрица, т.е. какие бы не были сигналы на предыдущих слоях, главное рассматривать G-матрицу и все ... [Ответ][Цитата]
tac Сообщений: 2601	На: Rumelhart Добавлено: 08 дек 08 0:36 Цитата: Автор: daner И кстати, разницу я не чувствую. для градиентного спуска нужна диф.функция. В BP такая функция и используется (например сигмоида, есть и другие варианты). Ну и все. разницу между теоремой 1 и 4 в теоремах сходимости перцептронов - чувствуете ? Так вот разница в ВР примерно такая же ... градиентный спуск - сделать можно, но алгоритм обратного распространения не гарантирует, что он будет сделан ! Чисто практически это означает, что корректировка весов будет постоянно приводить к несхождению ... т.е. решение может существовать, но с помощью обратного распространения его можно не достичь ... [Ответ][Цитата]
tac Сообщений: 2601	На: Rumelhart Добавлено: 08 дек 08 1:33 Цитата: Автор: daner Кстати, отличные статьи (поменьше бы эмоционального отношения и вообще было бы супер). Большую работу проделываете. Браво. Спасибо. Присоединяйтесь ... [Ответ][Цитата]
tac Сообщений: 2601	На: Rumelhart Добавлено: 10 дек 08 6:17 А вот еще - что называется, что и требовалось доказать ... Оказывается, что Розенблатт доказал что алгоритма с обратным распространением ошибки - НЕ сходится. Т.е. именно то, что я и получаю ... Будите смеяться, но это так ... вот, что значит хреново читать классику и изобретать велосипед ... Розенблатт уже был все предумывши и предсказавши ... Значит, то что сейчас называется MLP Розенблатт называл - трехслойные системы с переменными S-A связями ... да, да точь в точь MLP ... стр. 230 его принципов нейродинамики ... первое, что он делает рассуждает о обратной передачи сигнала ошибки (что полностью соответствует BP в смысле порядка коррекции весов) ... затем ДОКАЗЫВАЕТ, что в таком случае ЛЮБОЙ алгоритм обучения не должен быть детерминирован ... и очевидно показывает, что нельзя достич решения с помощью такого алгоритма даже если оно есть ... Вслед за этим предлагает свой метод "коррекции ошибки с обратной передачей сигнала ошибки" (не путать с BP) ... существенной частью там является применение вероятностой процедуры назначения ошибки (что как мы знаем в BP никогда не было) ... и затем СНОВА ДОКАЗЫВАЕТСЯ, что это метод ОБЯЗАТЕЛЬНО сойдется ... вообщем идеальный образец для подражания ... Конечно, там нету глупостей с вычислением статистической ошибки как в BP, нету там и сигмоиды - которая никому не нужна и НИКАК невлияет на результат обучения .... поэтому важна здесь не вид функции, а способ обучения, а он как и доказано для BP сходится небудет ... Теперь мне осталось все это хорошо описать ... желающие присойдиняйтесь - можем протестировать и написать ... статьи скорее будут энциклопедическими, т.к. новизны в работе нету, но учитывая что людей, которые читали Розенблатта в оригинале можно сощитать по пальцам ... думаю для многих это будет окровением ... [Ответ][Цитата]
3d6 Сообщений: 325	На: Rumelhart Добавлено: 12 янв 09 1:57 Однако перцептрон Розенблатта, и то, что часто подразумевают под перцептроном Розенблатта - очень разные штуки... Почитаю, пожалуй, что сам Розенблатт про него пишет подробнее [Ответ][Цитата]
tac Сообщений: 2601	На: Rumelhart Добавлено: 12 янв 09 2:29 Цитата: Автор: 3d6 Однако перцептрон Розенблатта, и то, что часто подразумевают под перцептроном Розенблатта - очень разные штуки... Почитаю, пожалуй, что сам Розенблатт про него пишет подробнее Ой, вы очень оперативно заменили сообщение, только что видел другое и уже готов был "ринутся в бой", а тут вы выхватили прямо из рук ... а жаль Там у вас было очень не плохое предположение (до таких изысков доходили не многие ученные мужи), что для случая XOR можно связи состряпать только руками ... имелось введу связи первого слоя ... да - это так ! Из-за случайности образования первого слоя связей. Я как раз работаю над статьей показывающей, что только при размерности 40 А элементов уходит эта проблема ... У вот насчет +/- вы чисто зря, на втором рисунке не только +, там и минусы могут быть ... если вам получится найти статью Розенблатта за 1957 год (поистине первая версия) - то прошу мне сообщить ... но это так для истории, в книге Розенблатт сам признается, что там были допущенны некоторые ошибки ... но думаю, что они были на порядок тоньше - скорее всего в доказательстве сходимости ... но надо читать, а найти не могу ... А вообще ваш выбор правильный - читайте, это очень верно (тут вы встетите не просто странные детали, как мы с вами видели в том, что подразумевают в сетях Хопфилда и как есть на самом деле - а просто откровенные ничем не прикрытые странности)! Рекоммендую всем это сделать прежде чем "часто подразумевать под перцептроном Розенблатта" всякие там штуки P.S. Кстати, куда пропали - статья о Хопфилдской сети дожидается наших коррекций [Ответ][Цитата]
3d6 Сообщений: 325	На: Rumelhart Добавлено: 12 янв 09 11:00 Цитата: Автор: tac Ой, вы очень оперативно заменили сообщение, только что видел другое и уже готов был "ринутся в бой", а тут вы выхватили прямо из рук ... а жаль Дело в том, что до вчера я исходил из предположения, что критика Минского была на чем-то основана - соответственно, предполагал, что огромное количество упоминаний о перцептроне Розенблатта как о системе с одним нейроном и неспособным к решению XOR - верно. Однако, когда я написал первую версию сообщения, я также подумал, что слишком уж маловероятно, что вы настолько не понимаете, что там происходит. Посмотрел мельком что пишет Розенблатт - и понял, что все сложно. А только что я обнаружил, что все вообще не так - перцептрон Розенблатта и многослойный перцептрон с одним скрытым слоем - суть одно и то же о__О Цитата: Там у вас было очень не плохое предположение (до таких изысков доходили не многие ученные мужи), что для случая XOR можно связи состряпать только руками ... имелось введу связи первого слоя ... да - это так ! Я немного подумал, прикинул насколько часто при случайном выборе связей XOR будет решаться, и понял, что это - не аргумент, в конце концов попробовать 2-3 раза мы себе всегда можем позволить. Цитата: ... если вам получится найти статью Розенблатта за 1957 год (поистине первая версия) - то прошу мне сообщить ... но это так для истории, в книге Розенблатт сам признается, что там были допущенны некоторые ошибки ... но думаю, что они были на порядок тоньше - скорее всего в доказательстве сходимости ... но надо читать, а найти не могу ... Надеюсь, что хотя бы там ошибки серьезны - иначе Минский будет выглядеть вообще нехорошо Цитата: P.S. Кстати, куда пропали - статья о Хопфилдской сети дожидается наших коррекций Я устал от этого -___- Хотя когда на прошлой неделе перечитал - возникло острое желание поправить, может в обозримом будущем доберусь (но не слишком скоро - сейчас начинаем новый проект, работы выше крыши, сил ни на что не остается). [Ответ][Цитата]
tac Сообщений: 2601	На: Rumelhart Добавлено: 12 янв 09 16:42 Цитата: Автор: 3d6 Надеюсь, что хотя бы там ошибки серьезны - иначе Минский будет выглядеть вообще нехорошо см. http://gotai.net/forum/Default.aspx?postid=15394 [Ответ][Цитата]
гость 88.80.26.*	На: Rumelhart Добавлено: 30 сен 25 18:15 Цитата: Автор: tac Может кто нибудь знает где скачать эту книгу ? и может быть есть перевод на русский ? Parallel Distributed Processing: Explorations in the Microstructures of Cognition / Ed. by Rumelhart D. E. and McClelland J. L.— Cambridge, MA: MIT Press, 1986. Параллельная обработка данных: Исследование, процессов распознавания английский знать нужно, это важнее программирования [Ответ][Цитата]
гость 185.16.29.*	На: Rumelhart Добавлено: 30 сен 25 23:33 Цитата: Автор: гость английский знать нужно, это важнее программирования В России важнее знать китайский. тем более туда безвиз. [Ответ][Цитата]
гость 88.80.26.*	На: Rumelhart Добавлено: 01 окт 25 5:46 Цитата: Автор: гость В России важнее знать китайский. тем более туда безвиз. Сотрудничество с китайскими компаниями и специалистами может быть чрезвычайно выгодным с точки зрения оптимизации издержек, особенно если речь идёт о привлечении рабочей силы — в том числе в сфере IT. За последние десять лет стоимость квалифицированного труда в Китае, несмотря на общий рост экономики, осталась относительно низкой по международным меркам. При этом уровень дисциплины, самоотдачи и готовности к интенсивной работе у многих китайских специалистов остаётся впечатляюще высоким: за зарплату в диапазоне 500–1000 долларов в месяц они нередко отрабатывают 60 и более часов в неделю, демонстрируя почти «роботизированную» продуктивность. В то же время в столицах стран бывшего СНГ — как, впрочем, и в большинстве европейских стран, за исключением самых престижных и дорогих локаций — квалифицированного IT-специалиста уже сложно привлечь менее чем за 3–5 тысяч долларов в месяц, при этом ожидаемая рабочая неделя редко превышает стандартные 40 часов. Это делает Китай особенно привлекательным для аутсорсинга или создания совместных команд, ориентированных на максимальную эффективность при минимальных затратах. Однако стоит понимать, что для иностранца самому устроиться на «обычную» работу в Китае сегодня практически невозможно. На рядовой позиции вы вряд ли сможете заработать даже несколько сотен долларов в месяц — рынок труда там настроен в первую очередь на внутренних специалистов. Раньше китайские компании действительно охотно брали западных (или, скажем, российских) специалистов, но не столько ради их профессионального вклада, сколько в качестве «культурных талисманов»: иностранец в офисе воспринимался как символ открытости, модернизации и международного опыта. Таких людей часто нанимали с весьма свободным графиком и расплывчатыми обязанностями — по сути, позволяли «делать что хочешь», пока команда внимательно наблюдала, выявляла полезные практики, модели поведения и рабочие подходы, а затем массово внедряла их внутри своей организации. Сегодня эта практика постепенно уходит в прошлое. Китайские компании стали значительно более зрелыми, технологически независимыми и уверены в собственных методах. Иностранец уже не вызывает автоматического трепета как носитель передовых знаний — а значит, и «символическая» роль экспатрианта теряет свою ценность. В результате возможности для иностранцев работать в Китае вне узких ниш (например, преподавания, консалтинга или представительских функций) становятся всё более ограниченными. [Ответ][Цитата]
tac2 Сообщений: 447	На: Rumelhart Добавлено: 01 окт 25 6:50 Изменено: 01 окт 25 7:02 Выкопали мою старую тему? > если вам получится найти статью Розенблатта за 1957 год (поистине первая версия) - то прошу мне сообщить > Надеюсь, что хотя бы там ошибки серьезны - иначе Минский будет выглядеть вообще нехорошо а таки я нашел эту статью, и вы не поверите, и там перцептрон Розенблатта не однослойный но к Минскому у меня, кстати, почти претензий нет ... лично он никогда и не называл перцептрон Розенблатта однослойным (он его выдумал сам для анализа, но почему то все подумали, что это относится к Розенблатту - прямо он так не сказал) - это его не верно понимали, но там действительно легко запутаться. Но так то он использовал глупых людей [Ответ][Цитата]
гость 88.80.26.*	На: Rumelhart Добавлено: 01 окт 25 9:43 Цитата: Автор: tac2 Выкопали мою старую тему? > если вам получится найти статью Розенблатта за 1957 год (поистине первая версия) - то прошу мне сообщить > Надеюсь, что хотя бы там ошибки серьезны - иначе Минский будет выглядеть вообще нехорошо а таки я нашел эту статью, и вы не поверите, и там перцептрон Розенблатта не однослойный но к Минскому у меня, кстати, почти претензий нет ... лично он никогда и не называл перцептрон Розенблатта однослойным (он его выдумал сам для анализа, но почему то все подумали, что это относится к Розенблатту - прямо он так не сказал) - это его не верно понимали, но там действительно легко запутаться. Но так то он использовал глупых людей Теме уже почти 20 лет почти, поколение, нужно двигаться дальше. [Ответ][Цитата]
tac2 Сообщений: 447	На: Rumelhart Добавлено: 01 окт 25 9:45 > нужно двигаться дальше Да, но только сейчас у меня дотянулись руки разработать алгоритм обучения реального перцептрона. [Ответ][Цитата]
гость 88.80.26.*	На: Rumelhart Добавлено: 01 окт 25 11:08 Цитата: Автор: tac2 > нужно двигаться дальше Да, но только сейчас у меня дотянулись руки разработать алгоритм обучения реального перцептрона. Цитата: классическая суфийская притча Однажды ученик пришёл к своему Учителю, духовному наставнику, и спросил о смысле жизни и своего предназначения. Учитель дал ему задание: «Ступай в город и принеси мне чашу чистой, свежей воды». Ученик, полный рвения, отправился в путь. Проходя по улицам города, он увидел прекрасную девушку. Их глаза встретились, и в его сердце вспыхнула любовь. Он женился на ней, чтобы обеспечить свою новую семью, он усердно трудился, построил дом, у них родились дети. Он стал уважаемым человеком в городе, обрёл богатство и почёт. Так пролетели годы. Однажды разразился страшный ураган. Река вышла из берегов и затопила город. Дом мужчины был разрушен, его имущество уничтожено, а семья оказалась в опасности. Стоя по пояс в бурлящей воде, цепляясь за обломки своего дома, он в отчаянии возвёл глаза к небу и взмолился: «О, Боже! Помоги мне! Спаси мою семью!» И в тот же миг он услышал Спокойный и Всемогущий Голос, который сказал ему: «А где чаша с водой, которую Я просил тебя принести?» [Ответ][Цитата]
Стр.3 (4): 1  2  [3]  4 << < Пред. | След. > >>