Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.4 (5) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Проблема угасания ошибки в алгоритме обратного распространен
daner Сообщений: 4602	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 13:55 Цитата: Автор: NO. Да мне не важно что у них там в голове происходит. Умеют классифицировать значит раскладывают на кучки. Не раскладывают значит не умеют. ну значит расскладывают на кучики (только кучки виртуальные). вам не кажется, что с кучаками -- несколько примитивный подход? [Ответ][Цитата]
daner Сообщений: 4602	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 14:01 Цитата: Автор: 3d6 Если показывается некоторая определенная последовательность образов - то можно считать, что предыдущий образ непосредственно связан со следующим. Если есть сотня гипотез - то нельзя сказать, что предыдущий образ непосредственно связан с одной из них. {Примечание: статью не читал. поэтому и задаю вопросы.} А сами образы различаются уже самостоятельно? Кстати, а для чего это надо? Цель этого какая? повысить распознавание образа в зависимости от предыдищего? Ну... а что в этом такого супер нового? На сколько я знаю, уже давно был написан аллгоритм (и вроде как даже ИНС), который расспознавал фонемы и уточнял их в зависимости от контекста (ну типа чаще встречается "на", чем "яа" и т.д.). [Ответ][Цитата]
3d6 Сообщений: 325	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 14:39 Цитата: Автор: daner {Примечание: статью не читал. поэтому и задаю вопросы.} А сами образы различаются уже самостоятельно? Кстати, а для чего это надо? Цель этого какая? повысить распознавание образа в зависимости от предыдищего? Ну... а что в этом такого супер нового? На сколько я знаю, уже давно был написан аллгоритм (и вроде как даже ИНС), который расспознавал фонемы и уточнял их в зависимости от контекста (ну типа чаще встречается "на", чем "яа" и т.д.). Статью я еще не выложил, привалило работой, но попробую в ближайшем будущем написать кое-что на тему, кроме собственно файла (опубликованный результат уже успел немного устареть )... Идея в том, что запоминается последовательность образов. Каждый отдельно взятый образ распознается в контексте той последовательности, которая сейчас активна (последовательности соответственно тоже распознаются), и все это - в рамках ассоциативной памяти (расширение хопфилдовской архитектуры), с неитеративным обучением (т.е. запоминание с одного показа). Преимущества - контекстно-зависимое восстановление образов из шума с простым обучением, возможность отслеживать разные последовательности (причем с любого места - не обязательно с начала). Недостатки - довольно много вычислительных ресурсов (хотя по нейросетевым меркам - скромно), и дискретность времени (новый образ должен прийти в определенный, довольно узкий период времени, иначе распознавание сорвется). Дискретность в принципе ясно как побеждать, над этим в частности и работаем... Интересная особенность таких сетей - они способны к самостоятельной активности после того, как внешние стимулы будут отключены, и способны синтезировать гибридные ответы на гибридные входы (т.е. если на входе грубо говоря сумма двух последовательностей, то на выходе при определенных условиях будет нечто, напоминающее сумму ответов на эти последовательности, и если отключить входы - оно будет эволюционировать похожим на сумму образом). А вот о хорошем контекстном распознавании фонем я не слышал - подход да, рекламировался, но приличные результаты как-то мимо меня прошли... Каких-нибудь ссылок случайно не найдется? [Ответ][Цитата]
daner Сообщений: 4602	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 15:30 понятно. в таком свете интересно. А вы лично, к этой работе какое отношение имеете (если не секрет)? ссылок нет, но я слушал об этом года 3 назад, причем слышал к о работе, которой лет 5-10... Помню только, что вроде бы как швейцарская фирма там была замешанна (но может быть ошибаюсь). Они правда не на хопфильде делалали, а проверяли контекстную зависимость статистическими методами. Т.е. в два этапа (1:распознавание с ИНС фонемы, 2:выбор наиболее вероятной по контексту). [Ответ][Цитата]
3d6 Сообщений: 325	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 18:31 Цитата: Автор: daner понятно. в таком свете интересно. А вы лично, к этой работе какое отношение имеете (если не секрет)? Исходная идея (переход между статическими аттракторными состояниями в рамках динамического аттрактора) была моя, псевдоинверсный алгоритм предложил шеф, я в некоторой мере его адаптировал, ну и вся реализация моя. Цитата: Т.е. в два этапа (1:распознавание с ИНС фонемы, 2:выбор наиболее вероятной по контексту). А, ну про такое я слышал, да. Но вроде достаточно свободного распознавания им сделать так и не удалось? [Ответ][Цитата]
NO. Сообщений: 10700	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 20:51 Цитата: Автор: Андрей 1. Гипотезы выбираются случайно, наугад. Это при не-интеллектуальном поиске. А если люди например проводят испытания нового самолета, он на заводе возник совсем не случайно, а после очень трудоемкого проектирования и производства. [Ответ][Цитата]
NO. Сообщений: 10700	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 20:52 Цитата: Автор: daner ну значит расскладывают на кучики (только кучки виртуальные). вам не кажется, что с кучаками -- несколько примитивный подход? Это просто иллюстрация, что BP-нейросети не имеют никакого отношения к интеллекту. Как и их счастливые обладатели. [Ответ][Цитата]
daner Сообщений: 4602	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 21:02 Цитата: Автор: NO. Это просто иллюстрация, что BP-нейросети не имеют никакого отношения к интеллекту. Как и их счастливые обладатели. IMHO, не удачная иллюстрация. [Ответ][Цитата]
NO. Сообщений: 10700	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 21:26 Цитата: Автор: daner IMHO, не удачная иллюстрация. А все равно ничего не помогает. Нейросети лечит только время. Я сколько раз это видел, эти сети ловят и держат очень надежно. Как в конечном автомате, есть какие-то состояния откуда выход только в нейросети, а оттуда выход только по очень большому и ужасному входящему коду, который отфильтровывается, а маленькие все учтены и снова ведут в нейросеть. Система нейросетевик+нейросеть это автомат, тут даже психиатру нечего делать. [Ответ][Цитата]
NO. Сообщений: 10700	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 21:42 Кстати идея, что нейросети это интеллектуально - тоже гипотеза. Человек в нее верит, и как в любой религии аргументы тут бесполезны. Если у него сложности с тем чтобы ее проверить, это надолго или даже навсегда. [Ответ][Цитата]
Андрей Сообщений: 3943	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 22:08 Цитата: Автор: NO. А если люди например проводят испытания нового самолета, он на заводе возник совсем не случайно, а после очень трудоемкого проектирования и производства Всё верно. Сам самолёт - это гипотеза, именно поэтому проводят его испытания, проверку практикой на соответствие ожиданию. А вот технологический процесс его производства - это никакая не гипотеза - это чистое знание, точное, однозначное и ограничивающее. Я уже приводил пример с завязыванием шнурков. Шевелить пальцами ребёнок умеет - это его знание, алфавит действий (в прошлом - тоже гипотезы), из которых могут собираться разные случайные гипотезы. Но только некоторые из них приводят к тому, что ребёнок ожидает - узел и бантик. Именно поэтому обучение требует время (на перебор и отсев гипотез), именно поэтому шнурки люди завязывают по разному. [Ответ][Цитата]
NO. Сообщений: 10700	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 22:44 Когда ребенок случайно путает шнурки - это интеллект? [Ответ][Цитата]
Андрей Сообщений: 3943	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 11 июл 09 23:01 Вопрос неоднозначен. Что значит "путает"? И в каком контексте. [Ответ][Цитата]
кирилл Сообщений: 3	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 13 июл 09 20:45 Не знаю как потереть оффтоп. Цитата: названный stochastic diagonal Levenberg-Marquardt от ЛеКуна Автор предлагает использовать вместо метода сопряженных градиентов метод Ньютона: исходное: новое: Затем меняет : и получает исходный метод с адаптивным параметром Это здорово, потому что на каждом шаге ищем касательные, но вот здесь, например http://carbon.videolectures.net/2007/pascal/eml07_whistler/lecun_yann/eml07_lecun_wia_01.pdf пишут что метод не применим для большого количества слоев. Что вполне ясно, поскольку описанное в первом посте и имеющее вид где остается тем же и на 100-ом слое будет порядка 0.2^100 в лучшем случае. То есть да, stochastic diagonal Levenberg-Marquardt будет давать результат но только на несколько слоев. Так что пока не тороплюсь с нововведением, потому что считать трудоемкая задача, многое прийдется перелопатить заново. Вместо того чтобы писать на C++ с классами пишу на C и теперь имею с этого проблемы. По результатам тестов в программе, домножение на некоторый коэфициент (пробовал от 3 до 20 при 10 слоях) дает желаемый результат только на несколько обучений. Желаемый результат - чтобы все слои обучались равномерно. Возможно коэфициент надо подбирать на каждом шаге. Дело пока потихоньку движется. [Ответ][Цитата]
NO. Сообщений: 10700	На: Проблема угасания ошибки в алгоритме обратного распространен Добавлено: 13 июл 09 21:31 Может быть данные такие, что одним слоем хорошо моделируются? Если данные простые и сеть уже хорошо обучилась, тогда ошибка должна угасать. А одинаково проученные слои будут выполнять просто перекодировку/перестановку, то есть там только одна связь с 1 остальные 0. Для самых шифрованных данных число нейронов в некотором слое дожно быть 2^число-в-предыдущем. Если у тебя меньше то будет потеря информации, нужны поправки к нормировке. [Ответ][Цитата]
Стр.4 (5): 1  2  3  [4]  5 << < Пред. | След. > >>