Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.1 (11) След. > >>    Поиск:
Автор	Тема: help!!!
гость 83.218.221.*	help!!! Добавлено: 19 янв 07 0:21 Привет всем!!! Ребята, помогите!!! Я студентка 5-го курса, специальность прикладная математика. Так получилось, что я решила писать дипломную работу по нейросетям. Только вот проблемка получилась... у меня в универе никто не занимается нейросетями, нам не дают даже элементарных понятий. Ну, и соответственно, я читаю вводные лекции по нейросетям своему науч. руководителю... И он мне задал один вопрос: в чем приемущество алгоритмов построенных на сетях по сравнению с другими известными алгоритмами, например, алгоритмами классификации или апроксимации функции? Мне нужны точные факты, может, сравнительный анализ. Может кто-нибудь подскажет, где я могу найти эту информацию,а? А еще нужны примеры (наглядные) из жизни. "Да по-больше",- так говорит мой руководитель... Большое человеческое спасибо!!!!!!!!!!!! [Ответ][Цитата]
daner Сообщений: 4593	На: help!!! Добавлено: 19 янв 07 3:49 Ну фактов, и большого кол-ва примеров, уж извините, не будет, мне и своего исследования хватает. Но, вот что в принципе я могу сказать (за точность не ручаюсь, так что проверяйте). 1) есть формальное доказательство того, что НС в 3 слоя с неограниченным кол-во нейронами во 2-ом слои, способна представить любую непрерывную функцию. (в роди какой-то японец в 92 доказал) 2) Не имеет предварительных сложностей перед обучением. ну типа таких как у SVM где нужно вначале найти функцию трансформации определенного вида (хотя если нашли, то НС будет уступать почти по всем параметрам, но найти сложно). 3) НС менее чувствительна к шумам. Скажем boosting и straping намного более чувствительны (но зато у них, в роди как, есть алгоритм схождения к глобальному оптимуму, а не как back.propag. только к локальному) 4) НС лучше обобщает, чем например C4.5 (DTree), но обучение заметно дольше. 5) больше подходит для supervision обучения, чем для "с усилением", так как схождение медленное. 6) НС не умеет "обьяснять" свои решения (как например C4.5). Кстати кроме обычных сетей есть сети Коханена и ассоциативные. они весьма отличаются, и обучение у них мгновенное (т.е. там в основе не градиентный спуск, а обычное вычисление по формулам). С помощью сетей Хопфильда, например, можно задачи решать (принцип условий очень похож на линейное программирование). Ах да, чуть не забыл. НС (обычные) позволяют сжимать данные (конечно с потерей). [Ответ][Цитата]
daner Сообщений: 4593	На: help!!! Добавлено: 19 янв 07 4:04 кстати, не очень правильное (ИМХО) решение, писать работу если науч.руководитель в этом ничего не смыслет. [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: help!!! Добавлено: 19 янв 07 9:26 >6) НС не умеет "обьяснять" свои решения (как например C4.5). Умеет Работы по переводу обученной нейросети на язык, например, продукционных правил логического вывода (чтобы представить "знания", которые нейросеть сформировала при обучении, в более стандартной для ИИ парадигме) начались лет 15 назад, есть и алгоритмы, и результаты. Я бы добавил (для сеток обратного распространения): 7) возможность использования ЛЮБОЙ НЕЛИНЕЙНОЙ ФУНКЦИИ НЕЙРОНОВ при сохранении универсальных способностей к аппроксимации любой непрерывной функции. Т.е. не обязательно должна быть именно сигмоида - можно брать любую нелинейность, удобную для конкретной задачи. 8) возможность использования ЛЮБОЙ (т.е. отличной от МНК - главное, чтобы была дифференцируемость) ФУНКЦИИ-КРИТЕРИЯ при обучении бэкпроп-сети. Т.е. достижение при обучении сразу нескольких критериев (при использовании их суммы значений как целевой функции) - без проблем. 9) можно решать задачу определения информативности входных сигналов прямо на самой сети сетевыми же алгоритмами - стандартные алгоритмы предсказания/классификации обычно требуют для этой задачи специальных отдельных алгоритмов. 10) возможность рещать прямые, обратные и смешанные задачи на одной и той же нейросетке И тоже поддерживаю предложение о смене либо руководителя (если хочется оставить нейросетки), либо темы диплома (если хочется оставить руководителя). ----------------------------------------------------------- www.neuropro.ru - нейросети, анализ данных, прогнозирование [Ответ][Цитата]
daner Сообщений: 4593	На: help!!! Добавлено: 19 янв 07 11:17 >Умеет Работы по переводу обученной нейросети на язык, >например, продукционных правил логического вывода (чтобы >представить "знания", которые нейросеть сформировала при >обучении, в более стандартной для ИИ парадигме) начались >лет 15 назад, есть и алгоритмы, и результаты. А подробней, где почитать об этом (ссылки или хотябы ключивые слова для поиска) есть? Вообще, мне этого очень не хватало в НС-ах. >10) возможность рещать прямые, обратные и смешанные задачи на одной и той же нейросетке простите за невежество, а что такое "прямые, обратные и смешанные задачи". [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: help!!! Добавлено: 19 янв 07 13:41 >А подробней, где почитать об этом (ссылки или хотябы ключивые слова для поиска) есть? Ключевики - NN плюс что-нибудь из knowledge extraction, knowledge refinement, knowledge reuse и т.д. Можно начать с работ Jude Shavlik (но у меня сейчас почему-то не открылась его страничка http://www.cs.wisc.edu/~shavlik/) и затем искать статьи, которые он с соавторами процитировал или которые цитируют уже его самого. У меня старый список статей (многие из которых в конце 90х годов были в инете) по этой теме лежит на не подключенном к компу старом винте на другом конце города, новые достижения в этой области не отслеживал. Может, и доберусь до этого винта после выходных. >простите за невежество, а что такое "прямые, обратные и смешанные задачи". Прямые - по независимым переменным (входам) прогнозируем зависимые (выходы). Обратная - когда для известных значений выходов надо найти (или уточнить) входы, эти самые выходы обеспечивающие. Пример тут: если НС ставит больному смертный диагноз, то надо найти, как надо изменить входы (естественно, часть из них - пол и возраст менять затруднительно), чтобы НС выдала благоприятный диагноз - и врач может действительно по найденным на нейромодели входам так назначить больному лечение, чтобы перевести его в это самое состояние (исключающее неблагоприятный диагноз). Смешанные - когда надо и входы, и выходы находить-уточнять. Пример - алгоритм clearning Андреаса Вайгенда с соавторами для одновременной с обучением "очистки" обучающей выборки от выбросов и искажений. Собственно без этих терминов примеры есть у меня на страничке www.neuropro.ru/sol4.shtml ----------------------------------------------------------- www.neuropro.ru - нейросети, анализ данных, прогнозирование [Ответ][Цитата]
daner Сообщений: 4593	На: help!!! Добавлено: 19 янв 07 13:59 Да, вы правы. мне как-то не приходилось сталкиваться с НС в области планирования - а "обратные" задачи в сущности задачи планирования, т.е. дана цель (например, положительный диагноз) и нужно найти, как ее добиться - но совершенно очевидно, что подобное в НС возможно и ЭТО ОЧЕНЬ ИНТЕРЕСНОЕ и важное качество НС. [Ответ][Цитата]
daner Сообщений: 4593	На: help!!! Добавлено: 19 янв 07 14:58 Я тут вот полазил в интернет и нашел несколько бесплатных статей на тему получения правил из НС. возможно кому-то тоже будет интересно. к сожлению все на английском. ---------------------------------------------------------------- * Extracting Tree-Structured Representations of Trained Networks (1996) - Mark W. Craven, Jude W. Shavlik http://citeseer.ist.psu.edu/rd/40765656%2C15978%2C1%2C0.25%2CDownload/http://citeseer.ist.psu.edu/cache/papers/cs/52/ftp:zSzzSzftp.cs.wisc.eduzSzmachine-learningzSzshavlik-groupzSzcraven.nips96.pdf/craven96extracting.pdf ---------------------------------------------------------------- * The Extraction of Refined Rules from Knowledge-Based Neural Networks (1993) - Geoffrey G. Towell, Jude W. Shavlik http://citeseer.ist.psu.edu/rd/15661736%2C358644%2C1%2C0.25%2CDownload/http://citeseer.ist.psu.edu/cache/papers/cs/13865/ftp:zSzzSzftp.cis.ohio-state.eduzSzpubzSzneuroprosezSztowell.interpretation.pdf/towell93extraction.pdf ---------------------------------------------------------------- * Understanding Neural Networks via Rule Extraction (1995) - Rudy Setiono, Huan Liu http://citeseer.ist.psu.edu/rd/54183850%2C299462%2C1%2C0.25%2CDownload/http://citeseer.ist.psu.edu/cache/papers/cs/14686/http:zSzzSzwww.comp.nus.edu.sgzSz%7EliuhzSzijcai95.pdf/setiono95understanding.pdf ---------------------------------------------------------------- * Symbolic Representation of Neural Networks (1996) - Rudy Setiono, Huan Liu http://citeseer.ist.psu.edu/rd/89093880%2C307874%2C1%2C0.25%2CDownload/http://citeseer.ist.psu.edu/cache/papers/cs/14686/http:zSzzSzwww.comp.nus.edu.sgzSz%7EliuhzSzsymbol.pdf/setiono96symbolic.pdf [Ответ][Цитата]
гость 89.138.141.*	На: help!!! Добавлено: 19 янв 07 19:41 (Дима) Все сказанное правильно, но надо также добавить с обратной стороны: У нейронных сетей, особенно их класической (backpropagation) версии есть многие серьезные ограничения и недостатки в практическом применении. - VC-dimension у большинства таких сетей ограничено и невелико, что в принципе не позволяет решать многие типы задач. - Хотя сети часто проигрывают таким алгоритмам как С4.5, это не всегда так и во многих видах задачь особенно дискретных С4.5 побеждает и с меньшим количеством примеров. - В последние 5 лет я видел очень мало примеров когда в классификации сети побеждают хорошо настроенный SVM. Т.е по моему для большинства практических задачь специально настроеный SVM "подходит" лучше а особенно его совмещение с т.н. спектральными методами. - Количество примеров необходимых для обучения сети возрастает экспоненциально с многими параметрами сети, что делает ее трудно употребимой для многих практических задачь - Практически все сети ищут локальное а не глобальное решение. Такие решения не подходят когда задача это глобальная оптимизация. По всем этим причинам где то с 95-97 года количество работ по сетям стало резко убывать и сейчас их довольно мало и используют их большей частью в очень специфических аппликациях. В то же время в последнее время возрастает интерес к не классическим сетям в когнитивной психологии и нейропсихологии т.к. они позволяют модулировать довольно точно многие аспекты настоящих нервных структур. [Ответ][Цитата]
гость 89.138.141.*	На: help!!! Добавлено: 19 янв 07 20:05 (Дима) Нашел: http://www.isqa.unomaha.edu/vanvliet/dss/dss-pdf/Chapt12.PDF Неплохая лекция на англ. объясняет основные преимущества (стр 11) и недостатки Две работы в которых сети побеждают: http://people.umass.edu/jiaw/jia/nnet%20final.pdf http://www.galaxy.gmu.edu/interface/I02/I2002Proceedings/NolanJames/NolanJames.pdf [Ответ][Цитата]
tac Сообщений: 2601	На: help!!! Добавлено: 08 май 09 15:20 Цитата: Автор: daner Я тут вот полазил в интернет и нашел несколько бесплатных статей на тему получения правил из НС. возможно кому-то тоже будет интересно. к сожлению все на английском. ---------------------------------------------------------------- * Extracting Tree-Structured Representations of Trained Networks (1996) - Mark W. Craven, Jude W. Shavlik http://citeseer.ist.psu.edu/rd/40765656%2C15978%2C1%2C0.25%2CDownload/http://citeseer.ist.psu.edu/cache/papers/cs/52/ftp:zSzzSzftp.cs.wisc.eduzSzmachine-learningzSzshavlik-groupzSzcraven.nips96.pdf/craven96extracting.pdf ---------------------------------------------------------------- * The Extraction of Refined Rules from Knowledge-Based Neural Networks (1993) - Geoffrey G. Towell, Jude W. Shavlik http://citeseer.ist.psu.edu/rd/15661736%2C358644%2C1%2C0.25%2CDownload/http://citeseer.ist.psu.edu/cache/papers/cs/13865/ftp:zSzzSzftp.cis.ohio-state.eduzSzpubzSzneuroprosezSztowell.interpretation.pdf/towell93extraction.pdf ---------------------------------------------------------------- * Understanding Neural Networks via Rule Extraction (1995) - Rudy Setiono, Huan Liu http://citeseer.ist.psu.edu/rd/54183850%2C299462%2C1%2C0.25%2CDownload/http://citeseer.ist.psu.edu/cache/papers/cs/14686/http:zSzzSzwww.comp.nus.edu.sgzSz%7EliuhzSzijcai95.pdf/setiono95understanding.pdf ---------------------------------------------------------------- * Symbolic Representation of Neural Networks (1996) - Rudy Setiono, Huan Liu http://citeseer.ist.psu.edu/rd/89093880%2C307874%2C1%2C0.25%2CDownload/http://citeseer.ist.psu.edu/cache/papers/cs/14686/http:zSzzSzwww.comp.nus.edu.sgzSz%7EliuhzSzsymbol.pdf/setiono96symbolic.pdf Надо же ... а меня профессор как раз попросил разобраться в этой области ... Что ж прейдется при всей моей "любви" к символизму зажать зубы и почитать Заодно формально показать недостатки применения здесь MLP&BP и невозможность трансляции полноценного языка нейросетей на примитивный язык правил в общем случае ... [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: help!!! Добавлено: 08 май 09 17:27 Цитата: Автор: tac Заодно формально показать недостатки применения здесь MLP&BP и невозможность трансляции полноценного языка нейросетей на примитивный язык правил в общем случае ... Указанные статьи - их и многие другие я и имел в виду 2 года назад. А насчет "полноценного языка нейросетей" - что имеется в виду? Я реально знаю только один - NSL от Визенфельда, Арбиба и Александер. И язык описания нейросеток на язык продукционных (или иных) правил оттранслировать можно, и обратно - тоже. Потому, что всё реализуется на одном и том же вычислительном формализме (машина Тьюринга и её эквиваленты) ----------------------------------------------------------- www.neuropro.ru - нейросети, анализ данных, прогнозирование [Ответ][Цитата]
tac Сообщений: 2601	На: help!!! Добавлено: 08 май 09 18:42 Цитата: Автор: Victor G. Tsaregorodtsev И язык описания нейросеток на язык продукционных (или иных) правил оттранслировать можно, и обратно - тоже. Потому, что всё реализуется на одном и том же вычислительном формализме (машина Тьюринга и её эквиваленты) Здесь давайте очень аккуратно - ассемблер нельзя переложить на язык продукционных правил - надеюсь это понятно ? Циклов и вызовов функций в продукционных правилах нет - так ведь ? Тогда о какой же эквивалентности мы говорим ? Так же там нет сложения, умножения, деления и прочего !? Максимум что туда вводят это сравнения =, >, < - и то в классическом варианте этого нету ... [Ответ][Цитата]
shuklin Сообщений: 2053	На: help!!! Добавлено: 08 май 09 19:00 Браво, итого доказали что ассемблер вообще невозможен, ведь его невозможно построить из логических элементов И-НЕ, там же нет циклов и даже деления [Ответ][Цитата]
tac Сообщений: 2601	На: help!!! Добавлено: 08 май 09 19:33 Цитата: Автор: shuklin Браво, итого доказали что ассемблер вообще невозможен, ведь его невозможно построить из логических элементов И-НЕ, там же нет циклов и даже деления А так мы пойдем на уровень схемотехники ... давайте ... ну тогда расскажите мне как реализуется "jmp 20" на логических элементах И-НЕ без стека команд и регистра процессора IP, а заодно когда захочется его ввести расскажите, что является аналогом в процедурных правилах ? Заодно попробуйте рассказать, что есть память в процедурных правилах - если ли она вообще .... Ну, и напоследок расскажите как процессор работает только на продукционных правилах - во я посмеюсь [Ответ][Цитата]
Стр.1 (11): [1]  2  3  4  5  ...  11 След. > >>