Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.1 (1)     Поиск:
Автор	Тема: На что влияет длина скрытого слоя нейронной сети?
hre_off Сообщений: 8	На что влияет длина скрытого слоя нейронной сети? Добавлено: 13 дек 06 17:42 Здравствуйте. Вот я разобрался немного в нейронных сетях. Постороил небольшой модуль. Сделал на нем сеть из трех слоев: в 5, 4 и 2 нейрона. Обучил, стал немного изменять входные данные - немного стали изменяться результаты. Вроде все в порядке. Но вот сделал я промежуточный слой больше (100 нейронов), и получилось, что выходные результаты все стали равными 1. В чем дело, не подскажите? Может я допускаю какую-то распространенную ошибку? [Ответ][Цитата]
zivago Сообщений: 14	На: На что влияет длина скрытого слоя нейронной сети? Добавлено: 14 апр 07 11:02 Как известно, нейронная сеть сходится при обучении к локальному решению. На результат схождения к этому решению влияет как и количество элементов в обучающей выборке, так и количество нейроннов в скрытом слое. А зависимость в общем следующая: 1. Чем больше количество элементов в обучающей выборке, тем точнее НС будет сходиться к локальному решению. 2. Чем больше нейронов в скрытом слое, тем меньше будет общая ошибка сети на обучающей выборке, но это не всегда приводит к правильному решению на остальных значениях не из обучающей выборки. В общем в этом и заключается проблема программиста, то есть неким образом он должен угадать то кличество нейронов, которое должно быть в сети. [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: На что влияет длина скрытого слоя нейронной сети? Добавлено: 16 апр 07 10:01 Цитата: Автор: hre_off Но вот сделал я промежуточный слой больше (100 нейронов), и получилось, что выходные результаты все стали равными 1. В чем дело, не подскажите? Может я допускаю какую-то распространенную ошибку? Либо всё-таки баг в программе, либо банальное насыщение нейронов выходного слоя. Веса синапсов при инициализации сетки сделайте на порядок-два поменьше и посмотрите. По опыту, даже самый примитивный алгоритм обучения обычно должен вывести инициализированную таким образом нейросеть из насыщения. Для облегчения себе жизни в будущем (для ликвидации и других проблем при обучении нейросети) можно внимательно просмотреть код программы и увеличить точность для переменных, значение которых рассчитывается с использованием циклов (например, суммирование с накоплением - суммирование нескольких величин), например, изменить тип таких переменных с float на double. ----------------------------------------------------------- нейронные сети, анализ данных, прогнозирование [Ответ][Цитата]
aleph - ХЛО Сообщений: 1391	На: На что влияет длина скрытого слоя нейронной сети? Добавлено: 23 янв 15 2:03 Цитата: Автор: Victor G. Tsaregorodtsev Либо всё-таки баг в программе, либо банальное насыщение нейронов выходного слоя. Веса синапсов при инициализации сетки сделайте на порядок-два поменьше и посмотрите. По опыту, даже самый примитивный алгоритм обучения обычно должен вывести инициализированную таким образом нейросеть из насыщения. Для облегчения себе жизни в будущем (для ликвидации и других проблем при обучении нейросети) можно внимательно просмотреть код программы и увеличить точность для переменных, значение которых рассчитывается с использованием циклов (например, суммирование с накоплением - суммирование нескольких величин), например, изменить тип таких переменных с float на double. ----------------------------------------------------------- нейронные сети, анализ данных, прогнозирование А я вам говорю, что Как известно, нейронная сеть сходится при обучении к локальному решению. На результат схождения к этому решению влияет как и количество элементов в обучающей выборке, так и количество нейроннов в скрытом слое. А зависимость в общем следующая: 1. Чем больше количество элементов в обучающей выборке, тем точнее НС будет сходиться к локальному решению. 2. Чем больше нейронов в скрытом слое, тем меньше будет общая ошибка сети на обучающей выборке, но это не всегда приводит к правильному решению на остальных значениях не из обучающей выборки. В общем в этом и заключается проблема программиста, то есть неким образом он должен угадать то кличество нейронов, которое должно быть в сети. [Ответ][Цитата]
Калитеран Сообщений: 585	На: На что влияет длина скрытого слоя нейронной сети? Добавлено: 23 янв 15 2:54 Зачем гадать, архитектуру нейросети можно адаптивно искать стохастическим поиском типа «отжига» и тп. как обычное семплирование векторных пространств, делая много прогонов до минимальных сходимостей, варьируя размером слоёв и даже их количеством, уплотняясь в областях с меньшей ошибкой. Начиная с минимальных конфигураций жадно наращивая и оценивая каждый сетап по ~10-30 прогонам. Нейросеть(персептрон) с заданной архитектурой наугад, даже проф. кодером, это как отдельный отчет вместо датасета. А вообще я уже высказывался по поводу персептроноподобных нейросетей, практически из них сложно получить результат превосходящий даже те же случайные леса. Просто природе так проще было потому они обладают ореолом мистической связи с «разумом», на деле же такой себе аппроксиматор… [Ответ][Цитата]
aleph - ХЛО Сообщений: 1391	На: На что влияет длина скрытого слоя нейронной сети? Добавлено: 23 янв 15 2:58 Цитата: Автор: Калитеран Зачем гадать, архитектуру нейросети можно адаптивно искать стохастическим поиском типа «отжига» и тп. как обычное семплирование векторных пространств, делая много прогонов до минимальных сходимостей, варьируя размером слоёв и даже их количеством, уплотняясь в областях с меньшей ошибкой. Начиная с минимальных конфигураций жадно наращивая и оценивая каждый сетап по ~10-30 прогонам. Нейросеть(персептрон) с заданной архитектурой наугад, даже проф. кодером, это как отдельный отчет вместо датасета. А вообще я уже высказывался по поводу персептроноподобных нейросетей, практически из них сложно получить результат превосходящий даже те же случайные леса. Просто природе так проще было потому они обладают ореолом мистической связи с «разумом», на деле же такой себе аппроксиматор… Предыдущее сообщение было тестовым - копирование текста предыдущего участника. Тест возможности засирания форума со сложной чисткой. [Ответ][Цитата]
Калитеран Сообщений: 585	На: На что влияет длина скрытого слоя нейронной сети? Добавлено: 23 янв 15 3:37 Цитата: Автор: aleph - ХЛО Предыдущее сообщение было тестовым - копирование текста предыдущего участника. Тест возможности засирания форума со сложной чисткой. Ясно. Поражаюсь Вашему напору в этом вопросе. Ну то есть я сам далёк от морали и нравственности, если нужно потестить апликухи не людях, то конечно не раздумываю, что это может кому то помешать и тд. Наука есть наука))) как наставлял Лао: Земля и Небо смотрят на страданья безучастно. К гуманности Природа не склонна, И не пытается, в сочувствии к несчастным, Менять извечный ход вещей Она. Так и мудрец, законам следуя Природы, В гуманности не видит пользы для народа, Его естественную жизнь ценя. Всё так. Но если это тесты, а не какой то «зов патриота», тогда всё наоборот, тогда мракобесье. Так что ждём от Вас качественного засиральщика с отчетом о ноу-хау в этой области, мне бы лично это было бы интересно. [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: На что влияет длина скрытого слоя нейронной сети? Добавлено: 23 янв 15 4:38 Цитата: Автор: aleph - ХЛО В общем в этом и заключается проблема программиста, то есть неким образом он должен угадать то кличество нейронов, которое должно быть в сети. Ну, теории кривых обучения - уже как минимум 2 десятка лет, если брать работы Коринны Кортес с соавторами (в т.ч. и с Вапником) в начале 90х. А если считать от Ивахненко - то аж 40 лет как минимум. Так что никто ничего не угадывает - а перебирает варианты и ищет на них минимумы или выходы на экстремумы, или по результатам для двух-трёх размеров сети экстраполирует кривую на новые размеры по формулам от Кортес сотоварищи. Любой приличный нейрософт для конечного пользователя (например, нейромодуль в пакете Статистика) имеет автооптимизатор-автоподборщик оптимального размера сети. [Ответ][Цитата]
NO. Сообщений: 10700	На: На что влияет длина скрытого слоя нейронной сети? Добавлено: 23 янв 15 4:48 А сортировка нейронов или весов в какой-нибудь сети бывает? Обычное упорядочивание от большего к меньшему. [Ответ][Цитата]
гость 188.138.1.*	На: На что влияет длина скрытого слоя нейронной сети? Добавлено: 23 янв 15 5:20 Цитата: Автор: aleph - ХЛО Предыдущее сообщение было тестовым - копирование текста предыдущего участника. Тест возможности засирания форума со сложной чисткой. Задача быдла оправдаться... [Ответ][Цитата]
Стр.1 (1)