Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.1 (1)     Поиск:
Автор	Тема: выбор количества нейронов на скрытых слоях
Игорь Сообщений: 8	выбор количества нейронов на скрытых слоях Добавлено: 16 ноя 07 20:14 Господа, всем привет! Подскажите пожалуйста источники где освещается этот вопрос. Я понимаю, решение этого вопроса имеет экспериментальный характер, но может есть какие нибудь общие ориентиры? Заранее спасибо [Ответ][Цитата]
daner Сообщений: 4593	На: выбор количества нейронов на скрытых слоях Добавлено: 16 ноя 07 21:21 Где читать про это, не смогу подсказать, это скорее вопросы к В.Царегородцеву. Но лично я исхожу обычно из того, сколько битов информации нужно выучить. Есть хороший пример: изучение функции идентификации с помощью трехслойного перцептрона (7 входов,7 выходов). цифры кодируются так... 1 = 00000001 2 = 00000010 3 = 00000100 ...... 8 = 10000000 Нужно научиться получать на выходе точно тоже что подали на вход. f(1)=1, f(2)=2,...,f(8)=8. Спрашивается, сколько нужно внутренних нейронов. Оказывается нужно их 3. Т.е. столько, сколько необходимо что бы представить 7 в бинарном виде (111). даже веса синапсов довольно логично расставляются вот посмотрите на страницах 93-95. http://www.cs.cmu.edu/afs/cs.cmu.edu/project/theo-20/www/mlbook/ch4.pdf [Ответ][Цитата]
Игорь Сообщений: 8	На: выбор количества нейронов на скрытых слоях Добавлено: 16 ноя 07 21:44 daner, Благодарю. [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: выбор количества нейронов на скрытых слоях Добавлено: 17 ноя 07 14:38 Методом тыка... Обычно никому не нужно запоминание, а нужно обобщение (интер- и экстраполяционные способности нейросети) и снижение влияния шума в данных (в том числе и в выходных, прогнозируемых сетью переменных - регуляризация решения, например). Поэтому никакие оценки на базе числа входов, числа примеров и т.д. не помогают - они не рассчитаны на получение нужных эффектов, да и оценивают-то не размер сети, а скорее погоду на луне (продублировали, например, мы каждый обучающий пример или добавили кучу шумовых входов в сетку - оценки размера поменялись, а сложность задачи распознавания при этом реально никак не изменилась). ---------------------------------------------------------------- нейронные сети, анализ данных, прогнозирование [Ответ][Цитата]
daner Сообщений: 4593	На: выбор количества нейронов на скрытых слоях Добавлено: 17 ноя 07 15:12 ну я не сказал, что это точное вычисление. Это так -- эвристика для начального кол-ва. Кстати, это не имело отношение, ни к кол-ву входов, не к кол-ву примеров. Скорее к кол-ву битов для той информации, которую мы хотим что бы ИНС использовала. Это всего лишь эвристика, а не точное вычисление. Поэтому полностью согласен, что ... методом тыка. [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: выбор количества нейронов на скрытых слоях Добавлено: 18 ноя 07 14:38 Я для "общего случая" ответ писал, а там не эвристики, а формулы (выведенные из тех или иных предположений, но...малоадекватные реальному практическому смыслу применения нейронных сетей) Хотя... Есть полностью автоматические методы (так называемые конструктивные методы создания нейросеток, например, алгоритм каскадной корреляции Фальмана и иные варианты алгоритмов наращивания размера сетей), которые не требуют ничего вычислять-задавать. Но там часто получается квазиоптимальное решение по структуре и свойствам весов синапсов, и поэтому обобщающие способности сети часто бывают хуже. [Ответ][Цитата]
Эгг (остерегайтесь подделок, у меня > 5907 сообщений) Сообщений: 508	На: выбор количества нейронов на скрытых слоях Добавлено: 23 янв 15 22:55 Буду защищать наше ТЗ... конечно, это не ТЗ, особенно, если по ГОСТу смотреть... но бить-то будут не по госту... описание должно быть достаточным для того, чтобы начать думать и, возможно, что-то делать... этого описания достаточно... если в процессе работы возникнут вопросы, мы всегда можем обсудить их на этой или другой площадке... вот у нас с NO есть пара конструктивных идей: 1) считать длину слова и смотреть словарь 2) делать акцент на первой и последней букве... [Ответ][Цитата]
Стр.1 (1)