GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.244 (962)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Флудилка
rrr3
Сообщений: 11857
На: Флудилка
Добавлено: 13 май 16 3:34
Изменено: 13 май 16 3:36
Вариант совсем сжатого...

Обучение традиционных ИНС - подгонка за счет перебора/выбора исходных переменных и функций их преобразования под получение заданного значения другой переменной.
Где обученная ИНС - функция преобразования выбранных переменных в целевое значение другой исходно заданной переменной.
Ключевые слова: - перебор, заданное значение (цель).

???
[Ответ][Цитата]
гость
188.138.1.*
На: Флудилка
Добавлено: 13 май 16 3:57
Цитата:
Автор: rrr3

Сейчас мне хочется упростить все до предела. Довести до некоторой, пусть образной, аналогии сути ИНС, до примитивного, "школьного" уровня, но по возможности не выплескивая "ребенка".


Слышали выражение “свет в конце туннеля”? Это хорошая метафора для ИНС, градиентного и стохастического поиска, да и оптимизации вообще. Идти туда где вероятней всего будет то что нужно.
[Ответ][Цитата]
NO.
Сообщений: 10700
На: Флудилка
Добавлено: 13 май 16 4:10
Цитата:
Автор: гость
наверное можно думать, что проблематика ИНС не исчерпывается элементарными (и неадекватными) представлениями.

Помнится ещё Шуклин предлагал логические элементы вроде 2И-НЕ назвать нейронами. Тогда и Пентиум очень даже нейросеть.
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Флудилка
Добавлено: 13 май 16 4:21
Цитата:
Автор: гость
...
Слышали выражение “свет в конце туннеля”? Это хорошая метафора для ИНС, градиентного и стохастического поиска, да и оптимизации вообще. Идти туда где вероятней всего будет то что нужно.


Красиво.
("Цель", как что-то необходимое(!!!), управляющее, предзаданное в качестве ключевого момента для ИНС, я уже отметил. А ИНС наиболее..., "свободный" что-ли..., более подверженный желаниям и опыту, "интуиции" конкретного человека перебор, по сравнению с градиентным или стохастическим. Хотя это не совсем правильно, противопоставлять, т.к. в ИНС (сложно комбинированных) может быть и то и другое включено, как составная часть, на мой не просвещенный взгляд. Что же касаемо слова "оптимизация", мне оно не нравится в данном контексте.)
[Ответ][Цитата]
NO.
Сообщений: 10700
На: Флудилка
Добавлено: 13 май 16 4:24
В процессе обучения нейросети строится только функция. А "одни переменные" (видимо аргументы функции) - не перебираются. Там заданы пары (X,Y), обучение строит функцию F такую, что Y=F(X). Смысл в том, чтобы не писать её вручную. Функция задается коэффициентами, при обучении они плавно меняются, меняется и функция. Это происходит один раз на каждом одном обучающем примере. А перебор обычно понимают как множество проб чтобы удовлетворить одному условию. Функция в нейросети огромная, у нее такое количество вариантов, что ни о каком переборе не может быть речи.

Перебором можно назвать если например ходьба это перебор ногами. Мне кажется есть разница между перебиранием ногами и направленным перемещением.
[Ответ][Цитата]
гость
78.25.121.*
На: Флудилка
Добавлено: 13 май 16 4:36
чтобы сбить некоторых с неадекватных представлений может имеет смысл вспомнить, что нейросетки используются не только для распознавания образов, но и для решения задач управления (разных и по-разному). может имеет смысл вообще вспомнить об осцилляторных, скажем, сетях. Может для примера имеет смысл вспомнить хотя бы о том как непомнящих
иллюстрировал эвристическое поисковое пространственное поведение животных динамическим нейросетями.. вообще вспомнить про агентов с растущими и эволюционирующими сетками..
[Ответ][Цитата]
гость
188.138.1.*
На: Флудилка
Добавлено: 13 май 16 4:44
Цитата:
Автор: rrr3


Что же касаемо слова "оптимизация", мне оно не нравится в данном контексте.
В данном контексте это "поиск", градиентный поиск это по сути итеративно шагать в направлении "путеводной звезды", в ИНС мы уменьшаем ошибку на последнем слое и "расталкиваем" её по предыдущим слоям, на самом деле сущность этого процесса тривиальна, есть два вектора и управляющий сигнал обратнопропорциональный ошибке пришедшей от вышележащих слоёв, который “маскирует правильные вектора”, веса отдельного нейрона сходится примерно к среднему по этих “правильных векторов”.

Например, в одномерном случае, нужно научить нейрон что 1,2,3 – хорошо, а 4,5,6 – плохо, одиночный формальный нейрон, сможет научиться правильно отличать хорошее и плохое по правилу «что ближе к 2 – хорошо, что ближе к 5 - плохо» то есть граница хорошо\плохо будее в точке 3.5

Прочтите пожалуйсто внимательно http://robocraft.ru/blog/algorithm/560.html там понятно как раз даже ленивому школьнику как работает обратное распространение в ИНС, разжеванно до предела, потратьте пол часа и всё поймёте
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Флудилка
Добавлено: 13 май 16 4:55
Цитата:
Автор: NO.
В процессе обучения нейросети строится только функция. А "одни переменные" (видимо аргументы функции) - не перебираются. Там заданы пары (X,Y), обучение строит функцию F такую, что Y=F(X). Смысл в том, чтобы не писать её вручную. Функция задается коэффициентами, при обучении они плавно меняются, меняется и функция. Это происходит один раз на каждом одном обучающем примере. А перебор обычно понимают как множество проб чтобы удовлетворить одному условию. Функция в нейросети огромная, у нее такое количество вариантов, что ни о каком переборе не может быть речи.

Перебором можно назвать если например ходьба это перебор ногами. Мне кажется есть разница между перебиранием ногами и направленным перемещением.

(Выделено мной)

Изменение функций и коэффициентов, это и есть перебор (который кстати порой останавливают если и когда считается, что есть опасность "переобученности" для некоторых ИНС, или изменяют "направление", если результаты пошли в другу сторону... ). Да и Х, как правило подвержен подвержен перебору в том смысле, что вместо Х из исходных "данных" может быть включен в "оборот" Z или что-то иное, лишь бы Y получился. И это важно, ну... конечно же на мой не просвещенный взгляд не математика...

А направленное перемещение как направленный перебор Вас не устраивает?
Ну... нет так нет, пусть будет не перебор, а перемещение...

Для меня в данный момент важно, что направление задается человеком, а если оно дает не желаемые направление приближения результата, им же и меняется.

Ну да ладно, я вижу спор пошел не о сути а форме. Спорить не хочу.
[Ответ][Цитата]
NO.
Сообщений: 10700
На: Флудилка
Добавлено: 13 май 16 4:59
тут у некоторых тумблер приржавел в положении write-only
[Ответ][Цитата]
NO.
Сообщений: 10700
На: Флудилка
Добавлено: 13 май 16 5:07
Изменено: 13 май 16 5:08
"направленный перебор" это градиентный спуск. А словом перебор пользуются как раз когда без разницы в каком порядке пробовать варианты, есть такие задачи где градиента нет. Если направление есть то это уже не перебор, а оптимизация.
И это не переобученность, а просто разные вещи называются разными словами. Разные уровни абстрактности одной вещи считаются разными вещами. Математики такое хорошо различают, и попадают в точку с первого раза. А в описательных науках что-какое, там будут долго приближаться и так и не попадут в цель. Потому, что нет такого слова в их лексиконе.
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Флудилка
Добавлено: 13 май 16 5:07
Цитата:
Автор: гость

В данном контексте это "поиск", градиентный поиск это по сути итеративно шагать в направлении "путеводной звезды", в ИНС мы уменьшаем ошибку на последнем слое и "расталкиваем" её по предыдущим слоям, на самом деле сущность этого процесса тривиальна, есть два вектора и управляющий сигнал обратнопропорциональный ошибке пришедшей от вышележащих слоёв, который “маскирует правильные вектора”, веса отдельного нейрона сходится примерно к среднему по этих “правильных векторов”.

Например, в одномерном случае, нужно научить нейрон что 1,2,3 – хорошо, а 4,5,6 – плохо, одиночный формальный нейрон, сможет научиться правильно отличать хорошее и плохое по правилу «что ближе к 2 – хорошо, что ближе к 5 - плохо» то есть граница хорошо\плохо будее в точке 3.5

Прочтите пожалуйсто внимательно http://robocraft.ru/blog/algorithm/560.html там понятно как раз даже ленивому школьнику как работает обратное распространение в ИНС, разжеванно до предела, потратьте пол часа и всё поймёте

Спасибо за желание мне помочь.
Но в данный момент меня не интересуют конкретные алгоритмы/функции по изменению (подбору-перебору) функций нейросетки до получения состояния ("конечной" функции) обученности, в том числе алгоритм обратного распространения ошибки.
То что меня интересует, я возможно уже получил вот в таком виде.
http://www.gotai.net/forum/default.aspx?postid=168658#168658

Пока точно не уверен (не осознал, не промыслил еще как следует до "конца")
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Флудилка
Добавлено: 13 май 16 5:22
Изменено: 13 май 16 5:34
Цитата:
Автор: NO.
тут у некоторых тумблер приржавел в положении write-only

Возможно.
Возможно, что я просто Вас не понимаю (или Вы меня ). Тем боле мы с Вами из очень разных областей и часто словоприменение в разных областях несколько отличается. Но я пытаюсь говорить на Вашем языке, на сколько могу конечно, и пытаюсь корректировать свои слова. Вы же заставляете именно меня подстраиваться под привычные Вам термины, игра как бы в одни ворота. Ну да ладно, мелочи.

Но мне казалось, что ИНС, это не обязательно когда то или иное "направление" (градиентный спуск) гарантированно себя оправдает, приходится и перебирать сами направления, если первичные предположения оказались ошибочными или заранее понятно, что градиентный спуск не возможен (или еще не выявлен) и сами типы ИНС и т.д. и т.п. А потому слово оптимизация на котором Вы настаиваете мне не нравится, т.к. затушевывает значимые в данном контексте ситуации.

p.s. Видимо в лексиконе прикладных математиков перебор, это тогда и только тогда, когда нет определенного направления, определенной последовательности перебора. Образно говоря когда перебор только случайный, в случайной последовательности. Некое заужение возможных значений, на мой не просвещенный взгляд, но им виднее...
А слово оптимизация применяют потому, что есть какая-то цель, а раз есть цель, то ее достижение и есть оптимизация, а не поиск..., хоть и перебором (извините, перемещением), а направление перебора задается человеком, а откуда он его берет (да и сама цель уже готовая, не надо ее выдумывать...), выносится за скобки и не рассматривается... в итоге получаем оптимизация.... куда ни глянь...
[Ответ][Цитата]
гость
188.138.1.*
На: Флудилка
Добавлено: 13 май 16 5:30
Цитата:
Автор: rrr3


Спасибо за желание мне помочь.
Но в данный момент меня не интересуют конкретные алгоритмы/функции по изменению (подбору-перебору) функций нейросетки до получения состояния ("конечной" функции) обученности, в том числе алгоритм обратного распространения ошибки.
То что меня интересует, я возможно уже получил вот в таком виде.
http://www.gotai.net/forum/default.aspx?postid=168658#168658

Пока точно не уверен (не осознал, не промыслил еще как следует до "конца")
Конкретные алгоритмы можно и не запоминать, но важно понять сам принцип оптимизации(поиска), который заключается в том что бы двигаться в направлении “успеха”(функционала качества\потери). Это не корректно называть “перебором” который как верно сказал выше NO не зависит от последовательности перебираемых элементов. Если нет способа понять как ограничить перебор то конечно только он и остаётся, но когда появляются первый “зацепки” то идём по их следам.

Ваш НК тоже оптимизационный по сути, перебор заканчивается когда появляются какая либо информация о "приближении" к решению проблемы
[Ответ][Цитата]
гость
188.138.1.*
На: Флудилка
+1
Добавлено: 13 май 16 5:38
Цитата:
Автор: rrr3

Но мне казалось, что ИНС, это не обязательно когда то или иное "направление" (градиентный спуск) гарантированно себя оправдает, приходится и перебирать сами направления, если первичные предположения оказались ошибочными или заранее понятно, что градиентный спуск не возможен (или еще не выявлен) и сами типы ИНС и т.д. и т.п. А потому слово оптимизация на котором Вы настаиваете мне не нравится, т.к. затушевывает значимые в данном контексте ситуации.
Конечно, градиентный спуск универсален, можно его делать в пространстве моделей и в пространстве моделей моделей и тп. Важно понять что если Вы применяете оценку того на сколько Вы близки к искомому состоянию то вы применяете градиентный спуск. В случае перебора Вы сравниваете только на предмет тождественности (a==b)?
[Ответ][Цитата]
Игорь Вишня
Сообщений: 318
На: Флудилка
Добавлено: 13 май 16 5:38
Изменено: 13 май 16 5:40
Я думаю, что под "перебором" rrr3 имеет ввиду сам процесс обучения сети, без которого она не сможет работать в качестве функции. )))

З.Ы. Хорошо, что на готайке начали заниматься обучением. Здесь rrr3 учат, в соседней ветке Lu-Lu. Никогда не поздно начать учиться.
[Ответ][Цитата]
 Стр.244 (962)1  ...  240  241  242  243  [244]  245  246  247  248  ...  962<< < Пред. | След. > >>