GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (1)   Поиск:  
 Автор Тема: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
iГость
Сообщений: 88
Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 28 мар 18 14:58
Ну или форум подсказать, где это спросить можно.
Вопрос такой:
скажем есть, ну совсем другая функция активации, скажем f(х) = х^2
я говорю, что она будет работать при значении 25
т.е. функция ошибки будет E = 25-x^2

по какой причине в точке х=5 функции, скорость изменения функции будет нулевая?
или даже так, почему считается, что при стремлении ошибки к нулю, скорость изменения функции тоже должна стремиться к нулю, ну т.е. почему вообще используется принцип градиентного спуска?
[Ответ][Цитата]
гость
185.220.101.*
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 28 мар 18 15:22
Цитата:
Автор: iГость

Ну или форум подсказать, где это спросить можно.
Вопрос такой:
скажем есть, ну совсем другая функция активации, скажем f(х) = х^2
я говорю, что она будет работать при значении 25
т.е. функция ошибки будет E = 25-x^2

по какой причине в точке х=5 функции, скорость изменения функции будет нулевая?
или даже так, почему считается, что при стремлении ошибки к нулю, скорость изменения функции тоже должна стремиться к нулю, ну т.е. почему вообще используется принцип градиентного спуска?
x^2 производная 2x, градиентный спуск это самый "естественный" способ поиска, так делают даже бактерии, сравнивают разницу между показаниями близкорасположенных рецепторов(нпример химических) определяют направления роста и туда двигаются, но есть проблемы в локальных эксремумах.
[Ответ][Цитата]
iГость
Сообщений: 88
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 28 мар 18 15:36
по идее спуск должен быть туда где E будет равняться 0 или стремиться к 0, т.е. там где ошибка Е будет минимальной, ну насколько я понял.
если у нас E = 25-x^2, то минимальное значение ошибка будет принимать при х = 5, а производная -2х принимает нулевое значение при х = 0, что собственно, как-то не правильно в данном конкретном случае.

ну т.е. по идее производная это отражение того, что скорость изменения функции равно 0, что в нашем случае не ведет к уменьшению ошибки, ну вообще никак?
[Ответ][Цитата]
гость
185.220.101.*
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 28 мар 18 15:43
Цитата:
Автор: iГость

по идее спуск должен быть туда где E будет равняться 0 или стремиться к 0, т.е. там где ошибка Е будет минимальной, ну насколько я понял.
если у нас E = 25-x^2, то минимальное значение ошибка будет принимать при х = 5, а производная -2х принимает нулевое значение при х = 0, что собственно, как-то не правильно в данном конкретном случае.

ну т.е. по идее производная это отражение того, что скорость изменения функции равно 0, что в нашем случае не ведет к уменьшению ошибки, ну вообще никак?
ошибка в нейросети это и есть производная, часть производной сложной функции которая распространятся "вниз" ко входу,потом она домножается на производную функции активации, очевидно если ошибка 0 то веса не изменятся так как W = W + k*Eror*dAct но это всё идет для каждого сэмпла или бачей которые зашумленны
[Ответ][Цитата]
iГость
Сообщений: 88
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 28 мар 18 15:48
Изменено: 28 мар 18 16:24
сам принцип понятен, я не понимаю, почему при стремлении производной к 0, ошибка уменьшается, ну т.е. почему в месте минимальной скорости изменения функции ошибки, ошибка уменьшается? Почему ошибка не может стремиться к 0 в месте где скорость функции большая?

...возможно я понял, у меня учитывается ошибка, как такова, а в примерах берется среднеквадратичная ошибка, что явно другой смысл несет.
[Ответ][Цитата]
NO.
Сообщений: 10700
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 28 мар 18 17:12
Изменено: 28 мар 18 17:15
25-x^2 имеет максимум, а не минимум, у этой параболы ветви растут вниз бесконечно. В точке x=5 значение не минимальное, в x=6 и далее оно ещё меньше.
Когда в какой-то точке производная не нулевая, значит это ещё не минимум, функция в этой точке либо растет либо уменьшается. График в этой точке имеет наклон и если нужен минимум нужно двигаться дальше. В экстремуме наклона нет, там ровное дно.
Если производная 0 тоже не всегда значит, что попали в минимум, это может быть точка перегиба. То есть в экструмуме действительно f'=0, если он существует то его можно по этому признаку искать. Но в обратную сторону не верно, если f'=0 то это ещё не значит, что попали в минимум. Например x^3 тоже имеет производную 0 в 0, но минимума там нет, это только минимум первой производной, а не функции.
[Ответ][Цитата]
Михайло
Сообщений: 2366
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 28 мар 18 20:51
Что такое градиентный спуск? Это поиск минимума суммы квадратов ошибок многомерной величины (вектора). Ни о какой функции активации речи не идёт, есть только сумма квадратов ошибок (среднеквадратичная ошибка). Поэтому у тебя с потолка взятая некая парабола не вяжется с пониманием...
Понятнее было бы рассмотреть один компонент суммы (25-x)^2 или |25-x|.
[Ответ][Цитата]
гость
176.31.180.*
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 30 мар 18 7:57
В MLP разбирается Виктор Генадиевич Царегордцев, но не бесплатно, напишите пожалуйста на http://www.neuropro.ru/ и если готовы оплатить время проффесионала по рэйтам вузовских проподов Красноярска(5$ в час) можите расчитывать на консультацию Виктора Генадиевича
[Ответ][Цитата]
iГость
Сообщений: 88
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 16 апр 18 14:55
Изменено: 16 апр 18 14:56
Градиентный спуск, по идее это поиск градиента, т.е. вектора указывающий направление изменения скорости функции, относительно аргументов, т.е. поиск производных, по каждому аргументу и определение направления куда двигаться, что бы найти минимум функции.

Насколько я понял, в чем моя ошибка, что моя функция f(х) не обладает минимумом в точке, где ошибка была бы равна 0, т.е. E = 25-x^2 в точке 5, тупо срывается дальше вниз и понять, что в этой точке нужно остановиться невозможно. По сути должна быть функция у которой в точке где ошибка равна 0 должен быть минимум, а минимум это по идее там где скорость изменения функции стремиться к 0, т.е. производная равна 0 и для нейронных сетей и была выбрана функция ошибки E=(a-f(х))^2, что она в точке минимума имеет значение производной равной 0, я правильно размышляю или опять чего-то не понял?
[Ответ][Цитата]
NO.
Сообщений: 10700
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 16 апр 18 16:00
правильно
[Ответ][Цитата]
Михайло
Сообщений: 2366
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 16 апр 18 16:06
Ну конечно же всё правильно понял. Нужно минимизировать сумму квадратов ошибок (МНК, метод наименьших квадратов) или как вариант сумму модулей ошибок (этот метод может выдать некоторые дополнительные плюшки, но все равно применяется не так часто).
[Ответ][Цитата]
iГость
Сообщений: 88
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 16 апр 18 16:19
Изменено: 16 апр 18 16:20
Давайте без флуда, я не математик.
[Ответ][Цитата]
гость
176.126.252.*
На: Кто-нибудь разбирается в нейронных сетях (персептронах), может объяснить банальную вещь?
Добавлено: 16 апр 18 16:20
Цитата:
Автор: iГость
Давайте без флуда
так стирайте всё что не нравится, к чему наставления?
[Ответ][Цитата]
 Стр.1 (1)