GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (6)След. > >>   Поиск:  
 Автор Тема: Многослойный перцептрон(MLP) в мировоззренческом контексте
Савелий Дежурный
Сообщений: 29
Многослойный перцептрон(MLP) в мировоззренческом контексте
+1
Добавлено: 16 апр 18 5:16
Многие говорят о сознании и интеллекте, модель сознания это нейросеть, а именно многослойный персептрон(MLP), с обратным распространением ошибки, соответственно изучая MLP мы мы можем открыть загадку сознания, которая мучила людей тысячелетиями.

Предлагаю высказаться по сабжу. флуд будет чиститься
[Ответ][Цитата]
NO.
Сообщений: 10700
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 5:58
Так сделайте MLP и пользуйтесь.
[Ответ][Цитата]
Михайло
Сообщений: 2366
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 6:01
Забавно, но в МЛП нет никаких особых секретов.
[Ответ][Цитата]
гость
5.189.188.*
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 6:38
Цитата:
Автор: Михайло
Забавно, но в МЛП нет никаких особых секретов.
А Вы что написали MLP? Где можно посмотреть Ваш код?
[Ответ][Цитата]
Кусаюсь
Сообщений: 974
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 7:51
Цитата:
Автор: Савелий Дежурный

Многие говорят о сознании и интеллекте, модель сознания это нейросеть, а именно многослойный персептрон(MLP), с обратным распространением ошибки, соответственно изучая MLP мы мы можем открыть загадку сознания, которая мучила людей тысячелетиями.

Предлагаю высказаться по сабжу. флуд будет чиститься

Перцептроны и прочее никакого отношения к биологическим нейронам не имеют. От слов совсем.
[Ответ][Цитата]
Данила Зайцев
Сообщений: 156
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 8:02
Изменено: 16 апр 18 8:03
Цитата:
Автор: Кусаюсь
Перцептроны и прочее никакого отношения к биологическим нейронам не имеют. От слов совсем.
Вы что тоже "креоционист"? Формальный нейрон и MLP имеют ПРЯМОЕ ОТНОШЕНИЕ к биологическим нейронам, которые являются взвешенными сумматорами и обучаются правилом Хебба. MLP намного эффективнее биологических аналогов как самолет эффективнее птицы, хотя между ними и есть различия, но сущность полета реализована эффективно.
[Ответ][Цитата]
Кусаюсь
Сообщений: 974
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 8:20
Цитата:
Автор: Данила Зайцев

Вы что тоже "креоционист"? Формальный нейрон и MLP имеют ПРЯМОЕ ОТНОШЕНИЕ к биологическим нейронам, которые являются взвешенными сумматорами и обучаются правилом Хебба. MLP намного эффективнее биологических аналогов как самолет эффективнее птицы, хотя между ними и есть различия, но сущность полета реализована эффективно.

Ага. По представлениям 50х годов. С тех пор в нейробиологии многое изменилось. Только за последний год было два исследования сильно меняющих картину. Например что нейрон имеет несколько порогов срабатывания в зависимости от ситуации.
[Ответ][Цитата]
Михайло
Сообщений: 2366
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
+1
Добавлено: 16 апр 18 8:39
Цитата:
Автор: Кусаюсь

нейрон имеет несколько порогов срабатывания в зависимости от ситуации.

В зависимости от какой ситуации? В зависимости от весов w, от признаков объектов x или от состояния скрытых слоёв? А может другой нейрон выстраивает порог? Или у нейрона есть глаза, которыми он иногда оценивает "ситуацию" и потом подстраивает порог? Что там за внешние или внутренние обратные связи нашлись? Вы думаете таких искусственных нейронных сетей не существует?
А вы в курсе вообще, что изменение порога эквивалентно общему пропорциональному увеличению всех весов или их понижению? то есть по сути регулирование порога - это суть та же, что и регулирование весов.

Вот так вот, приехали и уехали.
[Ответ][Цитата]
Данила Зайцев
Сообщений: 156
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 9:25
Цитата:
Автор: Кусаюсь
Ага. По представлениям 50х годов. С тех пор в нейробиологии многое изменилось. Только за последний год было два исследования сильно меняющих картину. Например что нейрон имеет несколько порогов срабатывания в зависимости от ситуации.
Да Вы что??? Ещё нейрон "устаёт" он же живой... Кроме того сигнал кодируется частотой, деполяризация происходит серией импульсов, которая в некотором смысле несет "аналоговый сигнал", есть много "отличий", но это не даёт никаких мистических дополнений к простой классификации\регрессии, скорей наоборот, "так сделано" не потому что только так получится "сознание", а тупо потому что эволюционно, таким способом получилось реализовать классификатор, а MLP тоже самое но без всех этих костылей и недостатков.
[Ответ][Цитата]
Кусаюсь
Сообщений: 974
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 9:35
Цитата:
Автор: Михайло


В зависимости от какой ситуации? В зависимости от весов w, от признаков объектов x или от состояния скрытых слоёв? А может другой нейрон выстраивает порог? Или у нейрона есть глаза, которыми он иногда оценивает "ситуацию" и потом подстраивает порог? Что там за внешние или внутренние обратные связи нашлись? Вы думаете таких искусственных нейронных сетей не существует?
А вы в курсе вообще, что изменение порога эквивалентно общему пропорциональному увеличению всех весов или их понижению? то есть по сути регулирование порога - это суть та же, что и регулирование весов.

Вот так вот, приехали и уехали.


Не угадали. Суть в том что представления о биологическим нейроне с 50х годов несколько раз сильно менялись. Что не скажешь про самовыдуманные нейроны.
[Ответ][Цитата]
Кусаюсь
Сообщений: 974
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 9:39
Цитата:
Автор: Данила Зайцев

Да Вы что??? Ещё нейрон "устаёт" он же живой... Кроме того сигнал кодируется частотой, деполяризация происходит серией импульсов, которая в некотором смысле несет "аналоговый сигнал", есть много "отличий", но это не даёт никаких мистических дополнений к простой классификации\регрессии, скорей наоборот, "так сделано" не потому что только так получится "сознание", а тупо потому что эволюционно, таким способом получилось реализовать классификатор, а MLP тоже самое но без всех этих костылей и недостатков.


То что вы называете нейроном не более чем фальклерное представление теоремы Вейерштрасса на тему биологии. И как не фантазируй Михайло и вы любой выход за пределы ограничений Вейерштрасса-Стоуна не более чем игра в рулетку.
[Ответ][Цитата]
Михайло
Сообщений: 2366
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 9:41
Принцип работы MLP
Для начала нужно изучить отдельные теоретические сведения.

1. Уравнение гиперплоскости n-ной размерности w1*x1 + w2*x2 + ... + wn*xn + w0 = 0. Частный случай n=2, гиперплоскость вырождается в прямую на плоскости w1*x1 + w2*x2 + w0 = 0. При n=3 гиперплоскость представляет собой просто плоскость в трёхмерном пространстве w1*x1 + w2*x2 + w3*x3 + w0 = 0.

2. Если вместо равенства взять неравенство вида w1*x1 + w2*x2 + ... + wn*xn + w0 > 0, то все точки пространства поделятся на два типа:
а) точки, которые лежат с условно положительной стороны гиперплоскости (удовлетворяют неравенству)
б) точки, которые лежат с условно отрицательной стороны гиперплоскости или находятся на ней (не удовлетворяют неравенству)
То есть гиперплоскость делит n-мерное пространство точек на две части.

3. Вместо рассмотрения неравенства можно использовать функцию sign() или её нечёткие аналоги типа тангенсоиды или сигмоиды:
y = sign(w1*x1 + w2*x2 + ... + wn*xn + w0)
Если y = 1, то точка находится с одной стороны гиперплоскости.
Если y = -1, то точка находится с другой стороны гиперплоскости.
Если y = 0, то точка находится прямо на гиперплоскости.

4. С геометрической интерпретацией модели нейрона закончили, это довольно общеизвестный факт. Сейчас рассмотрим логическую интерпретацию модели нейрона. Докажем, что нейрон может принимать форму одного из самых простых базисов логических функций AND, OR, NOT.
Примем положительные (более +1) значения входов x и выходов y нейрона за логическую единицу, отрицательные и нулевые - за логический нуль.
y = sign(w1*x1 + w2*x2 + ... + wn*xn + w0)
Подберём такие веса, чтобы соблюдалось соотношение w1 = w2 = ... = wn = -0,9*w0 > 0.
В этом случае функция y = sign(...) будет напоминать логическую функцию OR. Если хотя бы один входов xi равен единице, то y = 1. Если все xi = 0, то y = 0.

5. Подберём такие веса, чтобы соблюдалось соотношение w1 = w2 = ... = wn = -n*w0 > 0. Тогда функция y = sign(...) будет напоминать логическую функцию AND. y = 1 только в том случае, когда все xi = 1.

6. Если вес wi < 0, то данный вход будет инвертирован. Это одна из множества функций NOT, которая может быть реализована на одном нейроне.

7. При wi = 0 соответствующий вход вырождается (атрофируется). Таким образом нейрон может регулировать количество входов "нейронной логической функции".

8. Нетрудно доказать возможность реализации достаточно сложных гибридных логических функций на одном нейроне. Можно реализовать обобщённые конъюнктивные и дизъюнктивные формы логических функций на одном нейроне.

9. Теперь рассмотрим гибрид геометрической и логической интерпретации (два-в-одном). Это реально крутая штука.
Для простоты рассмотрим две прямые, точнее две функции вида y1 = sign(w11*x1 + w21*x2 + w01) и y2 = sign(w12*x1 + w22*x2 + w02). Это два нейрона, которые имеют общие входы x1, x2. Эти нейроны имеют геометрическую интерпретации в виде двух прямых, точнее в виде двух множеств точек, расположенных с условно положительных сторон от прямых. Очевидно, если веса нейронов отличаются, то эти прямые пересекаются.

10. Продолжаем рассматривать две прямые на плоскости из п.9. Добавим к ним нейрон, реализующий функцию AND.
z = sign(w1*y1 + w2*y2 + w0)
Очевидно, это второй слой целой нейронной сети. То есть вместо отдельных нейронов мы теперь рассматриваем уже целую сеть нейронов (ИНС).
Что реализует эта нейронная сеть? Эта сеть выдаёт единицу (z = 1), если точка (x1,x2) находится с условно положительной стороны сразу двух плоскостей. Если в случае одного нейрона граница была прямой, то в случае двухслойной нейронной сети граница стала ломаной линией, состоящей из двух прямых.

11. Мы можем добавить больше нейронов в первый слой нашей нейронной сети:
z = sign(w1*y1 + w2*y2 + w3*y3 + w4*y4 + ... + w0)
Это будет эквивалентно добавлению новых прямых. Эти прямые могут построены произвольно. Эти прямые могут образовать произвольную ломаную. Можно построить ломаную линию в виде замкнутого пятиугольника, а если взять очень много прямых (=нейронов первом слое), то можно аппроксимировать круг. По большому счёту величина z будет означать нахождение точки внутри окружности или любой другой сложной фигуре.

12. Интересные вещи можно творить, если к AND добавить OR и NOT. Можно на базе двухслойной сети построить такие логические конструкции типа "множество заданных точек образуют две окружности или квадрат, но не треугольник".

13. Это только двухслойная сеть. Трёхслойная сеть может делать выводы о равенстве расстояний между объектами, образуемыми точками. Наверняка могут быть сделаны выводы о симметрии, о подобии объектов, о простейших геометрических искажениях (наклон, поворот) и прочих геометрических свойствах. К сожалению в этом я не сильно разбирался, но надеюсь суть уловили.
[Ответ][Цитата]
Кусаюсь
Сообщений: 974
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 11:30
Какое это все имеет отношение к биологическому нейрону? Всё выше сказанное было известно еще в конце 19го века, когда о нейроне знали только то что он есть.
[Ответ][Цитата]
Михайло
Сообщений: 2366
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 11:32
Теперь решите известную задачу XOR с помощью трёхслойного перцептрона. Посмотрите на веса w в каждом слое. Первый слой интерпретируйте графически (в виде прямых на плоскости), последующие два слоя - логически.
При этом обратите внимание на то, что связи между вторым третьим слоями:
а) с весами, близкими к нулю, можно рассматривать как атрофировавшиеся связи.
б) близкие веса со значениями, сравнимыми с весом w0 по модулю, образуют функцию OR.
в) близкие веса со значениями, превышающими вес w0 по модулю, образуют функцию AND.
г) отрицательные веса свидетельствуют о функции NOT.

Если в первом слое будет шесть нейронов, то они образуют два треугольника, оборачивающие точки (0,0) и (1,1).
[Ответ][Цитата]
Михайло
Сообщений: 2366
На: Многослойный перцептрон(MLP) в мировоззренческом контексте
Добавлено: 16 апр 18 11:35
Изменено: 16 апр 18 11:41
Цитата:
Автор: Кусаюсь

Какое это все имеет отношение к биологическому нейрону? Всё выше сказанное было известно еще в конце 19го века, когда о нейроне знали только то что он есть.

Работа интеллекта не объясняется какой-либо биологической магией, как думаешь ты, мозгопоклонник. Ты пытаешься нам втюхать херню, что якобы биологический разум непознаваем, божественен. Ан нет, сукин сын. Познаваем. Ибо магии никакой нет.
А вообще мне похуй, как работает нейрон на самом деле. Пусть там хоть сто четырнадцать порогов, хоть deadzone, хоть нелинейный saturator, хоть integrator. Зато я знаю, как работает интеллект вообще.
[Ответ][Цитата]
 Стр.1 (6): [1]  2  3  4  5  6След. > >>