GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.5 (29)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Обсуждение "Солянки".
rrr3
Сообщений: 11857
На: Обсуждение "Солянки".
Добавлено: 08 окт 13 21:43
Цитата:
Автор: Toxygen
...

Ну... что...
Лень дальше разбираться с предложенной Вами для рассмотрения в качестве подобия моих представлений "теорией"...?
Ну... сделаю еще шажок.
Как будет вести себя система HTM при обучении новым входам? Не будет ли это приводить к перманентной потере уже наработанного? А как это будет в системе по представлениям которых придерживаюсь я...?
[Ответ][Цитата]
Toxygen
Сообщений: 521
На: Обсуждение "Солянки".
Добавлено: 08 окт 13 22:19
Цитата:
Автор: rrr3
Как будет вести себя система HTM при обучении новым входам? Не будет ли это приводить к перманентной потере уже наработанного? А как это будет в системе по представлениям которых придерживаюсь я...?

Что вы подразумеваете под новыми входами? Если имеется ввиду другой источник информации - то конечно будет сбой. Одним из условий работы НТМ является то, что сенсоры принимают сигналы из одной и той же среды. Это все равно что к части мозга, которая обрабатывает визуальную информацию подключить нервные окончания от ушей.
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Обсуждение "Солянки".
Добавлено: 08 окт 13 22:33
Изменено: 08 окт 13 22:37
Цитата:
Автор: Toxygen
Что вы подразумеваете под новыми входами? Если имеется ввиду другой источник информации - то конечно будет сбой. Одним из условий работы НТМ является то, что сенсоры принимают сигналы из одной и той же среды. Это все равно что к части мозга, которая обрабатывает визуальную информацию подключить нервные окончания от ушей.

Ну вот в данном случае мне кааажется Вы погорячились. Это все равно, что менять направление взгляда..., или я ошибаюсь...? Среда то она одна, но как бы постоянно меняется.
[Ответ][Цитата]
Toxygen
Сообщений: 521
На: Обсуждение "Солянки".
Добавлено: 08 окт 13 22:45
Изменено: 08 окт 13 22:47
Цитата:
Автор: rrr3
Ну вот в данном случае мне кааажется Вы погорячились. Это все равно, что менять направление взгляда..., или я ошибаюсь...?

Ну в таком случае все будет в порядке. Количество различаемых ситуаций будет зависеть от того, сколько уровней в сети, и сколько ячеек в памяти существует. Чем больше памяти - тем большее количество ситуаций, и тем большая детализация предсказаний будет.
Если менять направление взгляда, то как правило будет сформирован паттерн, что если подается команда смены направления взгляда, то изображение начинает смещаться в соответствующую сторону.

"Запоминание и распознание последовательностей является основой для выработки предсказаний. После того как НТМ выучила какие паттерны скорее всего следуют за какими, она может предсказать появление следующих паттернов на основе текущих и последних входных данных." отсюда
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Обсуждение "Солянки".
Добавлено: 08 окт 13 23:01
Изменено: 08 окт 13 23:02
Цитата:
Автор: Toxygen
Ну в таком случае все будет в порядке. Количество различаемых ситуаций будет зависеть от того, сколько уровней в сети, и сколько ячеек в памяти существует. Чем больше памяти - тем большее количество ситуаций, и тем большая детализация предсказаний будет.
Если менять направление взгляда, то как правило будет сформирован паттерн, что если подается команда смены направления взгляда, то изображение начинает смещаться в соответствующую сторону.

"Запоминание и распознание последовательностей является основой для выработки предсказаний. После того как НТМ выучила какие паттерны скорее всего следуют за какими, она может предсказать появление следующих паттернов на основе текущих и последних входных данных."...

Мне вновь кажется, что я не смог донести до Вас суть вопроса. Понятно, что система будет "кластеризовать", "предсказывать" и т.п. Но когда на вход тех же самых сенсоров после обученности будут подаваться разные сочетания входных сигналов, ранее образованные "веса" ("ансамбли") одновременно работающих "нейронов" будут подвержены размытию. Или же потребуются гораздо бОльшие системы (уровни, ячейки в уровнях и т.п. и т.д.), так, чтобы прохождение сигналов происходило все в новых и новых областях. Нет?
[Ответ][Цитата]
Toxygen
Сообщений: 521
На: Обсуждение "Солянки".
Добавлено: 08 окт 13 23:11
Изменено: 08 окт 13 23:23
Цитата:
Автор: rrr3
Но когда на вход тех же самых сенсоров после обученности будут подаваться разные сочетания входных сигналов, ранее образованные "веса" ("ансамбли") одновременно работающих "нейронов" будут подвержены размытию. Нет?

Нет, не будут. Потому что после обучения сети отключается механизм "корректировки весов".
Цитата:
Фаза 1: вычисление значения перекрытия с текущим входом для каждой колонки.
Фаза 2: вычисление побеждающих колонок после подавления.
Фаза 3: обновление перманентности синапсов и внутренних переменных.
Хотя пространственный группировщик без проблем самообучается прямо во время своей работы, вы всегда можете выключить это самообучении просто исключив Фазу 3.

отсюда
Если же механизм корректировки не отключать, то со временем сеть переучится на распознавание новых последовательностей, а старые будут забываться за ненадобностью. Т.е. тут все опять упирается в количество задействованной памяти (то, сколько уровней в сети) - чем больше ячеек, тем медленнее будет происходить забывание.
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Обсуждение "Солянки".
Добавлено: 08 окт 13 23:23
Изменено: 09 окт 13 0:05
Цитата:
Автор: Toxygen
...Если же механизм корректировки не отключать, то со временем сеть переучится на распознавание новых последовательностей, а старые будут забываться за ненадобностью...

(Да не загромождайте Вы текст ссылками и перепечатыванием источников. Полезнее когда люди общаются тем материалом, который ими "переработан" лично. Личное понимание имеет значение...)
Так вот про "ненадобность" - возникает большой вопрос. Вы не задумывались о причинах по которым авторы рекомендуют отключать механизм "корректировки" - обучения? А как на Ваш взгляд будет ситуация в Н-К при тех же условиях. Надо будет его отключать или нет?

И на перспективу для "на подумать" - как будет "кластеризация" паттернов по времени, если связь между ними в среде существует через большие промежутки времени. Сможет их "зафиксировать" предлагаемая система. А как это будет выглядеть в Н-К?

Ну и след-е: а сколько потребуется памяти для системы, если временнОй алгоритм включать на "анализ" больших периодов времени? А кто/что это..., что за блок такой и где он в биологическом мозге, который записывает состояния/активность соседних "нейронов" "во времени и пространстве" для работы алгоритмов "кластеризации"?

p.s. Похоже перегрузил вопросами то ...
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Обсуждение "Солянки".
Добавлено: 09 окт 13 21:54
Изменено: 09 окт 13 22:42
Цитата:
Автор: Toxygen
....
В третьих, я лишь хотел обратить внимание на эту концепцию, поскольку мне кажется (но возможно это не так), что у вашей концепции и НТМ много общего. Если не считаете - ее достойной (вашего внимания), то дело хозяйское. Но все же я настоятельно рекомендую вам подробно с ней ознакомиться (хотя бы ради расширения кругозора, и понимания современных подходов к созданию ИИ)

Взять тот же ваш пакет необходимых категорий:
количество (элементов системы) - в НТМ это регионы, колонки и ячейки,
чувствительность-реагируемость - это дендритные связи
разнообразие - различные способы активации определенных колонок/ячеек
"смертность" - подключение/отключение потенциального синапса
случайность - работа пространственного группировщика (изначальные связи колонок выбраны случайно).

Что-то форум совсем обленился.... Нет, лень конечно бесспорно двигатель прогресса. Но никто еще не говорил, что Безделье - двигатель прогресса....

Посмотрим на категории...
1. "Количество" - согласен, понимание количества элементов в Н-К и в HTM близкое, только вот в Н-К потребуется меньшее количество, с учетом роли "размывания" в HTM. А вот "избыточно" большое количество элементов в зависимости от "задач" в Н-К может привести и к замедлению процесса обучения.
2. "Чувствительность-реагируемость" - в HTM это "дендритные связи". В Н-К - это совершенно другое. Элемент может реагировать на одни входные сигналы и никак не реагировать на другие - по своей "природе" и "природе" входных сигналов, вне прямой зависимости от "активности" своих "соседей".
3. "Разнообразие" - в HTM "различные способы активации определенных колонок/ячеек". На самом деле нет там разнообразия способов. Есть вполне жесткие единые (для всей системы) алгоритмы "преобразования" "активности". В Н-К - речь идет о разнообразии как в связях между элементами, так и разнообразия "чувствительноти-реагируемости" самих элементов.
4. "Случайность" - в HTM это прежде всего случайность в изначальных связях элементов. В Н-К - кроме этого - это случайность в выборе нового элемента (из "мешка"/"генома") при "смерти" предшественника и в образовании связей с другими элементами в процессе работы.
5. "Смертность" - о ней Вы ничего не сказали. Потому и я ограничусь только тем, что это необходимая категория относится к элементам Н-К. А элемент "погибает" не потому, что он плох или хорош, а потому, что в его "природу" (в "мешке"/"геноме") заложено такое свойство. В результате меняется реакция и влияние на внешнюю среду (и не только) всего ансамбля или системы.

В итоге - все категории в случае Н-К относятся к элементам системы... и только через них, опосредованно, возникают свойства всей системы. При этом, естественно, не любая система (в зависимости от, прежде всего, "количественного" наполнения категорий из пакета) с данными категориями в описании элементов будет удовлетворять исследователя (грубо говоря система из одного-двух элементов не сможет быть разумной ). А задача исследователя найти эти "количественные" стороны категорий в "связке" с требуемой "мощностью" системы. Т.е. пакет категорий - это всего лишь указание на "место" где искать ("выбор"/"определение" концепции)!


Вот как-то так, если коротко.

"Нет, лень конечно бесспорно двигатель прогресса. Но никто еще не говорил, что Безделье - двигатель прогресса...."
[Ответ][Цитата]
Toxygen
Сообщений: 521
На: Обсуждение "Солянки".
Добавлено: 09 окт 13 22:48
Если я не отвечаю, не значит что я ничем не занят. А по поводу сравнения: да, в какой-то мере действительно лень, в том числе и подробно разбираться с устройством НК. Т.к. информация представлена в неудобоваримом виде
Предлагаю вместе оформить всю информацию которая у вас есть в вики-проект, чтобы удобно было узнавать, если что-то где-то не понятно.
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Обсуждение "Солянки".
Добавлено: 09 окт 13 22:58
Изменено: 09 окт 13 23:02
Цитата:
Автор: Toxygen
Если я не отвечаю, не значит что я ничем не занят. А по поводу сравнения: да, в какой-то мере действительно лень, в том числе и подробно разбираться с устройством НК. Т.к. информация представлена в неудобоваримом виде
Предлагаю вместе оформить всю информацию которая у вас есть в вики-проект, чтобы удобно было узнавать, если что-то где-то не понятно.

Да не принимайте все близко к сердцу. Я просто прикалываюсь.
Я не принуждаю Вас лично к ответам, но пытаюсь простимулировать (по мере своих сил и лени) всех форумчан (не разделяя на профессионалов и дилетантов) к размышлениям... Иначе форум стал затухать, как мне кажется.
По поводу вики, я уже говорил, не умею я красиво излагать...
Вся ветка "Солянки" - просто сбор высказываний (и не только моих) из разных веток, порой с "вырыванием" из того контекста. Если кто-то увидит в этом хоть капельку интересного, разобраться нет проблем (если лень не задавит). Тем более, что есть и данная ветка, и я стараюсь отвечать на вопросы. Я еще на форуме, и он еще не закрыт...
[Ответ][Цитата]
Toxygen
Сообщений: 521
На: Обсуждение "Солянки".
Добавлено: 09 окт 13 23:39
Расскажите про элементы НК (либо дайте ссылку на сообщение где рассказывали).
Что из себя представляют, какие состояния принимают, каким способом состояние меняется и пр.
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Обсуждение "Солянки".
Добавлено: 09 окт 13 23:52
Цитата:
Автор: Toxygen

Расскажите про элементы НК (либо дайте ссылку на сообщение где рассказывали).
Что из себя представляют, какие состояния принимают, каким способом состояние меняется и пр.

http://www.gotai.net/forum/default.aspx?postid=81730#81730
[Ответ][Цитата]
Toxygen
Сообщений: 521
На: Обсуждение "Солянки".
Добавлено: 10 окт 13 1:16
Цитата:
Автор: rrr3
http://www.gotai.net/forum/default.aspx?postid=81730#81730

Вот как раз про коммутацию элементов с сенсорами у меня и возник вопрос:
Предположим у нас есть 1 сенсор, и соответственно 1 (или обязательно несколько?) элемент, который обрабатывает сигнал от этого сенсора. Элемент обязан реагировать смертью на определенное значение сенсора. Но тогда получается, что в пределе мы не сможем получить систему, которая будет реагировать одинаковым образом на один и тот же сигнал, поскольку если элемент умрет - то на его место встанет элемент с другой логикой, и это тем самым нарушит работу элементов которые получают сигнал от первого элемента.
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Обсуждение "Солянки".
Добавлено: 10 окт 13 1:38
Изменено: 10 окт 13 1:42
Цитата:
Автор: Toxygen
Вот как раз про коммутацию элементов с сенсорами у меня и возник вопрос:
Предположим у нас есть 1 сенсор, и соответственно 1 (или обязательно несколько?) элемент, который обрабатывает сигнал от этого сенсора. Элемент обязан реагировать смертью на определенное значение сенсора. Но тогда получается, что в пределе мы не сможем получить систему, которая будет реагировать одинаковым образом на один и тот же сигнал, поскольку если элемент умрет - то на его место встанет элемент с другой логикой, и это тем самым нарушит работу элементов которые получают сигнал от первого элемента.

1. Это чисто инженерно-технические вопросы, которые должны решаться спецами соответствующего уровня или направления, как Вам больше нравится. Ну на форуме можем и сами порассуждать. Например, можем взять сенсор не с одним, а с множеством выходов.
2. "Но тогда....." - вообще не понял ни общую суть, ни вывода. Чего страшного если система на одно и то же сочетание сигналов будет "реагировать" одним и тем же способом...? А что страшного в том, что отчасти перманентно в каких-то своих частях ансамбли будут меняться и "перестраивать" свою "логику"? Тем более, что вероятность дублирования - довольно велика...(дублирования по "выходу"/"результату", а не по способам конкретной реализации)? Вся работа системы, включение в нее "инициативности", например, через введение "времени жизни" ("смертность" по времени, а не только от каких то сигналов на входах) и прочие механизмы, например, через создание "блока управления" (не всегда это необходимо) или через %% технически возможных в системе сигналов, которые могут привести к "смерти" данного конкретного элемента (%% может быть для всех один, а конкретные "смертельные" сигналы разные) и т.д. и т.п. все это системы обеспечения желаемого уровня перманентной подстройки/перестройки Н-К к, например, внешней среде (и не только).
[Ответ][Цитата]
Toxygen
Сообщений: 521
На: Обсуждение "Солянки".
Добавлено: 10 окт 13 1:59
Цитата:
Автор: rrr3
2. "Но тогда....." - вообще не понял ни общую суть, ни вывода. Чего страшного если система на одно и то же сочетание сигналов будет "реагировать" одним и тем же способом...? А что страшного в том, что отчасти перманентно в каких-то своих частях ансамбли будут меняться и "перестраивать" свою "логику"? Тем более, что вероятность дублирования - довольно велика...(дублирования по "выходу"/"результату", а не по способам конкретной реализации)? Вся работа системы, включение в нее "инициативности", например, через введение "времени жизни" ("смертность" по времени, а не только от каких то сигналов на входах) и прочие механизмы, например, через создание "блока управления" (не всегда это необходимо) или через %% технически возможных в системе сигналов, которые могут привести к "смерти" данного конкретного элемента (%% может быть для всех один, а конкретные "смертельные" сигналы разные) и т.д. и т.п. все это системы обеспечения желаемого уровня перманентной подстройки/перестройки Н-К к, например, внешней среде (и не только).

Проблема в том, что при смерти вышестоящего элемента (тот, который ближе к сенсору, и тот, от которого получают сигнал нижестоящий элемент) нарушается логика работы всех элементов, которые стоят ниже.
Еще хотелось бы узнать подробнее по какому принципу должны формироваться связи между элементами (определяться то, какие элементы с какими должны быть соединены)?
[Ответ][Цитата]
 Стр.5 (29)1  2  3  4  [5]  6  7  8  9  ...  29<< < Пред. | След. > >>