GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.80 (101)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Об одном подходе к решению задачи создания СИИ
гость
188.170.83.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 3:45
бродим мы тут по каменистым тропам, а траяныч уже шестиполосное шоссе пробыл..
[Ответ][Цитата]
гость
188.170.83.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 3:46
пробил
[Ответ][Цитата]
Траян
Сообщений: 944
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 4:17
Изменено: 06 окт 18 4:30
(продолжение)

2 этап.

На втором этапе обучения учитель предъявляет агенту сообщения вида:
NA, NБ, NВ, NГ, NД, NЕ, NЖ, ....

Смысл этих сообщений (изначально понятный только учителю!) в том, чтобы агент произнося какие либо звуки в ответ - НЕ произносил при этом те и только те из них, что содержатся в сообщении.
Т.е. смысл этих сообщений - "Не говори А"; "Не говори Б"; "Не говори В"; "Не говори Г"; "Не говори Д" ...

Например, сказав в ответ NA_а - агент немедленно получит по попе.
Если же он в ответ на NА скажет б, то это нормально прокатит и агент получит пряник.
NA_б->+

Данный этап необходим для того, чтобы убедиться в том выработалось или нет у агента знание о наличии соответствия/связи внутри пар Аа, Бб, Вв b и т. д.

Ясно, что если агент сможет "понять и принять" факт наличия такой связи, то обучаться на данном этапе он будет многократно быстрее и легче, чем в противном случае.

Напечатав на NA по инерции "а" и получив за это ремня, а затем получив ремня еще пару раз за аналогичное, агент с "пониманием" сделает вывод и решая примеры данного этапа будет в дальнейшем реагировать соответственно - а именно, печатая лишь буквы строго не соответствующие предлагаемым.


3 этап.

Третий этап - контрольный.
Учитель предъявляет сообщения
PA, PБ, PВ, PГ, PД, PЕ, PЖ ....

Смысл этих сообщений:
"Повтори за мной А", "Повтори за мной Б" и т.д.

От агента требуется повторять требуемое.

Как можно видеть задания 3-его этапа аналогичны заданиям 1-ого этапа. Единственное отличие, что в качестве дополнительного признака выступает не буква S (скажи), а P (повтори).

Опять же легко видеть что задания 3-го предназначены для выявления способности агента к обнаружению (и применению) факта существования соответствий между A и а, Б и б,.....

ВАЖНО!
Как можно видеть, все задачи на которых производится обучение агента предельно просты. Они настолько просты, что с ними справятся агенты использующие и слабые и очень слабые методы обучения. В МО подобное делается со свистом. В данном случае разница с агентом использующим сильный метод будет не в том, что он будет способен решать какие-то задачи из тех, что не способны агенты со слабым, а в том, что он будет это делать на много порядков быстрее и легче.

Он будет способен использовать при решении одних задач навыки и опыт, и знания о мире полученные при решении других. Я сейчас скажу одну вещь, которая на первый взгляд покажется совершенно фантастической и даже невероятной.
Уже при обучении на задачах 1 этапа сильный агент (сидящий в виртуальной комнате с пластмассовыми буковками) может начать строить предположения о некотором полезном глобальном свойстве реального внешнего мира - и в дальнейшем использовать это знание в своих интересах.

Скажу конкретнее - этот засранец может начать строить очень простые по форме, но глубокие по содержанию общие предположения о тех процессах, которые происходят в мозгу - или другой управляющей системе - его учителя. Не имея еще ни малейшего понятия о таких вещах как "мозг", "управляющая система", "процесс", "учитель", "обучение"/


(продолжение)


[Ответ][Цитата]
гость
188.170.83.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 4:46
пока агент лишь выучил операционную семантику паттерна Sх и Рх (воспроизвести х) и Nx (запрет на воспроизведение х). типо 'комбинаторов'. До чудес сильного обучения пока далеко. Напр. шагом к усилению было бы если операционная семантика S и P была бы отождествлена агентом самостоятельно (c последующей дифференцировкой значения, когда, скажем, был бы двухканальный ввод и Р буквенное сочеталось бы с вводом по другому каналу (типо 'повтори жест'), причем перенос (расширение) на двухканальную композицию ввода тоже произошло бы самостоятельтно (без обучения)).
[Ответ][Цитата]
Траян
Сообщений: 944
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 4:53
Продолжу завтра - заботы о насущном одолевают.
[Ответ][Цитата]
гость
188.170.80.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 5:12
по поводу комбинаторной стены разуму нашему возмущенному в бытность его сма63 были даны разъяснения, что комбинаторная стена является фиктивным пугалом - типо как есть стена запрета на нарушение закона сохранения энергии или на преодаление барьера минимальной энергетической стоимости единицы информации - но эти фундаментальные ограничения ничуть не мешают всему в своих рамках. Так и 2^n/n!-ограничения возникают только если с дуру вляпаться в задачу поиска чего-то налучшего в слишком большом комбинаторном пространстве - т.е. и неправильно поставить задачу (когда рациональнее искать не лучшее, а удовлетворяющее ограничениям, приемлемое) и работать со слишком высокой размерностью - c дуру значит что без опыта, без эвристик, с завышенными требованиями к результату поиска, с принятием к решению задачи выходящей за рамки возможностей.

когда агенту ставится задача описать видимую ситуацию, то не возникает того обучения, что ему предъявляют всевозможные сочетания дескриптивных символов и подкрепляют допустимые сочетания - агент втягивается в задачу постепенно - как серия вложенных пространств возрастающей размерности и подавления размерности введением обобщенных переменных (напр. имен классов, категорий) - агент обучается обозначать подобразы, а потом просто декомпозирует образ ситуации и выдает по началу простую конъюнкцию знаков ддля подобразов.

двухуровневый процесс индукции (синтеза) агента в виде эволюции обучающейся архитектуры и конкретного обучения данного варианта архитектуры (c эффектом структурной ассимиляции функциональной успешности) это не 'мошенничество' с комбинаторными осложнениями, а здравый способ избежать их.
[Ответ][Цитата]
Андрей
Сообщений: 3692
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 5:46
Цитата:
Автор: Траян
Смысл этих сообщений (изначально понятный только учителю!) в том, чтобы агент произнося какие либо звуки в ответ - НЕ произносил при этом те и только те из них, что содержатся в сообщении.
За прошлое сообщение я поставил Траяну плюсик, поощряя его на правильном пути. А вот минусик за данное сообщение форум, к сожалению, запрещает ставить, хотя, выражаясь языком автора, здесь безусловно необходимо надавать по попе.

1. Первое и главное, что обращает на себя внимание - это полная оторванность предложенного механизма от реальности. В практических задачах существует нужда принудить кого-то достичь чего-то, соблюсти некоторую норму, а вовсе не НЕ достичь чего-то. Отрицание существует и используется только в речи, в виртуальном пространстве текста, и призвано сократить объём произносимых слов. Например, вместо того, чтобы сказать: "тут ошибка в том-то и том-то" проще (и малоэффективно) сказать "это НЕ правильно". Вместо того, чтобы говорить ребёнку: "не суй пальцы в розетку!" лучше сказать: "тебе следует сохранять своё здоровье, а засовывание пальцев в розетку принесёт увечья".

Ситуации негативного подкрепления, когда у агента должно сформироваться поведение избегания чего-то, при более детальном рассмотрении являются ситуациями стремления к чему-то другому. Если за тобой несётся разъярённый зверь тебе необходимо стремиться к бегу, к укрытию, к оружию, к западне, к воде, к дереву, к сохранению системной целостности и т.д. Родители дают ребёнку по попе вовсе не для того, чтобы сформировать у него розетко-фобию, а чтобы принудить его выполнять приказы.

2. В практике мышечной работы (к чему только и сводится всё многообразие мыслительной активности) мышца может быть либо расслаблена, либо напряжена. Третьего нет. В свете этого может сложиться ложное впечатление, что благодаря оппозитности этих двух состояний мышцы, одно состояние может быть задано (выражено) через отрицание другого. Но это всего лишь два разных позитивных состояния мышцы, каждое из которых может быть использовано агентом для достижения некоторой нормы - можно ждать наступления нормы, а можно искать достижения нормы.

3. Следующее, что обращает на себя внимание, в предложенном примере присутствует скрытая и не заданная явно презумпция активности. Что на сообщение "NA" агент всенепременно обязан сказать что-то. В то время как, с точки зрения формальной логики, молчание, в ответ на данное сообщение - тоже должно сгодиться. Именно поэтому такого рода "сообщения" лишены какого-либо смысла т.к. задают бесконечное разнообразие всевозможных реакций, в том числе абсурдных и бесполезных. Хуже того, такая команда не имеет критерия останова - если агент войдёт в цикл самовозбуждения и взорвётся - это вполне сгодится. Смысл же содержится в очерчивании той нормы, которую нужно достигать и соблюдать. Поэтому говорить ребёнку "не суй пальцы в розетку!" совершенно бесполезно. Ребёнок должен либо засунуть и убедиться, либо получить предметные инструкции, что ему следует делать. Например: "если хочешь совать пальцы в розетку - одень резиновые перчатки".

4. Совершенно ясно, что таким искусственным примером автор пытается найти применение и философское объяснение биполярному методу. Но ведь реальность существует не для того, чтобы подгоняться под метод. Это метод существует, чтобы подгоняться под реальность.

Данное текстовое сообщение призвано указать Траяну на его (как мне кажется) ошибку и имеет смысл негативного подкрепления. Я не хочу, чтобы Траян шёл сюда, в сферу отрицательной бесконечности. В ключе метода, предложенного Траяном, я мог бы просто написать: "не ходи сюда". Но это, очевидно, не подействовало бы, поэтому я разродился предметными позитивными многословными пояснениями. Прошу меня простить, если этот рекуррентный пример получился слишком длинным.
[Ответ][Цитата]
гость
188.170.80.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 5:48
нет, СПАЙ он тихий, покладистый, хотя и себе на уме..
[Ответ][Цитата]
гость
188.170.82.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 9:39
А.> Отрицание существует и используется только в речи, в виртуальном пространстве текста,

хочется еще раз отметить как сверхупрощения толкают андрея к неточности в суждениях.

отрицание сушествует и как функциональное состояние в психофизиологической системе как состояние не оправдавшегося ожидания (например) - вместо А произошло В - и система регистрирует 'не А'. Cистема может развить состояние 'неА' в плане 'а что именно, каково это неА', но одно другому не мешает.

система может быть как бы приспособлена к легкому усвоению смысла частицы 'не'. Тем более что логика инверторов присуща нейрологическому базису.

можно обратиться и к строгой теории, когда выясняется что языки некоторых классов без негативных примеров не выучиваются.
[Ответ][Цитата]
kondrat
Сообщений: 3559
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 15:48
Цитата:
Автор: Разум_Возмущёный

Слишком много пустых разглагольствований. И это настораживает. Но даже интересно, при помощи какого мошенничества Траян собирается обмануть Природу и преодолеть (точнее, в упор не увидеть) комбинаторную стену. Для слабого ИИ шахматная доска в 64 клетки практически непреодолимый предел. 10^43 комбинаций.

Он не собирается обманывать природу.
[Ответ][Цитата]
kondrat
Сообщений: 3559
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 15:51
Цитата:
Автор: Разум_Возмущёный

Слишком много пустых разглагольствований. И это настораживает. Но даже интересно, при помощи какого мошенничества Траян собирается обмануть Природу и преодолеть (точнее, в упор не увидеть) комбинаторную стену. Для слабого ИИ шахматная доска в 64 клетки практически непреодолимый предел. 10^43 комбинаций.

Кстати, не надо про стену. Это повод сидеть, сложив лапки. И это прямой путь к премии Дарвина.
[Ответ][Цитата]
Luarvik.
Сообщений: 14798
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 06 окт 18 16:55
Природу можно обмануть только Свободой.
[Ответ][Цитата]
Траян
Сообщений: 944
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 07 окт 18 0:03
Изменено: 07 окт 18 0:14
Цитата:
Автор: Андрей
В практических задачах существует нужда принудить кого-то достичь чего-то, соблюсти некоторую норму, а вовсе не НЕ достичь чего-то...
><
Ситуации негативного подкрепления, когда у агента должно сформироваться поведение избегания чего-то, при более детальном рассмотрении являются ситуациями стремления к чему-то другому.

Без комментариев.

Цитата:
Автор: Андрей
В практике мышечной работы (к чему только и сводится всё многообразие мыслительной активности)

Не только. Куда чаще результатом мыслительной деятельности оказывается выброс химии - гормонов, нейромедиаторов и пр. В физическом создании новых межнейронных связей мышцы не участвуют.

Цитата:
Автор: Андрей
Следующее, что обращает на себя внимание, в предложенном примере присутствует скрытая и не заданная явно презумпция активности. Что на сообщение "NA" агент всенепременно обязан сказать что-то.

В RL, как и во всех моих разработках (которые я начал создавать еще задолго до того как узнал о RL Саттона-Барто) принято считать, что бездействие - это просто форма действия. Пусть очень специфическая, пусть особого рода, но тем не менее. Молчание - это тоже ответ.

Цитата:
Автор: Андрей
Совершенно ясно, что таким искусственным примером автор пытается найти применение и философское объяснение биполярному методу. Но ведь реальность существует не для того, чтобы подгоняться под метод. Это метод существует, чтобы подгоняться под реальность.

Мимо. Этот пример нужен для:
1. того, что описать суть предлагаемого подхода, его основные особенности;
2. показать отличие сильного обучения от слабого.
[Ответ][Цитата]
Траян
Сообщений: 944
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 07 окт 18 0:11
Изменено: 07 окт 18 0:50
Цитата:
Автор: Траян
...показать отличие сильного обучения от слабого.

В том месте, где находится данный пост я сначала хотел написать про то, в чем это отличие заключается. Привести описание нескольких форм слабого обучения, порассуждать о том, как на скорость и эффективность слабого обучения влияют разные факторы - типа ширины перцептивного окна. Насколько актуальной для него является проблема комбинаторного взрыва и т.д.
Это было бы логично в свете дальнейшего изложения предлагаемого мной подхода, позволило бы увидеть в чем заключается принципиальная разница между сильным и слабым ИИ.

Но теперь вижу, что особого резона тратить на это время нет. Бисер нынче дорог.
Перейду сразу к описанию работы СПАЙ.
[Ответ][Цитата]
Траян
Сообщений: 944
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 07 окт 18 0:46
Цитата:
Автор: гость
пока агент лишь выучил операционную семантику паттерна Sх и Рх (воспроизвести х) и Nx (запрет на воспроизведение х). типо 'комбинаторов'. До чудес сильного обучения пока далеко. Напр. шагом к усилению было бы если операционная семантика S и P была бы отождествлена агентом самостоятельно

Не спешите, будут и чудеса.
Пока, для лучшего понимания дальнейшего освежу/напомню основные положения биполярного метода прогнозирования (БМП).

Согласно БМП, агент, выбирая очередное свое действие прогнозирует последствия от совершаемых им действий. Причем, при этом прогнозировании он должен использовать те прогностические знания, которые имеют наибольшую вероятность.(Впрочем, в казуальном методе прогнозирования тоже самое).

По этой причине в глазах агента наиболее ценными знаниями - к получению/накоплению которых он всемерно стремится - являются высоковероятные прогностические знания. (Агент всячески избегает ситуаций неопределенности, неясности будущего.)
Жажда познания, поисковая активность, стремление узнать причины всего и вся - все это оттуда.

Дело, однако, осложняется тем, что получить такие знания непросто. Есть система очень четких и строгих правил предельно жестко регламентирующих процесс присвоения знаниям той или иной вероятности. От балды там приписать ничего не получится.

Еще у агента есть система генерации новых знаний, построения разного рода гипотез и предположений относительно того, как может быть устроен мир, какие в нем могут существовать объекты и какие действовать закономерности.

В момент создания нового знания достоверность оного имеет минимум определенности, т.е. вероятность его правильности равна 0.5.
0.5 - это минимум определенности "то ли дождик, то ли снег, то ли будет, то ли нет".
математически это число получается как сумма/интеграл равномерно распределенных от 0 до 1 вероятностей.

Построив новое знание агент на основе индуктивного опыта - в зависимости от того, подтверждалось или нет это знание на практике перевычисляет его значение (по Байесу).

В том случае, если в очередном опыте/наблюдении некое знание подтверждалось, приписываемая ему вероятность перевычисляясь увеличивается (стремясь к 1).
В обратном случае перевычисляемая вероятность уменьшается (стремясь к 0).

Для краткости, такой процесс смещения значений вероятности к краям диапазона (т.е. процесс увеличения определенности) можно назвать поляризацией.
[Ответ][Цитата]
 Стр.80 (101)1  ...  76  77  78  79  [80]  81  82  83  84  ...  101<< < Пред. | След. > >>