GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.31 (112)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Об одном подходе к решению задачи создания СИИ
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 26 май 17 8:16
Цитата:
Автор: гость
..тут странным несколько выглядит эта встроенность в агента априорной его озабоченности 'бесконечным горизонтом' и соотв. максимизации,


Может быть, это покажется намного менее странным если перейти от "суммы подкреплений на бесконечности", к "величине среднего подкрепления (получаемого на каждом шаге), при бесконечном числе шагов".

По сути это одно и то же, но воспринимается намного легче?

А "среднего подкрепления на бесконечности" очень проста, прозрачна и естественна.

Подсчет такого среднего может производиться на самых простых схемах управления.
Когда, скажем, реализуется такой циклический рабочий процесс:

восприятие действительности => выбор действия => совершение действия => снова восприятие текущего состояния действительности, etc.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 26 май 17 8:21
Изменено: 26 май 17 8:45
Цитата:
Автор: гость
... и соотв. максимизации, хотя непосредственно агенту изначально дана только текущая ситуация (и опыт прошлого в виде предрасположенностей). изначально ли играется партия с миром на максимизацию подкреплений на бесконечном горизонте или на получение минимально достаточного ('нормативного') подкрепления? как бы дилемма экологического интеллекта и интеллекта-суперхищника..


Имхо, максимизация дает агенту бесконечную перспективу развития и самосовершенствования.

При игре "на сохранение" неизбежны стагнация и деградация.
[Ответ][Цитата]
kondrat
Сообщений: 4026
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 26 май 17 8:56
Цитата:
Автор: Траян

Может быть, это покажется намного менее странным если перейти от "суммы подкреплений на бесконечности", к "величине среднего подкрепления (получаемого на каждом шаге), при бесконечном числе шагов".
...

Какой хороший у Вас подкреплятор. Линеаризованный такой.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 27 май 17 0:37
Цитата:
Автор: kondrat
Какой хороший у Вас подкреплятор. Линеаризованный такой.


А причем здесь подкреплятор?

Примитивная линейность поначалу действительно будет наличествовать, но возникает она из-за слабости управления (а именно - его прогностической составляющей), но никак не за счет порядка выдачи подкреплений.
[Ответ][Цитата]
гость
188.170.83.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 27 май 17 4:03
Т.> при бесконечном числе шагов

Собственно тут одно принципиальное затруднение - несоответствие конечности существования агента с логикой поведения на основе бесконечного горизонта.. как бы есть один неблагоприятный сценарий - переоценка отдаленных подкреплений в ущерб минимально необходимым на ближайших периодах - как бы встроенность логики бесконечного горизонта затруднит выработку стратегий выживания - накопление ресурсов для реплицирования в близкой перспективе, адекватного дисконтирования. Ясно, что при наличии ансамбля агентов преимущество не получат неадекватно 'инициированные отдаленным будущим', но для уникального агента коррекция переоценок будущего может быть сопряжена с серией неоправданных выборов в настоящем и быть 'дорогостоящей'.

> нежели тот Улучшатель, о котором шла речь выше.

ну, в литературе много предложений как улучшить эффективность обучения на подкреплении - и оснащение агента способностями к индукции моделей, и для гетерогенной среды обмен домен-специфичным опытом и проч. Минимальную идею RL-агента можно расширять. Но как должен быть устроен улучшатель улучшателя (при их сопряжении) пока конструктивных идей мало.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 27 май 17 4:13
Изменено: 27 май 17 4:37
Цитата:
Автор: гость
Но как должен быть устроен улучшатель улучшателя (при их сопряжении) пока конструктивных идей мало.


Еще бы! Это вполне естественно, поскольку решение задачи создания улучшателя универсального улучшателя - открывает прямой путь к созданию СИИ.

Но для этого сперва нужно разобраться с кучей сложнейших вещей: что из представляет улучшаемое, какова общая онтология улучшателя и т.д. и т.п.

Но мой взгляд, человек разобравшийся с онтологией Улучшателя заслуживает того, чтобы ему поставили памятник из чистого серебра в полный рост! (все же из серебра, поскольку эта задача 2-го этапа).
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 27 май 17 4:16
Изменено: 27 май 17 4:19
Цитата:
Автор: гость
Собственно тут одно принципиальное затруднение - несоответствие конечности существования агента с логикой поведения на основе бесконечного горизонта..


Вы напрасно на этом зацикливаетесь, эта проблема очень легко и естественно решается при использовании величины среднего подкрепления (на бесконечном числе шагов).

Конечность существования, нахождение вероятности того, что через 1000 шагов агент может погибнуть означает на языке получения подкреплений лишь то, что после 1000 шага он (с данной вероятностью) перестанет получать какие-либо подкрепления.

Надо буде как-нибудь простенькую программку набросать, чтобы "на пальцах" показать, что я имею в виду.
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 27 май 17 4:25
Изменено: 28 май 17 2:34
Сейчас вдруг очень отчетливо понял, что используемый в рамках предлагаемого подхода биполярный метод прогнозирования (БМП) может быть рассматриваем как попытка соединения байесовского классификатора с нейронной сетью.

(Удивительно, что Хмур этого сразу не заметил. )

Т.е. или как попытка создания нового типа нейронной сети (путем придания ей способности вычислять биполярные вероятности.

Либо как попытка расширения возможностей наивного байесовского классификатора.

Сейчас, так с ходу, я не соображу, как можно схематически изобразить такую нейросеть, но вот сделать ее было бы интересно. Поскольку это дало бы возможность максимально объективно (количественно) сравнить ее эффективность с уже известными типами нейросетей.

PS сохраню пока здесь ссылку на статью, в которой люди уже пытались скрестить нейростеть с Баейсом, потом ее просмотрю: февраля 2016 в 09:24
"Байесовская нейронная сеть — потому что а почему бы и нет, черт возьми (часть 1)"
https://habrahabr.ru/post/276355/
[Ответ][Цитата]
гость
188.170.74.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 28 май 17 1:50
ну, бмп все-таки искажает логику байесовских сетей доверия..
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 01 июн 17 3:59
Цитата:
Автор: Траян

В посте от: 19 май 17 0:56 я полагал, что:

"Итак: Предполагается, что все новые стратегии (модели мира, личности) создаются всего лишь /постепенным/ изменением, модификацией, усовершенствованием уже имеющейся стратегии (модели мира, личности). " ...

" Конечно же, при реализации такого подхода в агента придется вкладывать предустановленную онтологию (кучу априорных знаний), т.е. сделать то, чего я все время пытался избежать. Но судя по всему, без предустановленной онтологии (в виде декларативных либо процедуральных знаний) нельзя обойтись в принципе.

Утешением может послужить то обстоятельство, что при таком подходе (изменения имеющегося) объем вкладываемой онтологии будет на порядки меньше того, который пришлось бы вкладывать в агента способного строить стратегии "с нуля".

И самое главное - при этом удастся обойтись без разбора разного рода "вечных", "проклятых" философских вопросов.
"

Похоже, я здесь ошибался.
Серьезно недооценил объем и сложность той начальной онтологии, которую придется вкладывать в Улучшателя даже при реализации процедур лишь постепенного улучшения.

Даже при предельном упрощении Улучшателя, чтобы он мог хоть что-то улучшать - без бескомпромиссных разборок с философскими проблемами никак не обойтись. Т.е. все же придется заняться тем, чего я всеми силами старался избежать.

Цитата:
Автор: Траян

Пост от: 27 май 17 4:13

"Но мой взгляд, человек разобравшийся с онтологией Улучшателя заслуживает того, чтобы ему поставили памятник из чистого серебра в полный рост! (все же из серебра, поскольку эта задача 2-го этапа). "


Это я явно поскупердяйничал. За такую работу вполне можно ставить памятник и из чистого золота.
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 01 июн 17 5:02
Цитата:
Автор: Траян
...Это я явно поскупердяйничал. За такую работу вполне можно ставить памятник и из чистого золота.

Вот... это другое дело. Но лучше при жизни на счет, по стоимости ювелирного изделия...
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 09 июн 17 3:50
Изменено: 09 июн 17 3:53
Цитата:
Автор: Траян
(пост от 19 мая): ... при реализации такого подхода в агента придется вкладывать предустановленную онтологию (кучу априорных знаний), т.е. сделать то, чего я все время пытался избежать. Но судя по всему, без предустановленной онтологии (в виде декларативных либо процедуральных знаний) нельзя обойтись в принципе.



Тут следует иметь в виду следующее обстоятельство, которое многие разработчики онтологий упускают из вида.

Если мы будем пробовать создавать требуемую нам онтологию "в лоб", т.е. будем пытаться вкладывать в агента лишь те и только те знания, которые мы хотим вложить - в химически чистом виде, без всяких излишеств, подмостков, вспомогательных конструкций и приспособлений (т.е. наиболее коротким и простым путем) - у нас, скорее всего, ничего не получится.

Поскольку при таком подходе мы неизбежно столкнемся с целым рядом "вечных", "проклятых" проблем, над решением которых наиболее выдающиеся мыслители человечества, гении абстрагирования, обобщения и систематизации, бьются более двух тысяч лет. И с нашей стороны было бы вопиющей самонадеянностью (и просто глупостью) думать, что вот мы-то эти проблемы вдруг возьмем и решим.

Очень многие современные создатели онтологий почему-то думают, что вот до них все философы были дураками, а уж они-то запросто смогут предельно четко и строго формализовать все те очень трудно поддающиеся однозначной формализации понятия (напр., такие понятия как "время", "разум", "бесконечность", "изменение" и т.д.) , без явного задания которых сколь-нибудь полная онтология невозможна.

Но придя к выводу о том, что задача создания полноценной онтологии, по всей видимости, не может быть решена "в лоб" (как задача создания априорно-метафизической системы наиболее общих знаний), то мы можем попробовать ее решить с помощью обходного маневра, с помощью той хитрости, которую использовала природа/эволюция при создании известных нам разумных существ.
[Ответ][Цитата]
гость
188.170.74.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 09 июн 17 4:17
наверное есть некий пародокс в том, что 'недостаточно разумные' пользуются неявными онтологиями событий-процессов-казуаций-возможностей-рефлексов-обусловливаний, а сознательно-разумные начинают не очень разумные споры о 'правильной' формальной онтологии..
[Ответ][Цитата]
гость
188.170.74.*
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 09 июн 17 4:37
cтарый вопрос о том, как из интенсивностных (по бергсону) многообразий опыта рождаются концепты пространства, времени, зависимости, вместилища, формы, числа, цели..
[Ответ][Цитата]
Траян
Сообщений: 1063
На: Об одном подходе к решению задачи создания СИИ
Добавлено: 09 июн 17 6:21
Цитата:
Автор: гость
наверное есть некий пародокс в том, что 'недостаточно разумные' пользуются неявными онтологиями событий-процессов-казуаций-возможностей-рефлексов-обусловливаний, а сознательно-разумные начинают не очень разумные споры о 'правильной' формальной онтологии..


Неплохо подмечено.
[Ответ][Цитата]
 Стр.31 (112)1  ...  27  28  29  30  [31]  32  33  34  35  ...  112<< < Пред. | След. > >>