Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.6 (11) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Методы построения ИИ от Львовича
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 01 сен 08 5:22 Цитата: Автор: daner Проблема в том, что среда у tac-а динамическая. Т.е. она может меняться не только от действий агента, но и сама по себе. А это уже просто так через Т не выразишь. Т как я помню это некие сигналы поощрения в каждой точке пространства ? или как ? В таком случае, именно так я выше уже говорил, что поощрений в явном виде у меня в среде нет, есть только ОЦЕНКА, даваемая учителем ... настоящие же поощрение - агент (если под агентом понимать общую память всех поселенцев) практически никогда не получает, но по нему оценивается успешность агента. Расчитывается она действительно от joint action, т.е. некоторой последовательности действий агента (приводящих к постройке города) и собственно правилам развития города. Т.е. поощрение зависит от последовательности совершенных действий и имеет долгосрочный смысл. Т.е. если у Львовича идет речь о тактике, то у меня о выработке стратегии. И далее, отсюда понятно, что целью является выработка (модификация) оценки учителя, которая дает лучшую стратегию, т.е. поощрение. Все это у Львовича за кадром ... А теперь уже можно понять почему задача называется двухуровневым целеполаганием. Это из за особых правил в городе и среде. Стратегию можно упростить - и добиваться, только наличия целевого ресурса, т.е. золота - это одна цель. Но чтобы ее добится может оказаться, что нельзя ориентироваться только на наличие золота вокруге. И тут две причины - (1) город может быть не работоспособным - т.е. будет мало пищи и все рабочие умрут или просто город затормозится в развитии; (2) город может не производить поселенцев, т.к. будет мало металла - что приведет к не возможности строить новые города. Таким образом, от этих двух причин зависит так сказать изменение среды как в ширь, так и в глубь. Только взмешенная комбинирование - позволит выполнить эту вторую подцель. Т.е. нужно как минимум обеспечить жизнедеетельность колонии. И тут проблема как в парадоксе Левинталя, касается сварачивания белков - как белок ухитряется найти свою структуру среди астрономического числа за те немногие секунды, что отпущены на его сворачивание. Там подывается вопрос есть ли противоречие между "структурой стабильной" и "структурой быстро сворачивающейся". Если в кратце, то вывод там такой - в ДНК как раз отбираются такие энтропийные ландшафты, которые автоматически обладают свойством сворачиваться быстро, и полученная в результате структура является стабильной, вне зависимости от того, что есть еще более стабильная структура. И только в процессе эволюции ищется эта более стабильная структура, но только если ее можно согласовать с быстрым сворачиванием. Там все, конечно, на порядок сложнее ... Но т.н. двухуровневое целеполагание как раз об этом, нужно найти такой способ локальной оценки ситуаций, чтобы он автоматически приводил бы к удовлетворению обоих целей (точнее целей двух уровней, быстрота сворачивания - это ориентирование на пищу и метал, что дает жизнидеятельность, а стабильная структура - это получение большего количества золота. Полчается, что нужно хорошо обеспечить жизнедеятельность, и потом постепенно искать лучшую стратегию среди возможных) и согласованно между ними ... Таким образом, вопрос в поощрения не вопрос размерностей и приведения к чему-то ... а как раз имеет кучу внутрених связей - найти которые на базе оценки и является задачей агента ... И действительно, daner повидемому прав - что правильнее считать среду мультиагентной из-за числа городов, а не потому что там обитаю множество поселенцев. Поселенцы обладают единой памятью - и поэтому их можно считать одним агентом. А вот города после постройки изменяют среду автономно - (1) уменьшаю число территории для будующей застройки, обесценивая соответствующую территорию (2) накопляют ресурсы, т.е. изменяют поощрение (3) увеличивают число поселенцев, что позволяет агенту увеличивать параллельность своих действий ... Может это можно переформулировать более формально ? [Ответ][Цитата]
Dreamer Сообщений: 268	На: Методы построения ИИ от Львовича Добавлено: 01 сен 08 13:49 daner 01 сен 08 14:03 > ... ---------- Справедливо. Свое замечание удаляю. [Ответ][Цитата]
daner Сообщений: 4593	На: Методы построения ИИ от Львовича Добавлено: 01 сен 08 13:53 Цитата: Автор: tac Не могли бы вы доступно расшифровать, что значит каждая буква ? смотрите нашу дискуссию на образце. мы там пытаемся формализовать задачу Львовича (но сразу предупреждаю, я от туда буду удалять все что этого не касается). Так что Т это не награды (в новой формализации) а таблица переходов (матрица инцендентности графа). Цитата: Может это можно переформулировать более формально ? Можно конечно. я даже предполагаю как именно. Но вам то зачем? вы же против формализма! П.С. Кстати, я ошибся немного на счет Цитата: Поэтому так с ходу как это формализуется сложно выразить. Ну возможно здесь надо подходить к среде как к гетерогенной мульти-агентной (т.е. где много разных агентов). Тогда А в первую очередь превращается в joint action, типа . Здесь это действия агента . Здесь пожалуй должно быть И здесь действия агента СРЕДА а действие агента ИГРОК, где номер поселенца, а номер действия. Возможно то же надо представлять как , где это номер города. [Ответ][Цитата]
daner Сообщений: 4593	На: Методы построения ИИ от Львовича Добавлено: 01 сен 08 14:03 >>>>> Dreamer В статье Львович четко определил (т.е. пытался это сделать) для какой именно среды его способ будет работать интеллектуально. Какие с этим проблемы? Причем заметьте, он даже четко определил что именно он считает интеллектуальным. Причем тут ваш кран с холодной и горячей водой? Если задачу с краном, не возможно формализовать в том виде с которым интеллектуально справляется метод Львовича, тогда для такой среды, его метод не интеллектуален. И ОН ЭТОГО НЕ УТВЕРЖДАЕТ! Так от чего у вас тяжесть на сердце? Я не буду утверждать (и даже в этом сомневаюсь), но возможно метод Львовича можно будет перенести на нечеткую логику, и в таком случае, задача с краном так же будет попадать под область решаемых. Тише едешь дальше будешь. Пока все "глобальные" методы, которые слишком много обещают, на практики не работают (если у их изобретателя до практики вообще доходит). [Ответ][Цитата]
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 01 сен 08 19:48 Цитата: Автор: daner Можно конечно. я даже предполагаю как именно. Но вам то зачем? вы же против формализма! Ха ... подловили, конечно ... но против я все же не до такой степени ... пока просто интересно посмотреть, что получится ... Если вы действительно, что-то предполагаете, то было бы интересно услышать ... Честно говоря, формализм мне не нравится только выполненный не правильно - т.е. тот который сведет мою задачу к не тому, чем она является, как если бы мою задачу попытаться свести к задаче Львовича - и сказать что так оно и было ... именно этим меня пугает формализм, да еще тем что без начального материала - задача понятнее не выглядит, но если все же иметь и то и другое, и показать как одно правильно переходит в другое - так почему же не против, просто хотя бы как с способу размышления ... [Ответ][Цитата]
daner Сообщений: 4593	На: Методы построения ИИ от Львовича Добавлено: 01 сен 08 20:45 Цитата: Автор: tac Ха ... подловили, конечно ... но против я все же не до такой степени ... пока просто интересно посмотреть, что получится ... Если вы действительно, что-то предполагаете, то было бы интересно услышать ... Честно говоря, формализм мне не нравится только выполненный не правильно - т.е. тот который сведет мою задачу к не тому, чем она является, как если бы мою задачу попытаться свести к задаче Львовича - и сказать что так оно и было ... именно этим меня пугает формализм, да еще тем что без начального материала - задача понятнее не выглядит, но если все же иметь и то и другое, и показать как одно правильно переходит в другое - так почему же не против, просто хотя бы как с способу размышления ... Короче, скажите просто: Лень мне самому формализовать мою задачу. Это больше на истину будет походить. Формализм вообще-то должен уточнить чего на самом деле происходит и если задача сведется к задачи Львовича (а этого уже не будет, так как мы слава Богу уже уточнили хотя бы до такого уровня), значит такая она и есть и если этого вы не хотите, то нужно было бы вашу задачу изменять. А что поделать? Нужно, значит нужно. Самым сложным мне у вас показалось (пока) именно формализовать переход из-за динамики среды, но я ниже показал, как это легко делается если перейти на формализацию аля "Мульти-агентные игровые системы". Ну всю вашу задачу у меня пока настроения нет формализовать, тем более, что вы постоянно говорите, что это только плохо, никому не нужно и т.д. (так зачем мне делать что-то, на что потом скажут: "фуууууу"). Думаю другим это тоже не очень-то захочется. [Ответ][Цитата]
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 02 сен 08 0:33 Цитата: Автор: daner Самым сложным мне у вас показалось (пока) именно формализовать переход из-за динамики среды, но я ниже показал, как это легко делается если перейти на формализацию аля "Мульти-агентные игровые системы". Ну всю вашу задачу у меня пока настроения нет формализовать ... Ничего вы не показали, максимум предположили аля-это ... (причем почитал я тут другие обсуждения - так у вас на все один и тот же ответ ) В какой-то степени да, действительно лень - так как пользы это приносит не много ... и единственная польза если сравнивать с другими задачами ... но тут известные вам фармолизмы, ну да что-то дают, но мне изучать их язык, только для того, чтобы не узнать что-то новое - как минимум скучно ... другой вопрос если Вам так понятнее - ну так и формализуйте для себя (не хотите не нужно, лишь бы могли обсуждать по сути задачи, но у вас до этого еще не доходит - именно поэтому-то я и предлагал пытаться сравнить с другими и общими усилиями формализовать ... но мне это мало нужно, хотя не скрою обсуждение позволяет отличить существенные вещи от малозначищих - и это пока все - о сути задачи мы так не разу и не говорили, все только о форме - а именно из-за этого и могут быть "фууу", а не из-за вашего пристрастия к формализации, в этом нет ничего плохого - если заниматься еще чем-то ..) мне это нужно столько поскольку, по сути задачи я и так смогу поговорить ... Да, и не путайте "никому не нужно" и "мне не нужно", мне это действительно как собаке пятая нога, но вот когда собирусь писать статью - да, найдутся ряд балбесов, которые без формализации ни хренушки не поймут ... [Ответ][Цитата]
daner Сообщений: 4593	На: Методы построения ИИ от Львовича Добавлено: 02 сен 08 0:49 ну считайте, что я из таких балбесов. не люблю я говорить о чем-то абстрактном, совершенно бессмысленные на мой взгляд разговоры получаются. А поэтому собственно и не доходим до сути , так как суть эту не видно. Ну такому балбесу как мне (наверное единственному, а все остальным все и так понятно и именно поэтому, они считали что ваша среда тоже что и среда Львовича). А ответ у меня какой "один и тот же"? А более всего меня в вашей работе не возбуждает то, что я не "ощующаю" абсалютно ничего нового в том что вы делаете. Может просто не понимаю сути пока. Вот хотел разобраться... но вижу только мешаюсь полету мысли. Что же, постараюсь меньше путаться под ногами. [Ответ][Цитата]
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 02 сен 08 1:19 Цитата: Автор: daner Вот хотел разобраться... Так, если хотели - разберайтесь ... а не учите других жить ... ваши замечания по сути как раз и будут наиболее полезны ... Например, представляете ли Вы себе такую задачу в формализме которой отсутствует вознаграждения, то, что вы обозначаете буквой R ? [Ответ][Цитата]
Алхимик Сообщений: 315	На: Методы построения ИИ от Львовича Добавлено: 02 сен 08 8:27 Реббята, давайте жить дружно (с). Вот закончим с формализацией задачи Львовича, тогда и будем делать окончательные выводы - можно ли так же описать задачу Така. Я сразу говорил, что задача Така сложней, но нам еще с Данером сложность согласовать бы. Всему свое время. [Ответ][Цитата]
daner Сообщений: 4593	На: Методы построения ИИ от Львовича Добавлено: 02 сен 08 10:53 Цитата: Автор: Алхимик Реббята, давайте жить дружно (с). Вот закончим с формализацией задачи Львовича, тогда и будем делать окончательные выводы - можно ли так же описать задачу Така. Я сразу говорил, что задача Така сложней, но нам еще с Данером сложность согласовать бы. Всему свое время. сказать то что хочешь можно. теперь и я вижу, что сложнее. Но это все не так очевидно как можно было бы подумать (впрочем, может вы такой супермен, что вам это и в прямь очевидно, а я как раз из тех "таковских балбесов"). И кстати, я с вами согласен, что сложность понятие не однозначное, впрочем у меня еще нет для него строгова определения (только в общих чертах). [Ответ][Цитата]
daner Сообщений: 4593	На: Методы построения ИИ от Львовича Добавлено: 02 сен 08 11:02 Цитата: Автор: tac Так, если хотели - разберайтесь ... а не учите других жить ... ваши замечания по сути как раз и будут наиболее полезны ... а я вас жить и не учил, но и за вас вашу работу делать не собираюсь. А формализовывать так что бы окружающим стало понятно, это ВАША работа, а не окружающих. Вот как ваш метод попадет в учебники, вот тогда пусть бедные студенты и мучаются что понять чего вы там хотели сказать, а пока мучайтесь вы и заинтересовывайте "публику". Лично у меня интереса особого не проснулось (пока). Меня больше пока интересует работа Львовича и то, если Алхимик НЕ прав. . Цитата: Например, представляете ли Вы себе такую задачу в формализме которой отсутствует вознаграждения, то, что вы обозначаете буквой R ? Конечно. Просто все R = 0. Но это не ваш случай, у вас же есть там какие-то поощрения, да и накопления ресурсов у вас присутствует. У вас вообще как определяется, что кто-то выиграл, а кто-то проиграл (ну хотя бы на определенном этапе), по кол-ву денег, не так ли? [Ответ][Цитата]
Львович Сообщений: 303	На: Методы построения ИИ от Львовича Добавлено: 02 сен 08 11:04 Цитата: daner: Можно прикинуть и несколько по другому. Можно брать (так назавём их) гиппер состояния. Кластеры разных состояний. И вот у таких кластеров оказываются оооочень простые связи, которые не так уж супер сложно изучать. И именно эти простые графы, будут средой для алгоритмов обучения. Именно алгоритмОВ. Возможно супер граф обрабатывает один алгоритм, а уже внутри каждого узла, более мелкие графы, обрабатываются другими алгоритмами обучения. Великолепная идея! Но не новая. Почитайте А.В.Клименко, он именно так мир и представляет. Я тоже хочу заняться этим подходом, но следующим этапом... Цитата: tac: Да, движение одного агента можно свести к движению на бинарном графе. Как - Львович показал, путем введения дополнительных узлов и кратности тактов перемещения. На сколько это оптимально - большой вопрос, скорее всего совершенно не оптимально, т.к. возникают новые сущности - новые вершины у графов, в которых нет необходимости. А вот это лишь означает, что у задачи сложнее условия и соответственно больше вариантов перебора, если у агента нет никаких априорных знаний о среде. Решение этой проблемы может крыться лишь в вышеупомянутой цитате из daner''а. Потому, как человек "изобретая" среду подсознательно строит ее из иерархических сущностей. А Клименко вообще даказывает, что это сущность бытия! Но это - уже априорные знания о среде! Цитата: Кстати? да. Существования городов, которые меняют среду в не зависимости от самого агента, делает среду динамической!!! А вот этого совсем нет у Львовича. Кстати, нет! Если среда замкнута, то это ведет лишь к увеличению количества ее состояний. Ведь если среда состоит из N частей, каждая из которых может находиться в одном из состояниях, то вся система может находиться не более чем в различных состояниях. В предположении, что многие состояния оказываются (функционально) похожими, можно ожидать эффективное поведение за много до обхода всех состояний. Цитата: daner -> tac А более всего меня в вашей работе не возбуждает то, что я не "ощующаю" абсалютно ничего нового в том что вы делаете. Может просто не понимаю сути пока. Вот хотел разобраться... Честно говоря, я тоже увидел у tac''а только описание некоторой игровой задачи, но не алгоритмов решения, а учитывая, что в задаче даже словестное описание длинное, что говорить о формальном. Получает, что агента сначала надо обучить правилам (или заложить их в него), а потом уже выпускть в среду, в которой он должен "жить дальше". Я показал, что мой агент может "жить" в среде tac''а, нужны лишь правильные преобразователи входа и выхода (это кстати отдельная сложная задача!). И желательно предварительное обучение правилам, тогда эффективность его деятельности будет выше. Я не предлагаю модель среды ради среды. Но нельзя что-то не предстваляя для чего! Поэтому я предположил, что большой класс задач можно предствить в виде среды, которую я описал. Попытался доказать (или показать), что двоичная градация не являются принципиальным. Не являются принципиальным и исторические зависимости . Это лишь увеличивает количество потенциальных состояний эквивалентного автомата. Спорно. Но если о среде не известно ничего, кроме того, что такие зависимости могут быть, то увеличение количества состояний это еще цветочки! Агенту в любом случае придется это проверять перебором. [Ответ][Цитата]
daner Сообщений: 4593	На: Методы построения ИИ от Львовича Добавлено: 02 сен 08 11:10 Цитата: Автор: Львович Великолепная идея! Но не новая. Почитайте А.В.Клименко, он именно так мир и представляет. Я тоже хочу заняться этим подходом, но следующим этапом... Неужели я написал, что она новая? конечно нет. я просто хотел эту тему поднять, так как народ в обсуждении, начал говорить только о полном представлении среды... мне это показалось однобоким, вот я и написал то что напсиал. И поверьте Клименко далеко не первый и не последний кто этот способ применяет (да и способов этим много). Сейчас убегаю, так что по остальному посту после отвечу, я даже его еще не прочел. [Ответ][Цитата]
Львович Сообщений: 303	На: Методы построения ИИ от Львовича Добавлено: 02 сен 08 13:49 Цитата: Автор: daner я просто хотел эту тему поднять, так как народ в обсуждении, начал говорить только о полном представлении среды... мне это показалось однобоким, вот я и написал то что напсиал. Ок! Наверное, лучше в новой теме. Присоединюсь! [Ответ][Цитата]
Стр.6 (11): 1  2  3  4  5  [6]  7  8  9  10  11 << < Пред. | След. > >>