Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.5 (11) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Методы построения ИИ от Львовича
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 30 авг 08 20:56 Цитата: Автор: Львович Эта проблема легко решается масштабированием тактировки. Там где в Вашей среде можно выбрать и сделать один из n возможных ходов, моему алгоритму необходимо ходов. При этом мой алгоритм выдаст указанное количество нулей/единиц, которые Вы можете однозначно перевести в номер хода. Аналогично и входные сигналы: на то что Ваш агент воспринимает с M входов одновременно за один шаг, моему потребуется М шагов. Пожалуйста: 6->61,62 61->611,612; 62->621,622 611->1,2; 612->3,5; 621->7,9; 622->10,11 Т.е то что у Вас делается за 1 шаг, у меня за 3. Вот и все! При этом я утверждаю, что моя модель внешней среды (с учетом масштабирования тактировки и последовательно-параллельных преобразований) может описывать любой замкнутый дискретный процесс, а Ваша - только саму себя. Ну, во первых, вот и появились дополнительный условия о которых я говорил: "(с учетом масштабирования тактировки и последовательно-параллельных преобразований)", во-вторых, вам повезло со степенью двойки, а если бы вариантов было не 8, а 9, то что лишнии переходы были сами в себя ? Теперь, давайте точнее с формулировками: "я утверждаю, что моя модель внешней среды может описывать любой замкнутый дискретный процесс, а Ваша - только саму себя." ... точнее будет: Любой замкнутый дискретный процесс можно ПРЕОБРАЗОВАТЬ к вашей модели, в силу того, что она наипростейшая по структуре. С моей моделью здесь сравнивать не коректно, т.к. сравнивать можно только граф переходов одного агента на плоскости ... у меня же этих агентов несколько, и суть задачи была в другом. Но допускаю, что можно убрать карту, и поместить моих агентов на ваш двоичный граф, с точностью тактироваки в 3 шага (т.е. нельзя сделать не кратное 3-м шагов). Весь вопрос теперь: "ДЛЯ ЧЕГО?". Зачем преобразовывать то, что естественно, в то, что не естественно ? Что мы от этого получаем, какие выгоды ? [Ответ][Цитата]
daner Сообщений: 4633	На: Методы построения ИИ от Львовича Добавлено: 31 авг 08 1:06 >>>> Алхимик Не все так просто с тем, что проще или что сложнее. Изначально когда Львович описывал среду, у него переходы в состоянии Х зависили еще и от истории (тут правда не совсем понятно какой истории, это еще разбирать надо точнее). То как tac описывал свою среду (на словах) такой зависимости нет. Все как в POMDP, не зависит от истории, но зависит от чего-то скрытого (точнее сказать затрудняюсь). Так что, либо это вообще разные задачи, либо одна подзадача другой, а возможно и вообще эквивалентные (сказать сложно, можно только догадываться). А бинарность здесь не играет супер важной роли (ИМХО). >>>> tac Да у вас изначально система Мулти-агентная. Но вообще-то относительно одного агента... это второстепенно. Т.е. другие агенты, просто представляются частью среды. вот и все. Другими словами, "среда" у Львовича должна рассматриваться против вашей "среда+агенты". [Ответ][Цитата]
daner Сообщений: 4633	На: Методы построения ИИ от Львовича Добавлено: 31 авг 08 1:36 Сейчас постараюсь описать одну мысль, не уверен что получится вот так просто и коротко... кто поймет, тот поймет, особо развивать ее не хочу. Цель ее (мысли), просто некоторое замечание к тому, как смотреть на среду и состояния. Есть скажем задача... очень сложная, очень навороченная. Состояний... до черта. Зависимости просто зверские. Ну например футбол (к примеру не придираться, я его особо не обдумывал). Т.е. среда такая, что "мама не горюй". Дай такую среду алгоритму обучения, лет 10 уйдет пока вообще более или менее адекватно реагировать начнет. НО, здесь есть важный момент, который очень часто выручает. Не надо смотреть сразу на всю среду в общем. Не надо смотреть на состояние как на самое мельчайшее изменение среды. Можно прикинуть и несколько по другому. Можно брать (так назавём их) гиппер состояния. Кластеры разных состояний. И вот у таких кластеров оказываются оооочень простые связи, которые не так уж супер сложно изучать. И именно эти простые графы, будут средой для алгоритмов обучения. Именно алгоритмОВ. Возможно супер граф обрабатывает один алгоритм, а уже внутри каждого узла, более мелкие графы, обрабатываются другими алгоритмами обучения. В том же примере с футболом, это может быть (просто на вскидку) состояния {атака, защита}. ВСЕ. граф из двух состояний, с совершенно детерминированными переходами одно в другие (не смотря на не детерминированность все среду вообще) и т.д. Наверняка когда вы смотрели на формализм MDP вы думали: "ну какая-то не реальная среда, таких простых сред не бывает". С одной стороны вы правы, с другой... если применить тот метод, о котором я говорил (а это всем известный метод разбивания на уровни абстракций или декомпозиции), можно получить вместо супер сложной среды, несколько простеньких MDP сред и решить их все по отдельности, что в целом приведет к общему решению. Если вы поняли написанное мной до этого, то наверное возникнет вопрос: "Если так, то почему бы давно уже не решать таким образом все сложные задачи подряд". Ответ простой: 1) не факт что любая задача поддается подобной декопозиции и 2) нет универсального алгоритма разбиения задач на таки вот простые задачки. Пока это дело разработчиков и дело очень задаче-зависимое. Мысль это у меня родилась, после того, как для "Среды Львовича" определили место только в лабиринте. Но это не так. Возможно такую среду можно использовать для решения многих задач на определенном уровне абстракции... мало ли. [Ответ][Цитата]
Алхимик Сообщений: 315	На: Методы построения ИИ от Львовича Добавлено: 31 авг 08 2:14 Цитата: Автор: daner >>>> Алхимик Не все так просто с тем, что проще или что сложнее. Изначально когда Львович описывал среду, у него переходы в состоянии Х зависили еще и от истории (тут правда не совсем понятно какой истории, это еще разбирать надо точнее). То как tac описывал свою среду (на словах) такой зависимости нет. Все как в POMDP, не зависит от истории, но зависит от чего-то скрытого (точнее сказать затрудняюсь). Так что, либо это вообще разные задачи, либо одна подзадача другой, а возможно и вообще эквивалентные (сказать сложно, можно только догадываться). Так я и поверил, что не зависит от истории. И что те восемнадцать ходов, которые необходимы для поиска моря по оптимальной стратегии агент будет топтаться по уже пройденым полям. Для чего-то он ходит по ним, значит, должен что-то запоминать, сравнивать что-то с чем-то. У Львовича история выделена явно, у Так зарыта в алгориме и о ней "сказать сложно, можно только догадываться". Пусть она будет и не полной, но при том объеме данных, что у Так полная история Львовича потянет меньше, чем неполная Так. Мне симпатичен подход Львовича тем, что он хочет отделить, четко определить каждую сущность, насколько это возможно. Цитата: Автор: daner А бинарность здесь не играет супер важной роли (ИМХО). Как по мне, так тоже. Просто бинарный вариант простейший. А после того, как будет ясна суть, можно будет сделать и для больших размерностей, не обязательно будет приводить к бинарности, как хочет Львович. [Ответ][Цитата]
daner Сообщений: 4633	На: Методы построения ИИ от Львовича Добавлено: 31 авг 08 4:13 QUOTE Автор: Алхимик Цитата: Так я и поверил, что не зависит от истории. И что те восемнадцать ходов, которые необходимы для поиска моря по оптимальной стратегии агент будет топтаться по уже пройденым полям. не надо путать самого агента и среду. ОК? Вот если бы агент в игре tac-а сделал бы ход в право, а среда вместо того, что бы его вправо послать, прикинула, что так как он 10 ходов назад, находился там-то и там-то, а его противник, там-то и там-то, и он сделал то-то и тот-то, а 2 хода назад ... ну и т.д. и поэтому вместо вправо, он оказался бы южнее на две клетки (ну т.е. вниз). Вот это другое дело. Цитата: У Львовича история выделена явно правильно. И у среды и у агента. Цитата: у Так зарыта в алгориме и о ней "сказать сложно, можно только догадываться". Пусть она будет и не полной, но при том объеме данных, что у Так полная история Львовича потянет меньше, чем неполная Так. как я уже сказал tac говорит про память у агента, это несколько иное. Но я в принципе предложение не понял. А почему вы решили, что данных у tac больше? Не уверен. Если формализовать поподробней, может и не больше. То что больше вариантов действий-- ОК... ну будет у вас после формализма одна из групп размером побольше, ну и что? Не в этом сложность. Сложность начинается когда самих видов сущности в задачи больше, и их зависимости сложнее. А это сложно без четкого формализма увидеть, да еще и сравнивать в разных задачах. Цитата: Как по мне, так тоже. Просто бинарный вариант простейший. А после того, как будет ясна суть, можно будет сделать и для больших размерностей, не обязательно будет приводить к бинарности, как хочет Львович. Ну может Львович докажет, что и бинарности достаточно. Пока это у него не сильно убедительно звучало (так как вместо конечного автомата он получил бесконечный, что как-то не совсем то, что ожидалось). Дело тут не в том что у него не правильное доказательство, а что то-что оно доказало, не понятно как применять. Вот если любая задача не теряя размерности будет трансформироваться (т.е. будет редукция) в бинарную -- супер, чего еще надо? [Ответ][Цитата]
Алхимик Сообщений: 315	На: Методы построения ИИ от Львовича Добавлено: 31 авг 08 10:58 [QUOTE]Автор: daner не надо путать самого агента и среду. ОК? Вот если бы агент в игре tac-а сделал бы ход в право, а среда вместо того, что бы его вправо послать, прикинула, что так как он 10 ходов назад, находился там-то и там-то, а его противник, там-то и там-то, и он сделал то-то и тот-то, а 2 хода назад ... ну и т.д. и поэтому вместо вправо, он оказался бы южнее на две клетки (ну т.е. вниз). Вот это другое дело. QUOTE] По-моему, вы что-то путаете. У Львовича агент побадает туда, куда и передвигается. Другое дело, что он не знает куда попадает, а только предполагает. По-видимому, надо дествительно уточнять формализацию на образце, чтобы понимать все одинаково. Я попробую подключиться. Цитата: Автор: daner как я уже сказал tac говорит про память у агента, это несколько иное. Но я в принципе предложение не понял. А почему вы решили, что данных у tac больше? Не уверен. Если формализовать поподробней, может и не больше. То что больше вариантов действий-- ОК... ну будет у вас после формализма одна из групп размером побольше, ну и что? Не в этом сложность. Сложность начинается когда самих видов сущности в задачи больше, и их зависимости сложнее. А это сложно без четкого формализма увидеть, да еще и сравнивать в разных задачах. Что-то не согласен я с таким утверждением. У любого графа только два типа сущностей: вершины и ребра. Вы утверждаете, что граф из 100 вершин с 1000 ребер равен по сложности графу из 5 вершин и 5 ребер? Тогда вам придется дать определение сложности, потому что интуитивно это мной не воспринимается. [Ответ][Цитата]
daner Сообщений: 4633	На: Методы построения ИИ от Львовича Добавлено: 31 авг 08 13:41 QUOTE Автор: Алхимик Цитата: По-моему, вы что-то путаете. У Львовича агент побадает туда, куда и передвигается. Другое дело, что он не знает куда попадает, а только предполагает. По-видимому, надо дествительно уточнять формализацию на образце, чтобы понимать все одинаково. Я попробую подключиться. Вот уточним, тогда увидим кто путает. Цитата: Что-то не согласен я с таким утверждением. У любого графа только два типа сущностей: вершины и ребра. Вы утверждаете, что граф из 100 вершин с 1000 ребер равен по сложности графу из 5 вершин и 5 ребер? Тогда вам придется дать определение сложности, потому что интуитивно это мной не воспринимается. Ха, если бы точно мог дать определение, уже дал бы. Это не тривиально. В принципе направление к определению могу наметить. Естественно оно будет связанно с решениями. Кстати, под сущностными я подразумевал не только вершины (поэтому я и написал не "объекты, а именно сущности задачи". Согласен, что это до отвратительности не точно, но приведу пример. Вы говорите граф, вершины, ребра. А теперь представим, что ребра не просто так, а с вероятностью перехода или этот переход зависит от предыдущих состояний. Это уже не классический автомат. Если такую структуру попытаться в классический автомат перевести (если конечно получится), то вместо 5 вершин и 5 ребер поучим какой-нибудь автомат в 3000 вершин с черт знает сколькими ребрами. Вот именно об этих "сущностных" (вероятности переходов, зависимости от истории и прочее) я и говорил. А кол-во вершин и ребер в принципе (т.е. размер входных данных) обычно определяется как некоторая n и сложность пляшет от нее. А при константах, это не сильно важно. Вы же знаете, что константы в ТВС не имеют особого значения, что 5, что 5000000. Обычно прогресс в сфере электроники, очень быстро справляется с константами (в отличии от экспоненциальных функций относительно размера входных данных). [Ответ][Цитата]
Алхимик Сообщений: 315	На: Методы построения ИИ от Львовича Добавлено: 31 авг 08 14:28 Собственно, Львович утверждает, что любую задачу, в том числе и задачу Так, можно выразить в его формализме. Я ему склонен поверить. Так что число сущностей будет одинаковым, только мощность у них разная. Именно поэтому я и говорил, что задача Львовича проще, ибо он изначально выбирает минимальную мощность для каждой сущности. Короче, дождемся уточнения, увидим. [Ответ][Цитата]
daner Сообщений: 4633	На: Методы построения ИИ от Львовича Добавлено: 31 авг 08 16:24 Цитата: Автор: Алхимик Собственно, Львович утверждает, что любую задачу, в том числе и задачу Так, можно выразить в его формализме. Я ему склонен поверить. Так что число сущностей будет одинаковым, только мощность у них разная. Именно поэтому я и говорил, что задача Львовича проще, ибо он изначально выбирает минимальную мощность для каждой сущности. Короче, дождемся уточнения, увидим. Выразить, это не значит что вот как есть, так и выразить. Некоторые "выразить" оказываются намного сложнее чем кажется. Кроме-то мы еще не разобрались в методе Львовича. Не так ли? Во всяком случае с вами мы его по разному понимаем. [Ответ][Цитата]
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 31 авг 08 22:53 Цитата: Автор: Алхимик Собственно, Львович утверждает, что любую задачу, в том числе и задачу Так, можно выразить в его формализме. Я ему склонен поверить. Давайте разделим две вещи - (1) собственно среду в смысле перемещения и (2) различных правил для юнитов в среде. Теперь, касательно: (1) Да, движение одного агента можно свести к движению на бинарном графе. Как - Львович показал, путем введения дополнительных узлов и кратности тактов перемещения. На сколько это оптимально - большой вопрос, скорее всего совершенно не оптимально, т.к. возникают новые сущности - новые вершины у графов, в которых нет необходимости. Сравнительно вариант, Константина, где рассматривается полносвязный граф - более предпочтительный, т.к. это общий случай, который не нужно сводить к формализму, например Львовича - а можно решать общим образом. Мой вариант является промежуточным - как раз он является частным случаем (но особым, движение на плосткости) формализма Константина, а формализм Львовича получается бессмысленный для моей задачи. Более того, не забывайте, что некоторая задача не является суммой ее частей, так например, после того, как мою задачу мы приведем к формализму Львовичу, то вынужденно должен изменится поведение агента, если ранее он давал свою оценку (число от 0 до 255) о том, куда лучше двигаться из 8 направлений, то теперь он должен решать этот вопрос трижды но для 2 направлений, а это значит, что из 8 равнозначных - вначале их нужно разделить на два, что это за направления ? Предположим начальные оценки направления следующие 30, 80, 120, 90, 200, 10, 40, 30. Эти два наверное как-то должны представлять в целом по 4 направления, скажем если суммировать их оценки 30, 80, 120, 90 = 320, и 200, 10, 40, 30 = 280 . Автомат выбирет первую часть, т.е. с направлением в 320, и тем самым пропустит более выгодное направление в 200 ед. 2. У Львовича только один тип юнитов в задаче - собственно агент, он является управлемым и интеллектуальным. У меня же как минимум два типа юнитов - поселенец и город, каждый из них живет свое жизнью и свои правилам. Если поселенца можно проассоциировать на агента у Львовича, то с городом этого ни как не добиться. Город - это часть среды, та ее часть, которая заставляет меняться среду - интеллектуально она не управляется (по крайней мере в простейшем случае выбор места для рабочего выбирается случайно или детерминировано). Город живет по своим правилам, наращивает ресурсы увеличивается или производит нового поселенца. Вся эта часть правил задачи НИ КАК неложится на среду Львовича - ей там просто нет места. В то же время именно это является главной частью игры - правильно раставить города, чтобы суммарный эффект от этого дал бы выйграшный результат. [Ответ][Цитата]
daner Сообщений: 4633	На: Методы построения ИИ от Львовича Добавлено: 31 авг 08 23:08 Цитата: Автор: tac 2. У Львовича только один тип юнитов в задаче - собственно агент, он является управлемым и интеллектуальным. У меня же как минимум два типа юнитов - поселенец и город, каждый из них живет свое жизнью и свои правилам. Если поселенца можно проассоциировать на агента у Львовича, то с городом этого ни как не добиться. Город - это часть среды, та ее часть, которая заставляет меняться среду - интеллектуально она не управляется (по крайней мере в простейшем случае выбор места для рабочего выбирается случайно или детерминировано). Город живет по своим правилам, наращивает ресурсы увеличивается или производит нового поселенца. Вся эта часть правил задачи НИ КАК неложится на среду Львовича - ей там просто нет места. В то же время именно это является главной частью игры - правильно раставить города, чтобы суммарный эффект от этого дал бы выйграшный результат. Кстати да. Существования городов, которые меняют среду в не зависимости от самого агента, делает среду динамической!!! А вот этого совсем нет у Львовича. Ну вот уже и четкая разница появилась. И года не прошло. А что за граф Константина? [Ответ][Цитата]
Алхимик Сообщений: 315	На: Методы построения ИИ от Львовича Добавлено: 01 сен 08 0:04 Цитата: Автор: daner Кстати да. Существования городов, которые меняют среду в не зависимости от самого агента, делает среду динамической!!! А вот этого совсем нет у Львовича. Ну вот уже и четкая разница появилась. И года не прошло. Когда я говорил о том, что задачу Так можно выразить в формализме Львовича, я не имел ввиду бинарность, я не настаиваю на ее обязательности. Я имел ввиду кортеж <S,A,T,R>. Ну ситуации S будут посложнее, поразнообразнее и будут зависить не только от положения агента. Ну реакций А поселенца будет не две, а больше - движение на восем сторон, постройка города и пр. Ну переходы T будут сложнее из-за больших S и A и из-за динамичности среды. Ну награды R из бинарных превратятся в более градуированые, по количеству золота, которым оценивается успешность. Но что это меняет в принципе? Так что автомат среды я смогу спокойно сделать, города мне не помешают. Вся интелектуальность все равно будет в агенте, и все равно задачей будет научится добывать больше наград. [Ответ][Цитата]
daner Сообщений: 4633	На: Методы построения ИИ от Львовича Добавлено: 01 сен 08 0:56 Цитата: Автор: Алхимик Когда я говорил о том, что задачу Так можно выразить в формализме Львовича, я не имел ввиду бинарность, я не настаиваю на ее обязательности. Я имел ввиду кортеж <S,A,T,R>. Ну ситуации S будут посложнее, поразнообразнее и будут зависить не только от положения агента. Ну реакций А поселенца будет не две, а больше - движение на восем сторон, постройка города и пр. Ну переходы T будут сложнее из-за больших S и A и из-за динамичности среды. Ну награды R из бинарных превратятся в более градуированые, по количеству золота, которым оценивается успешность. Но что это меняет в принципе? Так что автомат среды я смогу спокойно сделать, города мне не помешают. Вся интелектуальность все равно будет в агенте, и все равно задачей будет научится добывать больше наград. Причем тут интеллектуальность. Интеллектуальность вообще зависит от метода реализации агента. Это могут быть совершенно разные методы, для одной и той же среды. А мы про среду говорим. И вы не правы, здесь принципиальная разница и как раз в формализме это стазу видно. НА счет S вы правы, на счет А тоже, и даже на счет R. А вот по поводу Т я с вами не соглашусь. Проблема в том, что среда у tac-а денамическая. Т.е. она может меняться не только от действий агента, но и сама по себе. А это уже просто так через Т не выразишь. Это даже на POMDP не ложиться, так как там есть тоже условие как и в MDP: Цитата: Each time period, the environment is in some state , the agent takes an action . Taking action a makes the environment transition to state with probability and the agent receives a reward for it, with expected value . Поэтому так с ходу как это формализуется сложно выразить. Ну возможно здесь надо подходить к среде как к гетерогенной мульти-агентной (т.е. где много разных агентов). Тогда А в первую очередь превращается в joint action, типа . Здесь это действия агента . А это уже достаточно принципиальное отличие. П.С. Как я уже говорил, размеры самих групп значение не имеют. Вот из чего они состоят и их связи... это другое дело. [Ответ][Цитата]
daner Сообщений: 4633	На: Методы построения ИИ от Львовича Добавлено: 01 сен 08 1:04 Кстати, если вы правы на счет у Львовича, то его задача это строгая под-задача обычного MDP. в то время как у tac-a получается классический MA-POMDP (multi-agent pomdp). Multi он из-за динамики самой среды (т.е. городов), а PO он из-за ограниченного поля зрения. [Ответ][Цитата]
tac Сообщений: 2601	На: Методы построения ИИ от Львовича Добавлено: 01 сен 08 4:48 Цитата: Автор: Алхимик Я имел ввиду кортеж <S,A,T,R>. Не могли бы вы доступно расшифровать, что значит каждая буква ? [Ответ][Цитата]
Стр.5 (11): 1  2  3  4  [5]  6  7  8  9  ...  11 << < Пред. | След. > >>