Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.7 (14) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Проект Projetc-CNS
tac Сообщений: 2601	На: Проект Projetc-CNS Добавлено: 14 сен 11 22:45 Цитата: Автор: daner Я не сказал, что цели не известны. цель у системы общая -- передвинуть ящик (да даже если бы и разные...). Поэтому все агенты пытаются его двигать, вопрос в каком направлении. Это из Басни Крылова (Лебедь, рак и щука). Это классика teamwork концепции, когда вся группа рассматривается как единый агент, но для этого необходимо решение 3 концептуальных задачь : синхронизация по времени начала, синхронизация по ролям и синхронизация по времени окончания. И в принципе все эти задачи можно решать как с помощью коммуникации, так и без (они ведь могут изучать друг-друга, это кстати и есть обоснования необходимости MARL, т.е. много-агентного обуч. с подкреп.). Ну хорошо, пусть будет им известна цель - каждому. Но если есть коммуникация - то это ничем не отличается от САС, т.к. наличие координатора превращает задачу в централизованную, разница лишь в том, что объектов управления (агентов в данном случае) не один, а несколько. Поэтому я рассуждаю только о варианте заявленном вами выше - без коммуникации. Говорите они могут друг друга изучать - ок. Но это ничего не меняет. Я показывал пример с ящиком, который могут передвинуть десять агентов. Но чтобы изучать, в системе должно наступить такое состояние, когда все десять сдвинут ящик, а вероятность этого ничтожна (как говорят критики эволюционистов, перефразируя, для самообучения нужно чтобы ураган пронесясь по свалке собрал автомобиль). А других видимых параметров полезности агенту не дано, если даже совпадет, что два двигаю ящик - он не будет двигаться, и изучающий третий агент изучая, может сделать лишь один вывод - это бесполезно. И будет ЖДАТЬ, пока не наступит что-то полезное, а оно не наступит за разумное время. и это отличается от САС, когда можно централизованно опробовать ряд стратегий, а не ждать наступления благоприятного события, которого изучающий зафиксирует. [Ответ][Цитата]
tac Сообщений: 2601	На: Проект Projetc-CNS Добавлено: 14 сен 11 22:49 Цитата: Автор: NewPoisk Я не могу оценить такую ситуацию по причине ее отсутствия. Что значит отсутствия ? Если я вам предоставлю такую программу - вы согласитесь, что (само)обучение есть или нет ? Из ваших определений, это прямо не следует. [Ответ][Цитата]
tac Сообщений: 2601	На: Проект Projetc-CNS Добавлено: 14 сен 11 22:52 Цитата: Автор: daner Вот только разговор у нас не об этом. Что-то я не понял, почему не об этом, именно об этом. [Ответ][Цитата]
daner Сообщений: 4602	На: Проект Projetc-CNS Добавлено: 14 сен 11 23:55 Цитата: Автор: tac Ну хорошо, пусть будет им известна цель - каждому. Но если есть коммуникация - то это ничем не отличается от САС, т.к. наличие координатора превращает задачу в централизованную, разница лишь в том, что объектов управления (агентов в данном случае) не один, а несколько. Ну если, коммуникация идеальна (ну типа как shared memory в одном компьютере), тогда конечно все просто (да и то, остается МАС задача на уровне синхронизации процессов и решается она примерно как и всегда, через что-то типа мьютексов). Но обычно, связь далека от идеальной. И поэтому реализовать механизмы мьютекса становиться не так просто, а то и вовсе нереально. Вот всем этим и занимается МАС, в этом и отличия задач МАС от САС. Но в этом и плюсы есть. МАС более надежная система чем САС : отключение одного агента не ведет к провалу миссии, в отличии от централизованной системы, когда отключение координатора завершает работу всей группы (это, кстати, ни раз смаковалось в различных фантастиках), МАС менее чувствительна к различным помехам связи и ресурсы использует более сбалансировано. Короче, даже рассуждения о том достаточна САС или необходимо использовать МАС для той или иной задачи -- это тоже задача из разряда МАС . Цитата: Поэтому я рассуждаю только о варианте заявленном вами выше - без коммуникации. Говорите они могут друг друга изучать - ок. Но это ничего не меняет. Я показывал пример с ящиком, который могут передвинуть десять агентов. Но чтобы изучать, в системе должно наступить такое состояние, когда все десять сдвинут ящик, а вероятность этого ничтожна (как говорят критики эволюционистов, перефразируя, для самообучения нужно чтобы ураган пронесясь по свалке собрал автомобиль). А других видимых параметров полезности агенту не дано, если даже совпадет, что два двигаю ящик - он не будет двигаться, и изучающий третий агент изучая, может сделать лишь один вывод - это бесполезно. И будет ЖДАТЬ, пока не наступит что-то полезное, а оно не наступит за разумное время. и это отличается от САС, когда можно централизованно опробовать ряд стратегий, а не ждать наступления благоприятного события, которого изучающий зафиксирует. Я не пойму, что вы пытаетесь доказать? Вы пытаетесь решить конкретную задачу с ящиком? В принципе, я не против обсудить решение этой задачи -- но это отдельная тема. Что касается ваших рассуждений относительно "урагана", я с ними не согласен. Вы описываете какой-то конкретный алгоритм и пытаетесь его представить как единственно возможный, но это не так. Цитата: Что-то я не понял, почему не об этом, именно об этом. Ну я не знаю, о чем вы, я не об этом. Решением задачи (вообще, а не социальной какой-нибудь) с помощью МАС является ВСЯ система, а не каждый агент в отдельности. Поэтому любое высказывание относительно локальных и глобальных решений по отношению к МАС, будет на столько верным и в случае с САС (и наоборот). Единственное, что может быть в этом интересного для нашей беседы, это то следствие, что из набора различных оптимальных, но локальных решений САС, в общем случае, не получится сделать МАС систему (глобальное решение) простым объединением этих САС агентов в одну группу. [Ответ][Цитата]
tac Сообщений: 2601	На: Проект Projetc-CNS Добавлено: 15 сен 11 1:05 Цитата: Автор: daner Я не пойму, что вы пытаетесь доказать? Вы пытаетесь решить конкретную задачу с ящиком? В принципе, я не против обсудить решение этой задачи -- но это отдельная тема. Что касается ваших рассуждений относительно "урагана", я с ними не согласен. Вы описываете какой-то конкретный алгоритм и пытаетесь его представить как единственно возможный, но это не так. Да, нет. Я всего лишь хочу показать, что эта задача в принципе не решаема не одним алгоритмом МАС без коммуникации. И задача эта хоть и вырожденная, но типовая для МАС. Ну, или дайте мне вектор, из которого я пойму что это не так ... [Ответ][Цитата]
tac Сообщений: 2601	На: Проект Projetc-CNS Добавлено: 15 сен 11 1:54 Цитата: Автор: daner Единственное, что может быть в этом интересного для нашей беседы, это то следствие, что из набора различных оптимальных, но локальных решений САС, в общем случае, не получится сделать МАС систему (глобальное решение) простым объединением этих САС агентов в одну группу. Именно. Только когда вы говорите о "локальных решений САС" - это и есть один агент в МАС. А без коммуникации в МАС, есть не что иное как простое объединение САС агентов в одну группу. [Ответ][Цитата]
daner Сообщений: 4602	На: Проект Projetc-CNS Добавлено: 15 сен 11 10:33 Цитата: Автор: tac Да, нет. Я всего лишь хочу показать, что эта задача в принципе не решаема не одним алгоритмом МАС без коммуникации. И задача эта хоть и вырожденная, но типовая для МАС. Ну, или дайте мне вектор, из которого я пойму что это не так ... .................. .................. Именно. Только когда вы говорите о "локальных решений САС" - это и есть один агент в МАС. А без коммуникации в МАС, есть не что иное как простое объединение САС агентов в одну группу. Конечно же нет. Попробую ответить сразу на два вопроса. Вы хотели вектор, вот вам вектор: Чуть сильнее формализую данную ранее задачу. Существует n агентов действия которых заключаются в перемещении ящика в какую нибудь сторону. Это можно выразить ввиде вектора чисел (массива) каждая ячейка которого есть угол прикладываемой агентом силы толкания (относительно центра ящика). Надеюсь, что понятно выразился Таким образом ящик будет сдвинут, только в случае равных значений в... здесь есть варианты: большинства ячеек или вообще во всех ячейках. Каждый агент имеет доступ на чтение всех элементов массива и только одного на запись. Существует еще один масссив флагов (с такими же доступами как и первый) показывающий талкает агент ящик или не толкает (в реальности это местоположение агента : рядом с ящиком или не рядом) Алгоритм (относительно каждого из агентов): 0. агент проверяет установленны ли все флаги в масссиве флагов и если да, то все ли углы в масссиве углов равны. Вслучае положительного ответа : ЗАДАЧА РЕШЕНА 1. агент засыпает на случайный период времени. 2. агент просыпается 3. агент проверяет массив флагов, т.е. ищет в нем первый установленный флаг 4. если фалг найден 4.1. в массив углов копируется угол по тому же индексу что и найденный флаг 5. если флаг не найден 5.1. случайным образом выбирается угол записывается в массив углов и устанавливается флаг в массиве флагов. 6. повторяем алгоритм с шага 0. Здесь можно даже внести некоторый шум. Т.е. например иногда угол давления агента меняется случайным образом. Система все-равно стабилизируется. здесь я набросал работающий код : http://codepad.org/3yhdrvkh Примечание к output: формат: для каждой строки 1. время (т.е. итерация) 2. массив углов 3. массив флагов для каждой итерации 2 строчки: до и после случайного изменения углов. Примечание к реализации: 1. сон на случайное время нужен не конкретно в этом случае (в последовательном алгоритм можно и не спать, тогда задача будет решена за одну итерацию), а для варианта, когда каждый агент работает в отдельном процессоре. 2. если не совсем понятно, где начинается код агента, и где он кончается: начало на строке 22 конец на строке 30 МАС не рассматриваются, как просто набор САС систем. А алгоритмы кооперации, координации и прочего, могут быть реализованны и без коммуникации*. Более того, иногда поведение отдельного агента в МАС вообще не рационально с точки зрения САС, но рационально с точки зрения ВСЙ МАС. ----------------------------- * Кстати, под коммуникацией я подразумеваю целеноправленную передачу информации. Если один агент наблюдает за тем, что делает другой агент, но при этом наблюдаемый не делает никаких действий кроме как действий по выполнению задачи, это уже не коммуникация. [Ответ][Цитата]
tac Сообщений: 2601	На: Проект Projetc-CNS Добавлено: 15 сен 11 23:03 Цитата: Автор: daner 3. агент проверяет массив флагов, т.е. ищет в нем первый установленный флаг 4. если фалг найден 4.1. в массив углов копируется угол по тому же индексу что и найденный флаг 5. если флаг не найден 5.1. случайным образом выбирается угол записывается в массив углов и устанавливается флаг в массиве флагов. Дело в том, что вы в алгоритм уже косвенно заложили решение. Если исключить из алгоритма 4.1., то решения вы не дождетесь. Т.е. знание что нужно делать также как и другой - это то чему надо обучится, и не может быть дано в алгоритме. Но чтобы не было сферического коня в вакууме, я могу это продемонстрировать несколько по другому. Толкаем тот же ящик, но пусть он сдвинется, если приложенная сила будет направлена в центр. Т.е. если 5 и 6 ячейка толкается на 90 градусов, 3,4,7,8 на (+/-)45 градусов, 1,2,9,10 на (+/-)30 градусов (не придираемся к деталям, чисто тестовое условие). И все ваш алгоритм не работает. [Ответ][Цитата]
daner Сообщений: 4602	На: Проект Projetc-CNS Добавлено: 16 сен 11 1:01 Цитата: Автор: tac Дело в том, что вы в алгоритм уже косвенно заложили решение. Если исключить из алгоритма 4.1., то решения вы не дождетесь. Т.е. знание что нужно делать также как и другой - это то чему надо обучится, и не может быть дано в алгоритме. Но чтобы не было сферического коня в вакууме, я могу это продемонстрировать несколько по другому. Толкаем тот же ящик, но пусть он сдвинется, если приложенная сила будет направлена в центр. Т.е. если 5 и 6 ячейка толкается на 90 градусов, 3,4,7,8 на (+/-)45 градусов, 1,2,9,10 на (+/-)30 градусов (не придираемся к деталям, чисто тестовое условие). И все ваш алгоритм не работает. Не понял, а какому условию задачи противоречит 4.1? С чего ради агенты должны чему-то обучаться? и что значит "решение заложили"? Естественно заложили -- это же алгоритм решения задачи !!! А что, в САС не так? Если необходимо обучаться (причем надо понять чему именно и зачем, т.е. даст ли это универсальность поведения в каком-то классе задач), то можно воспользоваться техниками из MARL (мулти-агент обуч. с подкреп.) что бы решить задачу синхронизации группы. Обучение в алгоритмах имеет место тогда, когда некоторые условия не определенны заранее, т.е. они меняются от задачи к задаче или меняются в течении выполнения алгоритма. Вот тогда стоит смотреть в сторону обучения. Собственно, это верно и по отношению к САС. Обучение ради обучения -- это скучно. В приведенном мной алгоритме важно несколько вещей: 1. есть несколько агентов, их действия ограничены и все агенты равноправны -- это уже МАС. 2. агенты не обмениваются информацией целенаправленно. Т.е. они просто действуют в целях решения поставленной задачи и созерцают действия других агентов -- что совершенно нормально для большинства МАС систем без комминикации. [Ответ][Цитата]
Andrey Сообщений: 128	На: Проект Projetc-CNS Добавлено: 16 сен 11 7:44 Цитата: Автор: Андрей При всём уважении к Анохину, должен утверждать, что его схема слишком дискретна и "шита белыми нитками". Например, "пусковая афферентация" и "обстановочная афферентация" - это один и тот же прогноз только на разной глубине. Пусковая афферентация - миллисекунды, обстановочная - минуты, дни, года... Т.е. там, где присутствует шкала, Анохин проводит жёсткую границу, на мой взгляд это - ошибка. Мне кажется, вы не совсем правы. Это важный момент, имеющий прямое отношение к формированию поведения. Обстановочная афферентация - это сигналы, генерируемые рецепторами в ответ на незнакомые/не до конца идентифицированные раздражители. Они запускают ориентировочное поведение. Пусковая афферентация - это сигналы, генерируемые рецепторами в ответ на раздражители, ставшие сигнальными; запускающие выработанное поведение (условный рефлекс). Разница - внутренняя, в зависимости от состояния и опыта системы. Но она существенная. Именно наличие обстановочной и пусковой афферентации позволяет вырабатывать и корректировать поведение. То есть, любой незнакомый раздражитель вызывает обстановочную афферентацию. Но у некоторых из этих раздражителей есть шансы стать пусковым (сигнальным), после выработки условно-рефлекторной связи. Любая пусковая афферентация ранее была обстановочной, но не наоборот. [Ответ][Цитата]
Андрей Сообщений: 3943	На: Проект Projetc-CNS Добавлено: 16 сен 11 20:15 Цитата: Автор: Andrey Обстановочная афферентация - это сигналы, генерируемые рецепторами в ответ на незнакомые/не до конца идентифицированные раздражители. Они запускают ориентировочное поведение. Пусковая афферентация - это сигналы, генерируемые рецепторами в ответ на раздражители, ставшие сигнальными; запускающие выработанное поведение (условный рефлекс). На первый взгляд всё красиво. Но если принять такую модель за эталон интеллекта, то в итоге: 1. Мы получаем робота, который полностью управляется внешними сиюминутными стимулами. В то время как человек удивителен и полезен именно внутренними долгоиграющими стимулами. Более того - ещё не наступившими стимулами - стимулами из предсказываемого будущего. 2. Складывается впечатление, что назначение этого робота только в том, чтобы как-то реагировать на известное, переводя неизвестное в категорию известного. Однако вроде договорились уже, что человек - это механизм для решения конкретных задач в разных контекстах посредством локомоций. И с этой точки зрения и ориентировочное поведение, и выработанное поведение могут быть верными/неверными только в контексте какой-то конкретной задачи. Могу привести массу примеров, когда новый стимул требует не поискового поведения, а тихого "лежания на дне", и рыскание будет ошибкой. Чтобы точнее соотнести обстановочную и пусковую афферентацию с реалиями, следует, имхо, разделить действия человека на сознательные и автоматические. Сознание строит прогноз, выявляет противоречия между прогнозом и ожиданием для поставленной задачи и запускает какой-то уже натренированный автоматизм. От действия автоматизма меняется афферентация, от этого меняется прогноз и в случае, если противоречие из прогноза исчезает, данный автоматизм связывается с данной задачей и впредь будет использоваться сознанием, как новый, более сложный автоматизм, для решения более сложных задач. Это можно себе представить как рост пирамиды управления. В самом нижнем слое трудятся рабы (моторика), умеющие координировать (перемещать) предметы. Пока каждый раб трудится "сам за себя" - их деятельность бессвязна и хаотична. Из этой кучи выделяется управляющий, который становится на уровень выше и координирует уже рабов, а не предметы. Потом с ростом числа задач, управляющий поднимается выше, а из рабов выделяет несколько суб-управляющих. И так далее. У Хокинса было что-то похожее описано. Каждый верхний слой воспринимает нижний слой как автоматизированное подспорье для решения своих задач. Вот этот рост пирамиды управления вверх примерно можно сравнить с развитием индивидуального сознания в онтогенезе. Начиная от контроля за элементарными краткосрочными локомоциями сознание возгоняется вверх, получая в своё распоряжение натренированные этим же самым сознанием автоматизмы и возможность решения долгосрочных задач. Концептуально Вы правильно пишите: "Любая пусковая афферентация ранее была обстановочной, но не наоборот" - в том смысле, что любое автоматическое действие когда-то было сознательным, что отражает рост сознания вверх, накапливание автоматизированных слоёв, но как были эти слои под управлением верхушки пирамиды (сознания) так и остаются. Только верхушка ставит задачи, а не какие-то там "сигналы, генерируемые рецепторами". С головы на ноги надо перевернуть эту систему и не разделять жёстко автоматизмы и сознание - одно без другого невозможно. [Ответ][Цитата]
tac Сообщений: 2601	На: Проект Projetc-CNS Добавлено: 16 сен 11 23:08 Цитата: Автор: daner т.е. Вы согласны, что поставленную по новому мной задачу - решить нельзя ? [Ответ][Цитата]
daner Сообщений: 4602	На: Проект Projetc-CNS Добавлено: 16 сен 11 23:37 Цитата: Автор: tac т.е. Вы согласны, что поставленную по новому мной задачу - решить нельзя ? tac , вы прикалываетесь? ну напишу я вам другое решение задачи, конкретной задачи. но это не будет решение с обучением (если вы этого ждете). Для решения с обучением нужно несколько больше времени, которого у меня на форум просто нет. Вы хотели верктор, я вам уже написал, что вектор это обучение с подкреплением в мульти-агентных системах. Да, там все не так гладно и куча нюансов, но такую простую задачу они решат без проблем. [Ответ][Цитата]
tac Сообщений: 2601	На: Проект Projetc-CNS Добавлено: 17 сен 11 1:28 Цитата: Автор: daner tac , вы прикалываетесь? ну напишу я вам другое решение задачи, конкретной задачи. но это не будет решение с обучением (если вы этого ждете). Для решения с обучением нужно несколько больше времени, которого у меня на форум просто нет. Вы хотели верктор, я вам уже написал, что вектор это обучение с подкреплением в мульти-агентных системах. Да, там все не так гладно и куча нюансов, но такую простую задачу они решат без проблем. Я вполне серьезно. Да, я хотел бы решение с обучением, а не кодирование решения в лоб - оно ничего не стоит, можно например в вашем решении вообще устанавливать угол у каждого агента в 90 или другую константу, принципиально ничего не изменится. Что же касается, "обучение с подкреплением в мульти-агентных системах" - это слишком общее, все равно что послать куда подальше Если не очень трудно укажите, какие конкретные алгоритмы могут с подобным справится. (Это собственно возвращаюсь к самому началу нашего разговора) ... Есть ли такие алгоритмы вообще ? [Ответ][Цитата]
daner Сообщений: 4602	На: Проект Projetc-CNS Добавлено: 17 сен 11 13:07 Цитата: Автор: tac Я вполне серьезно. Да, я хотел бы решение с обучением, а не кодирование решения в лоб - оно ничего не стоит, можно например в вашем решении вообще устанавливать угол у каждого агента в 90 или другую константу, принципиально ничего не изменится. Что же касается, "обучение с подкреплением в мульти-агентных системах" - это слишком общее, все равно что послать куда подальше Если не очень трудно укажите, какие конкретные алгоритмы могут с подобным справится. (Это собственно возвращаюсь к самому началу нашего разговора) ... Есть ли такие алгоритмы вообще ? Что значит стоит или не стоит. мы говорили о том, что SAS может решить эту задачу, а MAS не может. Поэтому никаких стоит или не стоит здесь нет. В принцыпи, для решения с подкреплением необходимо определить функцию награды, точно тоже самое нужно и для SAS и для MAS . Таблица игры получится не сложная поэтому большинство алгоритмов с ней справится. если совсем сильно название нужно , пусть будет фиксишон плай. Еще раз подчеркиваю, МАС это скорее здачи чем конкретные решения. Не все задачи на сегоня имеют решение, иначе МАС давно бы перестала интересовать исследователей. [Ответ][Цитата]
Стр.7 (14): 1  ...  3  4  5  6  [7]  8  9  10  11  ...  14 << < Пред. | След. > >>