Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.14 (26) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Управление агентами
Oldfella Walk Сообщений: 316	На: Управление агентами Добавлено: 12 окт 09 21:29 Цитата: Автор: daner ...В прочем, ничего не мешает делать выбор и по негативному критерию. Это важный момент относительно среды вообще, но для агента, это особой роли не играет, он всего-лишь максимизирует полезность своей стратегии (т.е. сумму получаемых наград)... Выбор по негативному критерию - это, несомненно, риск. Без информации, причём "онтологической", без памяти это просто невозможно. [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 12 окт 09 22:10 Цитата: Автор: daner ------Может быть стратегия и стратегия. Стратегия ВОТ ЭТОГО организма, которую можно назвать "онтологической", основанная на опыте, приобретённом в течение жизни. Не представляю, чтобы к этому могло быть способно существо, не обладающее хотя бы ЦНС. Вот! вот с таким высказыванием согласен. ------И стратегия, которую можно назвать "фенологической". Вопрос в том, чья это стратегия? Определённо - не гидры. Не отдельного существа. Вида-рода-семьи-отряда-царства... Скорее - это стратегия того проявления жизни, которое в этом конкретном воплощении - вот эта гидра И "ВСЕ" ЕЁ ПРЕДШЕСТВЕННИКИ... И с этим согласен. Это стратегия поведения ВИДА существ "Гидры". А я даже при таком уточнении - несогласен. Стратегия ВИДА не может не состоять из стратегий ее особей. Естественно, что у каждой конкретной гидры есть ОПЫТ, индивидуальный опыт - находящийся в ЕЁ конкретной ДНК (для этого НС вообще не нужна). [Ответ][Цитата]
Oldfella Walk Сообщений: 316	На: Управление агентами Добавлено: 12 окт 09 23:11 2tak: Мой подход - индуктивный (диктуется моим "бессознательным"), поэтому мотивация для меня - одна из двух качественно новых способностей, обретаемых животным с памятью, и она же - одно из двух проявлений памяти (второе - прогноз). Попросту: что не прогноз -то мотивация. Найденное Вами в "физиологии ВНД" определение памяти: "... хранящихся в памяти следов (энграмм) тех внешних объектов..." вызвало у меня иронию и сарказм. Сколько ещё можно искать в башке магнитофон? Я уж не прошу этих горе-определителей объяснить, что такое "внешний объект" - боюсь оборжаться до слёз. Почему-то до людей не доходит, что незачем иметь в одном организме животного два хранилища информации. Ну нафига иметь память, устроенную также, как ДНК? Почему я так напираю на мотивацию применительно к объявленным Вами и Данером моделям? Потому, что вы моделируете выбор. Потому, что не бывает выбора без критерия (иначе это не выбор, а пальцетык, монте-карло). Потому, что смоделировать выбор по негативному критерию невозможно без прогноза и мотивации. То есть, смоделировать риск. Смоделировать важнейший, качественно главный компонент исходного способа обретения опыта - "проб и ошибок" - риск. Прогноз определяет негативный характер - но мотивация поперёк прогноза толкает на выбор по негативному критерию. Желание побеждает страх. Думаю, говоря о "слабой мотивации", Вы имеете в виду именно это, в общем животное явление. Похоже, что это Вы моделировать не против? В случае удачи - приглашу Вас моделировать "сильную мотивацию". Вместе вспомним детство золотое: "Слабо?!", "Ссышь, когда страшно?!" [Ответ][Цитата]
Oldfella Walk Сообщений: 316	На: Управление агентами Добавлено: 12 окт 09 23:22 Цитата: Автор: tac А я даже при таком уточнении - несогласен. Стратегия ВИДА не может не состоять из стратегий ее особей. Естественно, что у каждой конкретной гидры есть ОПЫТ, индивидуальный опыт - находящийся в ЕЁ конкретной ДНК (для этого НС вообще не нужна). Вышесказанное - настолько вразрез со столпами генетики, что даже интересно: а вдруг Вы и механизм оного внесения личного опыта в геном покажете, или как минимум из такого головокружительного захода какие-то нетривиальные выводы сделаете? Я не посмеиваюсь - я сам ересиарх, только по другой, "нервной", части - мне предстоит продвигать свои ну очень нетривиальные представления о памяти. Правда, у меня уже есть вчерне проработанные кибернетические механизмы. [Ответ][Цитата]
Oldfella Walk Сообщений: 316	На: Управление агентами Добавлено: 12 окт 09 23:41 2Daner: Сдаётся мне, что Вы называете: "теория игр", а сами-то сужаете до второго названия знаменитой книги: "экономическое поведение". Впадаете в очарование идей и мотивов её автора, порождённых временем её создания. Ну так я напомню, что в то же самое время тот же Янош выдумывал "исследование операций", предназначенное для научно-обоснованного поведения совсем другого характера - для борьбы, для войны. Вот так: одной рукой доказывал, что война не неизбежна, что торговать выгоднее, чем воровать, другой рукой - изобретал войну по-научному. Я глубоко уверен, что учёный всю жизнь выдумывает одну и ту же теорию... Что теория - это некая часть личности учёного, а именно та, которую можно попытаться передать другим людям. Применительно к обсуждаемым моделям - Ваше понимание применения в них теории игр надо расширить - за пределы экономического поведения, включив также и конфликты. [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 12 окт 09 23:56 Цитата: Автор: Oldfella Walk Вышесказанное - настолько вразрез со столпами генетики, что даже интересно: а вдруг Вы и механизм оного внесения личного опыта в геном покажете, или как минимум из такого головокружительного захода какие-то нетривиальные выводы сделаете? Ничего в разрез тут нету - как по вашему геномы двух разных организмов одного вида отличаются или нет ? [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 13 окт 09 0:15 Цитата: Автор: Oldfella Walk Почему я так напираю на мотивацию применительно к объявленным Вами и Данером моделям? Потому, что вы моделируете выбор. Потому, что не бывает выбора без критерия (иначе это не выбор, а пальцетык, монте-карло). Потому, что смоделировать выбор по негативному критерию невозможно без прогноза и мотивации. То есть, смоделировать риск. Смоделировать важнейший, качественно главный компонент исходного способа обретения опыта - "проб и ошибок" - риск. Прогноз определяет негативный характер - но мотивация поперёк прогноза толкает на выбор по негативному критерию. Желание побеждает страх. Думаю, говоря о "слабой мотивации", Вы имеете в виду именно это, в общем животное явление. Похоже, что это Вы моделировать не против? В случае удачи - приглашу Вас моделировать "сильную мотивацию". Вместе вспомним детство золотое: "Слабо?!", "Ссышь, когда страшно?!" "не бывает выбора без критерия (иначе это не выбор, а пальцетык, монте-карло)" я надеюсь вы прочитали, тут страницу из вики которую обсуждаем Именно так делает Q-learning, он ДЕЛАЕТ выбор, но выбор случайный (монте-карло - и ничего больше) ! QFix-learning делает выбор лишь на основе простого критерия ... введена "матрица Интереса" к определенному состоянию/действию ... т.е. агенту интересно то, что он еще не пробывал, и теряет интерес когда действие не приводит к награде - все ! Ни какого прогноза нету, а следовательно : 1. бывает выбор без критерия - это случайная попытка, монте-карло (фишки играющий в рулетку ставит или уговаривает крупье вначале подождать когда остановится рулетка ? ) 2. смоделировать выбор без прогноза - можно, т.к. просто надоедает ставить на то, что не дает выгоды ! Согласен осмысленности в таких действиях нуль ! Но такое поведение, находит такие стратегии, которые выгодны в определенной среде. слабая мотивация на столько не похожа на сильную мотивацию - что не вижу причин ее не моделировать ... выбор можно и нужно делать БЕЗ мотивации, и это ничему не противоречит .. P.S. На "Слабо" меня не разведешь ... ученный должен отдавать себе отчет в том, что он делает ! [Ответ][Цитата]
Oldfella Walk Сообщений: 316	На: Управление агентами Добавлено: 13 окт 09 0:20 2tak: Не знаю. Это молекулярная биология, и сюда я с одним здравым смыслом не суюсь. По идее - грубо, вчерне - если набор признаков одинаковый, то и геном одинаковый... [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 13 окт 09 0:36 Цитата: Автор: Oldfella Walk 2tak: Не знаю. Это молекулярная биология, и сюда я с одним здравым смыслом не суюсь. По идее - грубо, вчерне - если набор признаков одинаковый, то и геном одинаковый... Если это вы про геномы ... отвечаю - они ОТЛИЧАЮТСЯ ! Мало, но отличаются ! Как же по вашему устанавливали отцовство с помощью ДНК - если бы геномы были бы одинаковы ... было бы чудно - как в библии - мы все братья и сестры ... Знаете что такое эволюция по Дарвину или по Ламарку ? по Дарвину опыт не передается по наследству (и наверное это вы имеели введу, что есть в разрез) ... по Ламарку передается ! Заметим, что речь идет уже несколько о другом о передачи опыта по наследству, а не о том, что опыт есть и без НС. Так вот в растениях эволюция идет по Ламарку, и только у Животных она идет по Дарвину, т.к. есть т.н. барьер Вейсмана. Но для вирусов он тем ни менее в некоторых случаях проницаем ... Поэтому только в этом месте я могу идти "в разрез" и утверждать, что опыт передается по наследству и у животных, только нужно преодолеть определенный барьер, т.е. остается только самый важный опыт ... эволюционно это вроде и понятно, т.к. в мозгу мы различаем старые/новые участки мозга ... но впрочем это уже другая тема ... Возвращаясь к теме ... скажу, что все даже сложнее ... опыт КАЖДОЙ био. клетки различен ! Именно это основа диференциации тканей - иначе бы печень и сердце - были бы одним и тем же ... но тут они отличаются не составом ДНК (хотя и это потенциально возможно), а экспресией генов, т.е. какие белки производятся в соответствующей клетке ... а экспресия в сильной мере зависит от т.н. метилирования - это как пыль на ДНК - те участки которые не сильно нужны, покрываются пылью и не используются ... теперь подумайте - если бы у клетки не было бы частного опыта - разве бы они отличались бы тем, какие надо производить белки, а какие нет ? Я уже не говорю про иммуную систему ! Там каждая атака вируса ЗАПОМИНАЕТСЯ! Благодаря чему работают прививки, т.е. ОПЫТ ЕСТЬ НА УРОВНЕ КЛЕТКИ ! [Ответ][Цитата]
Oldfella Walk Сообщений: 316	На: Управление агентами Добавлено: 13 окт 09 0:41 Цитата: Автор: tac "не бывает выбора без критерия (иначе это не выбор, а пальцетык, монте-карло)" я надеюсь вы прочитали, тут страницу из вики которую обсуждаем Именно так делает Q-learning, он ДЕЛАЕТ выбор, но выбор случайный (монте-карло - и ничего больше) ! QFix-learning делает выбор лишь на основе простого критерия ... введена "матрица Интереса" к определенному состоянию/действию ... т.е. агенту интересно то, что он еще не пробывал, и теряет интерес когда действие не приводит к награде - все ! Ни какого прогноза нету, а следовательно : 1. бывает выбор без критерия - это случайная попытка, монте-карло (фишки играющий в рулетку ставит или уговаривает крупье вначале подождать когда остановится рулетка ? ) 2. смоделировать выбор без прогноза - можно, т.к. просто надоедает ставить на то, что не дает выгоды ! Согласен осмысленности в таких действиях нуль ! Но такое поведение, находит такие стратегии, которые выгодны в определенной среде. слабая мотивация на столько не похожа на сильную мотивацию - что не вижу причин ее не моделировать ... выбор можно и нужно делать БЕЗ мотивации, и это ничему не противоречит ... Это вырабатывание инструментального рефлекса. "Непавловские Жучки". Теоретически для этого памяти не надо - достанет ЦНС, которая тут почти што "коммутатором" работает. Ну эта модель не должна быть сложной в изобретении. Единственно, что Ваша модель и модель Данера - слишком разные, ну очень на разных уровнях. Вашей хватит кибернетики. Вариант "автомата-гомеостата", нюансы в балансировании на границе "устойчивый режим - неустойчивый режим". Чуть "туда" - и сразу "назад". Танцы-танцы-танцы. И я не уверен, что это корректно называть выбором. В этологии это не толкуют как выбор, в нейрофизиологии - кажется, тоже... Поисковое поведение, кажется... Теория игр тут нi до чого... [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 13 окт 09 0:53 Цитата: Автор: Oldfella Walk Это вырабатывание инструментального рефлекса. "Непавловские Жучки". Теоретически для этого памяти не надо - достанет ЦНС, которая тут почти што "коммутатором" работает. Ну эта модель не должна быть сложной в изобретении. Единственно, что Ваша модель и модель Данера - слишком разные, ну очень на разных уровнях. Вашей хватит кибернетики. Вариант "автомата-гомеостата", нюансы в балансировании на границе "устойчивый режим - неустойчивый режим". Чуть "туда" - и сразу "назад". Танцы-танцы-танцы. И я не уверен, что это корректно называть выбором. В этологии это не толкуют как выбор, в нейрофизиологии - кажется, тоже... Поисковое поведение, кажется... Теория игр тут нi до чого... Ну, ни кто не заявлял - что это ЧТО_ТО (то, чо это адаптивный регулятор - я сказал сразу, более того однопараметрический). Эта модель просто адекватна той среде, и в той среде ничего БОЛЬШЕГО не надо ! Речь идет о том, какая среда будет следующей по сложности ! (я прыгать не хочу ... сложность среды нужно увеличивать плавно, чтобы понимать в какой среде адекватно то или иное поведение ...) P.S. модель Данера - это типа Q-learning ? не, это просто классический алгоритм Так чем они разные ? Моей хватит кибернетики, а ... ? [Ответ][Цитата]
Oldfella Walk Сообщений: 316	На: Управление агентами Добавлено: 13 окт 09 1:10 А для модели Данера уже нужна информация. Готовая, имеющаяся - а не добывающая информацию "кибернетическая машинка"! Кстати, "Ваша машинка" вырабатывает всего лишь управление... Кстати, Вы уехали от своих нетрадиционных взглядов на "внедрение" опыта - в ДНК. И как же? [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 13 окт 09 1:23 Цитата: Автор: Oldfella Walk А для модели Данера уже нужна информация. Готовая, имеющаяся - а не добывающая информацию "кибернетическая машинка"! Кстати, "Ваша машинка" вырабатывает всего лишь управление... Кстати, Вы уехали от своих нетрадиционных взглядов на "внедрение" опыта - в ДНК. И как же? И то и другое понял очень смутно ... можно более развернуто ? [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 13 окт 09 1:37 Цитата: Автор: Oldfella Walk Кстати, "Ваша машинка" вырабатывает всего лишь управление... А что еще ? Думать могла бы [Ответ][Цитата]
daner Сообщений: 4633	На: Управление агентами Добавлено: 13 окт 09 2:36 >>> Oldfella Walk отвечу сразу на все ваши пред. посты обращенные ко мне. Большую их часть, я к сожалению прокомментировать не могу, так как не понимаю как именно вы используете некоторые термины. Что касается Т.Игр... использую ее так же, как и большинство (во всяком случае тех кого я читал) и ДА именно в экономическом смысле. О какой либо другой Т.Игр я не слышал. И, кстати, конфликты очень даже хорошо в ее рамках описываются, поэтому не понимаю ваших претензий. Касательно прогноза: В той модели обучения которая применяется в Q-learning есть некий рудиментарный прогноз. Это не планирование в прямом смысле, но это (1) составление многоэтапной стратегии, это (2) изучение пригодности состояния с расчетом на возможную прибыль из этого состояния (т.е. не просто награды при попадании в состояние, а именно, на сколько само состояние будет полезным, если в него попасть и уже действовать из него). Еще раз замечу, что риск (в моем понимании) есть разница между худшим и ожидаемым. Поэтому не понимаю какие проблемы у вас с риском и "пряником" (здесь "пряник" -- положительная награда). Я не понимаю вашей терминологии, поэтому сложно что либо ответить. [Ответ][Цитата]
Стр.14 (26): 1  ...  10  11  12  13  [14]  15  16  17  18  ...  26 << < Пред. | След. > >>