Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.19 (26) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Управление агентами
Oldfella Walk Сообщений: 316	На: Управление агентами Добавлено: 19 окт 09 0:52 Цитата: Автор: tac В качестве сигнала - может быть использована любая измеримая переменная величина, например напряжение, сила тока, интенсивность света, химическая концентрация. сигнал обычно характеризуется амплитудой, временем и местоположением. Из вышеуказанного могу частично согласиться с сопоставлением сигнала и величины: я считаю, что "величину" (при некоторых доп.условиях, о которых сейчас не будем) можно считать "сигналом". В целом из вышеприведённого Вашего абзаца я понял, что для вас что параметр, что сигнал - разницы особой нет... Цитата: Генератором сигнала является любой физический элемент или устройство, способные производить сигнал. Это надо понимать как намёк на нервные рецепторы? Или на процессы в среде, характеризуемые параметрами? Разъясните, пожалуйста. Ну и тавтологию надо бы убрать... Цитата: Наличие сигнала является необходимым условием наличия информации, но далеко не достаточным. Тоже как-то туманно... Это Вы так выразились о том, что сигнал МОЖЕТ содержать информацию? То есть - может и не содержать? Или всё-таки непременно содержит информацию? "...наличия информации..." - у кого/чего? Или - информации о чём/о ком? Цитата: Сигнал - это вид события, в котором передача происходит асинхронно. Событие - это описание некоторого факта, которое занимает некоторое положение во времени и пространстве. Различают как миниму два вида сигналов: 1. сигнал который вызывает переход из одного состояния в другое (взимоидействие среда-агент), 2. отправка сообщения при взаимодействии агентов Это всё из технической кибернетики, из ТАУ - там "событие" служит "сигналом". Преследование цели - устранением расхождения. Обыкновенная отрицательная обратная связь. Неужели Ваши модели просто контура "-О.С."? Об чём тогда спорите? А в отношении"...некоторого факта..." - ну, Так, Вы сами подставились, теперь не обижайтесь! Это уже не безобидная легко определяемая тавтология (событие = факт)! С КАКОЙ СТАТИ ВЫ ВЗЯЛИ, ЧТО КАКОЕ-ТО ИЗМЕНЕНИЕ КАКОГО-ТО ПАРАМЕТРА - ЭТО "ФАКТ"??? У ВАС ЧТО - "ФАКТЫ" ПО СРЕДЕ "ЛЕТАЮТ" - И ВСЁ??? ГДЕ СИСТЕМА??? Я с подобными взглядами хорошо знаком. Хотя бы по всем известным сочинениям Р.Акоффа. "Он пёпосфул систем" и др. Никакой критики эти взгляды не выдерживают. Кое-что - по Вашим взглядам - понятно и про Вас лично. Вы - мыслящий интраверт с восприятием(интуицией), ЛИИ, по-нашему "робеспьер", или "декарт". Это не хула и не хвала. Вполне научный психотип. Ваш подход - исходно дедуктивный. [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 19 окт 09 1:54 Цитата: Автор: Oldfella Walk для вас что параметр, что сигнал - разницы особой нет... Во-первых, не "для Вас" - а то, что я написал это научный факт Во-вторых, Вы поняли не правильно, величиной сигнал лишь реализуется, из этого не видна динамика ... смена значения величины - вот это есть частный случай сигнала "процессы в среде, характеризуемые параметрами" Можно сказать и так - рецептроры, частный случай ... написано ЛЮБОЙ "Тоже как-то туманно... Это Вы так выразились о том, что сигнал МОЖЕТ содержать информацию? То есть - может и не содержать? Или всё-таки непременно содержит информацию? "...наличия информации..." - у кого/чего? Или - информации о чём/о ком?" Ничего туманного. Знаете что значит в математике необходимое и достаточное условие ? Наличие сигнала есть лишь необходимое условие, но не достаточное. "То есть - может и не содержать" ... "у кого/чего? Или - информации о чём/о ком" Вопросы не корректные ... Тоже самое что спрашивать чей атом, или о чем атом ... "Неужели Ваши модели просто контура "-О.С."?" Это я не понял ... [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 19 окт 09 2:15 Цитата: Автор: Oldfella Walk А в отношении"...некоторого факта..." - ну, Так, Вы сами подставились, теперь не обижайтесь! Это уже не безобидная легко определяемая тавтология (событие = факт)! С КАКОЙ СТАТИ ВЫ ВЗЯЛИ, ЧТО КАКОЕ-ТО ИЗМЕНЕНИЕ КАКОГО-ТО ПАРАМЕТРА - ЭТО "ФАКТ"??? У ВАС ЧТО - "ФАКТЫ" ПО СРЕДЕ "ЛЕТАЮТ" - И ВСЁ??? ГДЕ СИСТЕМА??? Это от того, что вы не видите разницы - а разница есть ! событие = факт - это глупость, синонимы не работают Событие описывает факт в определенный момент времени и пространства. Т.е. само по себе событие не содержит ни грамма информации. Факт до его интерпретации тоже не содержит ни грамма информации. Чтобы появилась информация необходимо, проинтерпретировать факт и создать описание - т.е. интерпретацию факта. Это раз. Дальше с двух одно: при взаимодействии агентов, эту интерпретацию нужно передать по каналу связи - это передача сообщения, если принимающий еще не знал такой интерпретации то он полуит информацию - иначе он полуит просто сообщение с нулем информации ... Второй вариант: при взаимодействии среды - агент. После записи интерпретации (отличаем от факта самого по себе) в память агента или на символьный носитель, в определенный момент по поводу одного и того же факта, может появится другая интепретация ... и только вот в этот момент произойдет событие, относительно смены состояния ! Вы же рассматриваете это все в статике и естественно не видете разницы проявляющейся в динамике ... в итоге у ВАС тавтология ... "С КАКОЙ СТАТИ ВЫ ВЗЯЛИ, ЧТО КАКОЕ-ТО ИЗМЕНЕНИЕ КАКОГО-ТО ПАРАМЕТРА - ЭТО "ФАКТ"?" Это вы автор этой глупости ... изменение какого-то параметра - это событие, а не ФАКТ. Это событие несет лишь описание (интерпретацию агентом) того что произонло в определенный момент времени в определенном месте пространствва. "У ВАС ЧТО - "ФАКТЫ" ПО СРЕДЕ "ЛЕТАЮТ" - И ВСЁ??? ГДЕ СИСТЕМА???" Какая система ? Возвращаю вас в начало - определения Экспериментальной системы. + среда это лишь пространство стимулов. Стимулы состоят из сигналов. Какждый сигнал несет интерпретацию фактов. Для био. организмов синонимом факта будет ощущение ... Возникновение ощущения - будет получением сигнала, проядят через глаз, ухо, тело - факт получит интерпретацию, которая запишется в память с добавлением информации о времени/месте ... Это далеко не все и очень даже сложно ... Но моделировать можно на разном уровне сложности/детальности ... Единственная вещь, где мы можем утверждать, что это факт - это наши собственные ощущения! [Ответ][Цитата]
daner Сообщений: 4633	На: Управление агентами Добавлено: 19 окт 09 2:51 QUOTE's Автор: tac Цитата: "тогда -- ДА" - этого достаточно ! кому достаточно? мне -- нет. Цитата: "как только, она начинает зависеть еще и от действий агента, это перестает быть состоянием среды" - такое возможно в задаче МДП ? Как миниму4м в обсуждаемой задаче такого нет ! Поэтому не стоит обсуждать те вариантыы, которые мы не обсуждали, а затем обобщать на все случаи ! Ну, приехали. конечно в МДП можно и нужно! И конечно, мы обсуждали подобное. Мой пример среды с вероятностями помнишь? вот он уже был зависим от действий агента, а не только от среды. [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 19 окт 09 2:57 Цитата: Автор: daner Ну, приехали. конечно в МДП можно и нужно! И конечно, мы обсуждали подобное. Мой пример среды с вероятностями помнишь? вот он уже был зависим от действий агента, а не только от среды. Ну, здрасти ... от того как действовал агент - награды не изменялись в соответствущих состояниях, даже вероятность их получения не изменялась !!! [Ответ][Цитата]
daner Сообщений: 4633	На: Управление агентами Добавлено: 19 окт 09 3:01 Цитата: Автор: tac Это сказано естественно в контексте QL, ГА либо ИНС ... если же есть другие подходы к прознозированию, которые имеет смысл обсуждать в рамках нашей задачи - то предлагайте, а не разводите димагогию что нелепо/ а что нет Дай определение термину "прогноз". ты это как планирование употребляешь или как экстраполяция? Если первое, то ИНС из приведенных вариантов наименее удобный (ИМХО... я вообще не представляю как их можно использовать для этого, ну может только Хопффильда, в то время как ГА очень даже представляю, а QЛ вообще ищет стратегию -- т.е. план). Если же речь о втором, то в общем с ГА проблем не вижу, а вот есть ли экстраполяция в QЛ... затрудняюсь сказать... [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 19 окт 09 3:06 Цитата: Автор: daner Дай определение термину "прогноз". ты это как планирование употребляешь или как экстраполяция? Если первое, то ИНС из приведенных вариантов наименее удобный (ИМХО... я вообще не представляю как их можно использовать для этого, ну может только Хопффильда, в то время как ГА очень даже представляю, а QЛ вообще ищет стратегию -- т.е. план). Если же речь о втором, то в общем с ГА проблем не вижу, а вот есть ли экстраполяция в QЛ... затрудняюсь сказать... Конечно, о втором - экстраполяция (точнее Интерполя́ция) ... Ну, и как в ГА это возможно в двух словах если ? (Прогноз (от греч. πρόγνωσις — предвидение, предсказание) — предсказание будущего с помощью научных методов или сам результат предсказания.) [Ответ][Цитата]
daner Сообщений: 4633	На: Управление агентами Добавлено: 19 окт 09 3:17 Цитата: Автор: tac Стимул - представляет собой любое непустое множество входных сигналов, поступающих к агенту в момент времени t. Достаточно определенно ? Или дать еще определение сигнала и генератора сигнала ? ну предположим. и что? Возьмите любую задачу ... пусть даже МДП дискретную, но только там, где есть зависимость от действий, и прикиньте КАК вы раздуваете пространство состояний, если в них еще и награды запихать (во время t1, агент находиться в состоянии s1 и получает награду за действие a0 которое он сделал в состоянии s0, т.е. имеем SxAxS. и я молчу про таблицу переходов.. она вообще будет (SxAxS)xAx(SxAxS) ). причем, если раньше хоть связь была между разными "стимулами" то устроив из них состояния, вы эти связи потеряете. Но что самое фиговое: эти состояния будут вообще относительны самого агента, а не среды. И что хорошего в этом? [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 19 окт 09 3:34 Цитата: Автор: daner ну предположим. и что? Возьмите любую задачу ... пусть даже МДП дискретную, но только там, где есть зависимость от действий, и прикиньте КАК вы раздуваете пространство состояний, если в них еще и награды запихать (во время t1, агент находиться в состоянии s1 и получает награду за действие a0 которое он сделал в состоянии s0, т.е. имеем SxAxS. и я молчу про таблицу переходов.. она вообще будет (SxAxS)xAx(SxAxS) ). причем, если раньше хоть связь была между разными "стимулами" то устроив из них состояния, вы эти связи потеряете. Но что самое фиговое: эти состояния будут вообще относительны самого агента, а не среды. И что хорошего в этом? а это уже совсем другой вопрос. Это не определяется тем, что лучше/скорее/выгоднее ... Это определяется УСЛОВИЯМИ задачи. 1. в реальности награды от состояний не диференцированны 2. по хорошему вообще сигналы не разбиты на состояния 3. причино-следственные связи надо выявлять, а не давать апприори С технической стороны: 1. Естественно таблица переходов задается законами (функцией), а не таблицей 2. В реальности пространство задачи как правило вырожденно (иначе мы наблюдали бы хаос), поэтому 90% вариантов будут дублироваться Хорошего здесь то - что эти условия приближенны к реальности. И мы понимаем что нужно для решения практической задачи, а не математической в идеальных условиях. [Ответ][Цитата]
daner Сообщений: 4633	На: Управление агентами Добавлено: 19 окт 09 3:36 QUOTE'sАвтор: tac Цитата: 1. В весовых коэффициентах тоже хранится не награда ! (а ничего другого в ИНС не хранится) Что там хранится ? Там хранится прогноз к ВЫГОДНОСТИ состояний. а я и не говорил, что в весах хоронятся награды. Но и ВЫГОДНОСТИ состояния вы не получите. Вы получите НАГРАДУ, так как ИНС будет обучаться функции награды. А вот чтобы знать ВЫГОДНОСТЬ вы ей должны как-то ее сообщать (а вы ее сами не знаете). В QЛ использует Динамическое Программирование. т.е. каждая ячейка определенная рекурсивно. Вот если ИНС таким образам сделать, что бы она представляла функцию рекурсивно от других состояний... ну тогда еще можно было бы обсуждать, но что-то я не представляю как это возможно... если знаете как, напишите. Это не тривиально. Цитата: 2. Да, ИНС выучит эти опорные точки. Но ни кто не мешает их переучить, а видь именно это происходит в QL. Т.е. Q(С1,Д1)>Q(С1,Д2) может получится лишь при условии, что агент снова получит награду за Н(С1,Д1) и она будет не 5, а 9 ... Переучите ИНС применяя сложение, так же как в QL. Подходите с одной линейкой - и получите тоже самое ! (повторяю еще раз алгоритм обучения ИНС тут не причем ) Да нет. награда за Н(С1,Д1) всегда будет 5, но это не мешает Q(С1,Д1) оказаться совсем другой. Q(С1,Д1) -- это не просто награда, это награда за действие, которое приведет к состоянию с максимальной выгодой. Еще раз обрати внимание на Update Q-таблицы и в частности на применение функции МАХ. Эта функция там не просто так. Иначе бы Update сводился только к Q = Q*(1-l) + R*l. Но это НЕ ТАК. Цитата: Единственно, что получается - это в QL априорно засунута функция трансформации из наград в выгодность состояний. Такую функцию как правило ИНС не дают ... вот получатеся только этим и отличается обучение с учителем от обучения с подкреплением. Хотя по хорошему именно эта функция трансформации и должна быть искомой ! Но тут мы упираемся в то, что для Вас РАНО ... Это какая функция? UPDATE? Ну .. конечно можно усложнить себе жизнь и ее поиском, но это надо еще понять как вы ее агенту скармливать будете, что бы он ее выучил. Чудес не бывает. А про РАНО говорилось о другом. О трансформации части сложной награду в скалярную величину. это не то о чем вы сейчас говорите. [Ответ][Цитата]
daner Сообщений: 4633	На: Управление агентами Добавлено: 19 окт 09 3:44 Цитата: Автор: tac Ну, здрасти ... от того как действовал агент - награды не изменялись в соответствущих состояниях, даже вероятность их получения не изменялась !!! открой таблицу R в excel и увидишь от чего они зависели. А вероятности тут ни при чем. Награды были не вероятностные. [Ответ][Цитата]
daner Сообщений: 4633	На: Управление агентами Добавлено: 19 окт 09 3:46 Цитата: Автор: tac Конечно, о втором - экстраполяция (точнее Интерполя́ция) ... Ну, и как в ГА это возможно в двух словах если ? (Прогноз (от греч. πρόγνωσις — предвидение, предсказание) — предсказание будущего с помощью научных методов или сам результат предсказания.) что то я с QЛ протормазил. Там же вся Q таблица -- это прогноз Выгодности состояния. Как говориться "слона то я и не приметил". про ГА лень писать (к делу не относиться а в двух словах не получиться). [Ответ][Цитата]
daner Сообщений: 4633	На: Управление агентами Добавлено: 19 окт 09 3:55 Цитата: Автор: tac а это уже совсем другой вопрос. Это не определяется тем, что лучше/скорее/выгоднее ... Это определяется УСЛОВИЯМИ задачи. 1. в реальности награды от состояний не диференцированны 2. по хорошему вообще сигналы не разбиты на состояния 3. причино-следственные связи надо выявлять, а не давать апприори С технической стороны: 1. Естественно таблица переходов задается законами (функцией), а не таблицей 2. В реальности пространство задачи как правило вырожденно (иначе мы наблюдали бы хаос), поэтому 90% вариантов будут дублироваться Хорошего здесь то - что эти условия приближенны к реальности. И мы понимаем что нужно для решения практической задачи, а не математической в идеальных условиях. причем тут реальность? от того, что вы взяли задачу и устроили в ней бардак... сама задача даже не поменялась. Разница в наших подходах такая: вы пытаетесь сделать чего-то такое... что бы бац, заработало, все сама определила и т.д. И это вообще такой подход сетивиков. Типа сделал сеть похитрее и она бац и заработала. Я же сторонник разбиения задачи на подзадачи и не только на словах. И если я считаю, что среда логически разбивается на состояния и награды -- то не считаю злом, сообщить это агенту. Вот когда он будет замечательно справляться с другими подзадачами, можно перейти и к подзадачи, определения состояний самостоятельно, а уже после этого, к подзадачи определения самостоятельно существования сущностей "награда" и "состояния". Но сейчас... это за горизонтом. [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 19 окт 09 3:58 Цитата: Автор: daner Иначе бы Update сводился только к Q = Q*(1-l) + R*l. Но это НЕ ТАК. Ну, в QFix - это так ... а "применение функции МАХ" особой погоды не делает ... хотя понимаю, что теоритически моделирует историю ... Ну, для ИНС - нужно вводить обратные связи ... и нет особых проблем ... "Это какая функция? UPDATE? Ну .. конечно можно усложнить себе жизнь и ее поиском, но это надо еще понять как вы ее агенту скармливать будете, что бы он ее выучил." Да. Надо ... "А про РАНО говорилось о другом. О трансформации части сложной награду в скалярную величину. это не то о чем вы сейчас говорите." Ну, предметно о другом ... но алгоритм будет тот же ... трансформация состояний в награду - это точно та же задача ... [Ответ][Цитата]
tac Сообщений: 2601	На: Управление агентами Добавлено: 19 окт 09 4:06 Цитата: Автор: daner И это вообще такой подход сетивиков. Это просто комплемент на мою седую голову Ок. Единственное, что я хотел показать - что такой подход имеет право на существование, надеюсь мне это удалось, хоть ты и не стороник этого ... Помнишь с чего все началось - я сразу сказал, что все это димагогия ... но я все равно рад, что дискуссия состоялась - я по крайней мере понял твое виденье проблемы ... Но давай это - не ставить во главу подход, а применять их в комбинации ! P.S. (поверь мне пока на слово - от того, что там хитрая и единая сеть - она также разбита на подзадачи и каждый внутрений процесс имеет смысл ... поэтому неинтерпретируемость результатов сети - это сказка, созданная теми кто не может это интерпретировать) P.S.S. Ну, и потом сведя QL к QFix, где я еще больше ввел явных сущностей, которые неявно присутствуют в QL. Думаю во все "поглощающем подходе сетевиков" меня обвинить сложно И здесь мы меняемся ролями - QL по отношению к QFix здесь уже выглядит как сделать сеть похитрее - бац и все .... поэтому мы просто говорим даже не о подходах, а о разных уровнях гибкости алгоритма .... [Ответ][Цитата]
Стр.19 (26): 1  ...  15  16  17  18  [19]  20  21  22  23  ...  26 << < Пред. | След. > >>