Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.2 (3) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Априорные знания агента
daner Сообщений: 4593	На: Априорные знания агента Добавлено: 10 сен 08 2:06 QUOTE Автор: Львович Цитата: Просмотрел работу, но понятие сложности не встретил. Можно поподробнее? Не вы не поняли. я имел ввиду, что в той работе, тоже говорил о том, что надо вначале тренировать на легких средах, потом переходить к более сложным и т.д. Ну т.е. вся работа на этом основана. Впрочем, как вы верно заметили, понятия "сложная среда" в ней не определенно. [Ответ][Цитата]
mserg Сообщений: 258	На: Априорные знания агента Добавлено: 14 сен 08 15:32 Поскольку я занимаюсь близкой темой, тоже решил высказаться. У меня «исходные знания агента» совпадают с «общепринятыми понятиями в математике». Т.е. есть булевы, целые и непрерывные числа; арифметические и другие операции; переменные (кванторные и свободные); векторы/матрицы и т.п. Описание «среды» и цели производится с помощью обычных математических обозначений. У меня никогда не возникало ни одного из вопросов, поставленных Львовичем. Кроме этого, есть пара вопросов/замечаний по постановке проблемы. Представим себе среду, к которой нужно проводить интерпретации последовательности черно-белых изображений размером 1024x1024 в 8-ми битовым кодированием. Положим, для примера, что изображения содержат бублик (с кодом яркости 100) на почти белом фоне (с кодом яркости 200) при наличии некоторого количества шумов. Бублик немного размыт на краях. Последовательность изображений содержит плавные перемещения бублика по «экрану», при этом он может плавно изменяться в размерах. Т.е. дано M[t](x,y) – последовательность матриц (каждая размером в 1МБ). Целью в данной среде положим получение функции f(t,x,y), которая бы * как можно более точно аппроксимировала M[t](,x,y) * была бы как можно более короткой Т.е. это компромисс между длиной формулы f и точностью. Функция f подбирается из множества разрешенных (например, правила формирования функции f могут быть заданы в форме Бекуса-Науэра). Если «давление» длины формулы велико, то при достижении цели (наверное) оптимальная функция f будет следующего вида: f(t,x,y)=200-100*(r(t)^2<=(x-x0(t))^2+(y-y0(t))^2<=R(t)^2) где r(t) и R(t) – внутренний и внешний радиусы бублика; x0(t) и y0(t) – положение центра бублика; По существу, в данной постановке, целью является построении наиболее вероятной и наиболее точной модели происходящего на экране. В задаче с бубликом модель будет представлять функцию f и по 4 числа < r(t), R(t), x0(t), y0(t)> на каждое изображение Теперь попробуем поставить эту задачу «по Львовичу». 1. Цель у Львовича задается (пользователем) извне агента – это так называемый «целевой показатель». Воздействие на среду состоит в формировании аппроксимирующих изображений, а целевой показатель – это мера близости аппроксимирующих и исходных изображений. Аппроксимирующая формула (автомат) находится внутри агента, поэтому длина формулы не входит в цель! А это, как было описано выше, является основой для автоматического построения модели. Конечно, длину формулы (размер автомата) можно выдавать как часть воздействия на среду и учесть ее в «целевом показателе», но все равно, это методологический «косяк» - постановка цели размыта... 2. Более того, сама идея воздействия на среду часто оказывается бесполезной, когда среда содержит элементы случайности. А это скорее правило, чем исключение. Представьте себе изображение некоторой текстуры, например, кожи (живого) крокодила. Изображение, с одной стороны, как бы случайно, а с другой, - как бы упорядочено/периодично. Требуется описать изображение. Вы не можете поставить задачу через «целевой показатель», выдавая воздействия на среду в виде аппроксимирующего изображения. Такое положение дел вызвано случайностями (нерегулярностью рисунка) и не позволяет изображениям (исходному и аппроксимирующему) совпасть без существенного раздутия размера автомата. А модель (короткую формулу), описывающую кожу крокодила, – получить можно! 3. Чтобы засунуть задачу о бублике в автомат «Львовича», нужно произвести битовое кодирование яркости. Т.е. автомат должен разгадать, что каждые 8 бит интересны не сами по себе, а только как взвешенная сумма по степеням двойки. Кроме этого, автомат должен «догадаться», что изображение квадратное (1024x1024). И без того сложная задача становится просто «мертвой». Вообще говоря, элементы «среды» могут находиться в некоторых соотношениях друг с другом. По Львовичу получается, что автомат должен их разгадать через целевой показатель. Это практически нереально, т.к. ведет к экспоненциальному увеличению сложности задачи на каждое кодирование/потерю информации. В общем-то, это и было отмечено самим автором темы... [Ответ][Цитата]
daner Сообщений: 4593	На: Априорные знания агента Добавлено: 14 сен 08 17:11 ИМХО, вы говорите о совершенно другой задачи. У Львовича конкретная задача и он нигде не написал, что это Теория Всего на Свете. Так что, какие-то не обоснованные претензии. [Ответ][Цитата]
mserg Сообщений: 258	На: Априорные знания агента Добавлено: 14 сен 08 20:33 данер, вы хоть бы поспали немного... а то на "10" форумах без останова оставляете сообщения... не бережете себя совсем [Ответ][Цитата]
гость 89.208.11.*	На: Априорные знания агента Добавлено: 14 сен 08 21:37 не вижу ап суждение вапрософф про тину... бардак. [Ответ][Цитата]
гость 89.208.11.*	На: Априорные знания агента Добавлено: 14 сен 08 21:37 не вижу ап суждение вапрософф про тину... бардак. [Ответ][Цитата]
daner Сообщений: 4593	На: Априорные знания агента Добавлено: 15 сен 08 1:06 Цитата: Автор: mserg данер, вы хоть бы поспали немного... а то на "10" форумах без останова оставляете сообщения... не бережете себя совсем как трогательно. но не на 10, а на двух и то далеко не на все посты и темы отвечаю и тем более развернуто. Я эксперименты ставлю, так что пока эксперимент работает, я на форумах и отвечаю. . P.S. кстати, для написания формул, на форуме работают теги <tex>FORMULA</tex> (ну конечно "<>" заменить на "[]") [Ответ][Цитата]
Алхимик Сообщений: 315	На: Априорные знания агента Добавлено: 15 сен 08 5:36 Вы не верно понимаете: нет у Львовича никаких "исходных данных". Есть только вводы (один используется для сигнала от целевой функции), выводы и пустая в начале память агента. В вашем случае это будет 8 мегабит бинарных входов (Львович утверждает, что можно обойтись одним входом с последовательной подачей 8 мегабит сигналов). На выходе шесть чисел (два радиуса, две координаты центра, яркости для тора и для фона). Среда по этим данным рисует бублик и сравнивает его с исходным, вычисляя целевую функцию. Эта функция может быть простой (скажем, исходное изображение отличается от полученного не более чем на 100 пикселов) или навороченной, но в результате должна давать ноль или единицу. Львович утверждает, что если на вход подавать циклично одну и ту же последовательность эволюций с бубликом, то агент постепенно научится на выходах выдавать такие числа, что единиц в целевой функции будет все больше и больше (в идеале все единицы). Пока не рассматриваем вопрос, сколько времени это займет, выясняем - верно ли это в принципе? Поэтому и рассматриваем простейшую задачу. Львович пытается объяснить свой алгоритм, мы пытаемся его понять. [Ответ][Цитата]
mserg Сообщений: 258	На: Априорные знания агента Добавлено: 15 сен 08 11:29 Вроде я ничего не напутал. Трудность понимания заключается в том, что в задаче искомой является сам вид функции f, а не числовые параметры r(t),R(t),x0(t),y0(t). Я их и конктретный вид функции f привел просто как возможное решение задачи. Поэтому, вид функции f неизвестен, а на выходе агента Львовича - тоже 8Мбит, как и на входе. Таким образом, в результате обучения суть эта функция f (автомат ее вычисления) должна возникнуть внутри агента. Я, в общем-то, утверждаю, что: * размер автомата (у меня это длина записи функции) должен быть частью целевого показателя * в условиях присутствия неопределенности методология "воздействия на среду" не работает [Ответ][Цитата]
Львович Сообщений: 303	На: Априорные знания агента Добавлено: 15 сен 08 11:53 Конечно, на теорию "Всего на свете", я не претендую Но считаю, что предложенная мной модель достаточно обща. И теоретически способна научиться решать любые задачи с конечным числом состояний, а также некоторое подмножество задач с бесконечным числом состояний. Вопрос времени решения остается открытым. Сейчас пытаюсь осмыслить и формализовать понятие "сложность". Кстати, на днях погонял своего агента по лабиринту. Лабиринт взял тривиальный из 2-х клеток, причем одну половину длинной стены "замкнул" на центральносимметричную ей часть противоположной стены. Получилось, что для того чтобы не натыкаться на стены агенту надо идти "направо-налево-направо-налево...". Агент получал вознаграждение, если не пытался шагать на стену. Состояние агента определялось координатой в лабиринте и направлением, куда "смотрит" агент. В первом варианте выделил 4 такта на шаг. Два на обзор (передней и правой стены), два - на выбор направления. После 600 (!) тактов агент так и не начал проявлять разумное поведение. Анализ количества состояний эквивалентного двоичного автомата показал, что их 2(клеток)*4(направления)*2(варианта поощрения)*6(состояний на 1 ход)=96. Во втором варианте я сократил количество вариантов на ход до 2-х и убрал варианты в поощрениях, получилось 2*4*2=16. В результате агент уже на 50-м такте нашел наилучший путь, после чего стал двигаться только по нему. [Ответ][Цитата]
daner Сообщений: 4593	На: Априорные знания агента Добавлено: 15 сен 08 15:35 Цитата: Автор: mserg Вроде я ничего не напутал. Трудность понимания заключается в том, что в задаче искомой является сам вид функции f, а не числовые параметры r(t),R(t),x0(t),y0(t). Я их и конктретный вид функции f привел просто как возможное решение задачи. Поэтому, вид функции f неизвестен, а на выходе агента Львовича - тоже 8Мбит, как и на входе. Таким образом, в результате обучения суть эта функция f (автомат ее вычисления) должна возникнуть внутри агента. Я, в общем-то, утверждаю, что: * размер автомата (у меня это длина записи функции) должен быть частью целевого показателя * в условиях присутствия неопределенности методология "воздействия на среду" не работает с каких пор на входе у агента Львовича 8 бит????? то как вы ставите задачу -- это не задача Львовича. Алхимик показал вам как еще более или менее можно ее к этой задачи привести, но это уже будет другая задача. [Ответ][Цитата]
Алхимик Сообщений: 315	На: Априорные знания агента Добавлено: 15 сен 08 18:09 Ну можно на выход подавать и 8Мбит (весь рисунок и сравнивать выход с исходным для нахождения целевой функции), это не принципиально: 6 чисел или 8 миллионов - все равно все будет последовательно выводится через один выход. Наверное, придется как и на вход прицепить буферную память. Насколько я понимаю ряд полученных на выходе рисунков - это и есть ваша функция f, только заданная списком значений. Длина функции - это количество этих значений. ИМХО у Львовича эта длина будет стремится к минимальной и без контроля. Он вводит элементы памяти только по необходимости и удаляет те, которые соответствуют одной ситуации. Вводить в агента параметр длинны функции - это уже усложнение алгоритма агента, этого у Львовича нет. А мы пока и с простым не разобрались. [Ответ][Цитата]
Львович Сообщений: 303	На: Априорные знания агента Добавлено: 16 сен 08 10:06 Задача, предложенная mserg''ом, узкоспециальна и предполагет много априорной информации, в частности о том, это распознавание, что распознаваемая фигура всегда тор, что поле сигналов это квадратная матрица и т.п. Решать эту задачу моим агентом теоретически можно, но не хватит ни ресурсов, ни времени Как я писал выше даже сотню состояний агент не "раскалывет" за 600 тактов... Оно и понятно, агент вынужден действовать полным перебором. Я написал полным, потому что моему агенту плевать, что распознается, и распознается ли вообще, в каком порядке "читаются" клетки, сколько уровней яркости ит.п., он будет перебирать все математически разрешенные комбинации (начиная с простых и постепенно усложняя). Но мы можем ему сильно помочь, если будем поощрять промежуточные результаты. И еще мы може помочь, убрав со входа избыточность: например, при распознавании изображений любой параллельный перенос означает то же самое, но для агента это разный набор сигналов. Автоматическая центровка изображения сократит количество вариантов в раз (N -размер поля). И т.п. А вот с поворотами такой фокус не пройдет, особенно если мы хотим различать "Ш" и "Е". Замечу еще один момент: при распознавании не обязательно закачивать в агента все изображение! Разрешите ему "ползать" по изображению и считывать те клетки, которые он посчитает нужным. Мне кажется, что такой агент обучится распознаваию значительно быстрее. [Ответ][Цитата]
daner Сообщений: 4593	На: Априорные знания агента Добавлено: 16 сен 08 14:05 а награду он у вас как будет получать? после каждого шага или по окончанию? если после каждого, то задача это другая, а если по выполнению, то ваш агент вообще не справится. [Ответ][Цитата]
mserg Сообщений: 258	На: Априорные знания агента Добавлено: 16 сен 08 19:03 Вернемся назад к исходной задаче. Если снять ограничение на размер функции f, то действительно, проще всего запомнить все изображения. Оптимальная функция f может быть задана таблично. Если длину функции "зверски" ограничить до одной константы, то функция f будет числом, равным средней яркости всех входных изображений. Если задать некоторый компромиссный вариант на длину функции, то оптимальной может быть формула, описанная ранее. Поэтому длина функции - это не блаж, а я не блаженный. От этого зависит, что будет в результате. В "системе координат" Львовича автомат должен "реализовать" функцию f (в явном виде у Львовича вы ее не увидите), т.е. получим автомат, выдающий соответствующие последовательности на выход. Длина функции здесь - это суть размер автомата агента. Вы, конечно, можете не включать длину функции в "целевой показатель", но что за цель будет достигаться? Сжатие информации что-ли? [Ответ][Цитата]
Стр.2 (3): 1  [2]  3 << < Пред. | След. > >>