Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.7 (8) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Модель внешней среды для интеллекта
Virtual_Graph Сообщений: 594	На: Модель внешней среды для интеллекта Добавлено: 04 ноя 07 21:48 Цитата: Автор: Алхимик Что есть награда? Это внешний стимул, который вызывает положительные эмоции, или удовлетворяет какие-либо потребности или мотивации, которые в свою очередь вызывают положительные эмоции. Со многим согласен, только хотел бы кое-что уточнить. Ключевое выражение - "удовлетворение потребности" - это и есть награда. Все остальное - не награда, даже если вызывает положительные эмоции. Можно сказать, что эмоция - это некая интегральная переменная, оценивающая степень приближения момента удовлетворения потребности. Это примерно как цена актива на рынке - колеблется вокруг своего реального (в данный момент) значения, иногда существенно от него отклоняясь. Поэтому эмоции - категории весьма субъективные, как и курсы акций Что касается мотиваций, то считается, что мотивация - это "опредмеченная потребность". Т.е. потребность - не быть голодным, а мотивации - найти работу, ограбить банк, поиграть в лотерею и т.д. Иначе говоря, потребность - одна, а мотиваций, ведущих к ее удовлетворению - тысячи. Промежуточные этапы - это и есть мотивации. Прмерчиков неформальных алгоритмов в природе - миллиарды. Самое простое - распознавание образов живыми организмами, инвариантно их размерам, расположению на сетчатке, форме, цвету и т.д. Собственно это уже не алгоритм, т.к. по определению А. - это точная и определенная последовательность шагов, ведущая ... и т.д. А раз не алгоритм, значит и не формальный и не математический. Т.е. резюме: нам эти А. неизвестны, но это не значит, что они не существуют в природе [Ответ][Цитата]
Алхимик Сообщений: 315	На: Модель внешней среды для интеллекта Добавлено: 05 ноя 07 7:52 to Virtual_Graph: Вот вы не знаете алгоритма Львовича, а уже отнесли его к математическим и формальным. А на каком основании? Наверно, только потому что он уже есть. Это только подтверждает мои слова. Кажется, мы отвлеклись, оффтопим. Если интересует дальнейшее обсуждение математических и не математических обсуждений, то переходите в другую подходящую ветку. Здесь обсуждается алгоритм Львовича. Он явно относится к обучению с подкреплением. А в этом направлении принято говорить о награде, подкреплении, а не об эмоциях. Насколько я могу судить, четко разделяется Мир и Интеллект(алгоритм), которые связаны только рецепторами и эффекторами, передающими число или символ. Меня такая постановка вопроса интересует. Жаль только, что г-т Львович не заглядывает в личку на образце. [Ответ][Цитата]
Virtual_Graph Сообщений: 594	На: Модель внешней среды для интеллекта Добавлено: 05 ноя 07 9:18 Все верно уважаемый Алхимик, согласен с Вами по многим пунктам Мои рассуждения носят достаточно отвлеченный характер и напрямую слабо связаны с обсуждаемой темой. Это всего лишь попытка вырваться из плена привычных представлений, которые навязываются нам классом алгоритмов с подкреплением. Нет никакого запрета на возможность моделирования механизма эмоций - именно на это направлены мои рассуждения. Кстати, об алгоритме Львовича не сказал ни слова, но составил свое представление. Это похоже на случайный поиск с отбором шагов, ведущих к росту функции награды, что является критерием отбора, разве не так ? [Ответ][Цитата]
Алхимик Сообщений: 315	На: Модель внешней среды для интеллекта Добавлено: 05 ноя 07 12:31 Цитата: Автор: Virtual_Graph Кстати, об алгоритме Львовича не сказал ни слова, но составил свое представление. Это похоже на случайный поиск с отбором шагов, ведущих к росту функции награды, что является критерием отбора, разве не так ? Это надо у самого Львовича спрашивать. Подождем пока отзовется. В начале при пустой памяти каждый алгоритм совершает случайный поиск. По мере заполнения памяти поиск становится направленным, в первую очередь выбирается действие с максимальной ожидаемой наградой, тут вы правы. Насколько я понимаю, общего пути в виде цепочки в памяти не хранится (для этой задачи было бы слишком просто, а в общем случае не реально), там наверное хранятся ситуации и связанные с ними действия. Возможно похожесть прошлых ситуаций с текущей тоже помогает выбору. Но я думаю, что подробностей мы не услышим, иначе бы мы тут программу обсуждали, а не задачу. Хотя возможно я и не прав. Судя по тому, что конечная вершина замкнута на начальную, то может хранится и цепочка и искаться в общем потоке повторяющаяся цепочка с максимальной функцией награды. Что зря гадать, подождем Львовича. [Ответ][Цитата]
daner Сообщений: 4593	На: Модель внешней среды для интеллекта Добавлено: 05 ноя 07 15:42 Полностью согласен с тем что пишет Алхимик. >>>>> ВГ. Простите, но вы такое нагородили. Какие-то доморощенные понятия навводили. Распознавание образов, это по вашему уже не алгоритм. Проявления положительных и отрицательных эмоций, это не награда. Ну глупости ведь!!! Не морочьте себе и людям голову. А то начинаете "мат. алгоритм из локал. минимума не выберется, а интеллект выберется". Ну да, то-то куча народу сидит в локальных минимумах. Да человеку вообще, хорошо тогда, когда он не знает, что может быть лучше. Чем не локальный минимум? А про эмоции. Это чистой воды награда. Точные, не точные, это вообще не важно. Важно, что это feedback. А внешний он или внутренний, это к самим алгоритмам RF не относится. [Ответ][Цитата]
Virtual_Graph Сообщений: 594	На: Модель внешней среды для интеллекта Добавлено: 05 ноя 07 17:17 Daner, Вы конечно разбираетесь в математике, но в нейрофизиологии ни черта не смыслите. Доморощенные понятия имеют место быть именно там. Но конечно, если Вы считаете меня создателем науки о мозге, то я весьма польщен , только что-то мне подсказывает, что Вы так не думали... Тогда о чем Вы думали? Мой Вам совет, расширьте свой кругозор. В свое время я пришел к этому выводу и ничуть об этом не жалею. Повторюсь - разработка ИИ не сводится к разработке математических методов - пока вы этого не поймете, будете всю жизнь разрабатывать локальные решения, более-менее эффективно соответствующие ограниченному кругу задач. Но Вы же замахиваетесь на создание ИИ! Или я ошибаюсь? Предвидя Ваши возражения, я могу услышать, что нейрофизиология никакого отношения к ИИ не имеет. Это неверно, т.к. это просто следствие Вашего неширокого угла зрения на сложнейшую из проблем. А так как Вы еще молоды, Вам свойственен эдакий молодецкий задор, котрый Вам говорит - все решим с наскока, no problem, my solution is forever! Поэтому я бы Вам посоветовал вести себя поскромнее [Ответ][Цитата]
Львович Сообщений: 303	На: Модель внешней среды для интеллекта Добавлено: 05 ноя 07 18:40 Цитата: daner: кстати, а что у вас есть состояние? Х:Y агента на карте? X,Y,D, где D - направление (4 варианта), так как онечное состояние автоматически переносит в начально, то и получается 5 клеток * 4 направления = 20 состояний Цитата: Алхимик: Это задача очень простая. В более реальных задачах должно быть конечное большое поощрение. Поиск должен быть, но почему случайный? У системы есть память. В процесе поиска выявляются ситуации, попадание в которые корелируется с попаданием в конечную целевую точку. Если система выявит эту кореляцию, то подобная ситуация становится подцелью и ей назначается меньшая награда (или переносится часть конечной). Типа как в шахматах, цель мат. Но чтобы ее достичь, нужно выиграть материал, получить лучшую позицию, развить фигуры и пр. Еще можно учесть время, назначая очень малый штраф за ход. Системе будет невыгодно топтаться на месте. Это задача простая, если известно, что это за задача . Однако напомню, алгоритм ничего не знает о том, что стоит за рецепторами и эффекторами. Подключение производилось весьма произвольно. Более того некоторые (входные и выходные) комбинации оказались синонимами, (что вероятно запутывало алгоритм). И еще более того, алгоритм не знал, когда заканчивался один ход и начинался другой. Согласен, что при награде в конце поиск будет не случайным, но полно-переборным, при этом вероятность того, что алгоритм дойдет до F за 4 шага равна 1/3^4= 1/91. Наверное можно вычислить какова вероятность, что случайно блуждая можно достигнуть F менее, чем за N ходов. Есть специалисты по вероятности? Цитата: Жаль только, что г-т Львович не заглядывает в личку на образце. Есть такой грех...Постараюсь исправиться. Цитата: Virtual_Graph: Это похоже на случайный поиск с отбором шагов, ведущих к росту функции награды, что является критерием отбора, разве не так ? Грубо - так. Но это - суть любого обучения. Могу лишь сказать, что случайного в моем алгоритме нет ничего. Генератор случайных чисел нигде не используется. В более ранних вариантах я его использовал, но сейчас понял, что по крайней мере для такого класса задач, он не нужен. Естественно, а алгоритме есть память, есть сравнение ситуаций и есть аналог эмоций. [Ответ][Цитата]
Алхимик Сообщений: 315	На: Модель внешней среды для интеллекта Добавлено: 05 ноя 07 18:41 Цитата: Автор: Virtual_Graph Все верно уважаемый Алхимик, согласен с Вами по многим пунктам Цитата: Автор: daner Полностью согласен с тем что пишет Алхимик. Вот чудеса, оба со мной согласны, а между собой ругаются. Ребята, давайте жить дружно(С) Давайте спокойно разберемся в этом (нематематические алгоритмы и пр.), только не в этой ветке. Кто нибудь начнет? [Ответ][Цитата]
Алхимик Сообщений: 315	На: Модель внешней среды для интеллекта Добавлено: 05 ноя 07 20:11 Цитата: Автор: Львович X,Y,D, где D - направление (4 варианта), так как онечное состояние автоматически переносит в начально, то и получается 5 клеток * 4 направления = 20 состояний Согласен, что при награде в конце поиск будет не случайным, но полно-переборным, при этом вероятность того, что алгоритм дойдет до F за 4 шага равна 1/3^4= 1/91. Наверное можно вычислить какова вероятность, что случайно блуждая можно достигнуть F менее, чем за N ходов. Есть специалисты по вероятности? В книге Андреева и Иоффе "Эти замечательные цепи" показано решение подобной задачи на стр.55. Строится матрица перехода между состояниями. Состояние у тебя - это номер клетки и направление, куда смотрит.Из каждой клетки возможны три перехода, вероятность которых примем равной 1\3. Получится матрица 32*32. Вычеркнем строку и столбец, сответствующий конечному состоянию. Вычтем полученную матрицу из единичной той же размерности.Обратим полученную матрицу, а потом получившуюся умножим справа на единичный вектор. В элементе соответствующем начальному состоянию получим искомую вероятность( другие элементы - вероятность, если с них начинать). Мне считать в лом, считай сам если интересно. Книжку найди, если я непонятно объяснил. ps. На том рисунке, что ты привел - 8 состояний, а не шесть. [Ответ][Цитата]
daner Сообщений: 4593	На: Модель внешней среды для интеллекта Добавлено: 05 ноя 07 20:25 >>>>>> ВГ Причем тут поскромнее? Что на счет кругозора... не сомневаюсь, что он у вас широкий, но это не меняет того факто, что нагородили вы черти что. И кстати, нейрофизиология к ИИ имеет весьма отдаленное отношение, точно такое же как программирование к психологии человека. т.е. местами, они совпадают, но это не значит, что они стремятся совпадать. Другое дело когда речь идет о когнитологии. Вот там, как раз и строится модель мозга. Так что не надо смешивать. И вообще, вы хотите, сказать, что "нематематический алгоритм" это термин из нейрофизиологии? докажите!!! (только пожалуйста цитаты с солидный источников). Любые алгоритмы, которые можно реализовать на компьютере --- математические. Те которые нельзя реализовать, тоже математические, только не реализуемые на вычислительной модели А.Тьюринга. Это как "мокрая вода"!!! Т.е. "по определению". Что касается эмоций и прочего. Совершенно не собирался спорить о природе происхождения эмоций. Но эмоции как не крути -- есть положительный или отрицательный сигнал на ситуацию и/или действие и т.д. А это и есть "по определению" -- награда, в теории RL. Я совершенно не понимаю, какие могут вообще быть претензии к математики? математика есть язык!!! И ни что иное! Вы не можете создать нечто, что не способны описать (если это конечно не случайно, но это уже не наука, а алхимия). А если так, то все что будет создано человеком, будет поддаваться строгому описанию, другими словами формализации (т.е. математическому определению). Другое дело, что можно сомневаться в современной вычислительной модели!! Это другое дело (т.е. я не согласен, но это не важно). Но тут уже дело интуиции. Вы можете верить в это, можете не верить... Четких доказательств (пока) НЕТ, и поэтому, я предпочитаю (придерживаясь "бритвы Окама") считать, что ИИ может быть создано на современно выч.платформе. Поэтому, как видите, никакого отношения к кругозору, это не имеет. А кругозор, по мере возможности, я стараюсь расширять. >>>> Львовичь. Ну ок. Решает ваша программа эту задачу. Что дальше? Анализ то какой-то последует? Ну т.е. чем это отличается от Q-learning? Возможно оно не отличается, но вы что-то добавили (или еще что-то, я уж не знаю)? Короче, вчем "punchline" демострации? >>>>> Алхимик А мы не ругались, мы дискутировали (ну как минимум с моей стороны, я старался не ругаться). [Ответ][Цитата]
Львович Сообщений: 303	На: Модель внешней среды для интеллекта Добавлено: 11 ноя 07 6:42 Цитата: daner: Короче, вчем "punchline" демострации? Punchline оказался в русских поговорках (наверняка есть английские аналоги) "Поспешишь - людей насмешишь", "Не говори гоп, пока не перепрыгнешь" и т.д. , короче это creature надо еще изучать и "доводить до ума" в прямом и переносном смысле . А проблемы - уже Вам известные: кодировка входных сигналов, постепенное наращивание сложности задач и др. Локальный успех немного вскружил голову, захотелось поделиться. Пошел разбираться... [Ответ][Цитата]
daner Сообщений: 4593	На: Модель внешней среды для интеллекта Добавлено: 11 ноя 07 12:08 Ну локальный, глобальный... это все детали . как минимум ваш подход (если он хоть в чем-то отличается от существующих) уже справляется с простенькими задачами контроля. Но только пока эту разницу, я лично не уловил. В любой работе есть смысл. ну как примеры, можно привести следующее... - самому придумать колесо и сравнить с уже существующими. - взять готовое колесо и проверить как оно работает. Т.е. своими глаза убедиться + так как сам его пишешь, помогает глубже его понять. - взять несколько готовых колес и посмотреть как они друг на друга влияют. - взять готовое колесо и попробовать его улучшить. - придумать нечто свое, что сможет полностью заменить колесо, при этом совершенно колесом не являясь. (ИМХО) это все варианты. Лично я считаю, что надо четко отдавать себе отчет, какой смысл той работы которую ты делаешь. В вашей работе какой смысл? [Ответ][Цитата]
NewPoisk Сообщений: 3745	На: Модель внешней среды для интеллекта Добавлено: 12 ноя 07 10:43 Недавно мне попалась книга "СОИ глазами русского полковника", http://www.patriotica.ru/enemy/shmygin_soi.html В конце автор рассматривает аспект управления космическим противоракетным щитом. Оказалось что это просто невозможно сделать без самопрограммируемых компьютеров, т.е. без ИИ в тогдашнем понимании. Т.о. реальное финансирование разработок ИИ началось еще тогда - в начале 80-х. Так что не с проста появилась японская программа компьютеров 5-го поколения. В целом могу сказать что СОИ изначально была блефом, призванным запугать руководство СССР и втянуть его в бессмысленную военно-экономическую гонку. Никто по-настоящему СОИ создавать не хотел, поскольку технические проблемы космических боевых станций не решены до сих пор - система была неработоспособна еще в проекте и проектанты прекрасно про это знали (современная ПРО, разворачиваемая США у границ России - просто модернизация систем 60-х годов, без каких-либо принципиальных нововведений вроде лазеров с ядерной накачкой). Но блеф нужно было сделать правдоподобным и потому финансирование СОИ шло. Может не так щедро, как это нарочно рекламировалось в американской прессе, но все же оно шло. А это означает что шло и финансирование затрат по теме ИИ. Программного ИИ. Сумма, видимо была значительная (миллионов 100$ минимум). А теперь давайте прикинем. 100,000,000$, почти 30 лет работы (DARPA - дитя СОИ), куча специалистов и оборудования. Отсутствующий результат. И после этого кто-то из нас все еще верит в ИИ-программу. Ну не смешно ли, господа. [Ответ][Цитата]
Yerken Сообщений: 110	На: Модель внешней среды для интеллекта Добавлено: 12 ноя 07 12:20 <<<<<Программного ИИ. Сумма, видимо была значительная (миллионов 100$ минимум). А теперь давайте прикинем. 100,000,000$, почти 30 лет работы (DARPA - дитя СОИ), куча специалистов и оборудования. Отсутствующий результат. И после этого кто-то из нас все еще верит в ИИ-программу. Ну не смешно ли, господа. >>>> Весь прикол в том, что для исследований в этой области нет большой нужды в таком же огромном бюджете,как в космических исследованиях или "мирного термояда" (ЦЕРН). Хорошие мозги (со знаниями в разных областях науки)и хороший компьютер для вычислительных экспериментов (этот комп, должен быть помощнее, конечно, чем настольный "двухъядерник", но и "ДИП БЛУ" совсем не нужен - сильно избыточен. Короче, средненький комп, недорогой). Все это, конечно, недешево, т.к. хорошие мозги за копейки не работают, но не такие астрономические суммы (100 лимов). По моему, их там просто очень технично, максимально следуя американскому законодательству, того... А воровства там тоже хватает: как Вам шуруп стоимостью за 1000 баксов для Иракской группы войск? И в таком специфическом деле деньги играют не столь значительную роль, как в физических исследованиях. Но благодаря этим же 100 лимам Штаты пока впереди планеты всей в этой области : одни наработки в Институте Сложности в г. Санта-Фе чего стоят! Не тем мерилом меряете, г-н Нью-Поиск. [Ответ][Цитата]
NewPoisk Сообщений: 3745	На: Модель внешней среды для интеллекта Добавлено: 12 ноя 07 14:18 Цитата: Автор: Yerken >как Вам шуруп стоимостью за 1000 баксов для Иракской группы войск? Че.. Чего?!! Тыща за простой шуруп? [Ответ][Цитата]
Стр.7 (8): 1  ...  3  4  5  6  [7]  8 << < Пред. | След. > >>