Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.6 (11) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: Какие методы обучения ИНС существуют и чем отличаются?
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 3:31 А что такое "что такое "ассоциативные нейронные сети"" ? Хотя бы один конкретный пример ... сеть Хопфилда или Коско ? [Ответ][Цитата]
daner Сообщений: 4633	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 4:14 Цитата: Автор: tac Дело как раз не в этом, если найти две оптимальные стратегии - это означает, что оптимальная стратегия в принципе расчитывается, ну подумаешь они совпали, тогда бы речь шла бы о том, что имеются равнозначные стратегии, а не о том, что их нету в принципе. Давайте, подумаем что значит нету оптимальных стратегий - это означает то, что при имеющийся информации их не возможно расчитать, а можно лишь расчитать некую среднию стратегию, и несколько локальных правил, которые ее улучшат в случае если автомат попал в определенное состояние. Соответственно, я не могу каким либо образом проанализировать данную Вами мне стратегию и сказать на сколько она оптимальна. Все будет зависеть от конкретного мира в который попадет Ваш агент, и только прогнав его в среде 80 шагов я смогу сказать на сколько он оптимален. Если точнее оптимальность той или иной стратегии будет зависеть от распределения типов территорий в среде, и соответственно, доступности тех или иных ресурсов ... выбор же эффективной стратегии будет заключатся в использовании наилучшем образом доступных ресурсов. Т.е. вы будите просто не способны дать мне статическую стратегию, вам прейдется ее оформить в виде алгоритма, а вот проанализировать алгоритм в неизвестной (со случайно распределенными ресурсами) среде - будет просто не реально ... Поэтому целью рационального агента в такой среде является не максимизация цели, которая ему поставленна (это даже не зависит от экспериментатора - он по прежнему может требовать максимизацию), а "благоразумность" (присутствие в них логики, которая не задана детерминированно изначально - т.е. как раз проявление интеллектуальности) действий ... и именно такую "благоразумность" и нужно оценить ... (Кстати, в условиях задачи я ранее пропустил одно условие: "При этом за один ход, один житель в городе съедает 2 единицы пищи.", что не позволяет городам бесконечно разрастаться ...) Вы и правы, и не совсем. Пожалуй, получить две оптимальных стратегии конечно не получится. Но вы можете пойти другим путем. Например можно попробовать так. Предположим что П это оптимальная стратегия, тогда покажите, что есть стратегия П'' которая отличается хотя бы в один ход но все равно, она не хуже П''. Иначе, вообще говорить о том, что оптимальной стратегии нет просто бессмысленно. Если же вам достаточно того что оптимальную стратегию просто не реально найти за конечное мыслемое время, то достаточно показать (но это надо доказать, а не так как мы тут, на уровне интуиции) что ваша задача содержит POMDP -- это сразу введет ее в NP-C и сделает не решаемой в общем случае. [Ответ][Цитата]
daner Сообщений: 4633	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 4:16 Цитата: Автор: tac В принципе эта задача просчитывается ... если знать что она длится 80 ходов, если знать при каком условии появляется новый житель в городе и поселенец, если знать какие типы территорий существуют и сколько на каждой из них ресурсов, и главное по какому параметру оценивается успех. То при всей прочей неопределенности задача жестко просчитывается и покрайней мере можно написать алгоритм, который это расчитывает. Главными понятиями такого алгоритма будет виды возможных для постройки городов, расчет гибкой стратегии в планировании того какие виды городов нужны в зависимости до оставшегося времени окончания игры, расчет алтернатив стоит ли поселенцу искать лучшее место или в создавшихся условиях лучше воспользоваться той доступностью ресурсов, что есть, и оценке риска стоит ли далеко уходить поселенцу от места возможной постройке даже если еще не исчерпан лимит ходов на поиск (т.е. сможет ли поселенец в случае неудачного поиска хотя бы возвратиться к возможному ранее месту). Построение такого алгоритма, наверняка важно - и этим можно занятся, в общих чертах я представляю себе как это может быть ... Но затем все же следует заметить, что автомату все же не представляется такая информация, а есть лишь косвенная информация от учителя, которая уже смешенна с его так сказать предпочтениями ... задачей же такого автомата по большому счеты является востановить необходимую информацию для выроботки стратегии, находя противоречия в предоставляемой учителем информацией ... и тогда можно будет сравнить на сколько отличаются алгоритмы обладающей информацией о четких правилах игры и алгоритмы, которые имеют нечеткую и противоречивую информацию .... Ну попробуйте. Я думаю это будет не так легко, как вам кажется. [Ответ][Цитата]
daner Сообщений: 4633	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 4:20 Цитата: Автор: tac А что такое "что такое "ассоциативные нейронные сети"" ? Хотя бы один конкретный пример ... сеть Хопфилда или Коско ? Оно самое Hopfield network Цитата: Википедиа: http://en.wikipedia.org/wiki/Artificial_neural_network#Hopfield_network The Hopfield network is a recurrent neural network in which all connections are symmetric. Invented by John Hopfield in 1982, this network guarantees that its dynamics will converge. If the connections are trained using Hebbian learning then the Hopfield network can perform as robust content-addressable (or associative) memory, resistant to connection alteration. А вообще, вот тут нашел статью.... правда так и не понял, обзорная она или это какой-то новый метод... Пишет, что это сочетание нейронки и к-соседей... http://cogprints.org/1441/index.html Вы же все-равно будете разбираться, так что скиньте потом, чем она от Хопфильда отличается. [Ответ][Цитата]
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 4:37 Цитата: Автор: daner Ну попробуйте. Я думаю это будет не так легко, как вам кажется. Не легко что ? Построить жесткий алгоритм, вычисляющий алгоритм при известных "если знать что она длится 80 ходов, если знать при каком условии появляется новый житель в городе и поселенец, если знать какие типы территорий существуют и сколько на каждой из них ресурсов, и главное по какому параметру оценивается успех." ? Или же второе, когда не известно ... Про второе согласен - пока даже не представляю себе, но первое - дело техники ... для вырожденного случая когда есть всего два типа територий - Океан (1/0/2) и Степь (1/1/0) - стратегия следующая: имеет смысл устанавливать цель города - получение поселенца (степь+степь), только тогда когда до середины игры он сможет предоставить 2-х и более поселенцев. По прошествию 25% игры следует использовать смешенную стратегию (степь+океан), а после 50% пройденной игры наращивать только объем золота (тип города океан+океан). Вырожденность заключается в том, что здесь города не растут, т.к. прирост пищи только 2 ед., что равно ее расходу на одного жителя (напомню, что центр города обрабатывается без жителя). В итоге - получаем 484 ед. золота ... и ни какая другая стратегия не позволяет улучшить показатель. Вторая по значимости стратегия построить единственный город на территории (океан+океан) - доход 320 ед. золота. При наличии только двух видов территорий найти необходимое распределение видов территорий, можно практически за 1-2 хода ... но даже если при специальном распределении потребуется искать берег океана, то оставаясь в выйгрыше на это можно потратить до 13 первых ходов. (да, и действительно, не легко - пол дня с карандашем просидел ) Для более сложных распределенний дело техники ... Кстати, замедти, что стратегия получается достаточно интеллектуальной, и постоянно изменяющейся ... что и ожидалось ... и это видно даже на вырожденном примере ... [Ответ][Цитата]
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 4:45 Цитата: Автор: daner Оно самое Hopfield network Не, это хреново ... это из серии моих разоблачений, типа обратного распространения, только на порядок проще - Сеть Хопфилда - сеть с одним слоем (а обратные связи не содержат весовых коэффициентов), разве не так ? Дальше стоит продолжать ... [Ответ][Цитата]
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 4:49 Цитата: Автор: daner А вообще, вот тут нашел статью.... правда так и не понял, обзорная она или это какой-то новый метод... Пишет, что это сочетание нейронки и к-соседей... http://cogprints.org/1441/index.html Вы же все-равно будете разбираться, так что скиньте потом, чем она от Хопфильда отличается. Я бы действительно поразбирался бы, но у меня проблемы с английским ... т.к. от базового алгоритма Хопфильда я не в восторге ... то даже и не знаю, стоит ли это рассматривать ... [Ответ][Цитата]
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 4:57 Цитата: Автор: daner Например можно попробовать так. Предположим что П это оптимальная стратегия, тогда покажите, что есть стратегия П'''' которая отличается хотя бы в один ход но все равно, она не хуже П''''. Иначе, вообще говорить о том, что оптимальной стратегии нет просто бессмысленно. Здесь все будет зависеть от количества ходов в игре, скажем при 40 ходах (в расмотренном вырожденном случае) выигрывает тупая стратегия - построй один город в океане, а вот при 80 уже нужна более интеллектуальная стратегия. Можно ли это назвать наличием двух оптимальных стратегий, которые от случая к случаю то одна лучше другой, то другая ? Возможно, вы скажите нет ... т.к. изменяются условия задачи (хотя автомат о них по хорошему и не должен знать) ... но если тоже самое показать в зависимости от того, как случайно распределятся территории в среде ? [Ответ][Цитата]
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 5:04 Цитата: Автор: daner Если же вам достаточно того что оптимальную стратегию просто не реально найти за конечное мыслемое время, то достаточно показать (но это надо доказать, а не так как мы тут, на уровне интуиции) что ваша задача содержит POMDP -- это сразу введет ее в NP-C и сделает не решаемой в общем случае. А почему Вам кажется что это "достаточно" (как будто может быть нечто большее) - мне кажется, что это и есть то самое - т.е. нет возможности расчитать оптимальную стратегию, а значит ее нету (она не может быть известной) ... В случае же "не хуже" я не очень понимаю, что это значит и чем отличается от наличия двух равнозначных оптимальных стратегий. [Ответ][Цитата]
daner Сообщений: 4633	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 13:04 Цитата: Автор: tac Не легко что ? Построить жесткий алгоритм, вычисляющий алгоритм при известных "если знать что она длится 80 ходов, если знать при каком условии появляется новый житель в городе и поселенец, если знать какие типы территорий существуют и сколько на каждой из них ресурсов, и главное по какому параметру оценивается успех." ? Или же второе, когда не известно ... Про второе согласен - пока даже не представляю себе, но первое - дело техники ... для вырожденного случая когда есть всего два типа територий - Океан (1/0/2) и Степь (1/1/0) - стратегия следующая: имеет смысл устанавливать цель города - получение поселенца (степь+степь), только тогда когда до середины игры он сможет предоставить 2-х и более поселенцев. По прошествию 25% игры следует использовать смешенную стратегию (степь+океан), а после 50% пройденной игры наращивать только объем золота (тип города океан+океан). Вырожденность заключается в том, что здесь города не растут, т.к. прирост пищи только 2 ед., что равно ее расходу на одного жителя (напомню, что центр города обрабатывается без жителя). В итоге - получаем 484 ед. золота ... и ни какая другая стратегия не позволяет улучшить показатель. Вторая по значимости стратегия построить единственный город на территории (океан+океан) - доход 320 ед. золота. При наличии только двух видов территорий найти необходимое распределение видов территорий, можно практически за 1-2 хода ... но даже если при специальном распределении потребуется искать берег океана, то оставаясь в выйгрыше на это можно потратить до 13 первых ходов. (да, и действительно, не легко - пол дня с карандашем просидел ) Для более сложных распределенний дело техники ... Кстати, замедти, что стратегия получается достаточно интеллектуальной, и постоянно изменяющейся ... что и ожидалось ... и это видно даже на вырожденном примере ... во-первых, я не уверен что стратегии которые вы привели они оптимальны даже для 80 ходов... впрочем, может быть я не сильно вдаюсь в подробности (у меня еще свое доказательство на шеи висит). во-вторых, вы нашли стратегию (скажем оптимальную) для данного случая. Даже если говорить о 80 шагах и заранее известных данных, надо говорить о не известной заранее территории. Т.е. задача должна выглядеть так. Алгоритм получает: X,Y,Z... где Х-это ...., Y-это .... и т.д. Дальше идет off-line phase, если она есть И после on-line phase. То что вы зделали, хорошо в другом (опять таки, если это максимальный). Это хорошо, для проверки вашего алгоритма на оптимальность. Т.е. берем частный случай, типа заранее для бота не известный, вот его стратегия, вот оптимальная, смотрим на сколько он проиграл и т.д. [Ответ][Цитата]
daner Сообщений: 4633	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 13:08 Цитата: Автор: tac Здесь все будет зависеть от количества ходов в игре, скажем при 40 ходах (в расмотренном вырожденном случае) выигрывает тупая стратегия - построй один город в океане, а вот при 80 уже нужна более интеллектуальная стратегия. Можно ли это назвать наличием двух оптимальных стратегий, которые от случая к случаю то одна лучше другой, то другая ? Возможно, вы скажите нет ... т.к. изменяются условия задачи (хотя автомат о них по хорошему и не должен знать) ... но если тоже самое показать в зависимости от того, как случайно распределятся территории в среде ? Я имел ввиду вообще какой-то случай. Если у вас получится формализовать вашу задачу, то и об общих случаях будет проще говорить. Тогда у вас появятся различные группы и подгруппы чего-то там с какими-то условиями, про которые можно будет сказать: берем эти группы со случайными значениями, но удовлетворяющие условиям, и предполагаем что оптимальная стратегия найденна. Тогда это стратегия будет иметь такие-то и такие-то свойства и т.д. [Ответ][Цитата]
daner Сообщений: 4633	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 11 авг 08 13:30 Цитата: Автор: tac А почему Вам кажется что это "достаточно" (как будто может быть нечто большее) - мне кажется, что это и есть то самое - т.е. нет возможности расчитать оптимальную стратегию, а значит ее нету (она не может быть известной) ... В случае же "не хуже" я не очень понимаю, что это значит и чем отличается от наличия двух равнозначных оптимальных стратегий. А по вашему POMDP это предел сложности . Уверен что нет. В прочем, я вам просто советую, как в формальном виде не заморачиваться на всякие мелочи (для этого народ и исследует разные среды и алгоритмы, а другие этим пользуются и все делать самому с нуля глупость несуразная). Кстати, не возможно рассчитать оптимальную стратегию -- это не значит что ее нету. Вам все-таки надо углубиться в Т.Игр. В стандартном определении "оптимальная стратегия" в вашей игре такая будет всегда (пока не появятся оппоненты). Поэтому, о ее существовании, я вижу смысл говорить только в смысле "единственная или нет". Если же появятся оппоненты, то "не существование" опт.стратегии приобретет несколько другой смысл. Но все равно доказательство будет несколько похожим, правда стратегия П'', будет зависеть от другой стратегии оппонента и т.д. В прочем, вашим оппонентом, может выступать среда и уже можно говорить о не существовании оптимальной стратегии если относиться к различным изменениям среды. Так что, в принципе не зная оптимальную стратегию, иногда можно доказывать много интересных вещей относительно ее. Но вы говорите о не знании стратегии ботом. А это вообще из другой серии. Если ни один алгоритм не может найти (и это доказано) оптимальную стратегию за конечное время, это совсем другое дело. В принципе очень часто наплевать на ее существование и достаточно просто смотреть на эффективность алгоритма. Поэтому, я и говорю, что надо показывать что POMDP внутри и тогда у вас сразу будут разные решения уже существующие, как минимум для этой части игры. Вот и будете свой алгоритм сравнивать. Как не странно, но всегда плохо, когда вы придумали какую-то очень новую задачу и написали решение к этой задачи. Это намного менее интересно для исследователей, чем более эффективный алгоритм для знакомой задачи, который можно сравнить с другими и что-то из этого сравнения извлечь. А если все новое... ну ок, сравнивать не с чем... Поэтому надо стремиться найти какой-то же известный базис для свой работы (в 99% он есть). У вас этот базис, скорее всего POMDP, так и отталкивайтесь от него! [Ответ][Цитата]
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 12 авг 08 0:53 Цитата: Автор: daner во-первых, я не уверен что стратегии которые вы привели они оптимальны даже для 80 ходов... впрочем, может быть я не сильно вдаюсь в подробности (у меня еще свое доказательство на шеи висит). во-вторых, вы нашли стратегию (скажем оптимальную) для данного случая. Даже если говорить о 80 шагах и заранее известных данных, надо говорить о не известной заранее территории. Т.е. задача должна выглядеть так. Алгоритм получает: X,Y,Z... где Х-это ...., Y-это .... и т.д. Дальше идет off-line phase, если она есть И после on-line phase. То что вы зделали, хорошо в другом (опять таки, если это максимальный). Это хорошо, для проверки вашего алгоритма на оптимальность. Т.е. берем частный случай, типа заранее для бота не известный, вот его стратегия, вот оптимальная, смотрим на сколько он проиграл и т.д. Во-первых, я уверен можете попробывать найти лучшую во-вторых, да конечно, все X,Y,Z - я описал, буквы проставить думаю не проблема ... "надо говорить о не известной заранее территории" - это учтенно, просто для вырожденного случая это практически не принципиально, главное найти берег океана ... и указано, что на это можно потратить 13 ходов. "Дальше идет off-line phase, если она есть И после on-line phase. " это я не понял .. ? "Это хорошо, для проверки вашего алгоритма на оптимальность. Т.е. берем частный случай, типа заранее для бота не известный, вот его стратегия, вот оптимальная, смотрим на сколько он проиграл" Да, это так, но не понимая почему Вы это относите к "другому" - а что еще ? [Ответ][Цитата]
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 12 авг 08 1:06 Цитата: Автор: daner А по вашему POMDP это предел сложности . Уверен что нет. В прочем, я вам просто советую, как в формальном виде не заморачиваться на всякие мелочи (для этого народ и исследует разные среды и алгоритмы, а другие этим пользуются и все делать самому с нуля глупость несуразная). Поэтому надо стремиться найти какой-то же известный базис для свой работы (в 99% он есть). У вас этот базис, скорее всего POMDP, так и отталкивайтесь от него! Я разве сказал, о каком то пределе сложности, я указал (а Вы вроде даже согласились, как и авторы цитируемой мной книги), что те элементы POMDP, которые есть в моей задаче делают решение задачи "не разрешимой", т.е. этой сложности можно сказать МИНИМАЛЬНО достаточно, чтобы сказать - что оптимальную стратегию вычислить нельзя. "все делать самому с нуля глупость несуразная" - ну, и полегче на поворотах ... глупость - это не делать этого ... тем более, что нет здесь существенно нерешаемой практически проблемы ... "Кстати, не возможно рассчитать оптимальную стратегию -- это не значит что ее нету." Хорошо, при указаных мной необходимых параметрах 80 ходов, и прочие правила игры - оптимальную стратегию с определенной достоверностью можно вычислить, но без этой информации - можно лишь к этому приблизится, и задача состоит показать существенно ли это различие ... "В прочем, вашим оппонентом, может выступать среда и уже можно говорить о не существовании оптимальной стратегии если относиться к различным изменениям среды." Думаю, нет ... в этой задаче да, среда может изменятся - строится город, и пропадает часть территории под застройку - но это совершенно не существенно ... но да, когда я разбирусь с этой задачей - будет введен противник ... но не для того, чтобы с ним сравнивать - это бессмысленно, а вместе с ним будет введен другой тип агентов - военый, который будет мешать развиваться противнику, и защищать свои позиции - но тогда вы скажите, что задача совершенно тяжелая ... хотя я думаю, что как нибудь я до этого добирусь ... Кстати, реальное приложение наверно понятно - моделирование ведения тактических военных действий (надеюсь в необходимости такого моделирования возражений не будет) [Ответ][Цитата]
tac Сообщений: 2601	На: Какие методы обучения ИНС существуют и чем отличаются? Добавлено: 12 авг 08 1:16 Цитата: Автор: daner Как не странно, но всегда плохо, когда вы придумали какую-то очень новую задачу и написали решение к этой задачи. Это намного менее интересно для исследователей, чем более эффективный алгоритм для знакомой задачи, который можно сравнить с другими и что-то из этого сравнения извлечь. А если все новое... ну ок, сравнивать не с чем... Поэтому надо стремиться найти какой-то же известный базис для свой работы (в 99% он есть). У вас этот базис, скорее всего POMDP, так и отталкивайтесь от него! Во-первых, почему вы решили, что я не отталкиваюсь от POMDP (после того как об этом узнал) - но этого явно не достаточно ... тут мы имеем несколько другой акцент ... Во-вторых, и базис для решения есть - это перцептрон Розенблатта ... Поэтому сравнивать как раз есть с чем - только вот порою сравнивать несколько абсурдно, т.к. действительно нету аналогов ... но это лишь говорит о том, что почему то никто не задумывался о том, что это необходимо ... а значит это и есть исследования, разработка новых парадигм - именно эту цель я и преследую - и просчитывать, и получать приросты по 2-5% оптимальности - да, это не для меня - даже когда я получаю на своих алгоритмах такую возможность, то не считаю это необходимым описывать - важны порядки, а не "вылизывание" (сравнивание) известных задач известными методами ... [Ответ][Цитата]
Стр.6 (11): 1  2  3  4  5  [6]  7  8  9  10  11 << < Пред. | След. > >>