GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.20 (25)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: воззвание к остаткам ИИ кооперации
Slava
Сообщений: 3070
На: воззвание к остаткам ИИ кооперации
Добавлено: 21 авг 10 14:31
Aleksandr1 21 авг 10 14:22
[...в списке членов много уважаемых людей. Около 1000...]

На ДА летели, как мотыльки. Умница, обоятельный человек. Истинный глава научной школы. А кто там теперь? - вы хоть раз общались с ним, были на его конференциях и семинарах? - так что не нужно про всю эту пошлую имитацию. Мог хоть как-то заменть-подменить Нариньяни, но не стал, так и его уже нет. Да и Григорян уже не там, а что будет дальше - поглядим.
[Ответ][Цитата]
Aleksandr1
Сообщений: 2969
На: воззвание к остаткам ИИ кооперации
Добавлено: 21 авг 10 15:11
Цитата:
Автор: Slava

Aleksandr1 21 авг 10 14:22
[...в списке членов много уважаемых людей. Около 1000...]

На ДА летели, как мотыльки. Умница, обоятельный человек. Истинный глава научной школы. А кто там теперь? - вы хоть раз общались с ним, были на его конференциях и семинарах? - так что не нужно про всю эту пошлую имитацию. Мог хоть как-то заменть-подменить Нариньяни, но не стал, так и его уже нет. Да и Григорян уже не там, а что будет дальше - поглядим.


а польза от них какаято есть? В политехническом проводят встречи,обсуждают проблемы?

всётаки организация со стажем.
[Ответ][Цитата]
Кирсоф
Сообщений: 1206
На: воззвание к остаткам ИИ кооперации
Добавлено: 21 авг 10 15:55
Цитата:
Автор: Aleksandr1



а польза от них какаято есть? В политехническом проводят встречи,обсуждают проблемы?

всётаки организация со стажем.

Люди в РАИИ, в своем подавляющем большинстве, ученые или готовящиеся стать таковыми в области научных разработок в ИИ, в частности Технологии Психики Роботов. Членство в РАИИ им нужно для "научных" бонусов, а также для возможностей опубликовать свои статьи, необходимые для аспирантов и "остепененных" товарищей, оседлавших проблематику ИИ.
Эти люди никогда не построят Разумного Робота, да это и не является их целью, так как они все сплошь либо философствующие "теоретики" (как и я, впрочем), либо "критики" всего и вся, что не укладывается в рамки их Мировоззрения (в чём-то похожи на форумчан). Алгоритм действия: Доложил, Выступил, Покритиковал - всё в научный бонус записали.
Настоящая работа идёт в других местах, в других странах, там где есть деньги. Там же, где их нет, там, обычно, халтура.
[Ответ][Цитата]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: воззвание к остаткам ИИ кооперации
Добавлено: 21 авг 10 16:50
Цитата:
Автор: Slava
С реальными сигналами всякое бывает. А вы их моделируете или же реальными записями пользуетесь

Реальными. В т.ч. монтажники при пуско-наладке могут специально лазить через забор, имитируя те или иные способы преодоления/проникновения, чтобы собрать для системы обучающие данные.

Цитата:
Автор: Slava
И как - работает?

Да куда она денется...

Цитата:
Автор: Slava
[...Рефлексивность - да, но реальную автоматическую торгующую систему сделать - застрелишься. Т.е. каждый раз возникает чуть новая ситуация - создание классической экспертной системы с использованием знаний экспертов не прокатывает, обучение какой-нибудь нейросетки - тоже...]

Ну, так это же ровно и значит, что это - хорошщая задача и модель перспективного

Для формализации алгоритма плохая. Возьму в качестве примера форексную пару USDGLD (биржевое золото, в общем). Влияет следующее:
- регулярные (раз в 2-3 месяца) заседания ФРС США насчёт ставки рефинансирования. Кроме решения об изменении или сохранении ставки на прежнем уровне влияет еще и тон официального заявления
- регулярные отчеты СШАшных бюро трудовой статистики (о занятости) и бюро экономического анализа, регулярные пересмотры (ведь статистика - это больше, чем наглая ложь) предыдущих статистических данных.
- аналогично - и решения европейского ЦБ (вспомним начало кризиса - когда все страны наперебой понижали ставки), и решения той или иной страны о смене объемов своих золотовалютных резервов или смене пропорций активов в этих резервах
- даты погашения казначейских облигаций США и объемы погашаемых облигаций - держатели облигаций получают деньги и могут потратить эти деньги на покупку того или иного привлекательного актива (и золота в т.ч.)
Плюс надо думать-анализировать, когда рынок именно ждёт решения-заявления, а когда старается заранее отыгрывать какие-то очевидные или неочевидные прогнозы (тогда, после официальной новости, сильного движения рынка и не будет)
- на золоте в последние пару лет очень сильна корреляция локальных экстемумов с периодом в год, причем если год назад был лок.максимум, то в этом - лок.минимум, и наоборот. Ну и не точно день в день всё происходит - с учётом выходных дней календаря может быть сдвижка на несколько дней вперед или назад
- на золоте году в 2008 (вроде бы) летом и в начале осени была очень классная ситуация - там с понедельника по среду золото падало, а со среды до пятницы - росло (или наоборот - сначала полнедели росло, а потом полнедели падало, уже и не помню). И такие циклические периодичности (длина цикла, правда, может меняться) встречаются регулярно, они совершенно не привязаны ни к объему денег на рынке, ни к сезонности времени года. Манипулятивность рынком - или что?
- маркет-мейкеры генерируют ложные сигналы, чтобы заманивать лохов и стричь стопы - ну, это само собой, как и везде. Недавно золото откорректировалось на сотню баксов, так вдобавок нарисовали и пробой ниже одной из линий поддержки (одной из линий скользящих средних). Технически - формирование нисходящего тренда, надо распродавать остатки дешевеющего актива (если еще не всё распродано), чтобы не накапливать убытки. С точки зрения веры же (веры в неокончившийся мировой кризис и психологическую роль золота как бывшего монетарного металла, могущего снова стать деньгами вместо раскрашенной туалетной бумаги ака бакс) - самое время затариваться внезапно подешевевшим активом (и действительно, золото опять стало стоить дороже 1200 баксов за тр.унцию).
В общем, проще нормального рефлексивного экономиста-аналитика посадить торговать, чем организовывать-программировать компутерный прогноз.
[Ответ][Цитата]
Slava
Сообщений: 3070
На: воззвание к остаткам ИИ кооперации
Добавлено: 21 авг 10 17:13
Aleksandr1 21 авг 10 15:11
[...а польза от них какаято есть? В политехническом проводят встречи,обсуждают проблемы?
всётаки организация со стажем...]

Думаю, что пользу имеют лишь организавторы. В детали вдаваться не хочу. Мне все это с самого начала не нравилось
[Ответ][Цитата]
Slava
Сообщений: 3070
На: воззвание к остаткам ИИ кооперации
Добавлено: 21 авг 10 17:29
Victor G. Tsaregorodtsev 21 авг 10 16:50
[...Реальными. В т.ч. монтажники при пуско-наладке могут специально лазить через забор, имитируя те или иные способы преодоления/проникновения, чтобы собрать для системы обучающие данные...]

И много так удается собрать? А как по части разнообразия? - там ведь у вас пропуски малые стоят

[...Да куда она денется...]

Хороший принцип. Так любые критерии оказываются выполнимыми

[...Для формализации алгоритма плохая. Возьму в качестве примера форексную пару USDGLD (биржевое золото, в общем). Влияет следующее...
Плюс надо думать-анализировать, когда рынок именно ждёт решения-заявления, а когда старается заранее отыгрывать какие-то очевидные или неочевидные прогнозы...]

В общем, вижу, что книжки корифеев вы почитываете. Но там у всех есть еще маааленький комментарий - в данных есть все. Интересно, почему вы в это не верите?
[Ответ][Цитата]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: воззвание к остаткам ИИ кооперации
Добавлено: 22 авг 10 18:40
2 Slava:

>И много так удается собрать? А как по части разнообразия? - там ведь у вас пропуски малые стоят

Всё работает, не беспокойтесь

>В общем, вижу, что книжки корифеев вы почитываете.

Это не книжки корифеев. Это свой опыт и шишки на своем лбу.
Я пару лет назад помещал здесь на форуме такой факт (тоже шел какой-то разговор про прогнозы для биржи). В 2007 или в 2008г (не помню уже, когда золото начало свой серьезный рост) в какую-то пятницу, 13 числа, лондонский фиксинг по золоту выдал $666. Явный был намёк маркет-мейкеров, мировой закулисы или зелёных человечков (зачеркнуть ненужное, добавить недостающее) о том, что "всё под контролем" и простым смертным здесь ничего не обломится
В общем, у меня есть еще много подобной фактографии, которая даже в свежих книжках не присутствует.

>Но там у всех есть еще маааленький комментарий - в данных есть все. Интересно, почему вы в это не верите?

Есть вера - и есть (не)возможность достать нужное из данных вполне определенными методами.
Да и нет массовых историй успеха "верующих". Для одной форексной валютной пары поминутная история занимает для 10 лет мегабайт 200, и нет проблем всё это быстро обсчитать в разных позах. Я тут недавно (в другой теме) писал, что мой софт справляется с данными на 2 порядка бОльшего объема (т.е. десятки гигабайт), а уж с объемом данных в гигабайт-два поработать совсем нет проблем (если руки не кривые и программист умеет писать быстрые расчетные программы). Т.е. верующие могут воодушевиться и, после некоторого числа телодвижений за компом, начать стричь бабки на правильных прогнозах.
[Ответ][Цитата]
Slava
Сообщений: 3070
На: воззвание к остаткам ИИ кооперации
Добавлено: 23 авг 10 14:28
Victor G. Tsaregorodtsev 22 авг 10 18:40
[...Всё работает, не беспокойтесь...]

Не беспокоюсь. Приятно это слышать. Всегда приятно иметь дело с реальными задачами. Поздравляю

[...Это не книжки корифеев. Это свой опыт и шишки на своем лбу...]

Понятно. Это - особенно интересно. А можно ли этот опыт как-то обобщить, чтобы он вышел за рамки биржевой специфики. Мне кажется, это было бы очень интересно.

[...Есть вера - и есть (не)возможность достать нужное из данных вполне определенными методами...]

У меня сложилось впечаьление, что вы - Распознаватель. Так в чем же дело?

[...Да и нет массовых историй успеха "верующих". Для одной форексной валютной пары поминутная история занимает для 10 лет мегабайт 200, и нет проблем всё это быстро обсчитать в разных позах...]

Быстро обсчитать можно по-разному. Проблема же в том, можно ли вскрыть законы, определяющие будущее процесса

[...Я тут недавно (в другой теме) писал, что мой софт справляется с данными на 2 порядка бОльшего объема (т.е. десятки гигабайт), а уж с объемом данных в гигабайт-два поработать совсем нет проблем (если руки не кривые и программист умеет писать быстрые расчетные программы)...]

А что значит - справляется?
[Ответ][Цитата]
NO.
Сообщений: 10700
На: воззвание к остаткам ИИ кооперации
Добавлено: 23 авг 10 16:14
не сжатый видеофильм тоже десятки гигабайт, а сжатый его модель, типа формула
[Ответ][Цитата]
Slava
Сообщений: 3070
На: воззвание к остаткам ИИ кооперации
Добавлено: 23 авг 10 16:36
NO. 23 авг 10 16:14
[...не сжатый видеофильм тоже десятки гигабайт, а сжатый его модель, типа формула...]

NO! По-моему, это - тот редкий случай, когда мы можем сблизить свои позиции и разобраться наконец, в какой мере зиперы могут быть полезны для прогнозирования. Как я понимаю, вам это несложно было бы сделать. Данные, если хотите, я вам дам. Я и сам бы такое тоже мог бы попробовать, но у меня нет зипера, подходящего для такого исследования. Если вы со мной могли бы таким поделиться, я бы с удовольствием тоже поэкспериментировал. Мне это действительно интересно.
[Ответ][Цитата]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: воззвание к остаткам ИИ кооперации
Добавлено: 23 авг 10 17:28
2 Slava:

>А можно ли этот опыт как-то обобщить, чтобы он вышел за рамки биржевой специфики. Мне кажется, это было бы очень интересно.

Какой опыт? Опыт аналитической работы или опыт баловства на форексе (только с золотом и серебром, ибо in gold we trust, а бумажные фантики ничем не обеспечены)?
Зачем обобщать и для кого?

>У меня сложилось впечаьление, что вы - Распознаватель. Так в чем же дело?

Я же почти прямым текстом написал... Регулярно меняется контекст ситуации, при анализе некоторой текущей ситуации часто приходится смотреть на события, довольно далеко отстоящие в прошлом, существенная информация нечисловая и извлекается из альтернативных источников (новости и т.д.),... Ну и всё это свести в единую обучающую выборку (т.е. добавить к исходному временному ряду и автоматически считаемым по ряду индикаторам, например, рядам скользящих средних и RSI) - труд не дня и даже не недели, и гарантий получения приемлемого качества прогноза (после обучения, например, нейросети на такой выборке) это еще не даёт.

>Быстро обсчитать можно по-разному. Проблема же в том, можно ли вскрыть законы, определяющие будущее процесса

Будущее виртуального процесса, надо уточнить. Ибо ежегодный мировой рост экономики (мировой товарный ВВП) отстаёт от скорости роста денежной массы и всяких биржевых деривативов (от акций до...). Поэтому деньги за пределами Вашего кармана/кошелька - считайте, виртуальные

>А что значит - справляется?

Позволяет, например, на этом объеме (20-40 гигабайт) данных обучить нейросеть (тоже довольно объемную по размерам). И обучить - не один раз и не одну сеть, ибо может требоваться подбор оптимальных размеров сети, оптимальных настроек алгоритмов обучения,...
Сроки обучения - приемлемые, например, до полусуток-суток процессорного времени на одну сеть (а процы сейчас многоядерные, моя программа распараллелена максимально эффективно, т.е. астрономическое время будет в разы короче). С гигабайтной обучающей выборкой, поэтому, вообще можно почти в реалтайме работать.
В общем, почти для всех задач сейчас в мире имеются data mining-алгоритмы и методы восстановления зависимостей, трудозатраты которых линейно шкалируются по трём размерностям задачи. Три размерности эти - число строк N в обучающей выборке, число признаков (столбцов) M в обучающей выборке и число параметров P в модели. Ну и иногда можно добавить четвертую размерность - число итераций I для сходимости решения. Т.е. вычислительная сложность лучших алгоритмов получается пропорциональна произведениям N*M*P или N*M*P*I, а дальше (после получения информации об этих алгоритмах, т.е. после узнавания ноу-хау) начинают влиять только прямизна рук и квалификация программиста.
[Ответ][Цитата]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: воззвание к остаткам ИИ кооперации
Добавлено: 23 авг 10 17:37
Цитата:
Автор: Slava
разобраться наконец, в какой мере зиперы могут быть полезны для прогнозирования.

Смотря как жать... Если с потерями - то для действующих в реальном мире субъектов это может привести к их эволюционной неоптимальности.
Например, вот хорошие слова из одной из лекций Y.Bengio:
Imagine animal with mostly boring useless images (take few bits) and few important and complicated images (prey, predator)... who will survive?
Ну и оттуда же касательно общей методологии (говорится, правда, про снижение размерности - но всё равно подходит):
- Usual story for dimensionality reduction: unsupervised transformation into more relevant space which captures the main factors of variation = manifold. Throw noise out.
- Manifold near which the data concentrates = set of constraints
- (But) violations of these constraints can be very important
[Ответ][Цитата]
Slava
Сообщений: 3070
На: воззвание к остаткам ИИ кооперации
Добавлено: 23 авг 10 18:01
Victor G. Tsaregorodtsev 23 авг 10 17:28
[...[...А можно ли этот опыт как-то обобщить, чтобы он вышел за рамки биржевой специфики. Мне кажется, это было бы очень интересно...]
Какой опыт? Опыт аналитической работы или опыт баловства на форексе (только с золотом и серебром, ибо in gold we trust, а бумажные фантики ничем не обеспечены)?
Зачем обобщать и для кого?...]

Странно. Я же все время говорю о том, что биржа - прекрасная модель рефлексивного поведения сложной системы. Почему вы меня не слышите? - наверно, плохо говорю. Сорри. А обобщать - чтобы знание возникло. Обычно так это бывает


[...[...У меня сложилось впечаьление, что вы - Распознаватель. Так в чем же дело?...]
Я же почти прямым текстом написал... Регулярно меняется контекст ситуации, при анализе некоторой текущей ситуации часто приходится смотреть на события, довольно далеко отстоящие в прошлом, существенная информация нечисловая и извлекается из альтернативных источников (новости и т.д.),... Ну и всё это свести в единую обучающую выборку (т.е. добавить к исходному временному ряду и автоматически считаемым по ряду индикаторам, например, рядам скользящих средних и RSI) - труд не дня и даже не недели, и гарантий получения приемлемого качества прогноза (после обучения, например, нейросети на такой выборке) это еще не даёт...]

Конечно. Сложные задачи тем и хороши, что вынуждают идти на риски, заставляющие не раз подумать, а стоит ли ввязываться

[...[...Быстро обсчитать можно по-разному. Проблема же в том, можно ли вскрыть законы, определяющие будущее процесса...]
Будущее виртуального процесса, надо уточнить. Ибо ежегодный мировой рост экономики (мировой товарный ВВП) отстаёт от скорости роста денежной массы и всяких биржевых деривативов (от акций до...). Поэтому деньги за пределами Вашего кармана/кошелька - считайте, виртуальные...]

Они у меня и в кармане тоже - виртуальные, так что дело не в них, а в классе задач, о которых я пытаюсь говорить. А экономика и прочие прелести - производные тех самых процессов

[...[...А что значит - справляется?...]
Позволяет, например, на этом объеме (20-40 гигабайт) данных обучить нейросеть... И обучить - не один раз и не одну сеть, ибо может требоваться подбор оптимальных размеров сети, оптимальных настроек алгоритмов обучения,...
Сроки обучения - приемлемые... программа распараллелена максимально эффективно... можно почти в реалтайме работать...]

Хорошие слова сказали. Приятно слышать. Неясно только, для каких задач этот инструмент вами создавался. Можете ли их как-то описать помимо гигабайт

[...В общем, почти для всех задач сейчас в мире имеются data mining-алгоритмы и методы восстановления зависимостей, трудозатраты которых линейно шкалируются по трём размерностям задачи...]

Прекрасно. Я всех поздравляю. Но речь идет об исключении из этого "почти". Биржа - модель, более или менее адекватная. Не более того
[Ответ][Цитата]
Slava
Сообщений: 3070
На: воззвание к остаткам ИИ кооперации
Добавлено: 23 авг 10 18:08
Victor G. Tsaregorodtsev 23 авг 10 17:37
[...Смотря как жать...]

Вот и я про это же. Понятно, что сжатие, вскрывающее законы, порождающие тот процесс, будущее которого хочется предсказывать, - идеальное сжатие. Это еще лет 60 назад говорил Харкевич. В споре же с NO речь идет о реальных зиперах и их возможности предсказывать.

[...Если с потерями - то для действующих в реальном мире субъектов это может привести к их эволюционной неоптимальности...]

Это - классная фраза, достойная Творца. Я пока - несколько скромнее
[Ответ][Цитата]
NO.
Сообщений: 10700
На: воззвание к остаткам ИИ кооперации
Добавлено: 23 авг 10 18:36
Slava:
У "зиперов" не позиция, а просто есть измеримый критерий. Чем сильнее сжали тем значит глубже был анализ. В пределе всё сжимается в машинный код, такие зиперы называются "программисты", теорию Инекс изучает, до практики там ещё очень далеко. У Вас наверно столбики чисел, тут нужно либо кто звуком занимался, у них много разных форматов, в том числе многоканальный звук. Кстати звуковые карточки тоже бывают мощные, на своих задачах обгонят и процессор и видео-акселератор.
Связисты и шифровальщики тоже дожны все это знать.
Или просто математики, про ряды - полиномы, Тейлор, Фурье. Разные синусы с логарифмами тоже ведь в конце концов ряды, вот как плавно из синуса сделать логарифм, это наверно тоже край.
А что за зиперы такие я не знаю, zip только один конкретный вид алгоритмов, он лучше всего подходит для сжатия текста, а основное его достоинство скорость.
[Ответ][Цитата]
 Стр.20 (25)1  ...  16  17  18  19  [20]  21  22  23  24  25<< < Пред. | След. > >>