GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (4)След. > >>   Поиск:  
 Автор Тема: Deep learning для трейдинга
Михаил М.
Сообщений: 6
Deep learning для трейдинга
Добавлено: 21 ноя 17 5:01
Добрый день всем!
Читал и слышал, что deep learning сейчас рулит во всех областях, животных на фотографиях распознаёт лучше человека, детали на картинках достраивает, где-то даже писали, что для роликов продолжение придумывает. Вроде как, и при трейдинге тоже «достаточно легко» даёт хорошие результаты. Но мои личные попытки дали неважные результаты. В лучшем случае сеть худо-бедно подстраивалась под обучающие данные, но на тестовых данных результаты были плохие.

Я подавал сети нормализованные графики курса акций (тёмно-синее на графиках слева http://prntscr.com/hd8tl6), а на выходе ожидал от неё тот же график (синим пунктиром) с дополнением и ещё дополнительно два числа – на сколько % дешевле имеет смысл попытаться купить чтобы потом подороже продать и наоборот, % дороже продать чтобы потом откупить. На картинке слева 5 графиков из обучающего множества, а справа сверху – реальные и предсказанные результаты для 50 графиков из обуч. мн.

В лучшем случае получалось среднеквадратичное отклонение для этих двух чисел порядка 0.003, т.е. можно сказать, что для чисел от 0 до 0.4 (справа сверху) в среднем ошибка порядка 0.055 (корень из 0.003) – уже многовато. А на тестовых множествах тут же получается среднеквадратичное 0.03, т.е. среднее 0.15.

Сети пробовал разного вида, вот примерно такого размера и примерно на порядок больше-меньше: 5 групп слоёв, residual (next = prev + conv(prev )), с bottleneck’ами, в каждой группе по 3 свёртки, 100 слоёв в первых свёртках, 50 в bottleneck’ах, в каждом следующем слое в 2 раза меньше значений и в 2 раза больше слоёв. Обучающие наборы брал 100-2000 наборов (графиков), количество итераций – 5000-50000 по 50 наборов в каждой. Считал на Python’e c TensorFlow, на процессоре.

Нужны советы, куда дальше двигаться и где есть (или нет) перспективы. А лучше человек, который увлекается подобными вещами чтобы объединить усилия. Тут это кому-нибудь интересно? Сам вообще программист, 37 лет, стаж – 15, в основном – на С++, на работе занимался другими, более приземлёнными вещами.
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 5:23
Самый хороший совет - шли бы Вы на форумы трейдеров...

Данный форум - по проблемам искусственного интеллекта, а не естественного...
[Ответ][Цитата]
Михаил М.
Сообщений: 6
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 5:38
Мда?... Можете порекомендовать?
[Ответ][Цитата]
rrr3
Сообщений: 11857
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 5:50
Изменено: 21 ноя 17 5:51
http://www.gotai.net/forum/default.aspx?forumaction=userinfo&username=Jenka
Обращайтесь, не стесняйтесь! И прихватите его с собой!
[Ответ][Цитата]
ANGULIMALA
Сообщений: 80
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 6:00
Цитата:
Автор: Михаил М.
Deep learning для трейдинга
Машинное обучение в алготорговле это сейчас стандарт в хеджфондах и банках, есть масса литературы и видео по этой теме(хотя толковой поменьше), сам в тему не углублялся, просто держу битки, но есть пару знакомых, которые кванты в хеджфондах, парни говорят что особо с ML не замаорачиваются, всё дело в данных и признаках, а те признаки которые нужны автоматом не находятся(CNN, deeplearn etc), всётаки нужно знать как работает рынок, как какие данные воздействуют на принятия решений и с них миксовать хитрые фичи, а потом тупо XGB и молчим никому ничего не рассказываем)))

PS: этот форум довольно токсичный троллями и демагогами(вроде rrr3 слившийся на форексе, а теперь охранник в магазине) но здесь есть несколько ребят которые могли бы Вам рассказать что то по теме, если Вы сами чето интересное умеете, так просто думаю не расскажут, в виду специфики индустрии, здесь как в китайской пословице "Если у тебя есть посох я тебе его дам, если нет, я у тебя его отберу"

PPS: если знаете C++ то не тратьте время на пайтон и тензорфлоу, это забава для студентов, никакая программа на шару Вам "грааль" не сделает из кучи низкочастотных данных, это противоречит логике рынка, в этом бизнесе выигрывают самые умные\богатые, таких один на миллион, то что доступно всем и легко - априори не рабочее. Большинство алготрейдерских инфраструктур в хеджфондах на С++, раньше в младенчестве индустрии кванты баловались с матлабом(+симулинк и тп) и пайтоном, сейчас за ненадобностью это уже не нужно, у большинства фондов свой высокоупровневый инструментарий для рыночного моделирования, тестирования стратегий, ML и тд. работаеш в родном С++ также по удобству как в пайтоне и не нужно потом ничего переписывать по пайтон прототипам
[Ответ][Цитата]
ANGULIMALA
Сообщений: 80
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 6:19
Изменено: 21 ноя 17 6:26
Market Prediction похожая недавняя тема от новичка, ML battle здесь народ готовые и обфусцированные датасеты от хедж фонда(numerai) борол.

Короче на форуме тем много было и мыслей тоже, но всё равно этому придется всю жизнь посвятить чтобы стать лучшим, чтобы хапануть не позорное бабло

PS: советую посты трлля rrr3 тереть не глядя, этот сторож только и делает что иронизирует и "учит молодежь" паттрену "ИИ - алгоритм, СИИ - фабрика алгоритмов с случаюностью и смертностью" в разных формах и осуждает ВСЁ "традиционное", то есть чего нет в его дряной "солянке"(опасно для психики)

Его поведение недавно справедливо осуждали в теме Что делать со сторожем вредителем???

[Ответ][Цитата]
Михайло
Сообщений: 2366
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 6:53
Цитата:
Автор: Михаил М.
Но мои личные попытки дали неважные результаты. В лучшем случае сеть худо-бедно подстраивалась под обучающие данные, но на тестовых данных результаты были плохие.

Причина в том, что в этих данных нет тех самых закономерностей, о которых мечтается. Текущий период определяет краткосрочный период в будущем и больше ничего, а по данным из прошлого можно лишь оценить периодичность процессов и тенденцию изменения этой периодичности. Никакой сильный искусственный интеллект не решит проблему прогнозирования на пустом месте, нужны релевантные обучающие данные.
[Ответ][Цитата]
Jenka
Сообщений: 959
На: Deep learning для трейдинга
+2
Добавлено: 21 ноя 17 8:04
если верить этой статье http://cs229.stanford.edu/proj2013/DaiZhang-MachineLearningInStockPriceTrendForecasting.pdf то применение ml для предсказания цен на коротких интервалах (1 день), при обучении на прошлых данных практически бесполезно.
Точность - 50%. Для долговременного предсказания точность гораздо выше - доходит до 79%
[Ответ][Цитата]
Михаил М.
Сообщений: 6
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 8:17
Цитата:
Автор: ANGULIMALA

Машинное обучение в алготорговле это сейчас стандарт в хеджфондах и банках, есть масса литературы и видео по этой теме(хотя толковой поменьше), сам в тему не углублялся, просто держу битки, но есть пару знакомых, которые кванты в хеджфондах, парни говорят что особо с ML не замаорачиваются, всё дело в данных и признаках, а те признаки которые нужны автоматом не находятся(CNN, deeplearn etc), всётаки нужно знать как работает рынок, как какие данные воздействуют на принятия решений и с них миксовать хитрые фичи, а потом тупо XGB и молчим никому ничего не рассказываем))) ...

Ясно... Спасибо! Я понимаю, что крупные фонды скорее всего все известные крутые технологии используют, но мало ли, может где-то что-то осталось незахваченным. Плюс "не догоню так согреюсь". Только насчёт С++ не согласен. Т.е. круто, конечно, всё написать самому с нуля, но в реальном мире, особенно одиночкам/небольшим компаниям, ИМХО, гораздо удобнее использовать язык-клей. Сборка нескольких проектов на С++ вместе, да и вообще сборка - это всегда такой огромный гемор...
[Ответ][Цитата]
Михаил М.
Сообщений: 6
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 8:20
Цитата:
Автор: rrr3

http://www.gotai.net/forum/default.aspx?forumaction=userinfo&username=Jenka
Обращайтесь, не стесняйтесь! И прихватите его с собой!

А тут как-то можно найти все сообщения пользователя? Как найти темы с его участием - вижу, но это как бы...
[Ответ][Цитата]
Михаил М.
Сообщений: 6
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 8:26
Изменено: 21 ноя 17 8:26
Цитата:
если верить этой статье http://cs229.stanford.edu/proj2013/DaiZhang-MachineLearningInStockPriceTrendForecasting.pdf то применение ml для предсказания цен на коротких интервалах (1 день), при обучении на прошлых данных практически бесполезно.
Точность - 50%. Для долговременного предсказания точность гораздо выше - доходит до 79%


Короче, внутри дня это белый шум и бесполезно что-то пытаться выудить из него?
Ок. О, это можно надёжно проверить, сделав сеть, предсказывающую что-то на длинных интервалах, если она заработает. Просто прогнать её потом на коротких.
[Ответ][Цитата]
Jenka
Сообщений: 959
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 8:45
Цитата:
Автор: Михаил М.
Короче, внутри дня это белый шум и бесполезно что-то пытаться выудить из него?
Ок. О, это можно надёжно проверить, сделав сеть, предсказывающую что-то на длинных интервалах, если она заработает. Просто прогнать её потом на коротких.

скорее всего то что вы сделаете для длинных интервалов на коротких работать не будет.
проблема коротких интервалов в том что на них уже много кто работает. разные торговые боты, которые болтают рынок туда-сюда с целью получения прибыли.
Плюс длинных интервалов в том что они более инертны и устойчивы к воздействию одиночных трейдеров. соответственно более предсказуемы.
Вот пример. чтобы резко сдвинуть цену в нужное направление маркетмейкер просто выкупает все выставленные заявки и ставит свою цену. т.к. других заявок какое-то время нет. его действия оч сильно влияют на рынок.
на длинном промежутке времени такую штуку он провернуть не сможет. ну или изменения будут не такие резкие.
в целом если вы пишите своего бота я бы разделил его функционал на 2 части:
1) одна часть специально настроена для предсказания коротких интервалов и использует свои механизмы(такие как учет объемов и нахождение паттернов и трендов)
2) настроена на торговлю на длинных интервалах.
[Ответ][Цитата]
Михайло
Сообщений: 2366
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 9:42
Цитата:
Автор: Михаил М.

Короче, внутри дня это белый шум и бесполезно что-то пытаться выудить из него?
Ок. О, это можно надёжно проверить, сделав сеть, предсказывающую что-то на длинных интервалах, если она заработает. Просто прогнать её потом на коротких.

Закономерности, действующие на длинных циклах, обусловлены технологическим прогрессом и всякой такой фигней, а закономерности на коротких циклах - это влияние недельной/годовой сезонности, спекуляция и т.п. Это совершенно разные процессы, их нельзя взять и друг на друга натянуть простым растяжением/сжатием. Надо отдельно учить и то, и другое.
Не надо быть таким наивным.
[Ответ][Цитата]
eto_ya
Сообщений: 1545
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 11:45
Изменено: 21 ноя 17 11:46
Вы хотите угадывать движения цены или зарабатывать деньги? Эти две задачи почти не коррелируют. Угадыватели, как правило, ведут к верному сливу. А для заработка нужны иные подходы.
[Ответ][Цитата]
Jenka
Сообщений: 959
На: Deep learning для трейдинга
Добавлено: 21 ноя 17 15:35
Цитата:
Автор: Михайло
Закономерности, действующие на длинных циклах, обусловлены технологическим прогрессом и всякой такой фигней, а закономерности на коротких циклах - это влияние недельной/годовой сезонности, спекуляция и т.п. Это совершенно разные процессы, их нельзя взять и друг на друга натянуть простым растяжением/сжатием. Надо отдельно учить и то, и другое.
Не надо быть таким наивным.

вообще теоретически при анализе высокочастотных данных можно вывести низкочастотные зависимости т.к. последние содержат в себе высокочастотные. т.е. собственно они из них и состоят. обратный процесс менее перспективен.
подумайте вот можно ли из поведения отдельных клеток вывести поведение органа и предсказывать его или организма в целом.
И возможен ли обратный процесс?!
[Ответ][Цитата]
 Стр.1 (4): [1]  2  3  4След. > >>