GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.17 (19)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: ML battle
dr2chek
Сообщений: 871
На: ML battle
Добавлено: 08 янв 17 12:24
Не трогайте NO, это наш поэт, он что видит о том и поет
Еще немного размышлений на тему графиков. В этом датасете 136573 вектора, из них с таргетом = 1 - 68743. Делим 68743/136573, получаем 0,50334253... Если бы мы набрызгали одинаковое кол-во точек с весами 0 и 1, но случайным образом, то получили бы поверхность со средним значением 0,5. Здесь поверхность чуть выше, и рябь на этой поверхности возможно не случайная. Осталось понять, как это отобразить
[Ответ][Цитата]
гость
191.96.249.*
На: ML battle
Добавлено: 09 янв 17 10:20
на нумераи снова фокусы, 0.092)))))))))))
[Ответ][Цитата]
mserg
Сообщений: 258
На: ML battle
Добавлено: 09 янв 17 12:01
Изменено: 09 янв 17 12:02
Цитата:
Автор: гость

на нумераи снова фокусы, 0.092)))))))))))


Да хоть 0 - это уже обсуждалось; за 2 поста можно вычислить, относятся ли 3 строки к тестовому множеству, и, если относятся - вычислить для них target.

На сайте роботы постят файлы и вычисляют target для тестовых данных (по которым считается logLoss для public leaderboard).

Проверочные данные точно вычислить нельзя - цирк с 0.092 не поможет получить бабло. Точнее, может помочь, но не очень (появляются доп. строки для обучения).

[Ответ][Цитата]
mserg
Сообщений: 258
На: ML battle
Добавлено: 09 янв 17 12:04
Цитата:
Автор: гость

Да данные стремные. Если бы кто то нормальные выложил, где понятно что там, то можно было бы поиграться, а так да ну их.

"Because Numerai data scientists do not know what our data represents, human biases and overfitting are overcome."

Для нас они оставили чистое творчество...
[Ответ][Цитата]
гость
217.115.10.*
На: ML battle
Добавлено: 10 янв 17 4:23
мммдя... уже 00000 у афродиточки, паходу им нужно менять подход, например особо "крутых" проверять повторно, к примеру если ниже 0.67 то проверка на еще одном сэте, которого они не видели в течении часа.
[Ответ][Цитата]
гость
176.126.252.*
На: ML battle
Добавлено: 10 янв 17 7:04
Цитата:
Автор: ТакПриходящий

А Вы знаете какие Вам данные нужны? Дело в том что ...
http://on-demand.gputechconf.com/gtc/2016/presentation/s6589-masahiko-todoriki-performance-improvement-algorithmic-trading.pdf вот такие например за пару лет
[Ответ][Цитата]
mserg
Сообщений: 258
На: ML battle
Добавлено: 12 янв 17 0:29
О, у меня 11 центов:
https://numer.ai/ai/mserg
[Ответ][Цитата]
mserg
Сообщений: 258
На: ML battle
Добавлено: 12 янв 17 2:54
Цитата:
Автор: гость

мммдя... уже 00000 у афродиточки, паходу им нужно менять подход, например особо "крутых" проверять повторно, к примеру если ниже 0.67 то проверка на еще одном сэте, которого они не видели в течении часа.


Эти клоуны внесли, как минимум, два изменения
1. Ограничили величину ошибки - раньше можно было вычислить результаты тестового множества; теперь, видимо, это невозможно
2. Сделали средство борьбы с роботами - теперь результаты стали похожи на настоящие

Не теми средствами, которыми Вы ожидали, но, тем не менее
[Ответ][Цитата]
Сергей Гаврилов
Сообщений: 197
На: ML battle
Добавлено: 12 янв 17 17:18
Цитата:
Автор: гость

У меня теперь 0.690 и фиг я докажу что это моё, а не их пример использовал (((

Лично мне ненравится теперешний расклад, не к чему стремится, нет ошущения позора, когда у кого то 00000, а ты бъёшся как дебил возле их примера. Айтишника стимулирует моральная боль, стыд и позор, когда айтишник доволен он бесполезен, таких мочить надо.
А у меня 0.689 снова но я честно говоря не особо парился. Хотя как дальше ума не приложу. Думаю вот разобраться с t-SNE кластеризацией, может как то поможет...
[Ответ][Цитата]
гость
217.115.10.*
На: ML battle
Добавлено: 14 янв 17 5:27
Цитата:
Автор: mserg

Эти клоуны внесли, как минимум, два изменения
1. Ограничили величину ошибки - раньше можно было вычислить результаты тестового множества; теперь, видимо, это невозможно
2. Сделали средство борьбы с роботами - теперь результаты стали похожи на настоящие

Не теми средствами, которыми Вы ожидали, но, тем не менее
Нет не поможет, просто пару дней после смены детасета результаты похожи на реальные, а в течении 3 дней всё снова заполняется мошенниками, когда просканируют датасет. Иначе бы результат не особо отличался у лучших, сразу после смены, так как данные почти такие же, координальные улучшения со временем могут быть только за счет потгонки.

Исправить это можно только перепроверкой тех у кого ниже некоторого разумного порога
[Ответ][Цитата]
mserg
Сообщений: 258
На: ML battle
Добавлено: 14 янв 17 7:07
Изменено: 14 янв 17 7:10
Цитата:
Автор: гость

Нет не поможет, просто пару дней после смены детасета результаты похожи на реальные, а в течении 3 дней всё снова заполняется мошенниками, когда просканируют датасет. Иначе бы результат не особо отличался у лучших, сразу после смены, так как данные почти такие же, координальные улучшения со временем могут быть только за счет потгонки.

Исправить это можно только перепроверкой тех у кого ниже некоторого разумного порога

Да, вижу, опять заполнилось "супер-результатами".
Сканировать, в любом случае, можно только тестовое множество (public); проверочное множество (private) - не получится. Видимо, реальный порог точности - в районе 0.67. По приводимым ранее оценкам, "точность классификации" должна быть увеличена примерно в 2 раза для тех, у кого 0.689...0.690

Кажется, есть способ увеличить точность. Для этого нужно изучать остатки прогнозирования (ошибку - разность между прогнозом и фактом). Хотя остаток и распределен по нормальному закону, "кумулятивная разность" (оставим за скобками, что это такое) по переменным обнаруживает нешумовую закономерность. Если я ничего не путаю, есть возможность использования регуляризации.
[Ответ][Цитата]
mserg
Сообщений: 258
На: ML battle
Добавлено: 19 янв 17 1:13
Изменено: 19 янв 17 1:15
Цитата:
Автор: гость

Победителей не судят, знаете как мухлевать мухлюйте, но покажите результат, всё так же как и в жизни, мошенничество это не когда обходят правила, а КОГДА ИХ НАРУШАЮТ, если явно не прописанно что тото и тото есть нарушение значит так можно.

Шо, опять?
Суперрезультаты - это просто порча leaderboard на тестовом множестве.
Бабло начисляется по другому множеству (проверочному). По нему точность узнать/вычислить сканированием нельзя в принципе. Это у них где-то в правилах есть.
[Ответ][Цитата]
mserg
Сообщений: 258
На: ML battle
Добавлено: 19 янв 17 4:11
Изменено: 19 янв 17 4:15
Цитата:
Автор: гость

Почему тогда эти "суперрезультаты" ставят на первые места? Важнее не бабло а логлос.

Потому что такие правила для public leaderboard.
В реале нужно смотреть "CAREER EARNINGS" - это общее полученное бабло за все недели участия.

META MODEL RANK должен бы сортировать их вкладу в общую модель, но что-то там не так.
По правилам, если два прогноза сильно коррелируют, то используется первое по времени. Поэтому, как только данные появляются, толпа усиленно загоняет прогнозы на сайт.
[Ответ][Цитата]
гость
199.249.223.*
На: ML battle
Добавлено: 04 мар 17 11:24
Цитата:
Автор: бессмертный сложный

Чот на numer.ai народ попустился совсем, у лидеров 0.690, наверно мошенничать не дают
да, теперь не подогнаться
[Ответ][Цитата]
dr2chek
Сообщений: 871
На: ML battle
Добавлено: 05 мар 17 3:02
Цитата:
Автор: гость

да, теперь не подогнаться

Что ж, организаторы и точность входных данных теперь более вразумительную предлагают - 6 знаков после запятой, вместо прежних 15-ти . А корпус tournament тем временем вырос почти в 2 раза...
[Ответ][Цитата]
 Стр.17 (19)1  ...  13  14  15  16  [17]  18  19<< < Пред. | След. > >>