GotAI.NET
Форум: Проблемы искусственного интеллекта
Регистрация
|
Вход
Все темы
|
Новая тема
Стр.18 (19)
<<
< Пред.
|
След. >
>>
Поиск:
Автор
Тема: На: ML battle
Калитеран
Сообщений: 585
На: ML battle
Добавлено: 05 мар 17 12:09
Цитата:
Автор: dr2chek
Что ж, организаторы и точность входных данных теперь более вразумительную предлагают - 6 знаков после запятой, вместо прежних 15-ти
. А корпус tournament тем временем вырос почти в 2 раза...
Становится у них всё страньше и страньше... Логлос как я понимаю вообще уже не играет роли, они както по своему считают, я кинул предикты, со старой медели, по моим вычислениям логлос на них как и раньше ~0.6912, это раньше соотвествовало ихнему 0.689 теперь это 0.692 стал сразу на позорное 334 место, потом через часик браузер открыл а там нумераи автоматом загрузился и опаньки я на 62 месте в 100-ке управляющих капиталом!
[
Ответ
][
Цитата
]
гость
85.93.218.*
На: ML battle
Добавлено: 06 мар 17 8:40
Цитата:
Автор: Калитеран
Становится у них всё страньше и страньше... Логлос как я понимаю вообще уже не играет роли, они както по своему считают
Место в списке теперь сьльно зависит от того как быстро после обновления сета будут закинуты ответы, если кто закинул ответы, стал в лидерах, а затем кто то такие же или очень похожие, то второй будет вообще в конце списка.
[
Ответ
][
Цитата
]
Калитеран
Сообщений: 585
На: ML battle
Добавлено: 06 мар 17 11:33
Цитата:
Автор: гость
жду пруфа
https://numer.ai/ai/kalitheran
сейчас на 52 месте)) но оно колеблется то 80 то 90, то вообще 150, потом 40 и тп. когда ответы залил стало на 380
[
Ответ
][
Цитата
]
mserg
Сообщений: 258
На: ML battle
Добавлено: 06 мар 17 16:02
Изменено: 06 мар 17 16:03
Цитата:
Автор: Калитеран
https://numer.ai/ai/kalitheran
сейчас на 52 месте)) но оно колеблется то 80 то 90, то вообще 150, потом 40 и тп. когда ответы залил стало на 380
Это, в принципе, объяснимо.
Сама идея состоит в том, чтобы собрать мета-модель из моделей пользователей. Это типа случайных лесов, где относительно просто полуслучайно строится множество деревьев, которые потом используются для прогноза.
Мета-модель numerai, насколько я помню, строится похожим способом. Поэтому, если прогнозы пользователей близки, то их "вклад" в точность будет близок и во-многом случаен. Новые прогнозы, вероятно, приводят к полуслучайному "взбалтыванию" вкладов в точность мета-модели. Отсюда и скачки с 40-го на 160 место, или еще куда-нибудь.
[
Ответ
][
Цитата
]
mserg
Сообщений: 258
На: ML battle
+1
Добавлено: 07 мар 17 3:04
А переобучения не происходит?
Если разделить обучающие данные на 2 части, на обучающие и тестовые?
А "турнирные" данные, случаем не содержат данные для реального прогноза? Вполне же может быть, что для части "турнирных" данных "прогноз" известен (по ним настраивается проверяется мета-модель), а для части данных прогноз действительно относится к будущему.
В статье Моргана на ихнем сайте, разве не такая схема предполагалась?
[
Ответ
][
Цитата
]
Калитеран
Сообщений: 585
На: ML battle
Добавлено: 07 мар 17 4:15
Цитата:
Автор: mserg
А переобучения не происходит?
Если разделить обучающие данные на 2 части, на обучающие и тестовые?
Разделил само собой, если на обучающем сете проверять то ошибку до 20% можно уменьшить, в том то и дело что 42% на тестовом сете которого нет в обучении, но нужно проверить не дублируются ли точки, если так то тогда понятна причина переобучения.
Цитата:
Автор: mserg
А "турнирные" данные, случаем не содержат данные для реального прогноза?
Вполне же может быть, что для части "турнирных" данных "прогноз" известен (по ним настраивается проверяется мета-модель), а для части данных прогноз действительно относится к будущему.
В статье Моргана на ихнем сайте, разве не такая схема предполагалась?
Хммм... Точно! А я не догадался, в статьях вроде не встречал такого, что турнирные данные не все с ответами, ну да, вероятней всего всё именно так как Вы говорите, тогда всё сходится! Благодарю за подсказку
[
Ответ
][
Цитата
]
mserg
Сообщений: 258
На: ML battle
Добавлено: 09 мар 17 13:02
Изменено: 09 мар 17 13:04
Сейчас в leaderboard Вы на 270 месте
Кстати, что это за обезьяна
https://numer.ai/ai/kot
?
[
Ответ
][
Цитата
]
data
Сообщений: 109
На: ML battle
Добавлено: 09 мар 17 15:42
Изменено: 09 мар 17 15:43
Цитата:
Автор: mserg
Сейчас в leaderboard Вы на 270 месте
Мммдя… c утра было 11-е, теперь 276...
странно у них всё как то. Теоретически на контроле можно и 0.67 получить но у них какой то свой логлос или тестовая выборка сильно отличается от обучающей. Если самому разбивать на лерн и тест то не возможно прицелиться чтобы как у них было.
[
Ответ
][
Цитата
]
mserg
Сообщений: 258
На: ML battle
Добавлено: 10 мар 17 2:18
Цитата:
Автор: data
Мммдя… c утра было 11-е, теперь 276...
странно у них всё как то. Теоретически на контроле можно и 0.67 получить но у них какой то свой логлос или тестовая выборка сильно отличается от обучающей. Если самому разбивать на лерн и тест то не возможно прицелиться чтобы как у них было.
На счет изменения места - обсуждали выше. Возможно, кто-то сделал прогноз, похожий на Ваш, но чуть более точный. В результате ваш прогноз как бы стал не нужным - его вклад общую точность резко упал.
[
Ответ
][
Цитата
]
гость
82.145.221.*
На: ML battle
Добавлено: 10 мар 17 9:01
Цитата:
Автор: data
Учитесь малявки...
Оооо!
4 бакса! Пошло добро. Радует.
Мне тоже задним числом начислили.
[
Ответ
][
Цитата
]
гость
93.115.95.*
На: ML battle
Добавлено: 12 мар 17 17:54
Цитата:
Автор: Калитеран
PS: Ещё в отличии от данных пару месяцев назад, новые лесом как будто бы легче учатся, причем на тестовой выборке можно получить 58% accuracy 0.677 logloss,
У меня 65% accuracy 0.666 logloss на данных который не видел классификатор
[
Ответ
][
Цитата
]
data
Сообщений: 109
На: ML battle
+1
Добавлено: 16 мар 17 5:19
Цитата:
Автор: гость 82.145.221
Оооо!
4 бакса! Пошло добро. Радует.
Мне тоже задним числом начислили.
[
Ответ
][
Цитата
]
ANGULIMALA
Сообщений: 80
На: ML battle
Добавлено: 16 мар 17 9:13
Цитата:
Автор: data
Намекнёте как обуздали эти данные?
[
Ответ
][
Цитата
]
Сергей Гаврилов
Сообщений: 197
На: ML battle
Добавлено: 16 мар 17 11:40
Цитата:
Автор: ANGULIMALA
Намекнёте как обуздали эти данные?
Присоединяюсь к просьбе, если автору конечно не жалко
[
Ответ
][
Цитата
]
data
Сообщений: 109
На: ML battle
Добавлено: 17 мар 17 17:00
Цитата:
Автор: ANGULIMALA
Намекнёте как обуздали эти данные?
Обычным лесом. Точно также как и раньше делал, почему сейчас это лучше работает не знаю, данные изменились, учатся лучше, раньше 52-53% точности еле еле, сейчас под 65% было на прошлом датасете, на новом опять плохо, но никто не мешает юзать прошлую модель на новых данных
[
Ответ
][
Цитата
]
Стр.18 (19)
:
1
...
14
15
16
17
[18]
19
<<
< Пред.
|
След. >
>>
Главная
|
Материалы
|
Справочник
|
Гостевая книга
|
Форум
|
Ссылки
|
О сайте
Вопросы и замечания направляйте нам по
Copyright © 2001-2022, www.gotai.net