GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (20)След. > >>   Поиск:  
 Автор Тема: ML battle
data
Сообщений: 92
ML battle
Добавлено: 09 янв 15 6:58
Изменено: 17 ноя 16 17:20
Обсуждаем и участвуем разных челенжах по ML
[Ответ][Цитата]
Slava
Сообщений: 3070
На: ML battle
+1
Добавлено: 09 янв 15 7:51
Цитата:
Автор: 185.8.238.*

Был предложен здесь ML бой

Некоторых заинтересовало, предлагается организоваться и схлестнуться в нечестной битве.

Не хочется это делать как принято на всяких челенжах, так сказать с «допинг-контролем» и упаси Боже с демонстрацией исходников решателей, нет, надо придумать как организовать бой таким образом чтобы понять кто лучший, без всяких «но». Кто круче всего решит некоторый класс задач, признанный публикой как «сложные для ML», а элегантность, обоснованность и тп. будет обсуждаться отдельно.

Кому интересно прошу высказаться.


Не знаю, что за список задач там у вас, но, на мой взгляд, есть смысл рассматривать в качестве затравки только три задачи:
- понимание текстов
- понимание ситуаций, например, типа тех, с какими сталкивается врач, решающий судьбу пациента
- прогнозирование поведения сложных "неживых" систем типа бирж
Все остальное - забавы типа тех, что вы сами отметаете
Очевидно, что на этом все и заткнется
[Ответ][Цитата]
Эгг
Сообщений: 8726
На: ML battle
Добавлено: 09 янв 15 9:29
Цитата:
Автор: Slava
а пока у меня - всего лишь некое интуитивно ясное представление обо всем этом

Это очень хорошо, просто мне не очень понятно как такая задача может участвовать в конкурсе.
Представьте себе, соревнование по кроссу, при этом правила примерно такие: каждый бежит как хочет, куда хочет и насколько хочет. А правил, по которым можно сказать, что победил вот этот спортсмен - нет.

Но вернемся к пониманию.
Вот у нас есть дамп какой-то символьный на диске.
Есть функция, которая читает этот дамп и размещает его в памяти.
Это понимание или нет? Все указанные Вами признаки есть:
1. Процесс восприятия = чтение
2. Система представления = символьная карта
3. Соотнесение = копирование в память
[Ответ][Цитата]
Калитеран
Сообщений: 491
На: ML battle
Добавлено: 09 янв 15 9:50
Цитата:
Автор: 185.8.238.*

Был предложен здесь ML бой

Слишком это может быть хлопотно, что бы довести до конца, бесплатно вряд ли получится.

Главные трудности следующие:
1) «ML ТЗ» признанное публикой…
2) Независимые орбитры
3) Методология проверки

Первый пункт наверно самый нетривиальный, как спрашивается сделать ТЗ так чтобы оно во первых было репрезентативным в контексте развёртывания навыков тех кто его будет решать и во вторых что бы не слить при этом априорные данные о самом ТЗ? Тут нужен какой то авторитет что ли… Которому все поверят. Или это будет не ТЗ а ХЗ… Говоря об «интересности» ТЗ сливается его структура, а констатировать эту интересность может только важный дядя.

Второй пункт предполагает опять же некоторого судью(ей) которые по определению должны быть авторитетами в области или делегатами таковых.

Ну и третий пункт технический. По идее некто объявляет ТЗ, выкладывает датасет и требует модель в ответ и САМ потом валидирует модель по другой части выборки, а потом выкладывает это на общее обозрение, но…. всё же можно при желании подтасовать. Обучающая выборка всегда может оказаться в ретроспективе нерепрезентативной, а некто не совсем достойный её отгадает и тп.

Думать нужно…

Если это не просто конкурс студентов чтоб нанять джунеара в компанию, а именно гуру экстрагировать, это может быть не просто.
[Ответ][Цитата]
Эгг
Сообщений: 8726
На: ML battle
Добавлено: 09 янв 15 10:15
Мне кажется, что ML - это слишком широко.
Нужно идти не от методов, а от задачи. Задача должна быть понятная, интересная и веселая.
Для понятной задачи всегда можно найти понятные критерии, например, скорость решения и т.п.
Критерий оценки решения должен являться неотъемлемой частью задачи.
А эспертов и ествественно-интеллектуальных оценивальщиков - нахер.
[Ответ][Цитата]
гость
109.173.60.*
На: ML battle
Добавлено: 09 янв 15 10:31
Если разговор именно о машинном обучении, а не о всяких там неуловимых «мета-квази» то на уровне ТЗ всё просто, есть векторный ряд {X1,..,Xn} X = (x1,..,xi) представляющий выборку, выборка делится на обучающую и тестовую, то есть {X1,..,Xk} , {Xk+1,..,Xn}, на векторах тестового множества убираются какие либо компоненты(т), которые(й) потом нужно будет восстановить. По обучающей строится векторная функция F(X), моделирующая распределение из которого была взята выборка, так что бы на тестовом множестве по известным частям векторов восстановятся отсутствующие с должным качеством.

Такая постановка задачи универсальна для ML.

Возьмите действительно мед. диагностику например, если есть она рафинированная в цифры. Будет и интересно и полезно для общества.

Тогда компоненты вектора будут «синдром(x1,..,xi-1)» + «диагноз xi», а ряд будет «случаями», нужно найти диагноз для новых случаев без готового диагноза и некоторых симптомов из синдрома.
[Ответ][Цитата]
Эгг
Сообщений: 8726
На: ML battle
Добавлено: 09 янв 15 10:37
Цитата:
Автор: гость
Возьмите действительно мед. диагностику например, если есть она рафинированная в цифры. Будет и интересно и полезно для общества.

Есть у меня некоторая обеспокоенность, что на реальных данных будет побеждать какой-нибудь наивный байес.

А задача на реальных данных может формулироваться очень просто - дать десятидневный прогноз стоимости Apple Inc., например.
[Ответ][Цитата]
гость
109.173.60.*
На: ML battle
Добавлено: 09 янв 15 11:03
Цитата:
Автор: Алексeй


Есть у меня некоторая обеспокоенность, что на реальных данных будет побеждать какой-нибудь наивный байес.

А задача на реальных данных может формулироваться очень просто - дать десятидневный прогноз стоимости Apple Inc., например.
Ну так значит наивный Байес круче всех и тот кто его применил! Я так понимаю речь о конкурсе…

“Акции Apple” тоже можно, главное что бы данные были релевантные для такого прогнозирования и признаковое пространство было определено. На сколько я знаю, для этого «правильные данные» это «весь рынок», то есть гигабайты в день всего биржевого потока, кроме того не помешали бы функции интерпретаций, что предсказывали те или иные паттерны в прошлом статистически. Если кто может предоставить месяц американского order-log, можно будет покрутить. А прогнозировать по исключительно истории цены самого прогнозируемого инструмента, ещё и по минутам и выше, это бессмысленно, там нет информации. Это как ставить диагноз болезни по шуму из квартиры больного.

Данные нужны.
[Ответ][Цитата]
гость
197.231.221.*
На: ML battle
Добавлено: 09 янв 15 11:41
Цитата:
Автор: гость

Данные нужны.
На первом этапе сойдут с http://www.kaggle.com/

Не нужно делить шкуру неубитого медведя. Договоритесь вначале что вообще делается и как оно будет контролироваться.

Прогоните на цветах фишера для начала, а глядишь кто-нибудь и данные подкинет увидев перспективу в ваших баталиях.

Хотите финансы The Big Data Combine Engineered by BattleFin
[Ответ][Цитата]
Эгг
Сообщений: 8726
На: ML battle
Добавлено: 09 янв 15 11:55
Кстати, по поводу kaggle - это хорошая идея, весь этот сайт посвящен соревнованиям в обработке.
[Ответ][Цитата]
гость
197.231.221.*
На: ML battle
Добавлено: 09 янв 15 17:34
Цитата:
Автор: гость
на уровне ТЗ всё просто, есть векторный ряд {X1,..,Xn}...
Это называется матрица «объекты-признаки»(МОП), всё верно. Иногда в признаках выделяют «ответы», но формально это тоже просто признак, в обучающей выборке он есть, в тестовой его нужно найти.

Но я бы не назвал такую постановку задачи «универсальной» для ML, получить МОП из «кучи», это не менее трудоёмко, мягко говоря. Согласен с мнением, что нужно сразу определиться с уровнем «погружения», либо данные рафинированы до МОП и нужно «тончить» аппроксимацию, либо нужно «куче» найти базис, разобрать по нему в МОП а потом уже восстанавливать плотности.

Допустим к примеру имеем готовый МОП в виде текстовой таблицы, по горизонтали признаки, по вертикали объекты. Как предлагается выдавать результат технически и кому? Моделька сама это что? dll, exe, или готовый вектор ответов? Или можетбыть потоковая валидация пообъектная через сеть? Самое простое это каждый у себя сам, апликухой схавает тестовую таблицу в таком же формате как и обучающую и выплюнет «ответы», которые затем отправляются сравнивается «цензором» с правильным который есть только у цензора. Правильные ответы нельзя держать в доступном месте кроме у не участвующего в конкурсе арбитра.

Цитата:
Автор: гость

Почему же, много задач с достаточным количеством информации, во многих сферах например вилка 95-99%, разные индустриальные оптимизации и тп.

Даже прогнозирование заёмщиков в банках редко ниже 90% допустимо на симуляциях.

Так а есть ли большая разница в «достаточности информации» если речь идёт о конкурентной борьбе между людьми, которые грубо говоря «нормализируют» рабочий диапазон каким бы он ни был изначально. Это не говоря уже о весе штрафов. Если некая классификация шумит вокруг 90% на ~5% но ошибка на порядок накладней верного ответа то всё, имеем слив, хотя свиду всё круто.

Но даже если верная классификация и ошибочная взвешены одинаково, но предмет исследования сильно конкурентен, любой диапазон быстро растягивается на всю ширину. Остаётся только та часть что доступна только за счет непубличных данных или оригинальных средств обработки.
[Ответ][Цитата]
mserg
Сообщений: 248
На: ML battle
Добавлено: 11 янв 15 3:59
Изменено: 11 янв 15 4:20
Кое-что могу уточнить на счет Kaggle…

Соревнования
1. Описание задач в Kaggle представляют собой готовые МАТЕМАТИЧЕСКИЕ МОДЕЛИ. Т.е. существует строгая формальная математическая постановка.
1.1 Искомый объект – всегда функция / алгоритм.
1.2 Всегда есть оценка (estimation), представляющее собой критерий (цели), включающий в себя искомую функцию. Нередко встречаются и ограничения.
2. Участники соревнования решают ТЕХНИЧЕСКУЮ ЗАДАЧУ (не модель ищут - модель уже есть!) – поиск функции / алгоритма, по сути приближенно решают функционально-оптимизационную задачу.
3. Победителем считается тот, кто достиг лучшего estimation и, обязательно(!), предъявил работающую программу / скрипт

Насчет задач
1. Задачи с признаковой матрицей не являются преобладающими, хотя не редки. Довольно часто исходные данные – это совокупности временных сигналов или изображений.
2. Если в задаче требуется прогнозировать несвязанные показатели, то да, обязательно наличие тестовых данных.
2.1 Сами тестовые данные доступны, а целевые показатели для них – нет. Целевые показатели даются только для обучающих данных
2.2 Проверка на тестовых данных может быть осуществлена загрузкой прогноза на сервер состязаний. Прогноз оценивается с помощью estimation и показывается пользователю.
2.3 Каждая оценка – это дополнительная информация, которая потенциально может быть использована для улучшения результатов на тестовой выборке. Для борьбы с этим явлением:
2.3.1 Ограничено количество загрузок прогнозов в течение дня
2.3.2 Выдаваемая оценка выдается пользователю не на всех данных, а только на части. Например, на 30%. Настоящая оценка на всех данных показывается в конце соревнования.
2.3.3 Если пользователи объединяются в команды, то общее количество загрузок команды не должно превышать [количество дней соревнования] умножить на [количество разрешенных загрузок в день].
3. Если на выходе связанные «показатели», то тестовые данные не нужны. Например, оптимальные маршруты, оптимальные упаковки, и т.д.
4. Есть и более изощренные способы. Например, тестовые и обучающие данные смешаны и даются одним массивом. Какие из них тестовые, а какие обучающие, пользователю не известно. Количество обучающих данные преобладает – «прогноз» по всем данным загружается на сайт – там делает оценку с учетом знания, какие данные тестовые (левые).
5. Было соревнование для временных последовательностей – выдавался симулятор, который пользователь мог запустить у себя на компьютере.

Проблемы использования Kaggle для сравнения систем
Нас интересует, прежде всего, такая штука, как возможность самообучаться и решать широкий круг задач. Для этого нужны большое количество самых разнообразных задач, подавляющая часть из которых были бы маленькими. Kaggle же содержит, как правило, огромные задачи – до десятков гигабайт на задачу. И потом, задач там не так много.

Описание возможной организации инфраструктуры для борьбы ML-систем следует…
[Ответ][Цитата]
mserg
Сообщений: 248
На: ML battle
Добавлено: 11 янв 15 6:18
Минимальная постановка данных включает в себя также:
* Категориальные переменные (типа строки, или числового "код товара")
* NA - данные в ячейке отсутствуют

Но баттл не случится, т.к. есть готовая работающая платформа с более чем 240 000 зарегистрированных аккаунов. Там баттл настоящий, и можно понять свое место со своими методами в пространственно-временном континууме.
[Ответ][Цитата]
data
Сообщений: 92
На: ML battle
Добавлено: 11 янв 15 6:25
Изменено: 11 янв 15 6:25
Цитата:
Автор: mserg

Кое-что могу уточнить на счет Kaggle…

Соревнования
1. Описание задач в Kaggle представляют собой готовые МАТЕМАТИЧЕСКИЕ МОДЕЛИ. Т.е. существует строгая формальная математическая постановка.
1.1 Искомый объект – всегда функция / алгоритм.
1.2 Всегда есть оценка (estimation), представляющее собой критерий (цели), включающий в себя искомую функцию. Нередко встречаются и ограничения.
2. Участники соревнования решают ТЕХНИЧЕСКУЮ ЗАДАЧУ (не модель ищут - модель уже есть!) – поиск функции / алгоритма, по сути приближенно решают функционально-оптимизационную задачу.
3. Победителем считается тот, кто достиг лучшего estimation и, обязательно(!), предъявил работающую программу / скрипт

Насчет задач
1. Задачи с признаковой матрицей не являются преобладающими, хотя не редки. Довольно часто исходные данные – это совокупности временных сигналов или изображений.
2. Если в задаче требуется прогнозировать несвязанные показатели, то да, обязательно наличие тестовых данных.
2.1 Сами тестовые данные доступны, а целевые показатели для них – нет. Целевые показатели даются только для обучающих данных
2.2 Проверка на тестовых данных может быть осуществлена загрузкой прогноза на сервер состязаний. Прогноз оценивается с помощью estimation и показывается пользователю.
2.3 Каждая оценка – это дополнительная информация, которая потенциально может быть использована для улучшения результатов на тестовой выборке. Для борьбы с этим явлением:
2.3.1 Ограничено количество загрузок прогнозов в течение дня
2.3.2 Выдаваемая оценка выдается пользователю не на всех данных, а только на части. Например, на 30%. Настоящая оценка на всех данных показывается в конце соревнования.
2.3.3 Если пользователи объединяются в команды, то общее количество загрузок команды не должно превышать [количество дней соревнования] умножить на [количество разрешенных загрузок в день].
3. Если на выходе связанные «показатели», то тестовые данные не нужны. Например, оптимальные маршруты, оптимальные упаковки, и т.д.
4. Есть и более изощренные способы. Например, тестовые и обучающие данные смешаны и даются одним массивом. Какие из них тестовые, а какие обучающие, пользователю не известно. Количество обучающих данные преобладает – «прогноз» по всем данным загружается на сайт – там делает оценку с учетом знания, какие данные тестовые (левые).
5. Было соревнование для временных последовательностей – выдавался симулятор, который пользователь мог запустить у себя на компьютере.

Проблемы использования Kaggle для сравнения систем
Нас интересует, прежде всего, такая штука, как возможность самообучаться и решать широкий круг задач. Для этого нужны большое количество самых разнообразных задач, подавляющая часть из которых были бы маленькими. Kaggle же содержит, как правило, огромные задачи – до десятков гигабайт на задачу. И потом, задач там не так много.

Описание возможной организации инфраструктуры для борьбы ML-систем следует…


На счет Kaggle следующие комментарии в соответствии с Вашей нумерацией:

Соревнования

1.Вот этого и не нужно. ML битва не в том кто обучит персептрон с заданной архитектурой лучше всех, нет, победит кто выдаст лучший результат, такой вектор целей(ответов), который по заданной метрике будет наиболее близок к эталонному. Какая модель и способ её обучения неважно, победит лучшая, пот данные.

1.1 Также представляет сложность, могут выложить боевой алгоритм только джунеары, некоторые разработки могут стоить состояния, их нет смысла публиковать, а как раз их результат и интересует, а не студенческие. Поэтому здесь есть загвоздка. Обмениваться можно только результатом, даже обфусцированный черный-ящик при желании можно взломать за неборльшие деньги, поэтому требовать выкладывать солвер, не нужно. Кто выложит конечно тот молодец)) Спасибо скажем.

1.2 Да, метрика зафиксирована, хотя они в данном контексте асимптотически подобны, это вторичный вопрос, думаю с этим проблем не будет.

2 См п1. Задача творческая больше, чем техническая, модель на выбор, наверняка это будет эксклюзивная модель пот данные, как и способ оптимизации. Лимитов нет.

3 Да, победитель тот у кого минимум ошибки, максимум близости с эталонным целевым вектором. Алгоритм по желанию публикуется, у нас не школьная олимпиада))



Насчет задач

1. Без проблем, если можно конкретный пример «в студию»

2.1 Да, именно так

2.2 Нужно подумать как это упростить, например чтобы все загружали в свою папку свой результат и в какой то единый момент всем расшаривается для чтения результаты всех и эталонные ответы, и все могут пере-проверить на сколько кто верно смоделировал.

2.3 Да, но правильные оценки станут известны только когда уже нельзя будет что то поменять, оценки есть только на обучающем датасете.

5. Для временных последовательностей будет сиквенция тестовых таблиц и оценок, только и всего, истимация будет суммой.
[Ответ][Цитата]
Эгг
Сообщений: 8726
На: ML battle
Добавлено: 11 янв 15 6:30
Интересная задача порождает множество мыслей и является причиной рождения интересных методов.
Поэтому, на мой вкус, важнее обсуждать именно задачу. Найти простую, но красивую и интересную. А те, кто хочет посостязаться в применении методов, тот может просто поучаствовать в одном из kaggle'вских конкурсов.
[Ответ][Цитата]
 Стр.1 (20): [1]  2  3  4  5  ...  20След. > >>