|
NO.
Сообщений: 10700 |
 |
|
На: datasets::Nd fractal noise
Добавлено: 26 мар 18 10:50
|
Я делал просто случайно ставил точку и потом небольшими приращениями блуждал вокруг. С большой вероятностью точка рисует кляксу рядом с началом и изредка переходит в другое место.
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 27 мар 18 17:54
|
Автор: Дмитрий Пагода
чтобы быстро создавать датасеты для классификации любой сложности и разрабатывать эффективные алгоритмы классификации.
Это своего рода "идеальная" структура данных, ну в смысле как нормальное распределение является признаком случайности, то фрактальный шум вроде как "естественный" тип данных. Есть алгоритмы генерации его для 2d, но в Nd оно получается экспоненциально тяжелее, датасет сгенерировать в сотни раз дольше чем классифицировать, а должно быть наоборот. |
|
Может такой фрактальный шум и "естественный", но не очень удобен как модельный, на мой взгляд удобнее с иттерационным многомерным XOR импровизировать, четко зная какой уровен детализации прорабатывает алгоритм.
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 29 мар 18 6:15
|
Автор: гость
93> единственное что бросается в глаза
бросается в глаза явная анизотропия массива - диагональные 'шрамы'. А чем плохо для начала просто задать несколько ядер плотности а потом размыть границы какими-нибудь размывающими локальными операторами (и пройти несколько раз разными операторами).. можно совместить размывание с процедурой организации эффекта 'послойности' (областей с выравниванием тона).. |
|
да, анизотропия, всё верно
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 29 мар 18 6:19
|
Автор: Калитеран
эта картинка 2д проекция многомера или чисто 2д? Полагаю чтобы в чисто 2д такое получить нужно не менее нескольких сотен гармоник, возможно под тысячу, могу ошибиться но чтобы в проекции на 2д от многомера получилась такая же плотность, количество гармоник придется растить по степенному закону, даже 10д это уже не вычислить в разумных пределах времени, так что вариант гостя 93.115.86.* не катит. |
|
к сожалению Вы оказались правы, для 10d нужны миллионы гармоник, метод не подходит, я частично лично принимаю позор но большую часть перенаправляю к гостю 93.115.86.* который подал идею, прошу оскорбления, насмешки и издевательства адресовать к нему а не ко мне.
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 29 мар 18 6:21
|
Автор: dr2chek
Не так все грустно. Для чистого 2D эта картинку можно сгенерировать взяв 2-мерный спектр белого шума. По крайней мере на вид очень похоже. |
|
в теории спектр белого шума - тоже белый шум, меняем распределение в сторону низких частот меняем природу шума, получаем другие типы шумов, в том числе и похожий на фрактальный.
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 29 мар 18 6:27
|
Автор: Дмитрий Пагода
для 10d нужны миллионы гармоник, метод не подходит |
|
В чем проблемы с миллионами гармоник? В любой тупой нейросети где функция активации нелинейная их больше на 2-3 порядка и все спокойно считается.
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 29 мар 18 6:30
|
Автор: Калитеран
PS Я решал такую задачу, но так сказать "инженерным" способом, он слабо зависит от количества измерений, пока не буду рассказывать, может кто придумает что то более оригинальное, чтобы не останавливать творческий поиск, на частном "притянутом за уши" решении, потом расскажу, если не решится задача. |
|
Да наверно лучше сразу скажите если не жалко и не коммерческая тайна, задачек подобных 100500, задачка частная, не фундаментальная, если каждую делать "проектом всей жизни" это не приведет ни к чему хорошему. Колитесь, облегчите душу покаянием, сбросьте с души груз.
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 29 мар 18 6:33
|
Автор: Кусаюсь
В чем проблемы с миллионами гармоник? В любой тупой нейросети где функция активации нелинейная их больше на 2-3 порядка и все спокойно считается. |
|
проблема, посчитайте миллион точек с миллионами синусов на каждую, это долго(> 10 мин) а должно быть пару сек
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 29 мар 18 6:36
|
Автор: NO.
Я делал просто случайно ставил точку и потом небольшими приращениями блуждал вокруг. С большой вероятностью точка рисует кляксу рядом с началом и изредка переходит в другое место. |
|
Ассоциативно эти вещи связанны, нам нужен https://en.wikipedia.org/wiki/Brownian_noise но его опять же если делать через обратное фурьирование то для Nd комп обосрётся
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 29 мар 18 6:40
|
Автор: гость
Может такой фрактальный шум и "естественный", но не очень удобен как модельный, на мой взгляд удобнее с иттерационным многомерным XOR импровизировать, четко зная какой уровен детализации прорабатывает алгоритм. |
|
возможно Вы правы, разработайте Выше решение более подробно, мы решим насколько оно интересно
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 29 мар 18 6:41
|
Перестаньте. Нужные вещи вообще месяцами считается. Да и миллионы гармоник для вашей задачи перебор. Можно нати более простое по числу гармоник решение если посидеть с карандашом.
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 02 апр 18 7:41
|
Автор: Калитеран
PS Я решал такую задачу, но так сказать "инженерным" способом, он слабо зависит от количества измерений, пока не буду рассказывать, может кто придумает что то более оригинальное, чтобы не останавливать творческий поиск, на частном "притянутом за уши" решении, потом расскажу, если не решится задача. |
|
ну, всё... походу попытки иссякли, одна надежда на Ваше решение, которое Вы пообещали опубликовать 
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 02 апр 18 7:43
|
Автор: Кусаюсь
Перестаньте. Нужные вещи вообще месяцами считается. Да и миллионы гармоник для вашей задачи перебор. Можно нати более простое по числу гармоник решение если посидеть с карандашом. |
|
да я как то приспособился, но не в восторге 
|
|
|
|
| На: datasets::Nd fractal noise
+2
Добавлено: 04 апр 18 17:21
|
Автор: Дмитрий Пагода
ну, всё... походу попытки иссякли, одна надежда на Ваше решение, которое Вы пообещали опубликовать |
|
ну если настаиваете... На самом деле все просто, "по определению", броуновский шум, "фрактальный", это в окрестности усредненный гаусовский шум, поэтому генерим рандомно равномерно распределенные точки в пространстве любой размерности с гаусовски распределенными метками, а затем усредняем по окрестности тем же kNN, но я брал XGB так как KNN очень медленный, всё, в зависимости от плотности рандомных точкек, k в kNN и тп что влияет на сложность модели, получаем броуновский шум с теми или иными характеристиками. С XGB это работает быстро и предсказуемо, от размерностей не сильно зависит, больше от количества рандомных точек. 
|
|
|
|
| На: datasets::Nd fractal noise
Добавлено: 07 апр 18 19:00
|
Автор: Калитеран
генерим рандомно равномерно распределенные точки в пространстве любой размерности с гаусовски распределенными метками, а затем усредняем по окрестности тем же kNN, но я брал XGB |
|
О! Круто! Метод конечно необычный, "рекурсивный" с помощью классификатора делать датасеты для классификации, но главное результат На неделе попробую отпишусь как оно у меня сработало. Спасибо!
|
|
|
|