Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.9 (9) << < Пред.    Поиск:
Автор	Тема: На: Остались ли тут специалисты, которые разбираются в ИИ
Viсtоr G. Tsaregorodtsev Сообщений: 11	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 11 сен 25 5:14 Попрошу обратить внимание: Цитата: Автор: tac2 С другой стороны, использование бэкпропа - почему то всегда у меня вызывало лишь проблемы. У меня уже есть заготовки переводчика - проблема в том, что он нефига не работает. И проблема в бэкпропе, ну или кривых руках )) Топикстартер очевидно "ищет не там где потерял, а где светло" , по причине того что не смог разобраться в алгоритме обратного распространения ошибки. [Ответ][Цитата]
tac2 Сообщений: 408	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 11 сен 25 17:27 Изменено: 11 сен 25 17:53 > не смог разобраться в алгоритме обратного распространения ошибки Единственно, в чем я не смог разобраться, нахрена он? Ок, давайте сравним перцептрон Розенблатта и бэкпроп, ну вот так чтобы один в один. Ну, ок пусть на задаче MNIST для начала. Кто тут готов это реализовать от и до, и получить результаты, которые не где-то на заборе написаны, а повторяемы? Для перцептрона я уже сделал. Ошибка прогнозирования около 5%, при 95% правильных ответов. Это где-то около 500 ошибок на 10000 примерах. Это даже не 99% как в статье, ссылку на которую я приводил (у меня только 40к А-элементов, остальное долго обучается больше суток, а в статье выполнялись какие то манипуляции и вроде как у них 128k А-элементов). Давайте покажем, что бэкпроп это умеет за адекватное время (чтобы обучение на моем компе происходило меньше суток). Но без всякой там предобработки и танцов с бубнами = данные поступают в сеть, сеть обучается исключительно на обучающей выборке, ничего не зная о экзаменационной, и тестируется на экзаменационной. Некоторые нюансы: 1. в оригинале там картинки 28х28 , но по краям там часто пустота, поэтому сокращаем до 21х21 2. в оригинале там градация серого, которая практически не используется, переводим в черно-белую 0-1 (чтобы данные совпадали, я их дам) вы можете даже не писать собственную реализацию бэкпропа, использовать Torch P.S. Даже если случится чудо и MLP даст меньше 50 ошибок (как некоторые пишут на заборах) на всех цифрах из 10000 хотелось бы посмотреть какой ценой. (сравнительно перцептрон Розенблатта это делает на архитектуре 441 S -> 20000 A -> 10 R, связи между SA = 2x2, т.е. две связи + и две связи - . Итого 80.000 связей SA и 200.000 связей AR ) -- какая архитектура потребуется для бэкпропа? P.S.S. Эх да, если на обучающей выборке вы не сможете обучить бэкпроп в ноль, все оставшиеся ошибки добавляем к ошибкам экзаменационной выборки. Условия устраивают? Вперед! [Ответ][Цитата]
tac2 Сообщений: 408	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 11 сен 25 18:00 Изменено: 11 сен 25 18:14 > Viсtоr G. Tsaregorodtsev Исключительные условия для Вас, т.к. помню вас как специалиста. Если жалко - можете не приводить исходный код, для задачки предложенной выше. Но если вы её решали, лично вы на бэкпропе (а я думаю решали) - напишите ваши цифры и соответствующую архитектуру бэкпропа. Если делали какие то пляски с бубнами - опишите. Отдельно был ли он обучен в ноль, или вы верующий в т.н. переобучение? И тогда добавляем ошибки из обучающей выборки к общей, укажите сколько. Но если вдруг не решали - напишите, что ваши выводы это на основании чужих слов. Еще лучше (этому будет больше доверия) если приведете статистику, сколько ошибок на какой цифре сделала сеть, например для перцептрона: Error = 0 - 25 Error = 1 - 23 Error = 2 - 55 Error = 3 - 59 Error = 4 - 63 Error = 5 - 59 Error = 6 - 42 Error = 7 - 65 Error = 8 - 86 Error = 9 - 88 Error=473 (Если сеть выдает две единицы на выходе это считается ошибкой, т.е. вы должны взять порог видимо вашего сигмоида 0.5 и если больше то 1 на каждом из 10 выходов, а не интерпретировать это как - то, где максимум из 10 выходов - эти танцы считаются накруткой, исключительно идеальное совпадение векторов, например, выходной вектор 0000010000 = 5, если выход содержит больше одной единицы, он сразу является ошибкой) [я больше чем уверен, что на заборе пишут результаты таким образом накручивая, и тихо не упоминая в статьях] Иначе балабол [Ответ][Цитата]
гость 45.141.215.*	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 11 сен 25 18:05 Цитата: Автор: Viсtоr G. Tsaregorodtsev Попрошу обратить внимание: Топикстартер очевидно "ищет не там где потерял, а где светло" , по причине того что не смог разобраться в алгоритме обратного распространения ошибки. а что там в красноярске? [Ответ][Цитата]
Ꜿгг Сообщений: 13212	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 11 сен 25 19:07 Изменено: 11 сен 25 19:07 Цитата: Автор: tac2 Ошибка прогнозирования около 5%, при 95% правильных ответов. Удивительные результаты демонстрирует демонстратор... [Ответ][Цитата]
tac2 Сообщений: 408	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 11 сен 25 19:20 Изменено: 11 сен 25 19:51 Цитата: Автор: Ꜿгг Удивительные результаты демонстрирует демонстратор... Покажешь лучшие? Или тоже балабол? P.S. мат или ссылки на забор - идешь дорогою добра, здесь проходит только проверяемая информация, все остальное балобольство !! [Ответ][Цитата]
tac2 Сообщений: 408	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 11 сен 25 20:25 Изменено: 11 сен 25 20:34 Итак тут на заборе утверждается, что у MLP с 800 элементами в среднем слое, только 1,6% ошибок, т.е. около 160 шт. Причем там якобы почти никаких танцов с бубном, за исключением вот этой странной фразы "For both fully connected and convolutional neuralnetworks, we used the first 50,000 patterns of the MNIST training set for training, and the remaining 10,000 for validationandparameteradjustments." т.е. какие танцы с бубном происходили, в оригинале там 60к для обучения, и 10к для экзамена. Они что потеряли выборку для экзамена? Кто сможет в реальности повторить этот результат? (я мягко говоря ему не доверяю) P.S. Почему это на заборе? Потому, что в статье нет ни какой информации, ни говоря уже кода или ссылок на код, который позволял бы воспроизвести результат. Поэтому такие не проверяемые результаты сродни "бабка на базаре сказала" (и таки да, я очень хорошо знаю как модерируются эти ваши научные журналы) [Ответ][Цитата]
Viсtоr G. Tsaregorodtsev Сообщений: 11	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 13 сен 25 5:13 Цитата: Автор: tac2 Кто тут готов это реализовать от и до, и получить результаты, которые не где-то на заборе написаны, а повторяемы? Для перцептрона я уже сделал. Ошибка прогнозирования около 5%, при 95% правильных ответов. Это где-то около 500 ошибок на 10000 примерах. Запомните раз и навсегда: "Ищите кому это выгодно", пытайтесь применить её везде где только можно, даже за пределами социального контекста(например в физике этот закон выражается в принципе наименьшего действия) И вот теперь, кому это выгодно? Мне? Вам? Я могу вам помочь? Да, но с выгодой для себя, нужна ВЗАИМОВЫГОДА, "вначале деньги потом стулья" помните. Поэтому пишем мне на tsar@neuropro.ru или если лень здесь в форме http://neuropro.ru/about.shtml потом мы сконтачимся и договоримся, с вас много не возьму, не бойтесь. Цитата: Автор: tac2 P.S.S. Эх да, если на обучающей выборке вы не сможете обучить бэкпроп в ноль, все оставшиеся ошибки добавляем к ошибкам экзаменационной выборки. с этого просто расхохотался по детски, простите... это мило [Ответ][Цитата]
гость 45.84.107.*	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 13 сен 25 12:29 VGT помнится толкал свой MLP по 50к зелени, там симд команды, асемблерные вставки и тп. это не "наивный код" [Ответ][Цитата]
tac2 Сообщений: 408	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 13 сен 25 17:36 Изменено: 13 сен 25 18:06 > Viсtоr G. Tsaregorodtsev За деньги мне это и даром не нужно )) И конкретно у Вас, я не код просил, а результаты. Видимо от ученного у вас ничего не осталось ) [Ответ][Цитата]
tac2 Сообщений: 408	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 13 сен 25 20:32 Изменено: 13 сен 25 22:00 Я проверил BackProp (код на питоне мне подарили, я его перевел на C#). Предсказание я пока не проверял, а лишь обучение на всех примерах для задачи четность. Выглядит очень хорошо. BackProp смог обучится на 100 элементах в среднем слое. Перцептрон Розенблатта в оригинале нужно порядка 3000, моим подходом можно сократить до примерно 300. Поэтому таки да ... upd. Но как только вместо библиотечных функций Adam и BCELoss реализуешь свои простые реализации, начинает прыгать learningRate и обучение становится значительно хуже. Получается, что дело не в самом бэкпропе, а во вторичных оптимизациях. [Ответ][Цитата]
гость 109.70.100.*	На: Остались ли тут специалисты, которые разбираются в ИИ +1 Добавлено: 14 сен 25 4:40 Цитата: Автор: Viсtоr G. Tsaregorodtsev "Ищите кому это выгодно", пытайтесь применить её везде где только можно, даже за пределами социального контекста(например в физике этот закон выражается в принципе наименьшего действия ) а крыша то начала протекать у нашего красноярского товарисча, до состояния морозова остались считанные месяцы, а через годик два будет новый власкин [Ответ][Цитата]
аdmax Сообщений: 301	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 15 сен 25 10:20 Цитата: Автор: tac2 Я проверил BackProp (код на питоне мне подарили, я его перевел на C# Зачем же ждать подарков от всяких редисок, вот например дипсик выдаёт по первому требованию: class Mlp { private int[] layers; private double[][] inputs; private double[][][] weights; private double[][] biases; private double lr; private int epochs; Random random; public Mlp(int[] layers, double lr = 0.01, int epochs = 100) { this.layers = layers; this.lr = lr; this.epochs = epochs; InitializeNetwork(); } private void InitializeNetwork() { random = new Random(); inputs = new double[layers.Length][]; biases = new double[layers.Length][]; weights = new double[layers.Length][][]; for (int i = 0; i < layers.Length; i++) { inputs[i] = new double[layers[i]]; biases[i] = new double[layers[i]]; if (i > 0) { weights[i] = new double[layers[i]][]; for (int j = 0; j < layers[i]; j++) { weights[i][j] = new double[layers[i - 1]]; double limit = Math.Sqrt(6.0 / (layers[i - 1] + layers[i])); for (int k = 0; k < layers[i - 1]; k++) weights[i][j][k] = (random.NextDouble() * 2 - 1) * limit; biases[i][j] = (random.NextDouble() * 2 - 1) * 0.01; } } } } public double[] Forward(double[] input) { inputs[0] = input.ToArray(); for (int i = 1; i < layers.Length; i++) { for (int j = 0; j < layers[i]; j++) { double sum = 0; for (int k = 0; k < layers[i - 1]; k++) sum += inputs[i - 1][k] * weights[i][j][k]; inputs[i][j] = Activate(sum + biases[i][j]); } } return inputs[layers.Length - 1].ToArray(); } public void Backward(double[] expected) { double[][] deltas = new double[layers.Length][]; for (int i = layers.Length - 1; i >= 0; i--) { deltas[i] = new double[layers[i]]; if (i == layers.Length - 1) { for (int j = 0; j < layers[i]; j++) deltas[i][j] = (inputs[i][j] - expected[j]) * Derivative(inputs[i][j]); } else { for (int j = 0; j < layers[i]; j++) { double error = 0; for (int k = 0; k < layers[i + 1]; k++) error += deltas[i + 1][k] * weights[i + 1][k][j]; deltas[i][j] = error * Derivative(inputs[i][j]); } } for (int j = 0; j < layers[i]; j++) { biases[i][j] -= lr * deltas[i][j]; if (i > 0) { for (int k = 0; k < layers[i - 1]; k++) weights[i][j][k] -= lr * deltas[i][j] * inputs[i - 1][k]; } } } } private double ComputeLoss(double[] output, double[] target) { double loss = 0; for (int i = 0; i < output.Length; i++) loss += Math.Pow(output[i] - target[i], 2); return loss / output.Length; } public void Fit(double[][] inputs, double[][] outputs) { for (int epoch = 0; epoch < epochs; epoch++) { var mix = MlTools.MixIndex(inputs.Length, random); double totalLoss = 0; for (int i = 0; i < inputs.Length; i++) { var mi = mix[i]; var output = Forward(inputs[mi]); totalLoss += ComputeLoss(output, outputs[mi]); Backward(outputs[mi]); } if (epoch % 10 == 0) Console.WriteLine($"Epoch {epoch}, Loss: {totalLoss / inputs.Length:F6}"); } } public double[] Decide(double[] vector) { return Forward(vector); } private double Activate(double value) { return Math.Abs(value) < 1 ? value : Math.Sign(value); } private double Derivative(double value) { return Math.Abs(value) < 1 ? 1 : 0; } } [Ответ][Цитата]
tac2 Сообщений: 408	На: Остались ли тут специалисты, которые разбираются в ИИ Добавлено: 15 сен 25 22:12 Изменено: 15 сен 25 22:43 > аdmax Вы его проверяли? Почти уверен, что он не даст тоже самое что с использованием torch, вопрос только в размере катастрофы [Ответ][Цитата]
Стр.9 (9): 1  ...  5  6  7  8  [9] << < Пред.