GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (1)   Поиск:  
 Автор Тема: Реализация трехслойного персептрона
Игорь
Сообщений: 8
Реализация трехслойного персептрона
Добавлено: 16 ноя 07 0:15
Господа, всем привет!

У меня сия проблема. Задача: распознование буковок или цифирок в маске 30*30 пикселей, так сказать типовая лаба.

Использую трехслойный персепрон, кол-во нейронов на скрытом слое в два раза больше чем на входном. В качестве функции активации использую сигмойду 1/1+pow(e,-alpha*x), где alpha варьируется от 0,2 до 0,8.

Для корректировки весов использую алгоритм обратного распространения ошибки. Собственно все формулы нашел на интуите http://www.intuit.ru/department/ds/neuronnets/4/neuronnets_4.html .

Сделал обучающую базу с образами. Допустим обучаю первым 10 буковкам или цифиркам, на каждый образ по 10 примеров. Потом случайно из множества образов представляю сети и корректирую веса.

и теперь вопрос:: как заставить это заработать?

Если по одному разу предоставлять образ - то ничего толком не происходит - веса слабо корректирутся. Я гонял по кругу один образ пока ошибка с нужными значения выходного слоя не будет больше маленького значения. При этом наблюдается картина, что НС сначала напрочь забывает предыдущие образы, и помнит только последний, а после обучения на 5-7 образах - НС дает сильный сигнал на обучаемом образе, но не может забыть предыдущий образ.

Посоветуйте, что здесь можно сделать? И подскажите где популярно описана реализация трехслойного персептрона.

Заранее БОЛЬШОЕ спасибо.
[Ответ][Цитата]
daner
Сообщений: 4130
На: Реализация трехслойного персептрона
Добавлено: 16 ноя 07 0:25
нужно последовательно по кругу гонять все цифры. т.е. если обучаете для 1,2,3, то выгладит это так:
1,2,3,1,2,3,1,2,3,1,2,3... и т.д.
Но вообще, обычно ИНС обучается не просто запоминать какой-то набор символов, а запоминать их, что бы потом можно было распознавать с зашумлением. Так что, советую...
1) сделать еще картинки с зашумлением (различным, например случайным образом) и добавить их в общую группу.
2) разделить группу на двое: 2/3 для обучения и 1/3 для тестирования.
Далее, обучать как и говорилось выше, а ошибку тестировать на тестовой группе.
Это нужно, так как после какого-то момента, в сети начинает overfeeting. Т.е. она становиться слишком узким экспертом для группы обучения. Так что, вы будете видеть рост точности, но в какой-то момент начнется падение. Нужно этот момент ловить и останавливаться.
3) повторить обучение несколько раз с самого начала (естественно если начальные значения весов устанавливаются случайно, кстати это правильно так делать). И выбрать тот вариант, при котором обучение оказалось успешнее.
[Ответ][Цитата]
Игорь
Сообщений: 8
На: Реализация трехслойного персептрона
Добавлено: 16 ноя 07 0:50
Спасибо за советы, сейчас постараюсь реализовать.

И еще вопрос. Сколько раз нужно нужно делать алгоритм обратного растространения для текущего образа?

И сколько раз повторять повторное обучение?

Может быть конечно я мало обучал, но мне пока даже не видно,чтобы сеть чему то научилась((
[Ответ][Цитата]
daner
Сообщений: 4130
На: Реализация трехслойного персептрона
Добавлено: 16 ноя 07 0:56
конкретной цифры нет... все зависит от задачи. В принципе у тебя проблема не сложная, должно хватать и 10-20.. ну может 40 раз на каждый образ.
[Ответ][Цитата]
гость
62.183.126.*
На: Реализация трехслойного персептрона
Добавлено: 15 май 17 0:12
-
[Ответ][Цитата]
гость
144.217.167.*
На: Реализация трехслойного персептрона
Добавлено: 16 май 17 8:36
Цитата:
Автор: гость
Реализация трехслойного персептрона

Через веб интерфейс(фронт-энд) http://playground.tensorflow.org или пишите заявку VGT(http://neuropro.ru/contacts.shtml) тут только он один в состоянии собрать MLP с нуля а также любой другой классификатор, другие философы.

[Ответ][Цитата]
гость
163.172.169.*
На: Реализация трехслойного персептрона
Добавлено: 17 май 17 5:18
Цитата:
Автор: гость


Через веб интерфейс(фронт-энд) http://playground.tensorflow.org или пишите заявку VGT(http://neuropro.ru/contacts.shtml) тут только он один в состоянии собрать MLP с нуля а также любой другой классификатор, другие философы.
VGT лучще бы... ну в общем удалиться со сцены, так как он страрый, как члены билдербергского клуба, а нужно совободить место для молодежи(15-25), они что то придумают.
[Ответ][Цитата]
ёж
Сообщений: 20
На: Реализация трехслойного персептрона
Добавлено: 19 май 17 12:43
Цитата:
Автор: гость

Через веб интерфейс(фронт-энд) http://playground.tensorflow.org или пишите заявку VGT(http://neuropro.ru/contacts.shtml) тут только он один в состоянии собрать MLP с нуля а также любой другой классификатор, другие философы.
Ещё Я могу собрать исходники - 100$(0.06BTC)
[Ответ][Цитата]
 Стр.1 (1)