GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.1 (1)   Поиск:  
 Автор Тема: Обратное распространение ошибки. Помогите разобраться
kos
Сообщений: 4
Обратное распространение ошибки. Помогите разобраться
Добавлено: 09 июл 07 18:34
Добрый день.
Вопрос такой. Сеть обучаеться только на последний поданный образ.

Грубо говоря из 10 образов, сеть учит только последний предявляемый ей образ.

Может кто-то сталкивался с такой проблеммой?
[Ответ][Цитата]
daner
Сообщений: 4593
На: Обратное распространение ошибки. Помогите разобраться
Добавлено: 09 июл 07 22:50
может коэффициент обучения слишком высокий?
[Ответ][Цитата]
kos
Сообщений: 4
На: Обратное распространение ошибки. Помогите разобраться
Добавлено: 10 июл 07 16:32
коэффициент обучения 0.1 или 0.2
хотя может где-то глючит... но в таких диапазонах
[Ответ][Цитата]
daner
Сообщений: 4593
На: Обратное распространение ошибки. Помогите разобраться
Добавлено: 11 июл 07 0:56
Цитата:
Автор: kos

коэффициент обучения 0.1 или 0.2
хотя может где-то глючит... но в таких диапазонах

ну задавать ты его можешь как угодно, это еще не значит, что на деле в этом ошибки нет. попробуй перепроверить программу именно в том месте, где применяется КО.
Кстати, а как именно ты обучение проводишь? надеюсь не так:
пример1, пока не запомнит, потом пример2 пока не запомнит и т.д.
[Ответ][Цитата]
kos
Сообщений: 4
На: Обратное распространение ошибки. Помогите разобраться
Добавлено: 11 июл 07 13:18
не, у меня набор из 10 примеров. и я их по очереди в сеть пихаю.
я вот думаю, может ошибка в активационнной функции.
у меня выход примерно такой: на всех выходах 0.009543 (ну прмерно). а на последнем 0.989343 ну то есть разница огромная...

кстати об активации, сиганлы на входе суммируються и из этой суммы вычисляеться активность нерона, или к сумме входов добваляеться активность нерона и все это суммируеться и передаеться дальше? я читал, вроде по разному есть..
[Ответ][Цитата]
daner
Сообщений: 4593
На: Обратное распространение ошибки. Помогите разобраться
Добавлено: 11 июл 07 13:39
Цитата:
Автор: kos

не, у меня набор из 10 примеров. и я их по очереди в сеть пихаю.
я вот думаю, может ошибка в активационнной функции.
у меня выход примерно такой: на всех выходах 0.009543 (ну прмерно). а на последнем 0.989343 ну то есть разница огромная...

кстати об активации, сигналы на входе суммируются и из этой суммы вычисляется активность нейрона, или к сумме входов добавляется активность нейрона и все это суммируеться и передаеться дальше? я читал, вроде по разному есть..


Что значит "на последнем выходе"? у вас сколько уровней и какие они?
Что касается активации, то просто все входы (умноженные на веса) суммируются и эта сумма пропускается через сигмоид (кстати, надеюсь вы используете сигмоид, иначе в алгоритме обучения нужно менять формулу, так как там есть производная функции активации).
[Ответ][Цитата]
daner
Сообщений: 4593
На: Обратное распространение ошибки. Помогите разобраться
Добавлено: 11 июл 07 13:41
Забыл уточнить. "10 примеров, по очереди" -- а сколько кругов примерно делаете?
[Ответ][Цитата]
kos
Сообщений: 4
На: Обратное распространение ошибки. Помогите разобраться
Добавлено: 11 июл 07 15:47
"Что значит "на последнем выходе"? у вас сколько уровней и какие они?"

я пытаюсь числа угадывать. у меня 10 чисел соответственно.
сеть у меня такая 63 входных значения, скрытй слой из 7-8 неронов и выход из 10.
иногда тестю без скрытого слоя. И максимальный выход близкий к 1 у меня на нероне который соответсвует последней цифре в последовательности.

Использую сигмоид от 0 до 1.


И про круги делаю сейчас в цикле ) от 1000 до 10.000. но результата почти нет.
только остальные значения стремятся к 0.

Кстати, ошибка с каждой эпохой стабильно уменьшаеться. то есть вроде все работает нормально.. и я вот сейчас только вспомнил, у меня в первых версиях были просто огромные значения проргая активации. к примеру 85.4324. правда я преписал код. и не смотерл как ведет это себя сейчас.
[Ответ][Цитата]
daner
Сообщений: 4593
На: Обратное распространение ошибки. Помогите разобраться
Добавлено: 11 июл 07 17:10
странно... у меня в свое время работало хорошо.
а если вы порядок меняете, ну скажем не 1,2,3...10, а 10,9,...,2,1
то сеть запомнит 1?
[Ответ][Цитата]
Эгг (остерегайтесь подделок, у меня > 5907 сообщений)
Сообщений: 508
На: Обратное распространение ошибки. Помогите разобраться
Добавлено: 23 янв 15 14:21
может коэффициент обучения слишком высокий?
[Ответ][Цитата]
 Стр.1 (1)