Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.2 (4) << < Пред. | След. > >>    Поиск:
Автор	Тема: На: НС и логические элементы
Следопыт Сообщений: 35	На: НС и логические элементы Добавлено: 30 дек 07 20:42 "Инвертор меняет именно критерий истинности, т.е. даже будучи энергетически связанным с батареей используя ТЕ ЖЕ потенциалы, инвертор РОЖДАЕТ новую виртуальную систему отсчета." Два последовательно соединенных инвертора чего рождает? "Берем веса связей, как в нейросетях, и не мучаемся." Лог. лемент AND тоже очень похож на нейрон. Он также срабатывает, когда его входы достигнут определенного уровня. Вся штука в том что уровень может быть равен либо нулю, либо сразу еденице (дискретный). Представим что у нас есть более гибкий элемент AND где есть несколько уровней -4 -3 -2 -1 0 1 2 3 4 Тогда логический элемент будет активен, если все его входы больше нуля. А уровень выхода будет равен средней сумме. Чем же это не нейрон? А что умеет OR-нейрон? Или NOT-нейрон? Есть примеры использования? Если да, то пожалуйста ссылку на такой пример. [Ответ][Цитата]
гость 89.208.11.*	На: НС и логические элементы Добавлено: 30 дек 07 21:52 "Два последовательно соединенных инвертора чего рождает?" Конечно! не парьтесь, вам не постичь подобных вещей. Даже если я вам скажу, вы ведь все равно ничего не поймете. Вы мыслите в другой плоскости совсем. С вашей точки зрения (из той системы отсчета из которой вы смотрите) не произойдет ничего. Ваша беда в том, что вы не можете смотреть на события из другой системы отсчета, ну не понимаете вы как это делать, я не виноват в этом. [Ответ][Цитата]
Следопыт Сообщений: 35	На: НС и логические элементы Добавлено: 30 дек 07 22:30 shuklin "найдите материалы по - FPGA processors" Ожидал что намекнут на программируемые кристаллы)) logic.bip.ru: "...Программируемые схемы коммутации позволяют соединить любые две произвольные макроячейки на кристалле. ...Расплатой за гибкость при использовании FPGA также является коэффициент заполнения кристалла, который никогда не достигает 100% (нормальным можно считать заполнение на 60-70%) из-за невозможности развести схемы соединений." Я так понял что это пережигание перемычек-проводков в нужных местах. Рассуждаем далее: Классический сумматор имеет 7 элементов и 3 разветвления, который тоже примем за элемент с тремя выводами. И еще 2 элемента по 2 контакта (НЕ) Итого 10 элементов по три контакта + два по два = 34. Следовательно каждый контакт может быть соединен с другими (кроме самого себя) - 33 варианта соединения. Если хранить данные об одном контакте, нужно как минимум 6 бит. Итак, 34*6 = 204 бит или 25 байт. Теперь логические элементы. "И" "НЕ" "ИЛИ" Разветвление" - всего 4 элемента, 2 бита для хранения вариации элементов. Умножаем на количество: 2*12 =24 24 бита- это всего три байта. Итого: Схема сумматора. Для хранения информации о логических элементов требуется 3 байта. для хранения информации о соединениях между логическими элементами требуется 24 байта. Причем если переходить к более сложным схемам, именно количество вариаций соединений растут экспоненциально, в отличии от количества элементов, число которых растет просто линейно. Именно логика соединений играет важную роль. Понять и разобраться как работает "И" "НЕ" "ИЛИ" может школьник. Заставить "прорасти самостоятельно" хотя бы сумматор, или даже в общих чертах, совершенно невозможно (надеюсь временно невозможно) Как известно в мозге живого существа Нейроны соединяются взаимными аксонными связями, которые могут оказаться в разных частях, и особенность - они могут менять свои "подключения" Это происходит во время обучения, внешние и внутренние факторы и т.д. Представьте себе, если в процессоре настольного компьютера начала изменяться принципиальная схема, причем только потому, что схема таким образом "захотела" приспособится к внешним условиям. Звучит дико, не так ли? Но мозг работает именно так. Почему же на это так мало обращено внимания, а максимум сил брошено на то, как выжать максимум результата из "застывших" схем нейронных сетей. --------------- "Инвертор меняет именно критерий истинности, т.е. даже будучи энергетически связанным с батареей используя ТЕ ЖЕ потенциалы, инвертор РОЖДАЕТ новую виртуальную систему отсчета... ...не парьтесь, вам не постичь подобных вещей. Даже если я вам скажу, вы ведь все равно ничего не поймете" Если есть более-менее внятное объяснение, то постараюсь понять. Особенно если есть общий и краткий вывод. [Ответ][Цитата]
гость 89.208.11.*	На: НС и логические элементы Добавлено: 30 дек 07 23:26 это я не вам, вы то как раз можете понять [Ответ][Цитата]
гость 89.208.11.*	На: НС и логические элементы Добавлено: 30 дек 07 23:26 "Звучит дико, не так ли? Но мозг работает именно так. Почему же на это так мало обращено внимания, а максимум сил брошено на то, как выжать максимум результата из "застывших" схем нейронных сетей" молодец [Ответ][Цитата]
daner Сообщений: 4593	На: НС и логические элементы Добавлено: 31 дек 07 3:07 Цитата: писал Следопыт Представим что у нас есть более гибкий элемент AND где есть несколько уровней -4 -3 -2 -1 0 1 2 3 4 Тогда логический элемент будет активен, если все его входы больше нуля. А уровень выхода будет равен средней сумме. Чем же это не нейрон? Тем, что у нейрона есть еще и функция активации, а не просто суммирование. И это принципиально. Если бы этой функции не было, то сеть нельзя было бы построить в принципе. Т.е. без функции активации, любая сеть вычислительно эквивалентна одному нейрону. типа ((a+b)+(c+d))=(a+b+c+d). И еще, что-то я не заметил, где это в лог. элементах есть уровни? и что такое средняя сумма? Цитата: А что умеет OR-нейрон? Или NOT-нейрон? Есть примеры использования? Если да, то пожалуйста ссылку на такой пример. А что это такое? я о таком не слышал. Я знаю, что NOT, AND, OR это функции. Несколько нейронов (а точнее от 3 до 4, в зависимости от соединения) легко представляют эти функции. А еще, для тупых типа меня, можете объяснить доходчиво как именно вы собираетесь "на лету" менять лог схемы? И тем-более, как вы решите (или я не так понял) проблему "Расплатой за гибкость при использовании FPGA также является коэффициент заполнения кристалла, который никогда не достигает 100% (нормальным можно считать заполнение на 60-70%) из-за невозможности развести схемы соединений." Это же не просто так, это связанно со сложными теоретическими проблемами (на сколько я знаю, не просто сложными, а скорее всего, даже теоретически не разрешимыми, так как они попадают в группу более сложную чем NP-C). [Ответ][Цитата]
Следопыт Сообщений: 35	На: НС и логические элементы Добавлено: 31 дек 07 21:07 Цитата: Автор: daner Тем, что у нейрона есть еще и функция активации, а не просто суммирование... Я и говорил, что логический элемент будет АКТИВЕН при том условии что уровни всех входов превысят определенный порог. В данном примере порог был равен нулю. Цитата: Автор: daner И еще, что-то я не заметил, где это в лог. элементах есть уровни? и что такое средняя сумма? В обычных лог. элементах уровня всего два 0 и 1. Средняя сумма это сумма чисел деленная на количество чисел. Её необходимо вводить для подсчета уровня исходящего сигнала лог. элемента имеющий несколько уровней. Пример лог. элемента AND с несколькими уровнями (-4 -3 -2 -1 0 +1 +2 +3 +4) Элемент имеет два входа А и В и выход С А = -3 В = 2 тогда уровень выхода С = 0 т.к. порог одного из входов А имеет ниже порогового. А = 2 В = 4 тогда уровень выхода С = 3 т.к. уровень обоих входов выше порогового, а уровень выхода складывается из средней суммы: (2+4)/2=3 Входы необязательно могут иметь отрицательные значения (пример 1 2 3 4 5, где 3 -порог срабатывания) Цитата: Автор: daner А что это такое? я о таком не слышал. Я знаю, что NOT, AND, OR это функции. Несколько нейронов (а точнее от 3 до 4, в зависимости от соединения) легко представляют эти функции. NOT-нейроны инвертируют сигнал, т.е. он активен, когда сумма входов ниже порогового, и наоборот пассивен когда входы выше порога. OR-нейрон активен, когда один из входов выше порогового. Цитата: Автор: daner А еще, для тупых типа меня, можете объяснить доходчиво как именно вы собираетесь "на лету" менять лог схемы? Над этим и нужно подумать. Я думаю связи должны менятся в ответ на внешние входящие данные. Можно предположить, что связи создаются и разрушаются в режиме обучения (в класической схеме нейронных сетей, обучаются сами нейроны а не связи, в чем я считаю и их недостаток. В сочетании обучение нейронов, и их связей появится дополнительная гибкость) Цитата: Автор: daner И тем-более, как вы решите (или я не так понял) проблему [i]"Расплатой за гибкость при использовании FPGA также является коэффициент заполнения кристалла... Решается программной эмуляцией. После того как сеть будет достаточно обучена, её можно использовать либо как программный продукт, либо прошить в кристал. [Ответ][Цитата]
Nikolay Сообщений: 26	На: НС и логические элементы Добавлено: 01 янв 08 15:04 Цитата: Автор: Следопыт Над этим и нужно подумать. Я думаю связи должны менятся в ответ на внешние входящие данные. Можно предположить, что связи создаются и разрушаются в режиме обучения (в класической схеме нейронных сетей, обучаются сами нейроны а не связи, в чем я считаю и их недостаток. В сочетании обучение нейронов, и их связей появится дополнительная гибкость. У нас связи в сети (см. мой пост по обмену опытом) так и возникают (и в режиме обучения, и в режиме работы): при достижении входными воздействиями определенных значений нейроны синхронизируются с определенными соотношениями частот следования спайков, что означает реализацию конкретной логической функции в многозначном базисе. Небольшое изменение входных воздействий отрабатывается автоподстройкой и ничего не меняется. При дальнейшем изменении входных воздействий - срыв автоподстройки - связи нейронов разрываются. Еще дальнейшее изменение приводит к новой синхронизации, но с другим соотношением периодов следования спайков – реализация другой логической функции в том же базисе. Это можно эмулировать программно, но ВРЕМЕНИ-то сколько потребуется (сиречь быстродействия)! А про число проводов для управляемой коммутации я промолчу, сами прикиньте. Полностью согласен с комментариями Corwin-а и daner-a. Все так! С Новым 2008 годом. Всем успехов! [Ответ][Цитата]
Virtual_Graph Сообщений: 594	На: НС и логические элементы Добавлено: 01 янв 08 20:00 Цитата: Автор: Следопыт Как известно в мозге живого существа Нейроны соединяются взаимными аксонными связями, которые могут оказаться в разных частях, и особенность - они могут менять свои "подключения" Это происходит во время обучения, внешние и внутренние факторы и т.д. Представьте себе, если в процессоре настольного компьютера начала изменяться принципиальная схема, причем только потому, что схема таким образом "захотела" приспособится к внешним условиям. Звучит дико, не так ли? Но мозг работает именно так. Почему же на это так мало обращено внимания, а максимум сил брошено на то, как выжать максимум результата из "застывших" схем нейронных сетей. Ваши соображения достаточно прозрачны, при ответе на вопрос "что делать?". Однако на вопрос "как делать?" у Вас, как и остальных участников форума, ответа очевидно нет. На самом деле критерий установления/удаления соединения между выбранной парой нейронов (кстати, почему именно этой парой?) неоднозначен. Понятно, что на это влияет текущая эффективность системы при решении заданной задачи. Проблема, однако, в том, что в существующей сети межнейронные соединения в какой-то степени уже обучены, поэтому их удаление может вести к ухудшению работы системы, в то время как должно быть наоборот. С добавлением связей - та же история. Поэтому основная проблема - выработать критерий модификации. Я подозреваю, что решение на модификацию должно приниматься при преодолении неким значением (например активности нейрона) некоего порога. Однако очевидно, что этот порог так же должен меняться по какому-то критерию - в результате чего необходимо принимать решение о его изменении и т.д. Т.о. принятие решения на модификацию - первая часть вопроса. Вторая часть, очевидно, состоит в проблеме эффективности самого процесса модификации, чтобы его можно было делать "на лету". Поэтому речь идет о FPGA и т.д. В принципе можно создать спец. архитектуру НС-вычислителя с аппаратной поддержкой операций модификации структуры н.сети. Вентильные матрицы в этом отношении - не самое эффективное решение. Но все это, на мой взгляд, не имеет большого значения, пока не будет решена первоочередная проблема, связанная с упомянутыми критериями. P.S. Кстати, проблема модификации вытекает из модели обучения, которая, в свою очередь должна базироваться на модели нейрона. Это имхо [Ответ][Цитата]
daner Сообщений: 4593	На: НС и логические элементы Добавлено: 01 янв 08 22:03 Цитата: Автор: Следопыт Цитата: Автор: daner Тем, что у нейрона есть еще и функция активации, а не просто суммирование... Я и говорил, что логический элемент будет АКТИВЕН при том условии что уровни всех входов превысят определенный порог. В данном примере порог был равен нулю. Да это понятно. Важно то, линейно это или нет. У вас линейно? Т.е. просто сумма (или пропорция к сумме) проверяется? Цитата: Средняя сумма это сумма чисел деленная на количество чисел. Вообще-то, это называется "Среднее арифметическое". Но пусть даже так. И того имеем... простую сумму помноженную на 1/n (где число дендридо/входов). Короче, получаем (как я и предполагал) линейную функцию активации. Ну и с вытекающими... Хотя... возможно я не верно понял. Когда эта самая сумма, больше 0, что будет на аксоне/выходе? 0? 1? или сама эта сумма? Если 0/1, то это уже куда ни шло, и просто имеем нейрон, очень примитивный, так как на входах есть одинаковый не настраиваемый коэффициент.Но тогда не ясно, откуда на выходе будут разные уровни, которые вы ждёте на входе? Цитата: Входы необязательно могут иметь отрицательные значения (пример 1 2 3 4 5, где 3 -порог срабатывания) Это кстати не одно и тоже. Вот пример... на входе:1, -1, порог:1, тогда: 1-1=0 (сигнал не прошёл) добавим +1 ко всему, получаем на входе:2, 0, порог:2, тогда: 2+0=2 (сигнал прошёл) Цитата: NOT-нейроны инвертируют сигнал, т.е. он активен, когда сумма входов ниже порогового, и наоборот пассивен когда входы выше порога. OR-нейрон активен, когда один из входов выше порогового. Ладно, допустим . Хотя это вы такое название сами придумали (но это не важно). Ну и что с ними? Перцептроны, кстати, отлично с этим справляются! для NOT-нейрон синапс равен -1 и функ.активации либо ду-полярная ступень, либо сигмод, а для OR-нейрон синапсы равны 1, а свободный коэффициент равен соответствующему минимуму (ну в зависимости от функции). Цитата: Можно предположить, что связи создаются и разрушаются в режиме обучения (в класической схеме нейронных сетей, обучаются сами нейроны а не связи, в чем я считаю и их недостаток. В сочетании обучение нейронов, и их связей появится дополнительная гибкость) Это как раз не классическая! в классической обучаются именно связи. И у Хеба и у Розенблата. Цитата: Решается программной эмуляцией. После того как сеть будет достаточно обучена, её можно использовать либо как программный продукт, либо прошить в кристал. программа эмуляции ничего не решит! если проблема даже NP-C, то программа все равно в пролёте (пока). Т.е. как минимум, это проблема намного важнее чем обучение или еще что-то там! . В заключение к коменту: Все эти ваши навороты, в конце концов приближают вас к классической модели нейрона! ну +/-. Так что... все остаётся по старому. Хотите, прислушайтесь к совету, хотите нет (ваше дело). Нужно не просто так, брать и придумывать что-то. А нужно брать проблему, которая "не посильна" или "не удобна", для современных подходов, и вот именно эту проблему и решать. А когда решите, посмотреть что вышло. Если получилось что-то похожее на существующее, это даже еще лучше, если же нет, то ... надо тогда уже и теорию обосновывать. [Ответ][Цитата]
Следопыт Сообщений: 35	На: НС и логические элементы Добавлено: 02 янв 08 15:05 Я думаю тема закрыта. Рассуждения натолкнули меня на алгоритм который хочу испытать. Как только появится более менее приемлимый результат, выложу в форуме. [Ответ][Цитата]
shuklin Сообщений: 2053	На: НС и логические элементы Добавлено: 02 янв 08 21:30 Цитата: Поэтому основная проблема - выработать критерий модификации. Полностью согласен. Как раз работаю в этом направлении. Могу подкинуть идеи. 1. Идея фон Неймана, изложенная в его Теории самовоспроизводящихся автоматов. 2. Моя идея, оч. похожая на Неймановскую здесь http://www.shuklin.com/ai/ht/ru/ai04001f.aspx - тоже универсальный алгоритм в котором фрагмент сети А обучает фрагмент Б. При этом и А и Б равномощны машине Тьюринга, следовательно могут реализовать любой алгоритм. 3. Одно из приложений для п.2 для построения грамматики естественного языка http://www.shuklin.com/ai/ht/ru/ai00008f.aspx [Ответ][Цитата]
гост Сообщений: 6163	На: НС и логические элементы Добавлено: 09 дек 11 18:52 Изменено: 04 мар 17 7:24 . [Ответ][Цитата]
Capt.Drew Сообщений: 4179	На: НС и логические элементы Добавлено: 09 дек 11 18:59 Если вытащищь еще одну старую вторичную тему - я тебя сильно опечалю, Алекс1 [Ответ][Цитата]
гост Сообщений: 6163	На: НС и логические элементы Добавлено: 09 дек 11 19:07 Изменено: 04 мар 17 7:25 . [Ответ][Цитата]
Стр.2 (4): 1  [2]  3  4 << < Пред. | След. > >>