Форум: Проблемы искусственного интеллекта

Регистрация | Вход

Все темы | Новая тема  Стр.1 (7) След. > >>    Поиск:
Автор	Тема: Вопросы относительно моделирования.
ИгорьГульнов Сообщений: 11	Вопросы относительно моделирования. Добавлено: 16 май 15 13:25 Изменено: 16 май 15 13:26 Здравствуйте, форумчане. После прочтения одной из статей: http://habrahabr.ru/post/250625/ (Надеюсь, ссылки тут не запрещены) Так вот, не совсем понятным остался вопрос - а что же такое нейрон? 1) В традиционных нейросетях его рассматривают, как пороговый сумматор, линейный сумматор и т д. Но так ли это? Правильнее сказать - оправдано ли такое применение, далекое от биологической реальности, в нейросетях? 2) Как я понял, нейрон действительно выступает в роли сумматора, но он суммирует временные и пространственные импульсы. Очень прошу разъяснить на пальцах механизм работы такого нейрона(если это действительно так, возможно, на 100% это не известно науке, но какие-то данные есть) 3) Старцы поговаривают что нейрон не просто как-то передает сигналы, суммирует их, но и различает последовательности входных импульсов.Так ли это? Есть ли примеры алгоритмов нейросетей, использующих такое распознавание паттернов? 4) Что можно "опустить" в работе реального нейрона, по вашему мнению? Понятно, что моделировать все закрытия канальцев и т д нет смысла, но основные черты все-таки можно смоделировать, а может и нужно) 5) Также утверждается, что нейрон генерирует не просто спайк, а несколько спайков, причем чем лучше он узнал паттерн входного сигнала, тем выше частота и их количество, как понял. Опять же это действительно так? 6) Что если нейрон будет долго "сигналить"? его нужно как-то остановить, наверно, в этом помогут тормозные связи, но кто дает команду "на остановку"? Нет ли какого-нибудь управляющего отдела в мозгу,дескать высшей функции, которая стремится к подавлению возбуждений, возможно, организации? Многим гуру вопросы покажутся глуповатыми, но стараюсь сам восполнять пробелы, хочется капнуть чуть глубже)) Иногда просто возникает путаница, там написано мало, тут так. С радостью приму ваши ссылки на интересные статьи(желательно на русском, конечно) на те или иные вот такие глубокие аспекты работы отдельного нейрона.Есть пару мыслишек, пару идей под реализацию.Так глубоко останавливаюсь на нейроне, потому что это все-таки составной "кирпичик"(один из) нашего головного мозга и, возможно, ключик к понимаю возможностей создания ИИ С дружеским приветом! [Ответ][Цитата]
гость 78.25.120.*	На: Вопросы относительно моделирования. Добавлено: 17 май 15 2:12 навскидку пару слов по рабоче-крестьянски п.3. Вообще, чувствительность к пространственному паттерну достигается на формальном классическом нейроне за счет процедуры обучения (напр. перцептронного), или, например, за счет латерального взаимодейстия нейронов (как у кохонена), когда с паттерном ассоциируется победивший нейрон. При рассмотрении рекуррентных сетей, сетей с т.н. динамическими нейронами, сетей с нейронами с динамическими синапсами, сетей с динамическими алгоритмами обучения (т.е. динамику можно вводить в статические сети по-разному) в общем случае возникает чувствительность нейронов к пространствено-временным структурам паттернов. п.4. Если рассматривать некую изменяющуюся модель нейрона, то в случае комбинированных рассмотрений по типу генетический алгоритм + нейросеть может оказаться целесообразным ввести в рассмотрение генетический аппарат нейрона (разумеется, формальный) (в генетике данного нейрона как-то кодировать локальные фунциональные особенности текущего релиза и как-то перераспределять генетический опыт по нейробластам протосети нового поколения). п.6. Ну очевидно же, что возможно аутоторможение ('усталость'), возможно торможение через вставочные нейроны (интернейроны) (которые как правило именно тормозные) (локальные сети) (упомянутые процессы латерального торможения), возможно торможение через глобальные обратные тормозные влияния (напр. контрастирующее ядро). И да, высшие функции реализованы и как управляемое торможение, вытормаживание, - когда, скажем, активность областей поддерживающих размышление притормаживает моторную активность. Широко используется принцип реципрокного торможения - активность одной области подавляет активность сопряженной области (отсюда вырастают модели осцилляторного типа). [Ответ][Цитата]
ИгорьГульнов Сообщений: 11	На: Вопросы относительно моделирования. Добавлено: 17 май 15 3:19 Спасибо, гость 78.25.120 3) Правильно понимаю, что паттерн распознается уже не одним нейроном, а ансамблем? Нет ли каких-нибудь проблем, все таки это распознавание достигается формально всей сетью(если правильно понимаю) а не одним нейроном. 6) Вот про активность областей - тогда нам, безусловно, реализовать несколько областей. Что думаете по этому поводу? какие области стоит промоделировать? Наверняка это будет неокортекс, как "думалка".И вообще несколько модулей, соединенных в одно целое. [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: Вопросы относительно моделирования. Добавлено: 17 май 15 7:30 Цитата: Автор: ИгорьГульнов >по утверждению Джеймса, его «гиперколонка» обучается за гораздо меньшее число итераций Хм. При том, что для задачи MNIST полсотни итераций обучения с фикс.шагом за глаза хватает даже для того, чтобы сработал какой-то алгоритмический автоматический останов обучения... А при левенберге-марквардте (при своём коэффициенте обучения для, фактически, каждого веса в сети) - и 25-30 итераций хватит. И для многослойного персептрона обратного распространения, и для свёрточной сети это справедливо. И вообще, обучения тут длится максимум несколько минут - фигли брать эту задачу как бенчмарк по скорости? Ну и по вопросам. 1. При некоторых условиях (достаточное число нейронов С НЕЛИНЕЙНОСТЬЮ в многослойной сети) - искусственная нейросетка из таких нейронов обладает универсальными аппроксимационными способностями. Т.е. может аппроксимировать не только абы какую функцию - а аппроксимировать оптимальный для задачи решатель (например, байесовский). 2. По пространственным - это при 2D или 3D топологии пространства входных сигналов. А временные - сделать просто, "погрузив" временной ряд в лаговое пространство. Т.е. вместо, например, рекуррентной сетки или иной сетки с внутренней памятью (которые на каждом такте принимают только скалярный сигнал) - сетка будет просто видеть набор сигналов x(t-1),...,x(t-n). Т.е. вместо скаляра на входе - скользящее окно, как в любом ином статистическом методе прогнозирования (АРИМА, Гусеница,..) или при погружении по Такенсу. 3. см предыдущий случай. Т.е. вместо того, чтобы вводить какую-то память у структурного элемента сети - можно просто поставить память на её входе, чтобы сам нейрон не запоминал последовательность - а непосредственно её получал в чистом виде. Отвечал чисто по классической нейроинформатике - в нейробиологию не лез, с этим, скорее, на форум на сайте neuroscience.ru, нейробиологи-нейрофизиологи там тусуются. [Ответ][Цитата]
Victor G. Tsaregorodtsev Сообщений: 3187	На: Вопросы относительно моделирования. Добавлено: 17 май 15 7:43 Цитата: Автор: ИгорьГульнов 6) Вот про активность областей - тогда нам, безусловно, реализовать несколько областей. Что думаете по этому поводу? какие области стоит промоделировать? Наверняка это будет неокортекс, как "думалка".И вообще несколько модулей, соединенных в одно целое. Тут пару последних дней вспоминали работы Айбиэмовцев - если читаете научный английский, то см их старую программную статью 2009г "The Cat is Out of the Bag: Cortical Simulations with 10^9 Neurons, 10^13 Synapses". Они считают, что в 2019г в лучший суперкомпьютер мира можно будет загнать полномасштабную модель коры человека и симулить её со скоростью 1:1. Мышка-крыса была в 2007, кора размером в число нейронов, равное числу нейронов в мозге кошки - в 2009. Симулят в этой статье они 6 "слоёв" - 4 в коре и 2 в таламусе. В виде "сквозной" гиперколонки из >10000 нейронов, всего гоняли 278*278*2 таких колонок. [Ответ][Цитата]
ИгорьГульнов Сообщений: 11	На: Вопросы относительно моделирования. Добавлено: 17 май 15 9:45 Ух, сразу видно специалист!) Спасибо за ответы. 1) А если задач несколько?) И все их нужно решить одной сетью?) По поводу экспериментов Джеймса Смита, хочу уточнить, что не беру его опыты за какую-то основу для реализации. Сама статья и рассматриваемые в ней понятия интересны) На счет статьи(если это она) то вот ссылочка, авось пригодится кому - The Cat is Out of the Bag Статья интересная, они там и нейромедиаторы используют, как мне показалось, очень приближенно к биологической реальности, скажем так.Напомнила статью, года так ~ 2005 - 2007, там тоже рассматривалась некая модель коры, автор вроде бы Джералд Эдельман, как то так) Интересно бы посмотреть на то, как такие модели обучаются, все таки 10^9 нейронов.. [Ответ][Цитата]
гость 92.39.139.*	На: Вопросы относительно моделирования. Добавлено: 17 май 15 11:36 Слепое копирование нейронной сети - тупиковое направление. Это тоже, что самолёты делать слепо копируя птиц. [Ответ][Цитата]
ИгорьГульнов Сообщений: 11	На: Вопросы относительно моделирования. Добавлено: 17 май 15 12:13 Предполагается не слепое копирование нейросети, а копирование основных моментов её стриктуры и работы, в том числе модули из которых можно и составить нечто интересное.. гость 92.39.139 я бы с радостью выслушал ваши мысли по этому поводу, что сами думаете, если это тупиковый путь? [Ответ][Цитата]
Вольфрамовый клaпaн Сообщений: 13073	На: Вопросы относительно моделирования. Добавлено: 17 май 15 12:30 Изменено: 17 май 15 12:33 Тут есть ровно два критических момента: 1. Искусственная нейронная сеть не имеет ничего общего (кроме похожего названия) с естественной нейронной сетью ))) 2. Естественная нейронная сеть занимается задачами моделирования и коммутации рецепторной системы с эффекторной системой. То есть как раз тем, чем искусственная нейронка не занимается вообще. ))) ИНС - это, фактически, не более, чем специфическая алгебра приближенных вычислений. [Ответ][Цитата]
rrr3 Сообщений: 11857	На: Вопросы относительно моделирования. Добавлено: 17 май 15 22:31 Изменено: 17 май 15 22:55 Цитата: Автор: ИгорьГульнов ... гость 92.39.139 я бы с радостью выслушал ваши мысли по этому поводу, что сами думаете, если это тупиковый путь? Я не гость 92.39.139, но позвольте и мне подкинуть свои пару копеек. Если Вас интересует "сильный" ИИ, то поставленные Вами вопросы бесполезны. Если говорить про нейрофизилогию, то там можно увидеть все, что Вам захочется вне зависимости от "правильности" Ваших рассуждений о механизмах функционирования СИИ. Примерно тоже самое можно сказать и о традиционных ИНС. Как увидеть в биологическом мозге и в ИНС то, что нужно для построения СИИ, вопрос отдельный, сразу его пояснять нет смысла, пока не понятно Ваше положение (извините за грубость, Ваш уровень рассуждений). Задаваемые Вами вопросы пока говорят о том, что об этом беседовать с Вами пока будет равносильно просто трепу. Что касаемо традиционных ИНС (и не только, но и других "традиционных" "когнитивных" архитектур), то как ни странно на первый взгляд, это переборные автоматы, которые перебирают, образно скажем, пороги чувствительности "нейронов". Но перебирают они это по какому нибудь алгоритму. Мало того у них, часто довольно жестко задается структура связей между "нейронами" и то, что Вы назвали что-то типа алгоритмом суммирования. Все это является их ограничением с точки зрения эффективности работы с неопределенностью, в то время когда "аппроксимировать" они могут почти все что угодно, но как бы подобно тому, как левой ногой чесать правое ухо. 1. Важный вопрос не смотря на его простоту. Возможен ли некий алгоритм (беспереборный, т.е. строго детерминированный) любой сложности, способный "работать" в разных, еще не определенных условиях. Если "да", то это противоположно моему мнению. 2. Если перебор неизбежен, то как сделать его минимальным в то время, как он изначально (если ответ на первый вопрос "нет") должен быть предельно не детерминирован, т.е. иметь максимум "степеней свободы"? Видимо, система (а точнее совокупность элементов) должна иметь возможность запоминать, накапливать опыт (1). Опыт в данном случае не результаты обработки системой входных сигналов, а сама система обработки, т.е. генерируемые алгоритмы обработки. В случае нечто подобного ИНС, то это структура и состав элементов системы. Кроме этого этот опыт, т.е. его накапливаемые "фрагменты" должны быть как-то совместимы и не мешать друг другу, а наоборот участвовать в следующих генерациях нового опыта, новых фрагментов в качестве их составных частей. Образно говоря "фрагменты опыта" должны быть относительно независимы и в то же время сочетаемы (2). Для чего все это? Да для того, чтобы не утонуть в комбинаторном взрыве при переборе, если мы решили, что он неизбежен. Ведь в отличие от "обрубочных" решений в традиционных ИНС, нам вначале нужна максимальная "степень свободы" для комбинаторики, не ограниченная изначальной структурой, задаваемой относительно жестко и едино для всех нейронов функции "суммирования", алгоритмом преобразования "порогов" и т.д. и т.п. Для достижения описанного нам требуются "нейроны" очень разные, в достаточном количестве, с индивидуальными чувствительностью-реагируемостью, со своими уровнями изменчивости (т.е. "смертности" с появлением "замены"), не жесткий (с элементом случайности) "алгоритм" перебора. (Все это описано в моих ветках, но читать их без соответствующей подготовленности бесполезно не смотря на простоту и очевидность содержания... ) Истин никогда не глаголю, всегда только свое мнение!!! [Ответ][Цитата]
гость 195.154.243.*	На: Вопросы относительно моделирования. Добавлено: 17 май 15 23:00 Цитата: Автор: rrr3 1. Важный вопрос не смотря на его простоту. Возможен ли некий алгоритм (беспереборный, т.е. строго детерминированный) любой сложности, способный "работать" в разных, еще не определенных условиях. Если "да", то это противоположно моему мнению. Ну вы меня пардоньте пжалста, но такой алгоритмм будет использовать информацию их будущего? [Ответ][Цитата]
rrr3 Сообщений: 11857	На: Вопросы относительно моделирования. Добавлено: 17 май 15 23:27 Изменено: 17 май 15 23:32 Цитата: Автор: гость Ну вы меня пардоньте пжалста, но такой алгоритмм будет использовать информацию их будущего? Ну... раз просите, считайте, что я Вас уже отпардоньтил, даже если я и не знаю что это такое. Главное чтобы Вам было хорошо... А если капельку серьезней, то для стороннего наблюдателя это может быть и не "из будущего", а из "реальности" (а точнее из его субъективности, которую он считает реальностью ). А для самой "системы", то увы да, что-то из хрен знает чего, пусть из будущего, если так нравится... Беда в том, что человеки (наблюдатели/конструкторы) создающие, в частности ИНС, ломают голову над таким алгоритмом уже не один десяток лет.... а признать его невозможность... увы... пока видать не всем судьба..., зато диссеров можно писать массу и доказывать эффективность в тех или иных ситуациях того или иного алгоритма можно до бесконечности.... [Ответ][Цитата]
гость 78.25.120.*	На: Вопросы относительно моделирования. Добавлено: 18 май 15 1:02 ИГ> Правильно понимаю, что паттерн распознается уже не одним нейроном, а ансамблем? мне кажется, что вопрос тут не очень определенный. C одной стороны, даже если процесс рецепции паттерна конвергирует к одному нейрону (детектору), то все равно в этом переходном процессе участвует некий ансамбль. Более того, ведь молчащие нейроны-детекторы могут как бы 'громко молчать', будучи активно заторможенными. нейроны-детекторы-конкуренты могут подсвечивать центральный выбор, неся дополнительную информацию последующим процессам обработки. ну, и разумеется, детектор паттерна (если реализована детекционная схема) сам может быть реализован как локально связанный ансамбль (модуль, колонка). c другой стороны, паттерн может распознавать не по детекционной схеме, а по по схеме 'дистрибутированной детекции' - когда некое состояние сети, к которому сошелся процесс распознавания, аттрактор, это не выделенный нейрон (или пара нейронов) как в классическом хопфильде, а некий более длинный цикл, некая циклическая группа эстафетно возбуждающихся нейронов. Идентификация внешнего паттерна просходит по тем или иным характеристикам аттрактора (как внутреннего паттерна) (cетью-монитором). В мониторе могут быть детекторы, а может быть другая динамическая сеть, когда в итоге паттерн распознается самим фактом существования своего динамического образа (ссопряженными эффектами). > какие области стоит промоделировать? ну, скажем, например, в смысле предельно обобщенной глобальной (интегральной) архитектуры по лурии, выделяют 3 супермодуля - операционный, активаторный и регуляционный. Они, разумеется привязаны к нейромакроструктурам. Нейрофизиология может много сказать о дальнейшей структурно-функциональной декомпозиции. нужно моделировать почти все - ретикуло-лимбический комплекс (сверхсложная нейрокибернетика) (потребностная активация, оценка, арбитраж), нужно моделировать комплекс базальных ганглиев (обучение по оценке ошибки прогноза), мозжечок (обучение по ошибке прогноза, сверхмощный ассоциативный сопроцессор), нужно моделировать таламо-кортикальные петли (динамические образы информационных объектов мышления) (и петли на базальных ганглиях, в лимбике), нужно моделировать разные области неокортекса в из взаимодействии друг с другом и подкорковыми структурами (фронтальный кортекс как процессор планирования, высшего контроля, височные и теменные области, как области семантической и пространственной памяти, из лимбики выделенно нужно моделировать комплекс вокруг гиппокампа, как место резиденции эпизодической памяти) и прочая прочая - тут можно ОЧЕНЬ МНОГО ДЕТАЛИЗИРОВАТЬ (известна масса литературы).. можно смотреть на мозг как источник богатых архитектурых и рализационных эвристик, можно моджелировать абстрактную архитектуру, можно смотреть не произойдет ли изоморфизации реальной машинки и той машинки ккоторой мы придем из абстрактных соображений (буде те адекватными).. [Ответ][Цитата]
гость 78.25.120.*	На: Вопросы относительно моделирования. Добавлено: 18 май 15 1:37 ИГ> что касается конкретики, то vgt> универсальными аппроксимационными способностями тут нужно фиксироваться не столько на этом, это общее благословение, а на том, чтобы алгоритмы обучения сами в свою очередь были нейронно-реализованными. В литературе можно найти много схем управления (разные способы подключения) с квадратиками 'объект управлегния', 'нейрорегулятор', 'алгоритм обучения', 'задатчик целей, критереий etc' - для единообразия имеет смысл думать как и алгоритм обучения и задатчик погрузить в нейропредствление. > 3D топологии пространства входных сигналов тут возникает то, что называется тензорными сетями (реализующих, скажем, факторный анализ для 3D-данных) . по пп.2,3 vgt говорит как раз о том, что вместо динамической сети (напр. рекуррентной) динамику можно отнести к алгоритму обучения (представлению данных) и взять более 'понятную' cеть прямого распространения. Однако если в свою очередь алгоритм обучения (а в общем случае он тоже изменяющийся) брать нейропредставленным, то без сетей с обратными связзями никак не обойтись. ИГ> И все их нужно решить одной сетью?) для разных задач рассматриваются разные сети. есть расмотрения того, как из протосети можно формировать разные нейрооператоры. В любом случве многофункциональная нейросистема это гетерогенная/многомодульная мультисеть. егг> ИНН отражает некоторые черты прообраза как любая модель. есть разные формализованные нейроны/cети - где более абстрактно, где более детально отображается прообраз. Разумеется, любую модель можно развивать в любом направлении. разумеется можно ИНН применять и как регулятор в схеме управления (нейроконтроллеры). задачи распознавания, классификации могут быть не в абстрактном контексте, а в контексте конкретного управления (замкнутые информационные контура). В замкнутой системе нейронка становится чем-то большим чем просто 'алгеброй' - она становится динамическим звеном, фактором выживания системы. ггг3> трепу где хоть один ответ на вполне определенные вопросы??? [Ответ][Цитата]
kondrat Сообщений: 4026	На: Вопросы относительно моделирования. Добавлено: 18 май 15 2:08 Изменено: 18 май 15 2:10 Читнул. Я на верном пути! Всего два принципа (гипотезы) действуют (ну, лана, - три) Один из которых гласит, что изменение в каждый тик всегда пропорционально остатку (знак зависит от направления: деградация или рост). Это, очевидно, дает экспоненту при интегрировании, что в свою очередь, дает сложную интерфереционную картину в сетке. Благодаря этому принципу и отношениям скоростей роста/деградации элементов/сред рефлекторной сети возникают и спонтанные срабатывания и генерация пачек импульсов и т.д. и т.п. И это... Про существенность факта, что два нейрона связаны несколькими аксонами - фигня. Легко моделируется через дополнительные нейроны (рефлексы). [Ответ][Цитата]
Стр.1 (7): [1]  2  3  4  5  ...  7 След. > >>