GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.12 (13)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Эта тема никак не связана с АI
NO.
Сообщений: 10700
На: Эта тема никак не связана с АI
+1
Добавлено: 10 июн 17 4:45
магнитный хранитель


[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема никак не связана с АI
Добавлено: 18 дек 19 18:37
Странно что тут на форуме новые чипы от Интела и Нвидиа не вспоминают.
[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема никак не связана с АI
Добавлено: 19 дек 19 14:00
Изменено: 19 дек 19 14:04
Есть вот такая статья:

Analog CMOS-based Resistive Processing Unit for Deep Neural Network Training

Seyoung Kim*, Tayfun Gokmen*, Hyung-Min Lee† and Wilfried E. Haensch* *IBM Thomas J. Watson Research Center, Yorktown Heights, New York, USA †School of Electrical Engineering, Korea University, Seoul, South Korea E-mail: sykim@us.ibm.com

Желающие могут запросить ее у автора по электронному адресу выше.



Вот такой там основной базовый элемент в the resistive processing unit (RPU) system.
Можно сказать аналоговый нейрон.
[Ответ][Цитата]
Ilya Geller
Сообщений: 4132
На: Эта тема никак не связана с АI
Добавлено: 19 дек 19 14:09
Deep Neural Network Training - что это такое?
[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема никак не связана с АI
Добавлено: 20 дек 19 0:23
Изменено: 20 дек 19 0:25
Что интересно, на схеме выше значения записывают через генератор случайных импульсов. Чем реже сигнал и больше скваждность тем меньше значение.

В настоящих нейронах так же происходит обмен информацией на несколько другом уровне (химическом) в отличии от возбуждающего электрического воздействия.

[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема никак не связана с АI
Добавлено: 20 дек 19 10:44
Изменено: 20 дек 19 11:11
https://github.com/zerotier/cathode/blob/master/p2pvc/src/p2plib.c

Кто то из калифорнии это написал содрав код отсюда:

https://github.com/mofarrell/p2pvc

Это все баловство. На гитхабе какой то код появился, когда я уже закончил быть кодером. Это был примерно 16 год моей программисткой карьеры.

Это то же самое как оценивать мастера, который сделал каменный цветок для хозяйки медной горы по свистулькам из глины, которые он для своих внуков лепил.

На всех форумах, хватает всяких анонимных чудиков. А уровень IT в России упал катастрофически, это заметно.

[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема никак не связана с АI
Добавлено: 20 дек 19 11:21
Изменено: 20 дек 19 15:43
Чтение из матрицы триггеров без синхронизации состояния:



Аналоговый тракт и Нейросетка это только один модуль новой архитектуры современных микропроцессоров.

http://homedevice.pro/psilocybin/



Желающие использовать такие чипы в будущем и работать над их дизайном сейчас, оставляйте свои электронные почтовые адреса прямо в этой теме.
[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема никак не связана с АI
Добавлено: 20 дек 19 14:46
Изменено: 20 дек 19 15:34


Похоже что суть тут в том что выходное напряжение зависит статистически от входного сигнала и изменяет состояние с некоторой вероятностью, которая регулируется скважностью входного сигнала.

Похоже что авторы статьи стараются добиться нелинейной (экспоненциальной) зависимости выходного напряжения от импульсов с различной скважностью и длительностью на входе. Это не точно. Это то что я бегло вычитал из статьи.

К сожалению не всегда выкладываются модели для симуляции, которые представляют из себя описание электрической схемы в нет формате симулятора SPICE.
[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема никак не связана с АI
Добавлено: 20 дек 19 16:04
Изменено: 20 дек 19 16:29


Эскиз верхнего уровня иерархии топологии нового чипа. Справа и слева вытянутые прямоугольники это ядра МИПС с кешем под пайпы. Крупные прямоугольник - оперативная память.

Синим по центру располагается аналоговый тракт до модуляей аналоговых тензорно-матричных вычислений. Или по простому нейросетке со сменными моделями. В обрамлении систолического цифрового тракта.

Вероятно, сверху и снизу на топологии будут располагаться аналоговые нейросетевые вычислители. Которые на данный момент можно выполнить на технологии CMOS. Пока то до се, проектирование. Потом будут доступны технологии на базе мемристоров.
[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема никак не связана с АI
Добавлено: 20 дек 19 16:13
Изменено: 20 дек 19 18:44
Цитата:
Автор: гость


Ну, оставлю я е-мейл, а что дальше произойдет? Если честно, Игнат, немного не понял, что это такое вы запостили.. Аппаратные реализации каких-то мат. конструкций здесь вряд ли кого то заинтересуют.. Главное - разработать саму мат.конструкцию, (алгоритм и пр.) - а программная или аппаратная реализация у нее будет - это вторично.

Статью не читал, там не по русски написано, это какой язык, английский что ли?


Это описание аналоговой нейросетки, которая потенциально в 1000 раз быстрее самых новейших специализированных нейрочипов. Примерно через 5 лет будет у военных и еще через 5 (всего 10 лет) попадет на коммерческий рынок. IMHO

Вот как раз мат. конструкцию я и разрабатываю в свободное от основной работы время. У меня специализация с института - дизайн интегральных схем. В связи с тем что через 5 лет начнут сокращать всех программистов а молодые учёные по данными погрязнут в проблеме переобучения своих сетей, хочу постепенно освоить те разделы современного хардварного проектирования, которые упустил с 2006 года, так как работал исключительно с мат. обеспечением всяких АРМ и других процессоров того же уровня.

Вышлю статью. Описание чипа текстовое. Дам доступ в систему обмена информацией (по простому чат зашифрованный). Там уже дам доступ к исходникам (алгоритмам) мат. конструкции.

По мере поступления новой информации буду присылать обновления.
[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема не как не связана с АI
Добавлено: 20 дек 19 18:12
Цитата:
Автор: Victor G. Tsaregorodtsev


Что, для подсчёта числа производителей процессоров в России нужна уже вторая рука? Ох, какой прогресс в импортозамещении...

Правда, катушки не смотрятся на фоне окологигагерцовых микропроцессоров общего назначения от НИИСИ и МЦСТ (байкаловскую частоту не помню).


https://forum.katera.ru/index.php?/topic/54102-o-morskom-tcyganstve-v-la-mange-ot-ignat99/?p=2350096
[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема не как не связана с АI
Добавлено: 20 дек 19 18:24
Цитата:
Автор: NO.

С многозначной логикой можно сделать интересную адресацию для нейросетей. Там требуется перебирая нейроны первого слоя перебирать подмножества нейронов второго. Не как в обычной памяти, где нужно одну ячейку выбрать, а нужно целую группу. Тут вот и какая-то неоднозначность, в один нейрон можно попасть разными адресами. Можно просто битовой маской, но она может быть сильно разряженная, одни нули. А можно сделать избыточный адрес, например на 16000 адресуемых нейронов делать не 14 бит адреса, а 100. Нейрон будет адресоваться несколькими значениями. Число вариантов масок зависит от числа нейронов первого слоя, а не второго. Например 256 нейронов в первом слое связаны с 16000 во втором. Нужно всего 256 вариантов адресов, а не 16000. Но каждый такой "маска-адрес" должен выбирать сразу группу во втором слое.

Вот ещё получается признак интеллектуальных систем, они кроме тактового генератора потребляют много просто шума.


Дорос до вашего комментария, посмотрите схему из статьи. Там вместо маски ШИМ используют.
[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема не как не связана с АI
Добавлено: 21 дек 19 2:57
Изменено: 22 дек 19 1:05
Микросхемы, как и современные информационные системы жестко иерархические и каждый уровень окружен свой буферной зоной которая граничит с соседями. Это своего рода защита от паразитный сил и элементов и интерференции от соседей.

Поэтому все картинки выше надо воспринимать как вложенную иерархию. Есть специальное программное обеспечение, которым каждый может воспользоваться, чтоб изучить проект:

https://www.staticfreesoft.com/

Этот софт очень продвинутый и вобрал в себя несколько десятков дисертаций по теме дизайна чипов. Внимательно изучите список библиотек которые можно запустить одновременно с самим редактором. В них есть библиотеки с готовыми дизайнами популярных чипов и части этих чипов можно использовать в своем проекте.
[Ответ][Цитата]
ignat99
Сообщений: 5607
На: Эта тема не как не связана с АI
Добавлено: 22 дек 19 1:11
Оставляйте ниже емайлы, я напишу.
[Ответ][Цитата]
Victor G. Tsaregorodtsev
Сообщений: 3187
На: Эта тема никак не связана с АI
+1
Добавлено: 22 дек 19 5:53
Изменено: 22 дек 19 5:55
Цитата:
Автор: ignat99
Это описание аналоговой нейросетки, которая потенциально

22 цитирования работы за 2.5 года. Включая сюда цитирования в более поздних работах самИх авторов.
Отличный темп проявления интереса и уверенности в правильности идеи. Миллион хомячков не может ведь ошибаться?


Цитата:
Автор: ignat99
в проблеме переобучения своих сетей

Увы, чуть меньше (на неделю) года назад взгляды внезапно поменялись - проблема переобучения волшебным образом исчезает, если двигаемся сильно дальше такого размера модели, который уже обеспечивает нулевую ошибку фиттинга обучающих данных. На картинке H - информационная ёмкость (размер) модели.

И это ещё переоткрывающие америку СССР не начали думать над иной осью абсцисс. А ведь в книжке 1990г (увы, лень смотреть, на какие более ранние публикации там стоят ссылки) уже была подобная картинка с невыпуклым поведением зависимости ошибки обобщения от кое-какого из других влияющих на точность факторов (но я пока не буду называть этот фактор среди их всех - среди размеров/свойств модели, настроек схемы обучения,...).


ЗЫ. Первый ответ был троллинга для, а второй - таки довольно серьёзен. Ибо касается ОНТОЛОГИИ, невоспринятой/забываемой новыми поколениями (да, это некоторая отсылка к "Структуре научных революций" Т.Куна). Соответственно, вопрос: Вы уверены, что Ваше упоминание переобучения является правильным прогнозом (вариант: взглядом на вещи), особенно с учётом того, что Ваши знания тут скорее всего даже не от младоучёных - а от перепевающих их рабиновичей?
[Ответ][Цитата]
 Стр.12 (13)1  ...  8  9  10  11  [12]  13<< < Пред. | След. > >>