GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.2 (2)<< < Пред.   Поиск:  
 Автор Тема: На: Учимся учить
Львович
Сообщений: 303
На: Учимся учить
Добавлено: 23 дек 06 17:14
to Дима:
Даже если Вы правы, и принципиально ответы положительны, то на эти задачи даже самому лучшему интеллекту (человеческому) потребуется очень много времени. ПОэтому такой способ "обучения" интеллекта - бесперспективен.
Обучение С УЧИТЕЛЕМ значительно эффективнее.

В свзяи с этих хочу поднять вопрос обучения путем повторения действий учителя. Ни собаки, ни кошки обучаясь не повторяют наши действия, но обезьяны - да. А уж дети все время проводят в игре.
Вопрос: что необходимо ИИ для того, чтобы у него возникло обучение путем подражания? В какой минимальной системе это возможно? Можно ли это смоделировать?

[Ответ][Цитата]
Андрей
Сообщений: 3943
На: Учимся учить
Добавлено: 23 дек 06 17:35
Львович >> что необходимо ИИ для того, чтобы у него возникло обучение путем подражания? Можно ли это смоделировать?

Уважаемый Львович, как раз эти вопросы сейчас освещаются в моей теме, приглашаю заценить.
[Ответ][Цитата]
Corwin
Сообщений: 1324
На: Учимся учить
Добавлено: 23 дек 06 18:44
>как раз эти вопросы сейчас освещаются в моей теме, приглашаю заценить.

В Вашей теме как ни странно освещаются вопросы самоорганизации системы. Это немного отличается от обучения интеллекта.

>что необходимо ИИ для того, чтобы у него возникло обучение путем подражания?

Вероятно чёткое представление разницы между разными интеллектуальными объектами а также разницы между самим интеллектом и другими интеллектуальными объектами.

>В какой минимальной системе это возможно? Можно ли это смоделировать?

Ну на примере чат бота:
объект1 > Меня зовут объект1.
объект2 > Приятно познакомится объект1.

В результате чат бот должен при фразе "Меня зовут объект1" пародировать объект2 и отвечать "Приятно познакомится обект1". Получается пародирование разговора объектов 1 и 2.
[Ответ][Цитата]
гость
89.139.236.*
На: Учимся учить
Добавлено: 23 дек 06 19:27
(Дима)
>Обучение С УЧИТЕЛЕМ значительно эффективнее.
Согласен, разумеется!, но:
Основное преимущество обучения без учителя это то что можно использовать горы информации которые нет необходимости размечать.
Другое преимущество в том что нет зависимости от субъективного взгляда учителя.

Недавно был на конференции по анализу языка и что очень бросалось в глаза что методы без учителя постепенно догоняют а иногда и перегоняют по точности методы с учителем

Кстати если интересно, в моей статье я показываю метод извлеч из текста слова с похожим смыслом который меньше чем за час извлекает тысячи таких груп слов и при этом не пользуется почти никакой информацией о языке
http://www.cs.huji.ac.il/~arir/symhfw.pdf
но она к сожалению на английском.

И еще кстати явный компромисс это так называемое bootstrapping когда учитель поставляет только начальные примеры а дальше алгоритм ищет примеры сам.
Этот путь мне кажется наиболее перспективным.
[Ответ][Цитата]
Corwin
Сообщений: 1324
На: Учимся учить
Добавлено: 23 дек 06 21:51
Дима>http://www.cs.huji.ac.il/~arir/symhfw.pdf

Прочитал, очень заинтересовало. Мой проект ИИ выполняет схожие функции. Появилось несколько вопросов:
- Насколько я понял Ваша система не поддерживает обработку групы слов типу
"Станция метро и автобусная остановка" ? Т.е. Создается група в которой будут {"метро", "автобусная"} а не {"станция метро", "автобусная остановка"} ?

Есть ли какая-то возможность посмотреть на более детальные результаты работы системы? Т.е. анализ небольшого по размеру текста?

>Основное преимущество обучения без учителя это то что можно использовать горы информации которые нет необходимости размечать.

Но в обучении без учителя много недостатков. Например Ваша система прекрасно справится без учителя с созданием группы имен ("Меня звать Саша","Меня звать Вася" создается група {"Саша", "Вася"} ), но откуда Вашей системе знать что даная група является групой с назвой "имена"? Без учителя найти подобную информацию в неспециализированом тексте очень сложно.
Кроме того во время обучения без учителя часто возникают логические ошибки (судя по Вашей статистике Ваша система их также допускает) которые не представляется возможным проверить или выправить средствами самой системы.

>Другое преимущество в том что нет зависимости от субъективного взгляда учителя

Но ведь система будет обучатся на текстах других людей и в результате всеравно попадет под чей-то субъективный взгляд.
Кроме того тексты нужно предворительно фильтрировать чтобы система не набралась ложных утвеждений. Т.е. вообще без учителя обучение не представляется возможным.

>явный компромисс это так называемое bootstrapping когда учитель поставляет только начальные примеры а дальше алгоритм ищет примеры сам.
Этот путь мне кажется наиболее перспективным.

Для меня такой вариант также кажется наиболее правильным. Даже если взять пример с человека то обнаружим именно такой вариант обучения.
[Ответ][Цитата]
гость
217.132.208.*
На: Учимся учить
Добавлено: 23 дек 06 22:56
> - Насколько я понял Ваша система не поддерживает обработку групы слов
Да, к сожалению, пока нет но в начальных экспериментах уже да.
> Создается група в которой будут {"метро", "автобусная"}
А тут нет - т.к. есть двухсторонняя проверка внутри паттерна. Поэтому может создаться группа {"станция", "остановка"} но не {"метро", "автобусная"} если только какой нибуд злоумышленик не написал где нибудь "... автобусная и остановка ..." но на деле это довольно редко даже в большом корпусе.

> откуда Вашей системе знать что даная група является групой с назвой "имена"?
Это тоже можно узнать . Если искать в тексте паттерны которые производят иерархии.
Например (такие А как Б и В) такие ИМЕНА как САША и ВАСЯ.
Проверить создает ли паттерн иерархию в принципе не очень сложно.

> Кроме того во время обучения без учителя часто возникают логические ошибки
Разумеется а как без них ?
Без учителя их можно уменьшить кросс-валидацией (я там делаю что то подобное с помощчью окон)

> Кроме того тексты нужно предворительно фильтрировать чтобы система не набралась
> ложных утвеждений.
Тут согласен, я не фильтровал т.к. это не было целью работы.

> Т.е. вообще без учителя обучение не представляется возможным.
Как млжно увидеть я бы не был столь категоричен

>явный компромисс это так называемое bootstrapping
> Для меня такой вариант также кажется наиболее правильным
Согласен.

Поймите меня правильно, я не говорю что обучение без учителя это панацея,
в своем исследовании я ставлю главную цель увидеть и проверить сколько информации о мире можно выжать из текста не прибегая к учителю.

На мое удивление можно выжать очень очень много, и резервы далеко не исчерпаны (сейчас работаю над выделением разных типов соотношений между концептами без учителя). Я хочу научить алгоритм узнавать максимум без учителя, а потом и прибегнуть к более контролируемым методам, но пока до исчерпания решений и возможностей в этой области еще далеко...



[Ответ][Цитата]
гость
217.132.84.*
На: Учимся учить
Добавлено: 23 дек 06 23:05
>Есть ли какая-то возможность посмотреть на более детальные результаты работы
> системы? Т.е. анализ небольшого по размеру текста?
Моя система не анализирует текст как таковой по предложениям она анализирует и объединяет общие значения слов со всех текстов.
Вот тут и один большой минус моей системы - она хорошо работает только на значительно больших собраниях текста
Некоторые принеры консептов до сортировки и объединения можно увидеть тут
https://alice.nc.huji.ac.il/~dmitry/Research/ConceptsAnd100k.txt
[Ответ][Цитата]
Львович
Сообщений: 303
На: Учимся учить
Добавлено: 24 дек 06 16:35
Анедрей>Уважаемый Львович, как раз эти вопросы сейчас освещаются в моей теме, приглашаю заценить.

Спасибо, а слежу за Вашей темой и в принципе поддерживаю Вашу аргументацию в плане примера на младенцах.

Corwin:
>>В какой минимальной системе это возможно? Можно ли это смоделировать?
>Ну на примере чат бота:
>объект1 > Меня зовут объект1.
>объект2 > Приятно познакомится объект1.

Нет, это никуда не годиться. Здесь совершенно нет универсальности. Замените на "My name is object1" и объект1 встанет колом. Я говорю об возникновении подражания без его программирования в явном виде. Может ли возникнуть подражание, например, в клеточных автоматах?

>>явный компромисс это так называемое bootstrapping когда учитель поставляет только >начальные примеры а дальше алгоритм ищет примеры сам.
>Этот путь мне кажется наиболее перспективным.

Возможность обучению миру по текстам неоднократно обсуждалась в разных форумах и ни подтвердить, ни опровергнуть такую возможность пока не удалось. Я лишь хочу акцентировать внимание на следующем аспекте.
Так как оценивать ИИ всегда будет человек, то и обучать его должен именно человек. Причем он необязательно должен делать это явно. Достаточно предлагать ИИ упражнения, разработанные человеком; книги, написанные человеком; учебные программы, созданные человеком. При этом очень важно, чтобы целевая функция была "завязана" на человека, т.е. ИИ должен быть нацелен "в глазах человека" выглядеть интеллектуальным.
Конечно, когда ИИ научится самовоспроизводиться (как компьютерные вирусы), то нужность ему человека будет неочевидна, но это пока далекая фантастика.

Дима:
>Недавно был на конференции по анализу языка и что очень бросалось в глаза что методы >без учителя постепенно догоняют а иногда и перегоняют по точности методы с учителем

Подозреваю, что учитель при этом просто "скрыт" в самих методах.

>Кстати если интересно, в моей статье я показываю метод извлеч из текста слова с >похожим смыслом

К сожалению, я не настолько свободно владею английским (к тому же со специальными терминами), но идею вроде бы понял.
А занимаюсь подобной же проблемой, но на более низком уровне: на битовых последовательностях, сгенерированных операционным автоматом. Я нашел алгоритм, восстанавливающий ЛЮБЫЕ конечные автоматы, которые теоретически можно восстановить. При этом он не только восстанавиает граф переходов, но и переводит его в состояния с наибольшим значением целевой функции.
Следующая задача - научить его "мыслить абстрактно", то есть без взаимодействия с внешним миром, а на внутренних "образах". Этот шаг позволит резко поднять "видимую" интеллектуальность, так как основную "работу" ИИ будет выполнять внутри, а вовне мы уидим уже красивый результат.

В этом отношении хотел бы поднять вопрос о внутреннем мышлении. Человек (почти) всегда различает внутренний (созданный воображением) и реальный (внешний) образ. (Кстати во сне это редко удается различить) Тем не менее, последующие ассоциации, вызываемые, как внешними, так и внутрениими образами - одинаковы. Чем же, тогда они отличаются с информационной точки зрения?
[Ответ][Цитата]
Corwin
Сообщений: 1324
На: Учимся учить
Добавлено: 24 дек 06 17:38
> Если искать в тексте паттерны которые производят иерархии.
Например (такие А как Б и В) такие ИМЕНА как САША и ВАСЯ.

Это конечно верно, но что делать если в тексте не наблюдается подобных паттернов? Ведь далеко не в каждом тексте можно подобное встретить.
Например в том же гугле нашло примерно 74 300 паттернов "такие имена как" и 5 740 000 слов "Саша". Т.е. подобные паттерны составляют примерно полтора процента от нужных нам слов. Т.е. вероятность попадания нужных паттернов очень низка.

Corwin> Т.е. вообще без учителя обучение не представляется возможным.
Дима> Как можно увидеть я бы не был столь категоричен

Но нужно учитывать что мы собираемся обучать интеллект, а для интеллекта даже одно неправильное утверждение может существенно испортить всю структуру знаний и привести к ложным направлениям самообучения в будущем (Например фраза "Все люди - козлы" много чего может изменить в мирововидении интеллекта). Т.е. все же при обучении интеллекта нужен хотя бы какой-то отбор правильных текстов, а не просто обучать всему что есть в интернате.

Можно также уточнить: Ваша система использует стандартные "вшитые" паттерны ("такие ?var1 как ?var2 и ?var3.) или она способна находить подобные паттерны в тексте?
[Ответ][Цитата]
гость
217.132.46.*
На: Учимся учить
Добавлено: 24 дек 06 18:21
>Можно также уточнить: Ваша система использует стандартные "вшитые" паттерны ("такие ?var1 как ?var2 и ?var3.) или она способна находить подобные паттерны в тексте?

Cистема не использует ни одного вшитого паттерна. Она анализирует часто попадающиеся слова и ищет слова паттерны вокруг которых есть симметрия. Т.е. единственное важное знание вложеное в систему это то что симметричные паттерны объединяют слова по смыслу.

>Но нужно учитывать что мы собираемся обучать интеллект, а для интеллекта даже одно
> неправильное утверждение может существенно испортить всю структуру знаний
Согласен - поэтому каждое такое утверждение перепроверяется и только одинаковые утверждения попавшиеся в разных местах учитываются. Разумеется система не безошибочна. Но безошибочность во всем связанном с ЕЯ нереальна в принципе, что не мешает к ней стремится

> Т.е. все же при обучении интеллекта нужен хотя бы какой-то отбор правильных текстов
Согласен, кстати есть много интересных работ которые почти автоматически различают между субьективными и объективными мнениями и текстами - но это пока не для меня. Пока я анализирую все что попадается, в будущем хочется проследить также источник информации - например что утверждение "Все люди - козлы" истекает из текстов с определенным стилем и содержанием.

> Это конечно верно, но что делать если в тексте не наблюдается подобных паттернов?
Как я уже сказал один из основных недостатков системы это то что требуется очень много текста.
> Например в том же гугле нашло примерно 74 300 паттернов
Все не настолько плохо - это не единственный паттерн а их сотни- например:
"такие имена как А"
"некоторые имена такие как А" "А и другие имена" "имена: A,B,C и D"
Но все равно недостаток есть т.к. большинство текста все равно не используется.




[Ответ][Цитата]
Corwin
Сообщений: 1324
На: Учимся учить
Добавлено: 29 дек 06 16:12
>Нет, это никуда не годиться. Здесь совершенно нет универсальности. Замените на "My name is object1" и объект1 встанет колом.

Лично я смотрю на слова как на объекты для манипуляции. Вместо слов может быть все что угодно. Не вижу проблем с универсальностью.
Если между «Меня зовут» и «My name is» есть связь (согласитесь что для правильной реакции подобная связь обязательна) то объект1 вовсе и не встанет колом.

Для себя выделяю два возможных варианта подражания: подражание своему собеседнику и подражание человеку (объекту) который не является собеседником (т.е. во время наблюдения за другими группами людей). Насколько могу судить наиболее эффективным является подражание при наблюдении со стороны (второй вариант). Хотелось бы также услышать Ваши мысли по этому поводу.
[Ответ][Цитата]
Corwin
Сообщений: 1324
На: Учимся учить
Добавлено: 29 дек 06 16:12
>Некоторые примеры консептов до сортировки и объединения можно увидеть тут
https://alice.nc.huji.ac.il/~dmitry/Research/ConceptsAnd100k.txt

Ознакомился. Очень интересно. Правда результаты слова «Саша» не очень удовлетворили. Похоже все же учитель (или более специализированный для обучения текст) не помешает.
Система хорошо справилась с продуктами питания. Вероятно информация была взята из рецептов. Могу предположить что с названием подобной группы продутов могут возникнуть осложнения.

>Согласен, кстати есть много интересных работ которые почти автоматически различают между субьективными и объективными мнениями и текстами

Интересная идея: создать программу учителя который будет обучать интеллект тому чему надо Получим полное самообучение.

>утверждение "Все люди - козлы" истекает из текстов с определенным стилем и содержанием

Думаю ИИ следует избегать всякого рода форумов

>Как я уже сказал один из основных недостатков системы это то что требуется очень много текста.

А Вы пробивали обучать Вашу систему с помощью небольших но специально написанных (в целях обучения) текстов?
[Ответ][Цитата]
гость
89.138.105.*
На: Учимся учить
Добавлено: 31 дек 06 10:17
>Правда результаты слова «Саша» не очень удовлетворили
Разумеется, и многие другие тоже, но возможности улучшения результатов далеко не исчерпаны

>А Вы пробивали обучать Вашу систему с помощью небольших но специально написанных (в целях обучения) текстов?

Пока нет, но собираюсь.
[Ответ][Цитата]
 Стр.2 (2)1  [2]<< < Пред.