GotAI.NET

Форум: Проблемы искусственного интеллекта

 

Регистрация | Вход

 Все темы | Новая тема Стр.3 (4)<< < Пред. | След. > >>   Поиск:  
 Автор Тема: На: Как оценить интеллект
Corwin
Сообщений: 1324
На: Как оценить интеллект
Добавлено: 27 окт 06 13:24
Привожу пример набора тестов для оценки критериев:

1)Возможность обучения Булевой алгебре:
1.1)Изучение not(Логика+1 Память+1 Обучение+1)
1.2)изучение and(Л+2 П+1 О+2)
1.3)Изучение or(Л+2 П+1 О+2)
1.4)Изучение xor(Л+3 П+1 О+2)
Возможность решать былевые уравнения:
1.5) bool and bool or bool xor bool
(Л+4 П+2)

2.1)Продолжить ряд 1 0 1 0 ?
(Л+1)

2.2)Возможность продолжить ряд 2 4 6 8 ?
(Л+2 П+1)
2.3) Возможность продолжить ряд 2 4 8 16 ? (Л+3 П+1)

2.4)Вставить пропущенную цифру 3 ? 9 12 (Л+2 П+2)
2.5)Вставить пропущенную цифру 3 ? 27 81 (Л+3 П+2)

2.6)Вставить пропущенные цифры
3 21 5 18 7 15 9 ? ?
(Л+3 П+3)


3)Тесты на логику:

3.1)Тесты на дедуктивную логику:
Обучение(если оно нужно):
Каждая птица умеет летать.
Ласточка - птица.
Ласточка умеет летать.
Тест:
Каждая собака умеет гавкать.
Такса - собака.
При правильном ответе
(Л+5 П+4 Обучение+5(если оно было))

3.2)Тесты на индуктивную логику:
Обучение:
Шпионаж проводится намеренно.
Диверсия проводится намеренно.
Шпионаж и диверсия - особо опасные государственные преступления.
Значит, все особо опасные государственные преступления проводятся намеренно.
Тест:
Вася учится хорошо.
Петя учится хорошо.
Вася и Петя - отличники.
(Л+5 П+4 О+5(если оно было))

3.3)Превращение:
Обучение:
Все собаки имеют лапы.
Значит ни одна собака не имеет не лапы.
Тест:
Все автомобили имеют колеса.
(Л+4 П+3 О+5(если оно было))

4)Тесты памяти:

4.1)Изучение всей таблицы умножения и возможность ответить на таки вопросы как "сколько будет 7*8?"
(Л+2 П+5 О+2)


4.2)Обучение:
Лондон это город.
Париж это город.
Токио это город.
Холера это болезнь.
Чума это болезнь.
Тест:
Больница Скорая Рыба Париж Робот Башня Чума Лондон День.
Сколько было названо городов?
Сколько было названо болезней?
(Л+4 П+5 О+5(если оно было))


5.1)Тесты на субъективное понятие фраз:
Джон бросил кирпич в окно и разбил его.
Что разбил Джон?(варианты ответов: кирпич, окно )
(Знания+5, пожалуй для таких вопросов стоит создать отдельный критерий)

5.2)Джон увидел алмаз через окно и страстно пожелал его получить.
Что пожелал получить Джон?
(ЗН+5)

Примечание: Эти тесты наведены здесь только в качестве ПРИМЕРА и предназначены для обсуждения и подальшего улучшения. Оценки критериев не совсем точны. Поэтому предлагаю обсуждать не только реальность концепции но также и оценки тестов. Кроме того если Вы придумали еще какие-то тесты то пишите мы их добавим в окончательный набор.
Я не хочу чтобы Вы воспринимали этот тест как окончательный и очень критиковали результаты. Этот тест здесь приведен в качестве примера того как я представляю себе тест с помощью которого можно было бы тестировать ИИ.

Анализ:
Максимальное количество балов равняется:
Логика 46
Память 32
Обучение 24
Знания 10
Общее количество балов 116.

Должен заметить что в этом наборе использованы довольно примитивные тесты. То есть этот тест лучше всего подходит для тестирования низкоуровневых интеллектов. Так почти любой человек (IQ 85 и выше) сможет ответить на все вопросы.

Если протестировать простой (однослойный) персептрон то он наберет всего 13 балов(он сможет пройти только тесты 1.1 1.2 1.3)(Л5 П3 О5). Тестирование нейронной сети (с небольшим количеством нейронов) дает лучшие результаты (19 балов: Л8 П4 О7).
Увеличение количества нейронов позволяет набрать 25 балов (Л12 П6 О7). Нейронная сеть была взята для тестирования в виду ее популярности (так как большинство знакомо с ее структурой) и это вовсе не означает что для тестирования другие интеллекты не подходят.

Жду Ваших комментариев и предложений.
[Ответ][Цитата]
Львович
Сообщений: 303
На: Как оценить интеллект
Добавлено: 27 окт 06 15:37
Неплохо! Однако, я бы к тестам применил требовние инвариантности, то есть они не должны зависеть от языка, на котором записаны, в идеале - вообще не требовать языка.
Далее. Тесты не должны требовать никаких априорных знаний. В практических тестах косвенно считается, что если интеллект не приобрел в реальной жизни эти знания, то "так ему и надо!" - ставим 0 баллов. Но при тестировании ЛЮБЫХ интеллектов это категорически неверно.
Вообще АПРИОРНЫЕ ЗНАНИЯ я бы совсем убрал из тестов. И тестировал бы интеллект с нуля, либо на тестах, которые интеллекту заведомо неизвестны. Интеллект - это прежде всего способность извлекать знания. В противном случае мы сравниваем обычные алгоритмы с фиксированно заданными знаниями.
Предполагаю также, что интеллект может обладать разными способностями при разном способе предъявления тестов: кому-то нужно больше времени на запоминание, но он это и дольше помнит, а кто-то быстро схватывает, но и быстро забывает.
Есть так же разные стратегии поведения: рисковая, когда интеллект пробует все новое и совершает много ошибок, а есть консервативная, когда интеллект предпочитает более медленный, но и более гарантированный путь к успеху. Изучение этих коэффициентов тоже интересно. Возможно даже появится наука "психология искуственного интеллекта" или "робопсихология", как у Азимова.
[Ответ][Цитата]
NewPoisk
Сообщений: 3745
На: Как оценить интеллект
Добавлено: 27 окт 06 15:53
Цитата:
Автор: Львович

Измерение интеллекта на коротких интервалах времени или на ограниченных тестах напоминает попытку вычисление интеграла функции на большом интервале (а именно так я и определяю интеллект) по ее значениям на значительно меньшем интервале.



Почему именно интеграл, а не какие-нибудь там частные производные n-го порядка? В ИТ основная функция интеллекта определяется как сборка функции с заранее заданными свойствами через ряд Тейлора из множества простейших подфункций (синтез ЛД). Подфункции описывают те или иные известные ИИ законы природы и их следствия. Разумеется и сами они могут распадаться на еще более простые подфункции по тому же принципу ряда Тейлора (распад ЛД). Соответственно эффективность интеллекта определяется из условия соответвия синтезированного ряда желаемому виду.
[Ответ][Цитата]
Corwin
Сообщений: 1324
На: Как оценить интеллект
Добавлено: 27 окт 06 16:36
>Неплохо! Однако, я бы к тестам применил требовние инвариантности, то есть они не должны зависеть от языка, на котором записаны, в идеале - вообще не требовать языка.

Я думаю точно также. Просто я решил что для показательного примера лучше использовать понятный всем язык для того чтобы показать саму концепцию тестирования. Подальшие тесты будут менее привязаны к языку.

>Вообще АПРИОРНЫЕ ЗНАНИЯ я бы совсем убрал из тестов. И тестировал бы интеллект с нуля, либо на тестах, которые интеллекту заведомо неизвестны.

В идеале именно так и нужно тестировать. Но мир не идеальный...
Сомневаюсь что Вам достанется ИИ в чистом виде, который не нагружен информацией необходимой для его функционирования.

Знания все-же имеют ценность. Например:
Каждая птица умеет летать.
Пингвин - птица.
Пингвин умеет летать.
Вывод неверный только потому что интелект не знал что пингвины не умеют летать.
Нужно чтобы интеллект не просто имел знания (этим знаниям можно обучить в процессе тестирования) но и умел их применять.

То Львович:
Все Ваши предложения очень цены и я постараюсь их учитывать для подальшых тестов.
[Ответ][Цитата]
Львович
Сообщений: 303
На: Как оценить интеллект
Добавлено: 29 окт 06 0:19
Цитата:
NewPoisk:
Соответственно эффективность интеллекта определяется из условия соответвия синтезированного ряда желаемому виду.

А степень соответствие определяется через коэффициент корелляции, который в свою очередь вычисляется через интеграл на всей области определения.
Цитата:
Corwin:
Каждая птица умеет летать.
Пингвин - птица.
Пингвин умеет летать.
Вывод неверный только потому что интелект не знал что пингвины не умеют летать.

В данном случае - не поэтому, а потому, что интеллекту "подсунули" заведомо ложную информацию: "Каждая птица умеет летать". Ясно, что не каждая...
Но для интеллекта это не проблема, ведь он обучаемый! Если ему укажут, что он сделал неправильный вывод, то он просто добавит в свои знания уточнение "все птицы КРОМЕ ПИНГВИНОВ умеют летать" и следующий раз такой ошибки не допустит.
[Ответ][Цитата]
NewPoisk
Сообщений: 3745
На: Как оценить интеллект
Добавлено: 30 окт 06 15:18
Цитата:
Автор: Львович
А степень соответствие определяется через коэффициент корелляции, который в свою очередь вычисляется через интеграл на всей области определения.

В принципе да, верно. Но есть два существенных момента:
1. Значимость разных показателей разная - поэтому "простым" интегралом не обойдешся - надо вводить в рассмотрение функцию значимости
2. Синхронность: значения фунции синтезированного ряда долно быть синхронно с соответствующими значениями функции реального мира
[Ответ][Цитата]
Corwin
Сообщений: 1324
На: Как оценить интеллект
Добавлено: 25 авг 07 19:19
В виду появления новых участников форума, а также поднятия вопроса о том что такое интеллект хотелось бы возобновить дисскусию.

Вот некоторые вопросы ответы на которые интересуют:
1. Считаете ли Вы что возможно (не субъективно) определить уровень интеллекта? И выразить его в числовой форме?
2. Считаете ли Вы что классические тесты IQ неэффективны? Почему?
[Ответ][Цитата]
Вольфрамовый клапан
Сообщений: 809
На: Как оценить интеллект
Добавлено: 26 авг 07 17:25
Цитата:
Автор: Corwin
1. Считаете ли Вы что возможно (не субъективно) определить уровень интеллекта? И выразить его в числовой форме?
2. Считаете ли Вы что классические тесты IQ неэффективны? Почему?


Если нет единства в том, что называть интеллектом, то где уж там его объективно оценить...

С другой стороны, говорят, что тесты Айзенка дают стабильные результаты вне зависимости от тренировки, мотивации и т. д. (читал даже душещипательную статью о том, что тесты по Айзенку проводили в зоне, и при повторном тестировании зэкам обещали по пачке сигарет за улучшение результата на каждое очко. Но тщетно) Если это так, то тесты Айзенка объективно измеряют нечто. Но является ли это нечто интеллектом?

Ясно, что тесты Айзенка оценивают некие внутренние качества мозгов, в то же время по-настоящему оценить интеллект можно, видимо, только по внешним результатам деятельности индивидуума. Есть ли корелляция и насколько она сильна, вот в чём вопрос. Хрестоматийный пример: (квази?)великий Норберт Винер с его легендарной неприспособленностью к реальной жизни.
[Ответ][Цитата]
Вася
Сообщений: 180
На: Как оценить интеллект
Добавлено: 26 авг 07 17:50
Цитата:
Автор: Corwin
1. Считаете ли Вы что возможно (не субъективно) определить уровень интеллекта? И выразить его в числовой форме?

Объективно, интеллект можно оценить статистически, так что тесты IQ МОГУТ дать приблизительную оценку. Хотя, надо учитывать, что интеллект связан с уровнями медиаторов, сильно различными во времени. Более точными были бы тесты IQ, проведённые многократно, в разное время суток, при различных эмоциональных состояниях.
[Ответ][Цитата]
Corwin
Сообщений: 1324
На: Как оценить интеллект
Добавлено: 27 авг 07 18:25
>тесты по Айзенку проводили в зоне, и при повторном тестировании зэкам обещали по пачке сигарет за улучшение результата на каждое очко. Но тщетно.

Такая возможность весьма сомнительна. Если повторно дали тоже тест, то скорость его решения должна была возрасти (соответственно могло увеличиться количество решенных задач). Если же давали другой (но аналогичный) тест то получить точно такой же показатель IQ практически не возможно.
Кроме того кажеться у того же Айзенка указывается что свой интеллектуальный уровень можно увеличить.

Спасибо за ответы.

Хотелось бы также вернуться к вопросу тестирований интеллекта програм. Как по Вашему это возможно?
[Ответ][Цитата]
Uninet
Сообщений: 34
На: Как оценить интеллект
Добавлено: 27 авг 07 20:29
Цитата:
Автор: Corwin Хотелось бы также вернуться к вопросу тестирований интеллекта програм. Как по Вашему это возможно?

Естественно!
Осталось только понять, что такое интеллект и кто им обладает.
Поскольку оценивать интеллект, думаю, может лишь тот, кто им обладает.
Слава Богу - это не температура и не напряжение сети.
У вас как с интеллектом?
В смысле: есть или нет?
[Ответ][Цитата]
Corwin
Сообщений: 1324
На: Как оценить интеллект
Добавлено: 27 авг 07 20:38
>Естественно!

Опять нескромный вопрос: Как Вы себе это представляете?

>У вас как с интеллектом?
В смысле: есть или нет?

Есть гипотеза что присутствует...
[Ответ][Цитата]
Львович
Сообщений: 303
На: Как оценить интеллект
Добавлено: 28 авг 07 14:32
Сравнение двух интеллектов напоминает мне сравнение объемов двух криволинейных фигур, да еще в пространствах разной размерности. При этом пройденные/непройденные интеллектом тесты это всего лишь точки внутри/вовне данной фигуры, функции поверхности которой мы не знаем. Кажется в математике это называется методом Монте-Карло.
[Ответ][Цитата]
гость
95.130.15.*
На: Как оценить интеллект
Добавлено: 27 дек 14 14:05
Цитата:
Автор: Андрей
доверяю своим конкретным ощущениям.
ну почему все девственники кинестетики
[Ответ][Цитата]
ЭСГТР
Сообщений: 8449
На: Как оценить интеллект
Добавлено: 28 дек 14 7:49
Изменено: 28 дек 14 7:50
Уровень интеллекта.... интеллект это уровень чего?
[Ответ][Цитата]
 Стр.3 (4)1  2  [3]  4<< < Пред. | След. > >>