|
|
На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 10:48
|
А вот то, что дом - это здание, сарай, сооружение, таких ассоциаций не будет.  |
|
Вот для того мы здесь и собрались, подумать или можно получить такие выводы в системе =) Кстате мой старый ник, может кто помнит, Preobragenskiy. Опять занесло в ваши ИИшные края
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 10:52
|
Автор: Bazist
Кстате мой старый ник, может кто помнит, Preobragenskiy. Опять занесло в ваши ИИшные края |
|
Помню Вас по позднему Айкому, ругались мы. У Вас ошибка в отсечении результата, по либрусеку, где много индексов показывает только самое слово, надо не по абсолютному значению делать отсечение, а по относительному. Это раз. И не нужно показывать самое слово в качестве его же ассоциации, это два.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 10:52
|
Кстате о сарае: http://booben.com/?q=%D1%81%D0%B0%D1%80%D0%B0%D0%B9&s=sql.ruсарай сарая сарае сараи домик сарайчик сараем кроссове кирпичны соток печку домике домика даче деревенс деревне колесах отделки раздался внедорож монгольс сруб дача сараев гараж Вот уже получено два свойства сарайчика. Кирпичный и из сруба. А также несколько синонимов. Проведена связь между сараем и домиком. Также подмешалось в выдачу что авто с кузовом универсалом назвают тоже сарай.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 10:54
|
Автор: Egg
Помню Вас по позднему Айкому, ругались мы.
У Вас ошибка в отсечении результата, по либрусеку, где много индексов показывает только самое слово, надо не по абсолютному значению делать отсечение, а по относительному. Это раз.
И не нужно показывать самое слово в качестве его же ассоциации, это два. |
|
По либрусеку нет ассоциативного поиска. Поскольку он не влазит в ОЗУ  Чтобы вести ассоциативный поиск, приходится делать миллионы классических поисков, поэтому ОЗУ тут обязательный параметр.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 10:55
|
Автор: Bazist
Вот уже получено два свойства сарайчика. Кирпичный и из сруба. |
|
А почему не внедорожный и из колеса? Потому, что Вы решили, что это свойства? Пусть система скажет, что это свойства.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 10:58
|
Автор: Egg
А почему не внедорожный и из колеса? Потому, что Вы решили, что это свойства? Пусть система скажет, что это свойства. |
|
А как интересно системе утверждать что сарай бывает только деревянным если сараем называют обычный рено логан универсал ?
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 10:58
|
Автор: Bazist
Чтобы вести ассоциативный поиск, приходится делать миллионы классических поисков, поэтому ОЗУ тут обязательный параметр. |
|
Надо просто Вам подумать над алгоритмами и объектами. У меня ассоциативный поиск в любое ОЗУ влезает. Общее правило примерно такое: экономим на обработке проигрываем на памяти и наоборот. Но обработку можно производить не динамически, а заранее. Плюс ко всему грамматика - это неизбежный этап, чем раньше Вы ей займетесь, тем лучше.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 11:01
Изменено: 10 сен 14 11:02
|
Автор: Bazist
А как интересно системе утверждать что сарай бывает только деревянным если сараем называют обычный рено логан универсал ? |
|
Есть такая вещь страшная. Омонимией называется. Печь блины и кирпичная печь. Лексическая. Прозначный ключ и ключ в двери. Понятийная. Рыбы (род.п.ед.ч) и рыбы (им.п.мн.ч.). Флективная. И так далее. Любая система работы с естественным языком начинается с обработки омонимии. Это неизбежно. Про фразеологемы я еще и не начал говорить.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 11:03
|
Автор: Egg
У меня ассоциативный поиск в любое ОЗУ влезает.
|
|
Вы можете проиндексировать 500 гб текста и вместить индекс на его весь в ОЗУ ? (у меня кстае 8гб ОЗУ)
Плюс ко всему грамматика - это неизбежный этап, чем раньше Вы ей займетесь, тем лучше. |
|
Это эпик феил. Если вы введете грамматику, значит потеряете любую возможность получить чистую модель. Будет еще один грамматический автомат. Я же могу проиндексировать, например, тексты племен мая и получить теже ассоциативные ряды майа. (при условии что текстов этих будет много, конечно)
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 11:14
|
Автор: Bazist
Вы можете проиндексировать 500 гб текста и вместить индекс на его весь в ОЗУ ?
(у меня кстае 8гб ОЗУ)
|
|
Зависит от того, что именно мы храним. И как используем. Вы же сами тексты почему-то в ОЗУ не храните. Зачем впихивать весь индекс. Автор: Bazist
Это эпик феил. Если вы введете грамматику, значит потеряете |
|
Не будем спорить, без грамматики никаких "чистых ассоциаций" не построить. "Лошадь не машина" в Вашей системе даст ассоциацию лошадь-машина. , если не обрабатывать грамматику.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 11:19
|
Зависит от того, что именно мы храним. И как используем.
Вы же сами тексты почему-то в ОЗУ не храните. Зачем впихивать весь индекс.
|
|
Я храню индекс, который хранит информацию о каждом слове больше 2х символов. Тоесть этого индекса достаточно, чтобы найти по любому слову список документов где оно встречается. Словарь примерно на 5 млн слов. И на каждое это слово можно построить ассоциативный ряд согласно базе знаний.
Не будем спорить, без грамматики никаких "чистых ассоциаций" не построить. "Лошадь не машина" в Вашей системе даст ассоциацию лошадь-машина. , если не обрабатывать грамматику. |
|
Давайте проверим. http://booben.com/?s=sql.ru&q=%D0%BB%D0%BE%D1%88%D0%B0%D0%B4%D1%8CКак видим, никаких ассоциаций с машиной тут нет.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 11:26
|
Автор: Bazist
Я храню индекс, который хранит информацию о каждом слове больше 2х символов.
|
|
Давате мы просто зафиксируем, что по либрусеку Ваша система не работает. А почему она не работает мне пофигу. Ответ я знаю - руки кривые у разработчика. Автор: Bazist
Давайте проверим.Как видим, никаких ассоциаций с машиной тут нет. |
|
Это говорит о нерелевантности Ваших индексов и всё. Если Вы не понимаете, что красная машина и красную машину - это одна и та же ассоциация, я Вам ничем помочь не смогу, дрочите на свой поиск, дальше ассоциации "лошадь сзади словно" Вы не продвинитесь.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 11:35
|
Автор: Egg
Давате мы просто зафиксируем, что по либрусеку Ваша система не работает.
А почему она не работает мне пофигу. Ответ я знаю - руки кривые у разработчика.
|
|
Либрусек весит 280 гб чистого текста в fb2 не меньше чем 5 языках. Словарь либрусека это 13 млн слов. Покажите не кривые руки при которых весь индекс либрусека у вас влезет в ОЗУ. Лол.
Это говорит о нерелевантности Ваших индексов и всё.
Если Вы не понимаете, что красная машина и красную машину - это одна и та же ассоциация, я Вам ничем помочь не смогу, дрочите на свой поиск, дальше ассоциации "лошадь сзади словно" Вы не продвинитесь.
|
|
Вы мне ничем не сможете помочь пока будет строить ошибочные выводы. Забиваем слово "красная" получаем "красная красный синяя зеленая" и др. Забиваем слово "машина" машина машины машину автомоби авто машине машин ездить Оба эти понятия прекрасно связываются. И окончания тут нипричем.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 11:39
Изменено: 10 сен 14 11:40
|
Автор: Bazist
Вы мне ничем не сможете помочь пока будет строить ошибочные выводы. |
|
Не хотите развиваться - Ваше право, счастливо оставаться, забивайте дальше.
|
|
|
|
| На: Пишу поисковый движок с элементами ИИ
Добавлено: 10 сен 14 11:43
|
Вообщем возвращаясь к примеру с лошадью, связи есть.
Осталось их только классифицировать. Сказать что лошадь к собчак имеет отношение как кличка.
К телеге имеет отношение как элемент работы. К корове имеет отношение как элемент такого же самого класса. К животным имеет отношение потому что относится к классу животных.
Пока я имею подозрения как определить связи синонимов. Дело в том, что одни и теже синонимы будут вести на одни и теже ассоциации. Например если мы забьем слово сентябрь, то получим 12 месяцев года. Но если забьем июнь то тоже получим 12 месяцев года. Получается что как никрути эти 12 названий в базе знаний формируют определенный обособленный кластер.
|
|
|
|