4. Проведение экспериментальных исследований

4.1. Планирование эксперимента

Необходимо провести экспериментальное исследование адекватности и корректности представленного в работе метода и алгоритмов тематического анализа. Для каждого из них существуют свои особенности и условия, определяющие ход проведения эксперимента. Рассмотрим их подробнее.

1) Метод частотно-контекстной классификации тематики текста.

Само понятие тематики заведомо предполагает субъективный характер оценки получаемых результатов. Только человек может оценить, насколько тематика (машинное представление темы текста) адекватна теме текста (субъективному представлению пользователя о содержании текста). Также необходимо учитывать сильную зависимость от текста, адекватность и корректность выделения тематики можно оценить только по реальному тексту. Все это обуславливает характер и особенности экспериментальных исследований метода частотно-контекстной классификации тематики текста.

Единственно возможный способ прямой оценки результатов использования метода – это приведение примеров выделения тематики некоторых текстов с различными параметрами, используемыми при выделении тематики.

Кроме этого существует возможность косвенной оценки метода частотно-контекстной классификации на основе экспериментальных исследований алгоритма вычисления степени тематической принадлежности текста к образцу. Очевидно, что корректность вычисления тематической близости зависит от корректности выделения тематики. Рассмотрим один из вариантов оценки результатов вычисления тематической близости.

2) Алгоритм вычисления степени тематической принадлежности текста к образцу.

Корректность и адекватность данного алгоритма, а вместе с ним метода частотно-контекстной классификации тематики текста можно оценить по сходимости следующего условия:

,

(4.1)

w₃ стремится к 1, тогда и только тогда, когда модуль разницы w₁ и w₂ стремится к 0, где: w₁, w₂, w₃ – тематическая близость между текстами T₁, T₂, T₃.

На рис. 4.1 обозначено, каким парам текстов соответствует каждое w.

Рис. 4.1. Соответствие текстов и коэффициентов тематической близости

Смысл этого условия заключается в том, что тематически близкие тексты T₃ и T₂, будут одинаково тематически близки по отношению к T₁. Точнее сказать, чем выше тематическая близости текстов T₃ и T₂, тем меньше разница тематической близости этих текстов по отношению к T₁. 1 в нашем случае соответствует максимальному значению тематической близости.

На рис. 4.2 приведен график, соответствующий условию (4.1).

Рис. 4.2. График распределения величин тематической близости

Вычисляя w₁, w₂, w₃ для некоторой комбинации из трех документов, будем формировать распределение полученных величин в соответствии с осями графика (рис. 4.2). Результат сходимости идеального графика с графиком, полученным в результате экспериментальных исследований, будет характеризовать корректность предложенного в данной работе алгоритма вычисления степени тематической принадлежности текста к образцу, а вместе с ним и метода частотно-контекстной классификации тематики текста.

Вместе с тем, говорить о полной корректности и адекватности указанного выше метода и алгоритма по сходимости условия (4.1), безусловно, не правомерно, это всего лишь один из критериев. Критерий весьма показательный и наглядный, но, тем не менее, недостаточный. Дальнейшую проверку необходимо выполнять на основе конкретных величин, сравнивая вычисленные оценки тематической близости с экспертными оценками по некоторой заданной коллекции текстов. Такая проверка уместна и адекватна только в контексте проверки алгоритма поиска значений информационных признаков тематики текста, т.е. алгоритм вычисления степени тематической принадлежности текста к образцу и алгоритм поиска значений информационных признаков тематики текста необходимо оценивать вместе, одновременно. Сами по себе вычисленные значения тематической близости ни о чем не говорят, их необходимо сравнивать с экспертными оценками и на основе сравнения делать выводы о корректности представленного метода и алгоритмов.

3) Алгоритм поиска значений информационных признаков тематики текста.

Проверку данного алгоритма осуществим путем проведения нескольких серий экспериментов. Для каждой серии будут заданы экспертные оценки тематической близости некоторых текстов, по этим оценкам будет осуществлен подбор оптимальных параметров и последующее вычисление тематической близости текстов. После этого проанализируем полученные результаты.

4) Сравнение точности вычисления тематической близости.

Помимо проверки корректности и адекватности указанного выше метода и алгоритмов необходимо оценить их эффективность в сравнении с уже существующими подходами. Однако здесь существует ряд сложностей.

Сравнение алгоритма поиска значений информационных признаков тематики текста с аналогичным ему стандартным алгоритмом не представляется возможным в ввиду отсутствия последнего.

Сравнение эффективности выделения тематики также представляется затруднительным по уже перечисленным выше соображениям относительно исключительной субъективности самого понятия тематики.

Единственно приемлемым вариантом какой-то сравнительной оценки эффективности предложенного в данной работе метода и алгоритмов тематического анализа является сравнение точности вычислений тематической близости предложенным в работе алгоритмом с точностью вычислений, полученных стандартным способом.

Экспериментальные исследования будем проводить на заданной коллекции текстов, содержание текстов приводится в приложении.

Тексты именуются следующим образом:

В тестовой коллекции выделены следующие тематические группы:

Первые три группы тематически близки, объединяет их анализ творчества Александра Сергеевича Пушкина. Каждая отдельная группа имеет свою характерную тематическую направленность. Это необходимо, чтобы точнее оценить корректность вычисления тематической близости текстов.

Тексты 1,2,3-й группы сформированы на основе школьных сочинений по анализу творчества поэта. Тексты 4-й группы сформированы на основе обзорных статей по генетическим алгоритмам.

Характеристики текстов

Таблица 4.1

n(I) и n(F) приводятся с учетом предварительной подготовки текстов (с учетом исключения “стоп-слов” – союзов, местоимений и т.д.).

4.2. Результаты экспериментальных исследований метода частотно-контекстной классификации

4.2.1. Автоматизированное выделение тематики

Проведем серию экспериментальных исследований программной реализации представленного ранее метода частотно-контекстной классификации для случая, когда выделение тематики осуществляется системой самостоятельно (в отличие от режима дополнения множества ключевых слов заданных пользователем).

Далее в таблице приводятся списки слов и их веса (определяющие значимость данных слов в тематике), полученных в результате выделения тематики. Каждая таблица разделена на четыре столбца, в заголовке каждого из них параметры, использованные при выделении тематики.

Первый параметр соответствует порогу, используемому для выделения первичного набора ключевых элементов. Порог задается в процентах от максимально возможной частоты некоторого слова данного текста. Все информационные элементы, частота которых равна или превышает порог, входят в результирующую выборку.

Второй параметр – это окрестность, в которой происходит анализ контекста. На основе этой величины формируется набор уточняющих информационных элементов. В таблице приводится общее множество ключевых элементов, сформированное из первичного множества и уточняющего множества.

Пример задания параметров:

80, 0.

80 – процент от максимальной частоты, определяющий порог.

0 – окрестность.

Данный пример – это вариант стандартного выделения тематики, без учета уточняющего множества (т.к. окрестность равна 0).

Примечания:

- первое слово в списке соответствует наиболее часто встречающемуся слову в тексте, и его частота – соответствует максимальной частоте (относительно которой задается порог);

- особенность данной алгоритмической реализации предполагает исключение слов из результирующей выборки, если количество их повторений не превышало единицу.

Результат анализа текста 4_1.

Таблица 4.2

Результат анализа текста 4_1.

Таблица 4.3

Результат анализа текста 4_1.

Таблица 4.4

Результат анализа текста 1_1.

Таблица 4.5

Результат анализа текста 1_1.

Таблица 4.6

Результат анализа текста 1_1.

Таблица 4.7

4.2.2. Выделение тематики расширением первичного набора ключевых слов, задаваемых пользователем.

Данный вариант предполагает задание пользователем некоторого набора ключевых слов и расширение этого набора системой за счет контекстного анализа.

Вариант предусматривает работу как с отдельным документом, так и с обобщенным множеством тематически близких текстов. В этом случае каждый текст дополняет общую структурную модель M( I, R). Совокупность текстов образует общую структуру, и контекстный анализ осуществляется уже на основе общей информационной структуры.

В таблице приводятся списки ключевых слов, заданных пользователем, и списки, полученные в результате контекстного анализа обобщенного множества текстов.

Список ключевых слов, полученных в результате работы программы, вместе с их весами приводится справа от списка, заданного пользователем.

Результат анализа текстов: 4_1, 4_2, 4_3.

Таблица 4.8

Результат анализа текстов: 1_1, 1_2, 1_3, 2_1, 2_2, 2_3, 3_1, 3_2, 3_3.

Таблица 4.9

4.3. Результаты экспериментальных исследований алгоритма вычисления степени тематической принадлежности текста к образцу

Как было уже сказано выше, корректность вычисления тематической близости будем оценивать по сходимости условия 4.1.

В качестве тестовых текстов возьмем тексты групп 1, 2, 3. Кроме того, сформируем дополнительное множество тематически близких им текстов на основе конкатенации текстов из указанных групп (в результате получится множество тематически близких текстов). Это необходимо для получения достаточного количества комбинаций из трех текстов, позволяющих построить распределение вычисленных значений тематической близости.

Результаты распределения вычисленных значений приводятся ниже.

Также приводятся значения информационных признаков тематики – параметров, использованных при выделении тематики: p – порог (используемый при выделении ключевых слов), r – окрестность (на основе которой выполняется дополнение первичного множества ключевых слов).

По оси абсцисс будем откладывать , по оси ординат .

p = 80%, r = 5

Рис. 3.4. Распределение значений тематической близости

p = 70%, r = 10

Рис. 3.5. Распределение значений тематической близости

p = 60%, r = 5

Рис. 3.6. Распределение значений тематической близости

p = 60%, r = 0

Рис. 3.7. Распределение значений тематической близости

p = 60%, r = 20

Рис. 3.8. Распределение значений тематической близости

Как видно из полученных результатов, условие (4.1) действительно выполняется.

4.4. Результаты экспериментальных исследований алгоритма поиска значений информационных признаков тематики текста

Проведем N серий экспериментов программной реализации алгоритма поиска значений информационных признаков тематики текста.

В каждой серии зададим некоторые экспертные оценки, и затем на основе найденных значений вычислим тематическую близость документов.

В таблице 4.10 приведены экспертные оценки для каждой серии экспериментов.

В таблице 4.11 приведены результаты вычисленных оценок тематической близости.

Экспертные оценки.

Таблица 4.10

Вычисленные оценки.

Таблица 4.11

В таблице 4.11 приведены результаты экспериментальных исследований.

Для каждой серии определены оптимальные параметры (значения информационных признаков тематики текста) и на основе этих параметров, выполнено выделение тематики и расчет тематической близости (с учетом масштабирующего коэффициента).

Для каждой серии определен текст-образец, относительно которого выполняется вычисление тематической близости. Для серии 1, 2 – это 1_2, для серии 3,4 – это 1_1, для серии 5,6 – это 2_1, для серии 7,8 – это 3_1. Таблицы 4.10 и 4.11 соотносятся между собой.

В заголовке таблице 4.11 по горизонтали перечислены тексты, анализируемые на тематическую близость с текстом образцом. На пересечении ячеек текста образца и текста, анализируемого на тематическую близость, – вычисленная оценка тематической близости.

Можно обратить внимание, что вычисленная оценка практически идентична оценке, заданной экспертом, diff определяет ошибку, чем меньше diff, тем меньше разница между вычисленными оценками и оценками, заданными экспертом. Величина diff характеризует точность подбора параметров, и, соответственно, характеризует все последующие вычисления по заданным параметрам.

Качество и корректность тематического анализа, можно определить на основе анализа таблицы 4.11.

Рассмотрим следующие характерные закономерности, присутствующие в приведенных результатах:

1) Сходимость оценок на произвольных текстах.

Оценки тематической близости сходятся не только для тех текстов, которые предварительно использовались для задания экспертной оценки, но и на произвольных текстах, которые впоследствии анализировались на тематическую близость с текстом образцом.

Рассмотрим подробнее серию 1 и 2.

Для серии 1 первоначально были заданы экспертные оценки между текстами 1_2, 1_1, 1_3.

Соответственно экспертная оценка близости для 1_2 - 1_1 равнялась 0.6 и 1_2 - 1_3 равнялась 0.6.

Вычисленная оценка для тех же самых документов идентична экспертной оценке, но данный критерий еще не является показателем качества и корректности, интересно проследить, как будут себя вести вычисленные оценки для других документов. Рассмотрим внимательно остальные оценки данной серии. Сказать что-то относительно правильности их значений затруднительно, так как сложно оценить с такой точностью представленные тексты и сказать, насколько корректны вычисленные результаты. Можно лишь с некоторой степенью достоверности предположить, что оценки близки к ожидаемым. Существует другой способ оценки корректности.

В приведенной серии экспертные оценки выполнены для текстов из одной тематической подгруппы. Эксперт, по сути, задает меру тематической близости, и остальные оценки из других тематических подгрупп, по отношению к 1_2 отражают мнение эксперта. Проведем обратный эксперимент. Выберем в качестве экспертных оценок вычисленные значения, определим оптимальные параметры и получим уже вычисленные оценки для текстов ранее оцениваемых экспертом. По их разнице можно определить корректность алгоритма. Серия 2, по сути, отражает такой эксперимент.

В качестве экспертных оценок данной серии выбраны ранее вычисленные значения, затем определены оптимальные параметры и вычислены оценки для всей серии.

Также организованны и другие серии.

Можно видеть, что оценки практически идентичны. Это является одним из косвенных свидетельств корректности разработанного в работе метода и алгоритмов тематического анализа.

2) Сходимость оценок в различных сериях.

Из таблицы 4.11 выделен фрагмент, рассмотрим его подробнее:

В серии 1 существует вычисленная оценка для 1_2 – 2_1, она равна 0.12

В серии 5 существует вычисленная оценка 2_1 – 1_2, она равна 0.13

Для этих двух серий существует совершенно независимые оценки тематической близости этих текстов, как видно, они практически совпадают.

Вычислим ошибку:

m = | 0.12 – 0.13 | = 0.01

Рассмотрим другие независимые оценки:

1_2 – 1_3 и 3_1 – 1_2

m = | 0.46 – 0.38 | = 0.08

1_1 – 3_1 и 3_1 – 1_1

m = | 0.56 – 0.64 | = 0.08

Полученная ошибка не превышает 0.08, если принять за 1 максимально возможную погрешность, то ошибка составляет 8% - это очень точный и качественный результат для подобного рода вычислений.

В совокупности по рассмотренным выше закономерностям можно сделать вывод о корректности и высокой точности, разработанного в работе метода и алгоритмов тематического анализа.

4.5. Результаты экспериментальных исследований сравнения точности вычисления тематической близости.

Проведем серию вычислений тематической близости предложенным в данной работе алгоритмом вычисления тематической близости и сравним полученную точность с точностью вычислений, полученных одним из традиционных способов.

В большинстве информационно-поисковых систем традиционным способом вычисления меры близости векторов является использование косинуса угла, определяемого через скалярное произведение векторов [8]:

,

где и - сравниваемые вектора.

После нормировки и по единице выражение можно переписать в виде .

При сравнении точности будем руководствоваться следующими соображениями.

Существует объективная сложность оценки точности вычислений тематической близости, т.к. отсутствуют эталонная мера тематической близости, с которой можно было бы сравнить вычисленные значения. Тем не менее, существует задача оценки точности вычислений, полученных одним способом вычислений в сравнении с другим. Было принято решение использовать косвенную оценку точности вычислений по чувствительности алгоритма расчета тематической близости. В данном контексте чувствительность – мера изменения тематической близости произвольного текста по отношению к тексту-образцу, при внесении в произвольный текст некоторого изменения.

Допустим, у нас есть оценка тематической близости произвольного текста к тексту-образцу, пусть сравниваемые тексты одинаковы, тогда оценка тематической близости текста по отношению к самому себе равна 1. Теперь внесем изменение в текст, сохранив предварительно его оригинал, например, исключим из текста каждое n-е слово. После такого изменения снова вычислим тематическую близость полученного в результате изменения текста по отношению к тексту-оригиналу, выступающему в качестве образца. В результате вычисления мы получим некоторое новое значение тематической близости w, очевидно, что это новое значение будет меньше 1, т.к. тематика изменилась (или равно 1, если данный способ вычисления не чувствителен к данному изменению). Отношение w / 1 или просто w, определяет величину чувствительности. Обозначим ее S, и запишем как:

, ,

(4.2)

Чувствительность тем больше, чем меньше величина тематической близости после некоторого изменения текста. Очевидна, в этом случае зависимость чувствительности от изменения, вносимого в текст. Сама по себе эта величина не представляет интереса, т.к. она зависит от текста и от изменений вносимых в него. Однако ее можно сравнивать с чувствительностью, полученной для другого способа вычисления тематической близости при тех же условиях – на том же тексте, с тем же изменением.

Величину сравниваемой чувствительности можно записать как:

,

(4.3)

где: S и S’ – чувствительности, полученные разными способами вычисления тематической близости. Величина показывает, на сколько чувствительность способа используемого при вычислении S больше чувствительности способа используемого при вычислении S’. Подставляя в формулу (4.3), формулу (4.2), запишем:

,

.

Проведем серию вычислений при различных изменениях вносимых в текст, среднее будет характеризовать точность одного способа в сравнении с другим.

Далее приводятся результаты вычислений для нескольких текстов. Обозначения:

w – величина тематической близости полученная предложенным в данной работе алгоритмом вычисления тематической близости;

w’ – величина тематической близости полученная в результате вычисления скалярного произведения векторов, .

Текст 1_1.

Параметры, использованные при выделении тематики:

p = 50%, r = 0.

Численные значения 2, 3, ..., 10 характеризуют изменения, вносимые в текст. Число соответствует исключению из текста каждого n – го слова.

Таблица 4.12

	2	3	4	5	6	7	8	9	10
w	0.36	0.6	0.57	0.7	0.62	0.76	0.65	0.86	0.84
w’	0.95	1	0.91	1	0.91	1	0.91	1	1
	0.59	0.4	0.34	0.3	0.29	0.24	0.26	0.14	0.16

Текст 3_2.

p = 30%, r = 0.

Таблица 4.13

	2	3	4	5	6	7	8	9	10
w	0.45	0.33	0.73	0.69	0.72	0.68	0.82	0.76	0.78
w’	0.91	0.51	0.96	0.9	0.97	1	0.92	0.88	1
	0.46	0.18	0.23	0.21	0.25	0.32	0.1	0.12	0.22

Текст 3_1.

p = 30%, r = 0.

Таблица 4.14

	2	3	4	5	6	7	8	9	10
w	0.35	0.42	0.57	0.7	0.75	0.8	0.77	0.86	0.82
w’	0.86	0.65	0.84	0.92	0.94	1	0.93	1	1
	0.51	0.23	0.27	0.22	0.19	0.2	0.16	0.14	0.18

Теперь можно подсчитать среднее по всем текстам. При этом стоит учитывать один момент. Все , рассчитанные при w’ = 1, не достаточно корректно отражают измерение чувствительности, т.к. 1 означает, что данный способ не смог зафиксировать изменение тематики (при данной модификации текста). Сравнение с ним чувствительности другого способа, в этом случае, не корректно. При вычислении среднего будем учитывать только те измерения, когда w’ < 1.

Полученное среднее значение = 0.28, если принять за 1 максимально возможное , то % = 28%.

Таким образом, косвенная оценка представленного в данной работе алгоритма вычисления тематической близости по сравнению со стандартным способом расчета, характеризует повышение точности приблизительно на 28%.

4.5. Выводы

Результаты экспериментальных исследований успешно подтвердили выдвинутые ранее теоретические положения. Тестирование программной реализации разработанного метода и алгоритмов показало высокую точность и корректность полученных значений.

Вместе с тем, стоит отметить сложность оценки полученных результатов, и значительное влияние субъективной составляющей, присутствующей при оценке. Отчасти это вызвано характером и особенностью решаемых в данной работе задач, отчасти отсутствием формализованных методик оценки подобных исследований. Разработка таких методик может значительно упростить анализ результатов и однозначно определить их корректность и точность.

Предыдущая

Содержание

Следующая