Полнофункциональный анализ спектра спектра.
Краткие и беглые выводы.---------------------------------------------
В классике над спектром делают Дискретное Косинусное Преобразование ДКП/(DCT)
Читать тутаКепстральные коэфы - есть ничто иное как 12 значений реализации кепстра.
Всего 12 - это классика.
По их значениям чего-то там распознают, запихивая их в нейронную сеть.
Результат плачевный.
Я предлагаю анализировать честный спектр спектра не на основе ДКП, а на основе того же Фурье.
И назвать это нармально, например "DublSpectrum".
В результате получается некая функция, у которой значений поболе, чем 12.
И вот её-то и надо с пристрастием анализировать.
См картинку.
Желтый график - это обычный спектр.
Голубой - DublSpectrum.
Что он кажет?
Левая часть всегда приподнята и от неё надо отступить пунктов 10 (см. верхнюю шкалу).
И анализировать область от 10 до 80.
Его главный локальный максимум в этой области показывает ЧОТ (Частоту Основного Тона).
Иногда локальных максимумов много, до 4 и более. Их тоже надо анализировать.
Выявленные закономерности:
1. Если основной локальный максимум несколько кадров подряд стоит на месте - это гласная буква
2. Резкие скачки локалного максимума по горизонтальной шкале - переходы в область без гласных.
Анализ этих переходов и то, что внутри - отдельная песня, пока не готов.
Какие параметры надо анализировать:
1. Количество локальных максимумов
2. Соотношение амплитуды главного и второстепенных
3. Слабые перемещения главного локального максимума - интонации
Какие закономерности эти параметры будут выявлять - это предмет исследования.
Заметьте, перечисленные параметры - это не массивы, а числа, с ними уже легче.
При всем при этом полная независимость от тона говорящего.
ч.т.д!!!!!
На данный момент с вдохновением заканчиваю возню и уезжаю в деревню!
Кому интересно, может скачать http://www.keklab.ru/buf/ai/Sound_Agent 2.8.6.zip -> прогу.
Как ей пользоваться во многом описано в начале ветки.
Отдельные нюансы объясню кому интересно. Сделал редактирование спектра в кадре ручками. Можно самому выстроить спектра или удалить лишнее и проиграть.
Буду условно доступен по почте.