ЛабАЕК: Лабораторія Акустичної Експертизи та Корекції

Лабораторія акустичної експертизи та корекції
Проект: “Методи оцінювання якості акустичних сигналів”

Куратори 1-го та 2-го етапів проекту: проф. А.Продеус, PhD Д.Паренюк

Активні учасники проекту: аспіранти, магістранти 1-2 років навчання

Актуальність та мета проекту. Якість акустичних  (мовленнєвих або музичних) сигналів на виході ліній зв’язку або інших каналів передачі інформації зазвичай визначають, порівнюючи звучання даного сигналу із еталонним. Є два підходи до оцінювання якості акустичних сигналів: суб’єктивний та об’єктивний. Суб’єктивний підхід полягає у звичайному прослуховуванні й потребує багато людських, часових та матеріальних ресурсів – 3-5 дикторів та стільки ж слухачів на протязі кількох тижнів вимушені спілкуватися із використанням ліній зв’зку або їх моделей. Об’єктивний підхід є порівняно швидким та дешевим, оскільки може бути виконаним однією людиною (інженером-звукотехніком), потребує небагато часу та якоїсь кількості апаратного та програмного забезбечення.
Здавалося б, інженерам треба обмежитися використанням об’єктивного підходу. Проте тут є одна проблема: сьогодні нараховувується кілька тисяч об’єктивних показників якості сигналів – від простеньких до дуже складних. Й результати використання об’єктивних показників якості не завжди добре узгоджуються між собою, а головне – не завжди добре узгоджуються із результатами прослуховування, яким ми все ж таки довіряємо більше.
Тому завдання вивчення узгодження об’єктивних та суб’ективних показників якості акустичних сигналів є актуальним, оскільки його успішне розв’язання дозволило б перераховувати результати об’єктивного оцінювання в результати суб’єктивного оцінювання.

Перспективи проекту:

Об’єктивні (інструментальні) методи оцінювання якоісті мовленнєвих або музичних  сигналів є швидкими та відностно дешевими (порівняно із суб’єктивними методами). Вони потрібні фахівцям-зв’язківцям, архітекторам, будівельникам, звукорежисерам, музикантам та менеджерам з організації концертів. Тому дуже корисним є вміння знайти правильний показник якості акустичних сигналів та швидко налагодити обладнання для його вимірювання, а потім перевести результати вимірювань в шкалу суб’єктивного оцінювання. Даний проект не тільки допомагає студентам розвинути риси дослідника та інженера, але й може бути використаним при створенні реального обладнання для акустичної експертизи.

Технічне завдання до 1-го та 2-го етапів:

Проект, загалом, складається із 4-х етапів: перші два етапи присвячені оцінюванню якості мовленнєвих сигналів, а наступні два – оцінюванню якості музичних сигналів. Метою 1-го етапу є створення комп’ютерної програми для автоматизації суб’єктивного оцінювання якості мовленнєвих сигналів та використання цієї програми для суб’єктивного оцінювання якості сигналів, в залежності від смуги частот, що займають ці сигнали. Метою другого етапу є обчислення двох простих об’єктивних показників якості мовленнєвих сигналів – сегментного відношення сигнал-шум (SSNR) та логарифмічного спотворення спектру (LSD) – та спіставлення їх із результатами суб’єктивного оцінювання якості сигналів.

1-й етап. Розробити комп’ютерну програму в середовищі Matlab для автоматизації суб’єктивного оцінювання якості мовленнєвих сигналів, в залежності від смуги пропускання df акустичного тракту. Частота дискретизації Fsакустичних сигналів 22050 Гц, глибина лінійного квантування 16 біт. Параметр df є смугою пропускання низькочастотного нерекурсивного фільтру, реалізованого із використанням фільтру Ремеза, що має АЧХ із нерівномерністю 1 дБ в смузі пропускання та мінус 70 дБ в смузі заглушення та шириною перехідної зони 0,15df. Значення параметру df = 500:500:10500 Гц, міняти при прослуховуванні випадковим чином.

Увага! Прослуховування мовленнєвих сигналів виконувати за допомогою навушників – це підвищить достовірність одержаних результатів

Оцінювання якості здійснювати шляхом порівняння звучання сигналу y(t) на виході НЧ фільтра із звучанням еталонного сигналу x(t) на вході фільтра (рис. 1), із використанням 5-бальної шкали (шкала MOS). Припустимими є дробові значення оцінки (наприклад, 3.7 – три цілих та сім десятих). Результати оцінювання, що мають вигляд функціональної залежності MOS(df), виводяться на графік та записуються на диск у вигляді файлу-структури (такий файл має розширення mat). Ім’я файлу при цьому складається із двох частин, що розділені знаком підкреслювання: перша частина є іменем звукового файлу, друга є прізвищем виконавця (наприклад: man1_Ivanov). Одержані графіки також рекомендується записати на диск у вигляді графічного файлу із розширенням bmp із таким же ім’ям. Файли mat потрібно передати куратору проекту для подальшої обробки (усереднення результатів за кількістю виконавців). Для зручності пересилки файлів електронною поштою прохання всі файли (таких повинно бути 8 – чотири для дикторів-дівчат та стільки ж для дикторів-хлопців) стиснути в один архівний файл, ім’ям якого є прізвище студента-виконавця. Графічні файли  із розширенням bmp потрібно включити в звіт, де супроводити коментарями.

Рис.1

2-й етап. Обчислення двох простих об’єктивних показників якості мовленнєвих сигналів – сегментного відношення сигнал-шум (SSNR) та логарифмічного спотворення спектру (LSD) – та спіставлення їх із результатами суб’єктивного оцінювання якості сигналів.

Обчислення виконуються за програмами, що додаються (запуск обчислень виконується із програми obj_quality.m). Приблизний час обчислень складає 20 хвилин.

Спіставлення результатів суб’єктивного та об’єктивного оцінювання виконується 2-ма способами.

• Спосіб 1: обчислення коефіцієнтів кореляції між результатами суб’єктивного (показник MOS) та об’єктивного (показники SSNR та LSD)  оцінювання якості мовленнєвих сигналів (комп’ютерну програму таких обчислень напишіть самостійно та додайте до свого звіту!).
• Спосіб 2: побудова карт зв’язку суб’єктивного та об’єктивного показників у вигляді залежностей MOS(SSNR) та MOS(LSD) та обчислення коефіцієнтів регресії для одержаних карт зв’язку (комп’ютерну програму побудови карт зв’язку та обчислень коефіцієнтів регресії напишіть самостійно та додайте до свого звіту!).

Зазначені обчислення проводити для 3-х ситуацій:

• усереднені дані для дикторів-дівчат;
• усереднені дані для дикторів-хлопців;
• усереднені дані для всіх дикторів.

Зробити загальні висновки за результатами роботи. Оформити та захистити звіт з РГР на тему “Методи оцінювання якості мовленнєвих сигналів”.

Програмне забезпечення до 1-го етапу:

Еталонні звукові файли
Програми для суб’єктивного оцінювання якості спотворених сигналів

(Містяться на Гугл-диску в Гугл-класі)

Програмне забезпечення до 2-го етапу:

Програми для об’єктивного оцінювання якості спотворених сигналів (містяться на Гугл-диску в Гугл-класі)

Порядок виконання 1-го та 2-го етапів:

Старт проекту (видача Технічного завдання)
Передача куратору проекту результатів виконання 1-го етапу
Передача куратору проекту результатів виконання 2-го етапу
Початок захисту РГР
Кінець захисту РГР, кінець проекту

Результати виконання 1-го та 2-го етапів проекту:

За результатами виконання проекту оформлено спільну статтю, яку подано для опублікування в журнал “Електроніка та зв’язок”

Опубліковану статтю можна вивантажити за цим посиланням.

Куратори 3-го та 4-го етапів проекту: проф. А.Продеус, PhD Д.Паренюк

Активні учасники проекту: аспіранти, магістранти 1-2 років навчання

Технічне завдання до 3-го та 4-го етапів:

Дана частина проекту також складається із 2-х етапів. Відмінність лише в тому, що аналізу підпорядковуються не мовленнєві, а музичні сигнали. Метою 3-го етапу є створення комп’ютерної програми для автоматизації суб’єктивного оцінювання якості музичних сигналів та використання цієї програми для суб’єктивного оцінювання якості сигналів, в залежності від смуги частот, що займають ці сигнали. Метою 4-го етапу є обчислення двох простих об’єктивних показників якості сигналів – сегментного відношення сигнал-шум (SSNR) та логарифмічного спотворення спектру (LSD) – та спіставлення їх із результатами суб’єктивного оцінювання якості сигналів.

3-й етап. Розробити комп’ютерну програму в середовищі Matlab для автоматизації суб’єктивного оцінювання якості музичних сигналів, в залежності від смуги пропускання df акустичного тракту. Частота дискретизації Fs акустичних сигналів 44100 Гц, глибина лінійного квантування 16 біт. Параметр df є смугою пропускання низькочастотного нерекурсивного фільтру, реалізованого із використанням фільтру Ремеза, що має АЧХ із нерівномерністю 1 дБ в смузі пропускання та мінус 70 дБ в смузі заглушення та шириною перехідної зони 0,15df. Значення параметру df = 0:1000:21000 Гц, міняти при прослуховуванні випадковим чином.

Увага! Прослуховування сигналів виконувати за допомогою навушників – це підвищить достовірність одержаних результатів

Оцінювання якості здійснювати шляхом порівняння звучання сигналу y(t) на виході НЧ фільтра із звучанням еталонного сигналу x(t) на вході фільтра (рис. 1), із використанням 5-бальної шкали (шкала DMOS). Припустимими є дробові значення оцінки (наприклад, 3.7 – три цілих та сім десятих). Результати оцінювання, що мають вигляд функціональної залежності MOS(df), виводяться на графік та записуються на диск у вигляді файлу-структури (такий файл має розширення mat). Ім’я файлу при цьому складається із двох частин, що розділені знаком підкреслювання: перша частина є іменем звукового файлу, друга є прізвищем виконавця (наприклад: class1_Ivanov). Одержані графіки також рекомендується записати на диск у вигляді графічного файлу із розширенням bmp із таким же ім’ям. Файли mat потрібно передати куратору проекту для подальшої обробки (усереднення результатів за кількістю виконавців). Для зручності пересилки файлів електронною поштою прохання всі файли (таких повинно бути 8 – чотири для класичної музики та стільки ж для популярної музики) стиснути в один архівний файл, ім’ям якого є прізвище студента-виконавця.

Зауваження: комп’ютерну програму, музичні файли та інструкцію у вигляді файлу README Subject DMOS.docx можна одержати, зкачавши та відкривши архіви, розміщені на Гугл-диску в Гугл-класі.

4-й етап. Обчислення об’єктивних показників якості сигналів – сегментного відношення сигнал-шум (SSNR), логарифмічного спотворення спектру (LSD), частотно-зваженого сегментного відношення сигнал-шум (fwSSNR), барк-спектральний спотворень (BSD) та перцептуальної оцінки якості мовлення (PESQ) – та спіставлення їх із результатами суб’єктивного оцінювання якості музичних сигналів.

Обчислення виконуються за програмами, що створюються шляхом перероблення відповідної програми для аналізу мовленнєвих сигналів (дивись 2-й етап даного проекту та відповідне програмне забезпечення).

Спіставлення результатів суб’єктивного та об’єктивного оцінювання виконується 2-ма способами.

• Спосіб 1: обчислення коефіцієнтів кореляції між результатами суб’єктивного (показник DMOS) та об’єктивного (показники SSNR, LSD, fwSSNR, BSD, PESQ)  оцінювання якості акустичних сигналів (комп’ютерну програму таких обчислень напишіть самостійно).
• Спосіб 2: побудова карт зв’язку суб’єктивного та об’єктивного показників у вигляді залежностей DMOS(SSNR), DMOS(LSD), DMOS(fwSSNR), DMOS(BSD), DMOS(PESQ) та обчислення коефіцієнтів регресії для одержаних карт зв’язку (комп’ютерну програму побудови карт зв’язку та обчислень коефіцієнтів регресії напишіть самостійно).

Зазначені обчислення проводити для ситуацій:

• усереднені дані для кожного з творів класичної музики;
• усереднені дані для кожного з творів популярної музики;
• усереднені дані для кожного з творів джазової музики;
• усереднені дані для кожного з творів рок музики;
• усереднені дані для творів кожного із 4-х жанрів;
• усереднені дані для всіх музичних файлів.

Зробити загальні висновки за результатами роботи. Оформити статтю на тему “Методи оцінювання якості музичних сигналів”.

Порядок виконання 3-го та 4-го етапів:

Старт проекту (видача Технічного завдання)
Передача кураторам проекту результатів виконання 3-го етапу
Передача кураторам проекту результатів виконання 4-го етапу
Початок захисту проекту
Кінець захисту проекту

Література:

1. Prodeus A. Reducing Sensitivity of Segmental Signal-to-Noise Ratio Estimator to Time-Alignment Error. International Journal of Electrical and Electronic Science. – August 20, 2015. – Vol. 2(2). – P. 31-36 (російськомовний текст ви знайдете тут)
2. К.С. Замша, Б.В. Лозинский, Ю.А. Митяй, Е.С. Степановская, А.Н. Продеус. Объективное и субъективное оценивание качества речевых сигналов с ограниченной полосой частот. – Electronics and Communications, Vol. 21, № 1(90), 2016. – P. 18-26