[:uk]

Лабораторія акустичної експертизи та корекції
Проект: “Дослідження факторів, що неявним чином впливають на розбірливість мови”

Куратори проекту:

магістр 1-го року навч. Олександр Дворнік (alexanderdvornyk@gmail.com)
магістр 2-го року навч. Ксенія Бухта (k.kangrem@gmail.com)
аспірант Ігор Котвицький (igorktvzk@gmail.com)
проф. Аркадій Продеус (aprodeus@gmail.com)

Активні учасники проекту: студенти 3-го року навчання

Актуальність та мета проекту. Виконання попереднього проекту “Автоматизація суб’єктивного оцінювання розбірливості мовлення” показало, що прослуховування тестових сигналів на навушники та через акустичні монітори (комп’ютерні колонки) може призводити до суттєво різних результатів. Так, наприклад, коли сигнал маскувався інтенсивним шумом (відношення сигнал-шум сягало мінус 10 дБ), розбірливість мови при прослуховуванні через навушники становила лише 10-30%, тоді як прослуховування в кімнаті через акустичні монітори дозволило підвищити розбірливість до 80%-90%. Аналогічні результати одержано й для ревербераційної завади.

Ці результати є одночасно очікуваними й неочікуваними.

Очікуваними, оскільки при оцінюванні розбілривості мови суттєву роль відіграють такі фактори:

  • ранні відбиття звуку від стін, стелі й підлоги приміщення, в якому були розташовані акустичні монітори;
  • якість дикторської вимови;
  • якість слухової системи слухача.

Але зазначені результати є неочікуваними в тому сенсі, що ступінь підвищення розбірливості  виявилася напрочуд високою…

Тому головна мета даного проекту полягає в проведенні досліджень, спрямованих на висвітлення зазначеного питання. Для якісного розв’язання поставленого завдання важливо забезпечити достовірність результатів оцінювання – а це можливо лише за умови участі в проекті досить великої кількості слухачів тестових сигналів. Тому до участі в проекті запрошуються всі студенти 3-го року навчання, а також аспіранти.

Перспективи проекту:

Даний проект є першою частиною розрахунково-графічної роботи (РГР) дисципліни “Методи обробки акустичних сигналів” (другою частиною РГР є проект “Оцінювання якості музичних сигналів, спотворених мікрофонними масивами”).

В результаті виконання даного проекту студенти:

  • ознайомляться із засадами артикуляційного методу оцінювання розбірливості мовлення, спотвореного шумом та реверберацією;
  • ознайомляться із програмним забезпеченням, яке дозволяє автоматизувати процедуру артикуляційних випробувань;
  • навчаться застосовувати рекурсивні цифрові фільтри для вимірювання імпульсної характеристики приміщення із застосуванням спеціальної комп’ютерної програми Matlab;
  • навчаться аналізувати структуру імпульсної характеристики приміщення, знаходячи місцезнаходження ранніх відбиттів та границю між ранньою та пізньою реверберацією за допомогою спеціальних обчислювальних методів та відповідних комп’ютерних програм;
  • навчаться застосовувати нерекурсивні цифрові фільтри для синтезу забарвлених шумів;
  • навчаться синтезувати адитивну суміш сигналу й шуму із заданим відношенням сигнал-шум;
  • проведуть оцінювання порогової тональної аудіограми для визначення якості власної слухової системи;
  • проведуть оцінювання якості дикторської мови.

Даний проект також дозволяє зробити певний реальний внесок у розвиток системи вітчизняних державних стандартів, які потрібні фахівцям-зв’язківцям, архітекторам, будівельникам та спеціалістам із захисту інформації від витоку.

Технічне завдання:

1. Постановка завдання. Оцінювання розбірливості мовлення виконується студентами шляхом прослуховування трьох таблиць звукосполучень. Кожна таблиця містить 50 таких звукосполучень. Після запуску спеціальної комп’ютерної програми студенту пропонується прослухати кожне звукосполучення та ввести в комп’ютер за допомогою клавіатури почуте звукосполучення. Після прослуховування кожної таблиці автоматично підраховується процент правильно почутих звукосполучень.

Для одного і того ж набору таблиц, що прослуховуються, експеримент виконується двічі:

  • Шляхом прослуховування через навушники;
  • Шляхом прослуховування через комп’ютерні монітори (або інший різновид акустичних систем типу 2.0).

Одержані результати слід порівняти між собою та перевірити, чи дійсно розбірливість мови при використанні акустичних моніторів є більшою, а якщо так – то наскільки більшою. Це – головне завдання.

Тепер про деталі. Студент прослуховує мовні сигнали для трьох випадків:

  • чистий мовний сигнал;
  • мовний сигнал, спотворений шумом;
  • мовний сигнал, спотворений реверберацією.

В першому випадку студент оцінює розбірливість чистої мови. Крім того, оцінюється якість дикторської вимови за 5-бальною системою:

  • 5 балів – чудова вимова;
  • 4 бали – хороша вимова;
  • 3 бали – посередня вимова;
  • 2 бали – погана вимова;
  • 1 бал – даже погана вимова.
Зазначимо, що при оцінюванні якості дикторської вимови дозволяеться ставити дробові оцінки, наприклад, 3.7 (в Matlab’і вимагається використовувати точку як роздільний знак між цілою та дробовою частинами числа). У випадках, коли якість дикторської вимови оцінити важко або й неможливо (наприклад, при відношеннях сигнал-шум -15 дБ), можна замість оцінки натискувати клавішу “пробіл”.
За такою ж 5-бальною системою після прослуховування кожної таблиці слуха має оцінити якість власного психофізичного стану.
При прослуховуванні сигналів, спотворених шумовими завадами (білий, рожевий та коричневий шум), студент оцінює розбірливість мови для таких значень відношення сигнал-шум: -15, -5, +5 дБ.
При прослуховуванні сигналів, спотворених реверберацією, студент оцінює розбірливість мови для таких значень часу реверберації: 0.3, 1.1,  2.7 секунди.
Слід враховувати, що загальний час прослуховувань є досить великим й сягає приблизно 6-7 годин, оскільки прослуховування проводяться для різних умов спотворення мовних сигналів шумом та реверберацією. Проте лякатися не слід – дійсно, якщо в день витрачати на виконання проекту 30 хвилин, роботу можна закінчити протягом 2-х тижнів.

2. Комп’ютерні програми для Matlab

Головних програм всього дві:

1) table_reading_assist_2018.m – дана програма, запуском якої розпочинається експеримент, дозволяє автоматизувати оцінювання розбірливості мови за результатами прослуховування 3-х наборів (таблиць) звукосполучень в різноманітних шумових та ревербераційних умовах;

2) rzlts_processing.m – програма призначена для обробки результатів досліджень, отриманих в процесі експерименту.

Допоміжні програми:

1) assistant.m – програма-функція, призначена для контролю за повнотою виконання поставленного завдання;

2) distorSystem.m – програма-функція, призначена для контрольованого спотворення мовних сигналів шумом та реверберацією.

3) vad_LP.m – детектор голосової активності;

4) filter_band_7_func.m – гребінка із 7 смугових октавних фільтрів для створення забарвлених шумів.

3. Вхідні та вихідні дані до комп’ютерних програм

Вхідні дані:

1) номери 3-х таблиць для прослуховування (одержуються від викладача);

2) еталонні таблиці із текстовими даними та таблиці із звуковими даними – таблиці із текстовими даними іменуються як rfr_table_N_1.mat, rfr_table_N_2.mat, rfr_table_N_3.mat, де N – номер таблиці, а таблиці із звуковими даними іменуються як wav_table_N.mat;

3) noises_table.mat – файл-набір із 5-секундними відрізками білого, рожевого та коричневого шумів;

4) rirs_table.mat – файл-набір із 7 зразками імпульсних характеристик приміщень із часом реверберації від 0.3 с до 2,7 с.

Примітка: комп’ютерні програми та вхідні дані до них містяться в архівному файлі (одержується в кураторів проекту):

Project_2018.zip

Вихідні дані:

Одержані результати обчислень (вихідні дані) містяться у спеціальній автоматично створеній папці ResultsHP_Lastname (HP – Headphone, тобто для випадку навушників) та в папці ResultsAS_Lastname (AS – acoustic system; Lastname – прізвище студента). В кожній із цих папок містяться три папки з іменами Group1 (містить 3 файли результатів), Group2 (27 файлів), Group3 (9 файлів).

Тривалість експерименту:

Оскільки експеримент проводіться двічі (навушники, акустичні монітори), в кожній із папок ResultsHP_Lastname та ResultsAS_Lastname буде міститися по 39 файлів – всього маємо 78 файлів.

На одержання кожного файлу потрібно не більше 5 хвилин, тому неважко підрахувати, що загальна тривалість обох частин експерименту не перевищує 6-7 годин.

УВАГА! Не бійтеся перериватися протягом експерименів, якщо зморилися – програма assistent.m автоматично прослідкує, щоб всі досліди були виконані в повному обсязі!

Більш того – періодичний відпочинок хоча б на 10-15 хвилин є бажаним, оскільки дозволяє відновити чутливість вашої слухової системи.

4. Обробка вихідних даних та передача результатів викладачу

Після закінчення прослуховування таблиць, програмою rzlts_processing.m треба обробити одержані результати, що містяться в папках ResultsHP_Lastname та ResultsAS_Lastname. Після такої обробки в цих папках з’явиться ще один файл з ім’ям mean_rezults.mat, де містяться усереднені (по трьом таблицям, що прослуховувалися) результати, а на моніторі комп’ютера буде відображено низку графіків.

Ці графіки треба зберегти на диску комп’ютера в папках ResultsHP_Lastname та ResultsAS_Lastname, а також вставити у звіт, котрий треба роздрукувати та здати викладачу на перевірку для оцінювання виконаної роботи.

Разом із звітом викладачу та іншим кураторам проекту потрібно передати (флешкою або електронною поштою) зархівовані папки ResultsHP_Lastname та ResultsAS_Lastname із результатами дослідів, а також wav-файл із записом імпульсної характеристики приміщення, в якому виконувався експеримент (wav-файл має бути довжиною 3-4 с, його доцільно перед архівуванням розмістити у папці ResultsAS_Lastname).

5. Захист роботи

Проект має буде захищено кожним студентом.

Оцінки за звіт та за захист звіту є важливим внеском в результати семестрової атестації стентів та аспірантів.

Найчастішим запитанням від виконавців проекту є наступне: Що має бути в звіті, окрім отриманих графіків?

Відповідаємо:

1. Актуальність завдання, що розв’язується (кому і навіщо це потрібно?)

2. Опис організації досліджень. Коротше – для слухання через навушники, детальніше – для слухання через акустичну систему:

  • план та розміри кімнати;
  • розташування акустичної системи, відстані між колонками та слухачем;
  • меблі в кімнаті;
  • графік імпульсної характеристики кімнати та її аналіз (моменти появи та амплітуди ранніх відбиттів, границя між ранньою та пізньою реверберацією).

3. Результати обробки (графіки) та їх коментарі, де треба вказати, чи узгоджуються одержані результати із тими, що наведені в літературі, а також спроба пояснити узгодження (або відсутність такого).

4. Висновки за результатами роботи: 1) що зроблено в роботі; 2) які неочікувані або очікувані результати одержано; 3) де і для чого можна застосувати результати проведеної роботи; 4) що надалі треба ще додатково зробити або покращити?

5. Якщо пропонуєте конкретні покращення (організація досліджень, комп’ютерні програми) – додайте їх із своїми коментарями.

Етапи виконання проекту:

Старт проекту (видача Технічного завдання)
Передача результатів кураторам проекту
Кінець проекту (оформлення звіту про одержані результати)

Результати проекту:

За результатами виконання проекту буде написано кілька статей, де авторами будуть вказані найбільш активні студенти.

В наведеному нижче переліку літератури міститься інформація, необхідна (але не достатня, як кажуть математики) для написання зазначених статей.

Після написання цих статей, їх буде додано до наведеного переліку із відповідними позначками.

Презентацію до даного проекту можна завантажити тут.

Література:

  1. Дидковский В.С., Дидковская М.В., Продеус А.Н. Акустическая экспертиза каналов речевой коммуникации. Монография. – Киев, “Имекс-ЛТД”, 2008. – 420 с.
  2. Yang, W. and Bradley, J. (2009), “Effects of room acoustics on the intelligibility of speech in classrooms for young children,” J. Acoust. Soc. Am. 125 (2), P. 922–933.
  3. J. Bradley, H. Sato, M. Picard, “On the importance of early reflections for speech in rooms,” Journal of Acoustical Society of America, v. 113, no. 6, June 2003, pp. 3233-3244.
  4. I. ArweIler, J. Buchholz, T. Dau, “Speech intelligibility enhancement by early reflections,” Proceedings of 2nd International Symposium on Auditory and Audiological Research (ISAAR 2009), August 2009, Elsinore, Denmark.
  5. A. Warzybok et al., “Influence of early reflections on speech intelligibility under different noise conditions,” FORUM ACUSTICUM 2011, June  27 – July 1, Aalborg , Denmark.

 [:]