Проект: “Суб’єктивне оцінювання розбірливості мовлення із використанням бінауральних імпульсних характеристик приміщення”

Куратори проекту: проф. А.Продеус, PhD Д.Паренюк

Активні учасники проекту: студенти 3-го року навчання, магістри 1-2 років навчання

Актуальність та мета проекту. Прослуховування тестових сигналів на навушники та через акустичні монітори (комп’ютерні колонки) може призводити до суттєво різних результатів. Одним із можливих факторів, що спричиняють таку різницу, є вплив ранніх відбить звуку в приміщенні.

Тому головна мета даного проекту полягає в проведенні досліджень, спрямованих на висвітлення зазначеного питання.

В результаті виконання даного проекту студенти:

• ознайомляться із засадами артикуляційного методу оцінювання розбірливості мовлення, спотвореного шумом та реверберацією;
• ознайомляться із програмним забезпеченням, яке дозволяє автоматизувати процедуру артикуляційних випробувань;
• навчаться застосовувати рекурсивні цифрові фільтри для вимірювання імпульсної характеристики приміщення із застосуванням спеціальної комп’ютерної програми Matlab;
• навчаться аналізувати структуру імпульсної характеристики приміщення;
• навчаться застосовувати нерекурсивні цифрові фільтри для синтезу забарвлених шумів;
• навчаться синтезувати адитивну суміш сигналу й шуму із заданим відношенням сигнал-шум.

Даний проект також дозволяє зробити певний реальний внесок у розвиток системи вітчизняних державних стандартів, які потрібні фахівцям-зв’язківцям, архітекторам, будівельникам та спеціалістам із захисту інформації від витоку.

Родзинкою проекту є використання записів бінауральної імпульсної характеристики аудиторії, одержаних із використанням штучної голови.

Тому звертаємо увагу виконавців проекту на те, що прослуховування записів сигналів має відбуватися лише із використанням навушників.

Прослуховування сигналів іншим шляхом – через акустичні монітори або через вбудовані в ноутбуки гучномовці – категорично забороняється, оскільки призводить до недостовірних результатів.

Технічне завдання:

1. Постановка завдання

Оцінювання розбірливості мовлення виконується шляхом прослуховування трьох таблиць звукосполучень, кожна із яких містить 50 звукосполучень. Сигнали, що прослуховуються, маскуються шумом й піддаються 2-канальній фільтрації, де роль фільтрів виконують бінауральні імпульсні характеристики приміщення. Оскільки розбірливість мови, що маскується шумом, відома, маємо змогу довідатися, наскільки поліпшується розбірливість мови за рахунок такої специфічної фільтрації.

1) вивантажте та розархівуйте файл Project_2018_sub_binaural.zip (на Гугл-диску в Гугл-класі) в однойменну папку Project_2018_sub_binaural;

2) активуйте програмне середовище Matlab та запустіть із нього комп’ютерну програму table_reading_assist_binaural.m (перед запуском програми визначте номери 3-х таблиць, які ви маєте прослухати);

3) прослухайте, під керівництвом запущеної програми, звукосполучення та введіть в комп’ютер за допомогою клавіатури те, що почули;

4) результати роботи містяться у спеціальній автоматично створеній папці Group4, яку розміщено в папці Results_Lastname (Lastname – прізвище студента).

УВАГА! 

Перед тестуванням перевірте правильність встановлення каналів “лівий-правий” ваших навушників. 

Також не бійтеся перериватися на відпочинок – програма автоматично відновить роботу із того місця, де ви зупинилися!

2. Обробка отриманих результатів

1) запустіть програму rzlts_processing_bin.m та під її керуванням вкажіть своє прізвище та номери таблиць звукосполучень;

2) після закінчення роботи програми rzlts_processing_bin.m в папці Results_Lastname з’явиться файл mean_rezults.mat;

3) зархівуйте папку Results_Lastname та передайте отриманий архівний файл викладачу (флешкою або електронною поштою);

3) графіки, які з’являться на дісплеї, використайте при написанні звіту.

3. Захист роботи

Проект має буде захищено кожним студентом.

Оцінки за звіт та за захист звіту є важливим внеском в результати семестрової атестації стентів та аспірантів.

Найчастішим запитанням від виконавців проекту є наступне: Що має бути в звіті, окрім отриманих графіків?

Відповідаємо:

1. Актуальність завдання, що розв’язується (кому і навіщо це потрібно?)

2. Опис організації досліджень:

• яким чином записано сигнали, що прослуховуються;
• яким чином підраховується розбірливість мови;
• де, коли, ким й яким чином було одержано записи бінауральних імпульсних характеристик (інформацію знайдете на сайті Aachen Impulse Response Database );
• наведіть графіки імпульсних характеристик (записи ІХ містяться у файлі rirs_table_LR.mat в папці Programs) та проаналізуйте їх (вкажіть моменти появи та відносні амплітуди ранніх відбиттів).

3. Результати обробки (графіки) та їх коментарі, де треба вказати, чи узгоджуються одержані результати із тими, що наведені в літературі, а також спроба пояснити узгодження (або відсутність такого).

4. Висновки за результатами роботи: 1) що зроблено в роботі; 2) які неочікувані або очікувані результати одержано; 3) де і для чого можна застосувати результати проведеної роботи; 4) що надалі треба ще додатково зробити або покращити?

5. Якщо пропонуєте конкретні покращення (організація досліджень, комп’ютерні програми) – додайте їх із своїми коментарями.

Етапи виконання проекту:

Старт проекту (видача Технічного завдання)
Передача результатів кураторам проекту
Кінець проекту (оформлення звіту про одержані результати)

В наведеному нижче переліку літератури міститься інформація, необхідна (але не достатня, як кажуть математики) для написання звітів та статей.

Результати попереднього проекту:

За результатами виконання проекту магістрами 2-го року навчання зроблено доповідь на міжнародній конференціі ELNANO-2018.

Якщо коротко, головний результат, полягає в наступному. Після корегування програмного забезпечення та організації проведення експериментальних досліджень виявилося, що розбірливість мови при прослуховуванні на навушники (лівий рисунок) та при прослуховуванні на монітори, що знаходяться на відстані 0,5-0,8 м від слухача (правий рисунок), практично співпадають.

Пояснити таке співпадіння можна тим, що для зазначеної відстані 0,5-0,8 м між акустичною системою та слухачем останній сприймає головним чином прямий звук, тоді як ранні відбиття звуку від стін є надто слабкими порівняно із прямим звуком.

Також за участю магістрів 1-го року навчання в журналі “Мікросистеми, Електроніка та Акустика” було опубліковано статтю та сформульовано рекомендації щодо поліпшення відповідного програмного забезпечення та організації експериментальних досліджень.

Література:

1. J. Bradley, H. Sato, M. Picard, “On the importance of early reflections for speech in rooms,” Journal of Acoustical Society of America, v. 113, no. 6, June 2003, pp. 3233-3244.
2. I. ArweIler, J. Buchholz, T. Dau, “Speech intelligibility enhancement by early reflections,” Proceedings of 2nd International Symposium on Auditory and Audiological Research (ISAAR 2009), August 2009, Elsinore, Denmark.
3. A. Warzybok et al., “Influence of early reflections on speech intelligibility under different noise conditions,” FORUM ACUSTICUM 2011, June  27 – July 1, Aalborg , Denmark.
4. A. Prodeus, K. Bukhta, P. Morozko, O. Serhiienko, I. Kotvytskyi, I. Shherbenko “Automated System for Subjective Evaluation of the Ukrainian Speech Intelligibility,” Proceedings of IEEE 38th International Conference on Electronics and Nanotechnology (ELNANO), April 24-26, 2018 Kyiv, Ukraine, pp. 533-538. ISBN: 978-1-5386-6382-0
5. А. Продеус, А. Вітик, О. Дворник, І. Котвицький, О. Чайка, М. Ярошенко, Суб’єктивне оцінювання розбірливості мови на тлі шуму та реверберації. – “Мікросистеми, електроніка та акустика”, т. 23, № 2, 2018, с. 66-73, ISSN 2523-4447, DOI: 10.20535/2523-4455.2018.23.2.128820.