Дослідження факторів, що впливають на розбірливість мови

Фактори, що впливають на розбірливість мови

Лабораторія акустичної експертизи та корекції
Проект: “Суб’єктивне оцінювання розбірливості мовлення із використанням бінауральних імпульсних характеристик приміщення”

Куратори проекту:

магістр 2-го року навч. Олександр Дворнік (alexanderdvornyk@gmail.com)
аспірант Ігор Котвицький (igorktvzk@gmail.com)
проф. Аркадій Продеус (aprodeus@gmail.com)

Активні учасники проекту: студенти 3-го року навчання, магістри 1-го року навчання

Актуальність та мета проекту. Виконання попереднього проекту “Автоматизація суб’єктивного оцінювання розбірливості мовлення” показало, що прослуховування тестових сигналів на навушники та через акустичні монітори (комп’ютерні колонки) може призводити до суттєво різних результатів. Одним із можливих факторів, що спричиняють таку різницу, є вплив ранніх відбить звуку в приміщенні.

Тому головна мета даного проекту полягає в проведенні досліджень, спрямованих на висвітлення зазначеного питання.

Перспективи проекту:

Даний проект є другою частиною розрахунково-графічної роботи (РГР) дисциплін “Методи обробки акустичних сигналів”  та “Комп’ютерна обробка акустичних сигналів” (першою частиною РГР є проект “Оцінювання якості музичних сигналів, сприйнятих мікрофонними масивами”).

В результаті виконання даного проекту студенти:

  • ознайомляться із засадами артикуляційного методу оцінювання розбірливості мовлення, спотвореного шумом та реверберацією;
  • ознайомляться із програмним забезпеченням, яке дозволяє автоматизувати процедуру артикуляційних випробувань;
  • навчаться застосовувати рекурсивні цифрові фільтри для вимірювання імпульсної характеристики приміщення із застосуванням спеціальної комп’ютерної програми Matlab;
  • навчаться аналізувати структуру імпульсної характеристики приміщення;
  • навчаться застосовувати нерекурсивні цифрові фільтри для синтезу забарвлених шумів;
  • навчаться синтезувати адитивну суміш сигналу й шуму із заданим відношенням сигнал-шум.

Даний проект також дозволяє зробити певний реальний внесок у розвиток системи вітчизняних державних стандартів, які потрібні фахівцям-зв’язківцям, архітекторам, будівельникам та спеціалістам із захисту інформації від витоку.

Родзинкою проекту є використання записів бінауральної імпульсної характеристики аудиторії, одержаних із використанням штучної голови [3].

Тому звертаємо увагу виконавців проекту на те, що прослуховування записів сигналів має відбуватися ТІЛЬКИ ІЗ ВИКОРИСТАННЯМ НАВУШНИКІВ.

Прослуховування сигналів іншим шляхом – через акустичні монітори або через вбудовані в ноутбуки гучномовці – категорично забороняється, оскільки спричиняє одержання недостовірних результатів.

Технічне завдання:

1. Постановка завдання

Оцінювання розбірливості мовлення виконується шляхом прослуховування трьох таблиць звукосполучень, кожна із яких містить 50 звукосполучень. Сигнали, що прослуховуються, маскуються шумом й піддаються 2-канальній фільтрації, де роль фільтрів виконують бінауральні імпульсні характеристики приміщення. Оскільки розбірливість мови, що маскується шумом, відома, маємо змогу довідатися, наскільки поліпшується розбірливість мови за рахунок такої специфічної фільтрації.

1) вивантажте та розархівуйте файл Project_2018_sub_binaural.zip в однойменну папку Project_2018_sub_binaural;

2) активуйте програмне середовище Matlab та запустіть із нього комп’ютерну програму table_reading_assist_binaural.m (перед запуском програми визначте номери 3-х таблиць, які ви маєте прослухати – для студентів 3-го курсу ці номери вказано у файлі DG-61_table_nambers_RGR_part_2.xls, а для магістрів – у файлі DG-81_table_nambers_RGR_part_2.xls);

3) прослухайте, під керівництвом запущеної програми, звукосполучення та введіть в комп’ютер за допомогою клавіатури те, що почули;

4) результати роботи (90 файлів) містяться у спеціальній автоматично створеній папці Group4, яку розміщено в папці Results_Lastname (Lastname – прізвище студента).

УВАГА! 

Перед тестуванням перевірте правильність встановлення каналів “лівий-правий” ваших навушників. Для цього вивантажте та запустіть тестовий файл, або скористайтеся плеєром:

ТАКОЖ НЕ БІЙТЕСЯ ПЕРЕРИВАТИСЯ, ЯКЩО ЗМОРИЛИСЯ – ПРОГРАМА АВТОМАТИЧНО ПРОСЛІДКУЄ, ЩОБ ВСІ ДОСЛІДИ БУЛИ ВИКОНАНІ У ПОВНОМУ ОБСЯЗІ !

ПРИМІТКА: прослуховування сигналів потребує приблизно 6-7,5 годин. Якщо в день витрачати по півгодини, роботу можна виконати за 2 тижні.

2. Обробка отриманих результатів

1) запустіть програму rzlts_processing_bin.m та під її керуванням вкажіть своє прізвище та номери таблиць звукосполучень;

2) після закінчення роботи програми rzlts_processing_bin.m в папці Results_Lastname з’явиться файл mean_rezults.mat;

3) зархівуйте папку Results_Lastname та передайте отриманий архівний файл викладачу (флешкою або електронною поштою);

3) графіки, які з’являться на дісплеї, використайте при написанні звіту.

3. Захист роботи

Проект має буде захищено кожним студентом.

Оцінки за звіт та за захист звіту є важливим внеском в результати семестрової атестації стентів та аспірантів.

Найчастішим запитанням від виконавців проекту є наступне: Що має бути в звіті, окрім отриманих графіків?

Відповідаємо:

1. Актуальність завдання, що розв’язується (кому і навіщо це потрібно?)

2. Опис організації досліджень:

  • яким чином записано сигнали, що прослуховуються;
  • яким чином підраховується розбірливість мови;
  • де, коли, ким й яким чином було одержано записи бінауральних імпульсних характеристик (інформацію знайдете на сайті Aachen Impulse Response Database );
  • наведіть графіки імпульсних характеристик (записи ІХ містяться у файлі rirs_table_LR.mat в папці Programs) та проаналізуйте їх (вкажіть моменти появи та відносні амплітуди ранніх відбиттів).

3. Результати обробки (графіки) та їх коментарі, де треба вказати, чи узгоджуються одержані результати із тими, що наведені в літературі, а також спроба пояснити узгодження (або відсутність такого).

4. Висновки за результатами роботи: 1) що зроблено в роботі; 2) які неочікувані або очікувані результати одержано; 3) де і для чого можна застосувати результати проведеної роботи; 4) що надалі треба ще додатково зробити або покращити?

5. Якщо пропонуєте конкретні покращення (організація досліджень, комп’ютерні програми) – додайте їх із своїми коментарями.

Етапи виконання проекту:

Старт проекту (видача Технічного завдання) – 17 вересня
Передача результатів кураторам проекту – 1 жовтня
Кінець проекту (оформлення звіту про одержані результати) – 15 жовтня

В наведеному нижче переліку літератури міститься інформація, необхідна (але не достатня, як кажуть математики) для написання звітів та статей.

Результати попереднього проекту:

За результатами виконання проекту магістрами 2-го року навчання зроблено доповідь на міжнародній конференціі ELNANO-2018 (дивися пункт 6 в переліку літеатури).

Цю доповідь за рекомендацією редакційної колегії збірника було рекомендовано до опублікування, у розширеному та переробленому варінті, в журналі “Мікросистеми, Електроніка та Акустика”. Стаття пройшла етап сліпого рецензування та буде опублікована найближчим часом:

A. Prodeus, K. Bukhta, P. Morozko, O. Serhiienko, I. Kotvytskyi, O. Dvornyk, “Automated Subjective Assessment of Speech Intelligibility in Various Listening Modes,” Microsystems, Electronics and Acoustics, 2018.

В якості співавторів вказано найбільш активних студентів 5-6-го курсів та аспірантів: це Ксенія Бухта, Павло Морозко, Олексій Сергієнко, Ігор Котвицький, Олександр Дворник.

Якщо коротко, головний результат, викладений в даній статті, полягає в наступному. Після корегування програмного забезпечення та організації проведення експериментальних досліджень виявилося, що розбірливість мови при прослуховуванні на навушники (лівий рисунок) та при прослуховуванні на монітори, що знаходяться на відстані 0,5-0,8 м від слухача (правий рисунок), практично співпадають.

Слухання через навушникиСлухання через акустичну систему

Пояснити таке співпадіння можна тим, що для зазначеної відстані 0,5-0,8 м між акустичною системою та слухачем останній сприймає головним чином прямий звук, тоді як ранні відбиття звуку від стін є надто слабкими порівняно із прямим звуком.

Також за участю магістрів 1-го року навчання в журналі “Мікросистеми, Електроніка та Акустика” було опубліковано статтю (дивися пункт 7 в переліку літеатури), де докладно проаналізовано результати статті [6] та сформульовано рекомендації щодо поліпшення відповідного програмного забезпечення та організації експериментальних досліджень.

Література:

  1. Дидковский В.С., Дидковская М.В., Продеус А.Н. Акустическая экспертиза каналов речевой коммуникации. Монография. – Киев, “Имекс-ЛТД”, 2008. – 420 с.
  2. Yang, W. and Bradley, J. (2009), “Effects of room acoustics on the intelligibility of speech in classrooms for young children,” J. Acoust. Soc. Am. 125 (2), P. 922–933.
  3. J. Bradley, H. Sato, M. Picard, “On the importance of early reflections for speech in rooms,” Journal of Acoustical Society of America, v. 113, no. 6, June 2003, pp. 3233-3244.
  4. I. ArweIler, J. Buchholz, T. Dau, “Speech intelligibility enhancement by early reflections,” Proceedings of 2nd International Symposium on Auditory and Audiological Research (ISAAR 2009), August 2009, Elsinore, Denmark.
  5. A. Warzybok et al., “Influence of early reflections on speech intelligibility under different noise conditions,” FORUM ACUSTICUM 2011, June  27 – July 1, Aalborg , Denmark.
  6. A. Prodeus, K. Bukhta, P. Morozko, O. Serhiienko, I. Kotvytskyi, I. Shherbenko “Automated System for Subjective Evaluation of the Ukrainian Speech Intelligibility,” Proceedings of IEEE 38th International Conference on Electronics and Nanotechnology (ELNANO), April 24-26, 2018 Kyiv, Ukraine, pp. 533-538. ISBN: 978-1-5386-6382-0
  7. А. Продеус, А. Вітик, О. Дворник, І. Котвицький, О. Чайка, М. Ярошенко, Суб’єктивне оцінювання розбірливості мови на тлі шуму та реверберації. – “Мікросистеми, електроніка та акустика”, т. 23, № 2, 2018, с. 66-73, ISSN 2523-4447, DOI: 10.20535/2523-4455.2018.23.2.128820.

Розбірливість мовлення