Оцінювання якості музичних сигналів, сприйнятих мікрофонними масивами

Куратори проекту: проф. Аркадій Продеус, PhD Д.Паренюк
Активні учасники проекту: студенти 3-го року навчання, магістранти 1-го року навчання

Коли відбувається запис музики, воліють записувати кожного виконавця окремо, щоб в подальшому можна було, шляхом комп’ютерного редагування, корегувати виявлені недоліки, а далі об’єднати окремі записи в один результуючий запис.

Проте цей шлях є далеко не найкращим, оскільки при цьому музиканти втрачають «відчуття ансамблю». Інакше кажучи, музикантам важливо бачити та чути один одного під час виконання та запису музичної композиції. Подолати вказаний недолік можна, розташовуючи мікрофони біля кожного із музикантів.

Альтернативним рішенням, яке сьогодні набуває популярності, є здійснення запису із певної точки концертної зали за допомогою акустичної антени, що являє собою низку («масив») мікрофонів, об’єднаних певним чином. Хоча існують праці [1,2,3], присвячені дослідженням властивостей різних мікрофонних масивів, до сьогодні погано вивчено, яка із конфігурацій мікрофонних масивів є найліпшою з точки зору мінімального спотворення музичних сигналів. Тому головна мета даного проекту полягає в пошуку відповіді на це питання.

Оскільки сприйняття музики є справою індивідуальною, для одержання узагальнених результатів важливо, щоб в проекті прийняло участь якомога більше слухачів – що й пропонується зробити нашим студентам.

Даний проєкт є першою частиною розрахунково-графічної роботи (РГР) дисциплін “Методи обробки акустичних сигналів” та “Комп’ютерна обробка акустичних сигналів” (другою частиною РГР є проект “Дослідження факторів, що впливають на розбірливість мови”).

Результати виконання проєкту будуть корисними не лише для студентів, які на практиці ознайомляться із алгоритмами просторово-часової обробки акустичних сигналів, але й для майбутніх споживачів таких пристроїв, котрі дізнаються про потенційні можливості мікрофонних масивів різних типів.

В результаті виконання даного проекту студенти:

  • ознайомляться із елементами теорії просторово-часової обробки сигналів;
  • навчаться організовувати експериментальні дослідження для порівняння алгоритмів просторово-часової обробки шляхом суб’єктивного оцінювання якості звуку на виході відповідних програмних моделей;
  • навчаться коректно аналізувати одержані результати, й формувати відповідні технічні звіти.
Технічне завдання

В експериментах пропонується прослухати низку музичних сигналів (соло саксофону тривалістю 10 секунд), сприйнятих та оброблених акустичними антенами різних типів в різних акустичних умовах.

Досліджуються два типи акустичних антен: на основі сум і затримок (DS) і на основі лінійно обмеженої мінімальної дисперсії (LCMV) [1, 2, 3].

Акустичні умови характеризуються різними відношеннями сигнал-шум (-10 дБ, 0 дБ та 10 дБ) та різним просторовим розташуванням джерел шуму (поодинокі джерела, а також сукупність кількох джерел).

Для кожного відношення сигнал-шум та кожного типу розташування джерел шуму треба прослухати:

  • еталонний чистий сигнал;
  • сигнал на виході одиночного мікрофона;
  • сигнал на виході DS-антени;
  • сигнали на виході LCMV-антени (для 3-х різновидів пост-фільтрації).

Розглядається чотири ситуації розташування джерела шуму:

  • ситуації 1-3 – поодинокі джерела шуму, розташовані відповідно під кутами 15, 45 та 90 градусів відносно джерела сигналу;
  • ситуація 4 – сукупність із 4-х джерел, розташованих під кутами -45, +45, -120 та +120 градусів.

Студенти мають прослуховувати сигнали через навушники або через комп’ютерні колонки (акустичні системи) та оцінювати за п’ятибальною системою (бали від 1 до 5):

  • якість сигналу;
  • рівень шуму;
  • загальне враження від почутого.

Дозволяється (й навіть рекомендується) ставити дробові оцінки, наприклад, 3.7 бали.

Увага! Якщо стосовно оцінки “загального враження від почутого” навряд чи будуть запитання, оцінювати “якість сигналу” та “рівень шуму” дещо важче. Тому пропонуємо спеціальні роз’яснення з цього приводу.

Однією із причин спотворення сигналу (зниження його якості) є хибна інформація про напрямки на джерела сигналу та шуму. Крім того, алгоритми просторово-часової обробки можуть бути реалізовані недосить якісно.

Що стосується оцінювання рівня шуму, зазначимо, що мається на увазі оцінювання потужності шуму, порівняно із потужністю сигналу. Для прослуховування використовуються 10-секундні записи, де перші 8 секунд звучить суміш музики й шуму, а останні 2 секунди озвучується “чистий” шум.

Почергово використовуються чотири програми:

  1. Microphone_Array_test_15.m (джерело шуму розташовано під кутом 15 градусів);
  2. Microphone_Array_test_45.m (джерело шуму розташовано під кутом 45 градусів);
  3. Microphone_Array_test_90.m (джерело шуму розташовано під кутом 90 градусів);
  4. Microphone_Array_test_istrp.m (ситуація із 4 джерелами шуму).

Примітка: комп’ютерні програми та вхідні дані до них містяться в архівному файлі:

Project_2018_mic_arrays.zip

Вхідні дані:

  • звуковий файл чистого сигналу cleanmusic.wav міститься в головній папці;
  • звукові файли з виходів акустичних антен, що моделюються, містяться в папках “10dB”“0dB” та “-10dB” .

Вихідні дані:

Вихідними даними є 4 файли із іменами типу ваше прізвище_ситуація.mat, (наприклад, Ivanov_15.mat) які зберігаються в папці з головною програмою. Після закінчення роботи ці 4 файли необхідно передати кураторам проекту (флешка, електронна пошта).

Тривалість експерименту:

Тривалість експерименту із кожною із 4-х програм становить 5-10 хвилин, таким чином, загальна тривалість експерименту не перевищує 20-40 хвилин.

Після виконання чотирьох вказаних вище комп’ютерних програм буде одержано 12 графіків, оскільки кожна із 4-х програм продукує 3 графіки. Ці графіки треба зберегти на диску комп’ютера та вставити у письмовий звіт.

У звіті обов’язково наведіть:

  • всі рисунки (їх має бути 3х4=12);
  • ваші коментарі до рисунків (яким чином можна тлумачити одержані результати).
Одержані результати мають бути включені в письмовий звіт та прокоментовані.

При цьому у коментарях мають бути висвітленими наступні питання:

  • Що та навіщо робилося (тобто актуальність завдання, що розв’язується);
  • Опис організації досліджень – які досліди та чому ставилися, на які питання комп’ютерної програми ви мали давати свої відповіді, та чому ставилися саме такі питання;
  • Висновки за результатами роботи: 1) що зроблено; 2) що одержано; 3) що надалі треба додатково зробити або покращити?
Етапи виконання проекту

Старт проекту (видача Технічного завдання)
Передача результатів кураторам проекту
Кінець роботи над даним проектом (першим етапом РГР)

Результати проекту

За результатами виконання проекту буде написано кілька статей, де авторами будуть вказані найбільш активні студенти.

Література
  1. W. Zhang, P.N. Samarasinghe, H. Chen, T.D. Abhayapala. “Surround by Sound: A Review of Spatial Audio Recording and Reproduction,” Applied Sciences, No. 7, 532, 2017, pp. 1-19.
  2. P. Coleman, P.J. B. Jackson, and J. Francombe, “Audio object separation using microphone array beamforming,” 138th Convention, May 7, Warsaw, Poland, 2015.
  3. O. Schreer, G. Thomas, O.A. Niamut, J-F. Macq, A. Kochale, J-M. Batke, J. Ruiz Hidalgo, R. Oldfield, B. Shirley, G. Thallinger, “Format-agnostic Approach for Production, Delivery and Rendering of Immersive Media,” Format-agnostic Approach for Production, Delivery and Rendering of Immersive Media“, NEM Summit 2011, Torino, Italy, 27th September, 2011.