Цифровой способ представления звука

Отличия аналогового звука от цифрового

Очень часто мы слышим такие определения, как «цифровой» или «дискретный» сигнал, в чем его отличие от «аналогового»?

Суть различия в том, что аналоговый сигнал непрерывный во времени (голубая линия), в то время как цифровой сигнал состоит из ограниченного набора координат (красные точки). Если все сводить к координатам, то любой отрезок аналогового сигнала состоит из бесконечного количества координат.

У цифрового сигнала координаты по горизонтальной оси расположены через равные промежутки времени, в соответствии с частотой дискретизации. В распространенном формате Audio-CD это 44100 точек в секунду. По вертикали точность высоты координаты соответствует разрядности цифрового сигнала, для 8 бит это 256 уровней, для 16 бит = 65536 и для 24 бит = 16777216 уровней. Чем выше разрядность (количество уровней), тем ближе координаты по вертикали к исходной волне.

Аналоговыми источниками являются: винил и аудиокассеты. Цифровыми источниками являются: CD-Audio, DVD-Audio, SA-CD (DSD) и файлы в WAVE и DSD форматах (включая производные APE, Flac, Mp3, Ogg и т.п.).

Преимущества и недостатки аналогового сигнала

Преимуществом аналогового сигнала является то, что именно в аналоговом виде мы воспринимаем звук своими ушами. И хотя наша слуховая система переводит воспринимаемый звуковой поток в цифровой вид и передает в таком виде в мозг, наука и техника пока не дошла до возможности именно в таком виде подключать плееры и другие источники звука напрямик. Подобные исследования сейчас активно ведутся для людей с ограниченными возможностями, а мы наслаждаемся исключительно аналоговым звуком.

Недостатком аналогового сигнала являются возможности по хранению, передаче и тиражированию сигнала. При записи на магнитную ленту или винил, качество сигнала будет зависеть от свойств ленты или винила. Со временем лента размагничивается и качество записанного сигнала ухудшается. Каждое считывание постепенно разрушает носитель, а перезапись вносит дополнительные искажения, где дополнительные отклонения добавляет следующий носитель (лента или винил), устройства считывания, записи и передачи сигнала.

Делать копию аналогового сигнала, это все равно, что для копирования фотографии ее еще раз сфотографировать.

Преимущества и недостатки цифрового сигнала

К преимуществам цифрового сигнала относится точность при копировании и передачи звукового потока, где оригинал ничем не отличается от копии.

Основным недостатком можно считать то, что сигнал в цифровом виде является промежуточной стадией и точность конечного аналогового сигнала будет зависеть от того, насколько подробно и точно будет описана координатами звуковая волна. Вполне логично, что чем больше будет точек и чем точнее будут координаты, тем более точной будет волна. Но до сих пор нет единого мнения, какое количество координат и точность данных является достаточным для того, что бы сказать, что цифровое представление сигнала достаточно для точного восстановления аналогового сигнала, неотличимого от оригинала нашими ушами.

Если оперировать объемами данных, то вместимость обычной аналоговой аудиокассеты составляет всего около 700-1,1 Мб, в то время как обычный компакт диск вмещает 700 Мб. Это дает представление о необходимости носителей большой емкости. И это рождает отдельную войну компромиссов с разными требованиями по количеству описывающих точек и по точности координат.

На сегодняшний день считается вполне достаточным представление звуковой волны с частотой дискретизации 44,1 кГц и разрядности 16 бит. При частоте дискретизации 44,1 кГц можно восстановить сигнал с частотой до 22 кГц. Как показывают психоакустические исследования, дальнейшее повышение частоты дискретизации мало заметно, а вот повышение разрядности дает субъективное улучшение.

Как ЦАП строят волну

ЦАП – это цифро-аналоговый преобразователь, элемент, переводящий цифровой звук в аналоговый. Мы рассмотрим поверхностно основные принципы. Если по комментариям будет виден интерес более подробно рассмотреть ряд моментов, то будет выпущен отдельный материал.

Мультибитные ЦАП

Очень часто волну представляют в виде ступенек, что обусловлено архитектурой первого поколения мультибитных ЦАП R-2R, работающих аналогично переключателю из реле.

На вход ЦАП поступает значение очередной координаты по вертикали и в каждый свой такт он переключает уровень тока (напряжения) на соответствующий уровень до следующего изменения.

Хотя считается, что ухо человека слышит не выше 20 кГц, и по теории Найквиста можно восстановить сигнал до 22 кГц, остается вопрос качества этого сигнала после восстановления. В области высоких частот форма полученной «ступенчатой» волны обычно далека от оригинальной. Самый простой выход из ситуации – это увеличивать частоту дискретизации при записи, но это приводит к существенному и нежелательному росту объема файла.

Альтернативный вариант – искусственно увеличить частоту дискретизации при воспроизведении в ЦАП, добавляя промежуточные значения. Т.е. мы представляем путь непрерывной волны (серая пунктирная линия), плавно соединяющий исходные координаты (красные точки) и добавляем промежуточные точки на этой линии (темно фиолетовые).

При увеличении частоты дискретизации обычно необходимо повышать и разрядность, чтобы координаты были ближе к аппроксимированной волне.

Благодаря промежуточным координатам удается уменьшить «ступеньки» и построить волну ближе к оригиналу.

Когда вы видите функцию повышения частоты с 44.1 до 192 кГц в плеере или внешнем ЦАП, то это функция добавления промежуточных координат, а не восстановления или создание звука в области выше 20 кГц.

Изначально это были отдельные SRC микросхемы до ЦАП, которые потом перекочевали непосредственно в сами микросхемы ЦАП. Сегодня можно встретить решения, где к современным ЦАП добавляется такая микросхема, это сделано для того, чтобы обеспечить альтернативу встроенным алгоритмам в ЦАП и порой получить еще более лучший звук (как например это сделано в Hidizs AP100).

Основной отказ в индустрии от мультибитных ЦАП произошел из-за невозможности дальнейшего технологического развития качественных показателей при текущих технологиях производства и более высокой стоимости против «импульсных» ЦАП-ов с сопоставимыми характеристиками. Тем не менее, в Hi-End продуктах предпочтение отдают зачастую старым мультибитным ЦАП-ам, нежели новым решениям с технически более хорошими характеристиками.

Импульсные ЦАП

В конце 70-тых широкое распространение получил альтернативный вариант ЦАП-ов, основанный на «импульсной» архитектуре – «дельта-сигма». Технология импульсных ЦАП-ов стала возможной появлению сверх-быстрых ключей и позволила использовать высокую несущую частоту.

Амплитуда сигнала является средним значением амплитуд импульсов (зеленым показаны импульсы равной амплитуды, а белым итоговая звуковая волна).

Например последовательность в восемь тактов пяти импульсов даст усредненную амплитуду (1+1+1+0+0+1+1+0)/8=0,625. Чем выше несущая частота, тем больше импульсов попадает под сглаживание и получается более точное значение амплитуды. Это позволило представить звуковой поток в однобитном виде с широким динамическим диапазоном.

Усреднение возможно делать обычным аналоговым фильтром и если такой набор импульсов подать напрямую на динамик, то на выходе мы получим звук, а ультра высокие частоты не будут воспроизведены из-за большой инертности излучателя. По этому принципу работают ШИМ усилители в классе D, где плотность энергии импульсов создается не их количеством, а длительностью каждого импульса (что проще в реализации, но невозможно описать простым двоичным кодом).

Мультибитный ЦАП можно представить как принтер, способный наносить цвет пантоновыми красками. Дельта-Сигма – это струйный принтер с ограниченным набором цветов, но благодаря возможности нанесению очень мелких точек (в сравнении с пантовым принтером), за счет разной плотности точек на единицу поверхности дает больше оттенков.

На изображении мы обычно не видим отдельных точек из-за низкой разрешающей способности глаза, а только средний тон. Аналогично и ухо не слышит импульсов по отдельности.

В конечном итоге при текущих технологиях в импульсных ЦАП можно получить волну, близкую к той, что теоретически должна получится при аппроксимации промежуточных координат.

Надо отметить, что после появления дельта-сигма ЦАП исчезла актуальность рисовать «цифровую волну» ступеньками, т.к. так ступеньками волну современные ЦАП не строят. Правильно дискретный сигнал строить точками соединенной плавной линией.

Являются ли идеальными импульсные ЦАП?

Но на практике не все безоблачно, и существует ряд проблем и ограничений.

Т.к. подавляющее количество записей сохранено в многоразрядном сигнале, то перевод в импульсный сигнал по принципу «бит в бит» требует излишне высокую несущую частоту, которую современные ЦАП не поддерживают.

Основной функцией современных импульсных ЦАП является перевод многоразрядного сигнала в однобитный с относительно невысокой несущей частотой с прореживанием данных. В основном именно эти алгоритмы и определяют конечное качество звучания импульсных ЦАП-ов.

Чтобы уменьшить проблему высокой несущей частоты, звуковой поток разбивается на несколько однобитных потоков, где каждый поток отвечает за свою группу разряда, что эквивалентно кратному увеличению несущей частоты от числа потоков. Такие ЦАП называются мультибитными дельта-сигма.

Сегодня импульсные ЦАП-ы получили второе дыхание в быстродействующих микросхемах общего назначения в продуктах компаний NAD и Chord за счет возможности гибко программировать алгоритмы преобразования.

Формат DSD

После широкого распространения дельта-сигма ЦАП-ов вполне логичным было и появления формата записи двоичного кода напрямую дельта-сигма кодировке. Этот формат получил название DSD (Direct Stream Digital).

Широкого распространения формат не получил по нескольким причинам. Редактирование файлов в этом формате оказалось излишне ограниченным: нельзя микшировать потоки, регулировать громкость и применять эквализацию. А это значит, что без потери качества можно лишь архивировать аналоговые записи и производить двухмикрофонную запись живых выступлений без последующей обработки. Одним словом – денег толком не заработать.

В борьбе с пиратством диски формата SA-CD не поддерживались (и не поддерживаются до сих пор) компьютерами, что не позволяет делать их копии. Нет копий – нет широкой аудитории. Воспроизвести DSD аудиоконтент можно было только с отдельного SA-CD проигрывателя с фирменного диска. Если для PCM формата есть стандарт SPDIF для цифровой передачи данных от источника к отдельному ЦАП, то для DSD формата стандарта нет и первые пиратские копии SA-CD дисков были оцифровками с аналоговых выходов SA-CD проигрывателей (хоть ситуация и кажется глупой, но на деле некоторые записи выходили только на SA-CD, либо та же запись на Audio-CD специально была сделана некачественно для продвижения SA-CD).

Переломный момент произошел с выходом игровых приставок SONY, где SA-CD диск до воспроизведения автоматически копировался на жесткий диск приставки. Этим воспользовались поклонники формата DSD. Появление пиратских записей простимулировало рынок на выпуск отдельных ЦАП для воспроизведения DSD потока. Большинство внешних ЦАП с поддержкой DSD на сегодняшний день поддерживает передачу данных по USB используя формат DoP в виде отдельного кодирования цифрового сигнала через SPDIF.

Несущие частоты для DSD сравнительно небольшие, 2.8 и 5.6 МГц, но этот звуковой поток не требует никаких преобразований с прореживанием данных и вполне конкурентно-способен с форматами высокого разрешения, такими как DVD-Audio.

На вопрос что лучше, DSP или PCM однозначного ответа нет. Все упирается в качество реализации конкретного ЦАП и таланта звукорежиссера при записи конечного файла.

Общий вывод

Аналоговый звук – это то, что мы слышим и воспринимаем, как окружающий мир глазами. Цифровой звук, это набор координат, описывающих звуковую волну, и который мы напрямую услышать не можем без преобразования в аналоговый сигнал.

Аналоговый сигнал, записанный напрямую на аудиокассету или винил нельзя без потери качества перезаписать, в то время как волну в цифровом представлении можно копировать бит в бит.

Цифровые форматы записи являются постоянным компромиссом между количеством точностью координат против объема файла и любой цифровой сигнал является лишь приближением к исходному аналоговому сигналу. Однако при этом разный уровень технологий записи и воспроизведения цифрового сигнала и хранения на носителях для аналогового сигнала дают больше преимуществ цифровому представлению сигнала, аналогично цифровой фотокамере против пленочного фотоаппарата.

Источник

Теория звука. Что нужно знать о звуке, чтобы с ним работать. Опыт Яндекс.Музыки

Звук, как и цвет, люди воспринимают по-разному. Например, то, что кажется слишком громким или некачественным одним, может быть нормальным для других.

Для работы над Яндекс.Музыкой нам всегда важно помнить о разных тонкостях, которые таит в себе звук. Что такое громкость, как она меняется и от чего зависит? Как работают звуковые фильтры? Какие бывают шумы? Как меняется звук? Как люди его воспринимают.

Мы довольно много узнали обо всём этом, работая над нашим проектом, и сегодня я попробую описать на пальцах некоторые основные понятия, которые требуется знать, если вы имеете дело с цифровой обработкой звука. В этой статье нет серьёзной математики вроде быстрых преобразований Фурье и прочего — эти формулы несложно найти в сети. Я опишу суть и смысл вещей, с которыми придётся столкнуться.

Поводом для этого поста можете считать то, что мы добавили в приложения Яндекс.Музыки возможность слушать треки в высоком качестве (320kbps). А можете не считать. Итак.

Оцифровка, или Туда и обратно

Прежде всего разберёмся с тем, что такое цифровой сигнал, как он получается из аналогового и откуда собственно берётся аналоговый сигнал. Последний максимально просто можно определить как колебания напряжения, возникающие из-за колебаний мембраны в микрофоне.

Рис. 1. Осциллограмма звука

Это осциллограмма звука — так выглядит аудио сигнал. Думаю, каждый хоть раз в жизни видел подобные картинки. Для того чтобы понять, как устроен процесс преобразования аналогового сигнала в цифровой, нужно нарисовать осциллограмму звука на миллиметровой бумаге. Для каждой вертикальной линии найдем точку пересечения с осциллограммой и ближайшее целое значение по вертикальной шкале — набор таких значений и будет простейшей записью цифрового сигнала.

Рис. 2. Интерактивный пример сложения волн и оцифровки сигнала.
Источник: www.desmos.com/calculator/aojmanpjrl

Воспользуемся этим интерактивным примером, чтобы разобраться в том, как накладываются друг на друга волны разной частоты и как происходит оцифровка. В левом меню можно включать/выключать отображение графиков, настраивать параметры входных данных и параметры дискретизации, а можно просто двигать контрольные точки.

На аппаратном уровне это, разумеется, выглядит значительно сложнее, и в зависимости от аппаратуры сигнал может кодироваться совершенно разными способами. Самым распространённым из них является импульсно-кодовая модуляция, при которой записывается не конкретное значение уровня сигнала в каждый момент времени, а разница между текущим и предыдущим значением. Это позволяет снизить количество бит на каждый отсчёт примерно на 25%. Этот способ кодирования применяется в наиболее распространённых аудио-форматах (WAV, MP3, WMA, OGG, FLAC, APE), которые используют контейнер PCM WAV.

В реальности для создания стерео-эффекта при записи аудио чаще всего записывается не один, а сразу несколько каналов. В зависимости от используемого формата хранения они могут храниться независимо. Также уровни сигнала могут записываться как разница между уровнем основного канала и уровнем текущего.

Обратное преобразование из цифрового сигнала в аналоговый производится с помощью цифро-аналоговых преобразователей, которые могут иметь различное устройство и принципы работы. Я опущу описание этих принципов в данной статье.

Дискретизация

Как известно, цифровой сигнал — это набор значений уровня сигнала, записанный через заданные промежутки времени. Процесс преобразования непрерывного аналогового сигнала в цифровой сигнал называется дискретизацией (по времени и по уровню). Есть две основные характеристики цифрового сигнала — частота дискретизации и глубина дискретизации по уровню.

Рис. 3. Дискретизация сигнала.
Источник: https://en.wikipedia.org/wiki/Sampling_(signal_processing)

Частота дискретизации указывает на то, с какими интервалами по времени идут данные об уровне сигнала. Существует теорема Котельникова (в западной литературе её упоминают как теорему Найквиста — Шеннона, хотя встречается и название Котельникова — Шеннона), которая утверждает: для возможности точного восстановления аналогового сигнала из дискретного требуется, чтобы частота дискретизации была минимум в два раза выше, чем максимальная частота в аналоговом сигнале. Если брать примерный диапазон воспринимаемых человеком частот звука 20 Гц — 20 кГц, то оптимальная частота дискретизации (частота Найквиста) должна быть в районе 40 кГц. У стандартных аудио-CD она составляет 44.1 кГц

Рис. 4. Квантование сигнала.
Источник: https://ru.wikipedia.org/wiki/Квантование_(обработка сигналов)

Глубина дискретизации по уровню описывает разрядность числа, которым описывается уровень сигнала. Эта характеристика накладывает ограничение на точность записи уровня сигнала и на его минимальное значение. Стоит специально отметить, что данная характеристика не имеет отношения к громкости — она отражает точность записи сигнала. Стандартная глубина дискретизации на audio-CD — 16 бит. При этом, если не использовать специальную студийную аппаратуру, разницу в звучании большинство перестаёт замечать уже в районе 10-12 бит. Однако большая глубина дискретизации позволяет избежать появления шумов при дальнейшей обработке звука.

В цифровом звуке можно выделить три основных источника шумов.

Джиттер

Это случайные отклонения сигнала, как правило, возникающие из-за нестабильности частоты задающего генератора или различной скорости распространения разных частотных составляющих одного сигнала. Данная проблема возникает на стадии оцифровки. Если описывать «на пальцах» «на миллиметровке», это происходит из-за немного разного расстояния между вертикальными линиями.

Шум дробления

Он напрямую связан с глубиной дискретизации. Так как при оцифровке сигнала его реальные значения округляются с определённой точностью, возникают слабые шумы, связанные с её потерей. Эти шумы могут появляться не только на стадии оцифровки, но и в процессе цифровой обработки (например, если сначала уровень сигнала сильно понижается, а затем — снова повышается).

Алиасинг

При оцифровке возможна ситуация, при которой в цифровом сигнале могут появиться частотные составляющие, которых не было в оригинальном сигнале. Данная ошибка получила название Aliasing. Этот эффект напрямую связан с частотой дискретизации, а точнее — с частотой Найквиста. Проще всего понять, как это происходит, рассмотрев вот эту картинку:

Рис. 5. Алиас. Источник: ru.wikipedia.org/wiki/Алиасинг

Зелёным показана частотная составляющая, частота которой выше частоты Найквиста. При оцифровке такой частотной составляющей не удаётся записать достаточно данных для её корректного описания. В результате при воспроизведении получается совершенно другой сигнал — жёлтая кривая.

Уровень сигнала

Для начала стоит сразу понять, что когда речь идёт о цифровом сигнале, то можно говорить только об относительном уровне сигнала. Абсолютный зависит в первую очередь от воспроизводящей аппаратуры и прямо пропорционален относительному. При расчётах относительных уровней сигнала принято использовать децибелы. При этом за точку отсчёта берётся сигнал с максимально возможной амплитудой при заданной глубине дискретизации. Этот уровень указывается как 0 dBFS (dB — децибел, FS = Full Scale — полная шкала). Более низкие уровни сигнала указываются как -1 dBFS, -2 dBFS и т.д. Вполне очевидно, что более высоких уровней просто не бывает (мы изначально берём максимально возможный уровень).

Поначалу бывает тяжело разобраться с тем, как соотносятся децибелы и реальный уровень сигнала. На самом деле всё просто. Каждые

6 dB (точнее 20 log(2)

6.02 dB) указывают на изменение уровня сигнала в два раза. То есть, когда мы говорим о сигнале с уровнем -12 dBFS, понимаем, что это сигнал, уровень которого в четыре раза меньше максимального, а -18 dBFS — в восемь, и так далее. Если посмотреть на определение децибела, в нём указывается значение — тогда откуда берётся 20? Всё дело в том, что децибел — это логарифм отношения двух одноимённых энергетических величин, умноженный на 10. Амплитуда же не является энергетической величиной, следовательно её нужно перевести в подходящую величину. Мощность, которую переносят волны с разными амплитудами, пропорциональна квадрату амплитуды. Следовательно для амплитуды (если все прочие условия, кроме амплитуды принять неизменными) формулу можно записать как %2020%20log(a%2Fa_0)» alt=»10log(a^2/a0^2) => 20log(a/a0)»/>

N.B. Стоит упомянуть, что логарифм в данном случае берётся десятичный, в то время как большинство библиотек под функцией с названием log подразумевает натуральный логарифм.

При различной глубине дискретизации уровень сигнала по этой шкале изменяться не будет. Сигнал с уровнем -6 dBFS останется сигналом с уровнем -6 dBFS. Но всё же одна характеристика изменится — динамический диапазон. Динамический диапазон сигнала — это разница между его минимальным и максимальным значением. Он рассчитывается по формуле , где n — глубина дискретизации (для грубых оценок можно пользоваться более простой формулой: n * 6). Для 16 бит это

96.33 dB, для 24 бит

144.49 dB. Это означает, что самый большой перепад уровня, который можно описать с 24-битной глубиной дискретизации (144.49 dB), на 48.16 dB больше, чем самый большой перепад уровня с 16-битной глубиной (96.33 dB). Плюс к тому — шум дробления при 24 битах на 48 dB тише.

Восприятие

Когда мы говорим о восприятии звука человеком, следует сначала разобраться, каким образом люди воспринимают звук. Очевидно, что мы слышим с помощью ушей. Звуковые волны взаимодействуют с барабанной перепонкой, смещая её. Вибрации передаются во внутреннее ухо, где их улавливают рецепторы. То, насколько смещается барабанная перепонка, зависит от такой характеристики, как звуковое давление. При этом воспринимаемая громкость зависит от звукового давления не напрямую, а логарифмически. Поэтому при изменении громкости принято использовать относительную шкалу SPL (уровень звукового давления), значения которой указываются всё в тех же децибелах. Стоит также заметить, что воспринимаемая громкость звука зависит не только от уровня звукового давления, но ещё и от частоты звука:

Рис. 6. Зависимость воспринимаемой громкости от частоты и амплитуды звука.
Источник: ru.wikipedia.org/wiki/Громкость_звука

Громкость

Простейшим примером обработки звука является изменение его громкости. При этом происходит просто умножение уровня сигнала на некоторое фиксированное значение. Однако даже в таком простом деле, как регулировка громкости, есть один подводный камень. Как я уже отметил ранее, воспринимаемая громкость зависит от логарифма звукового давления, а это значит, что использование линейной шкалы громкости оказывается не очень эффективным. При линейной шкале громкости возникает сразу две проблемы — для ощутимого изменения громкости, когда ползунок находится выше середины шкалы приходится достаточно далеко его сдвигать, при этом ближе к самому низу шкалы сдвиг меньше, чем на толщину волоса, может изменить громкость в два раза (думаю, с этим каждый сталкивался). Для решения данной проблемы используется логарифмическая шкала громкости. При этом на всей её длине передвижение ползунка на фиксированное расстояние меняет громкость в одинаковое количество раз. В профессиональной записывающей и обрабатывающей аппаратуре, как правило, используется именно логарифмическая шкала громкости.

Математика

Тут я, пожалуй, немного вернусь к математике, потому что реализация логарифмической шкалы оказывается не такой простой и очевидной вещью для многих, а найти в интернете данную формулу не так просто, как хотелось бы. Заодно покажу, как просто переводить значения громкости в dBFS и обратно. Для дальнейших объяснений это будет полезным.

Цифровая обработка

Теперь вернёмся к тому, что мы имеем цифровой, а не аналоговый сигнал. У цифрового сигнала есть две особенности, которые стоит учитывать при работе с громкостью:

• точность, с которой указывается уровень сигнала, ограничена (причём достаточно сильно. 16 бит — это в 2 раза меньше, чем используется для стандартного числа с плавающей точкой);
• у сигнала есть верхняя граница уровня, за которую он не может выйти.

Из того, что уровень сигнала имеет ограничение точности, следует две вещи:

• уровень шумов дробления возрастает при увеличении громкости. Для малых изменений обычно это не очень критично, так как изначальный уровень шума значительно тише ощутимого, и его можно безопасно поднимать в 4-8 раз (например, применять эквалайзер с ограничением шкалы в ±12dB);
• не стоит сначала сильно понижать уровень сигнала, а затем сильно его повышать — при этом могут появиться новые шумы дробления, которых изначально не было.

Из того, что сигнал имеет верхнее ограничение уровня, следует, что нельзя безопасно увеличивать громкость выше единицы. При этом пики, которые окажутся выше границы, будут «срезаны» и произойдёт потеря данных.

Рис. 7. Клиппинг.
Источник: https://en.wikipedia.org/wiki/Clipping_(audio)

На практике всё это означает, что стандартные для Audio-CD параметры дискретизации (16 бит, 44,1 кГц) не позволяют производить качественную обработку звука, потому что имеют очень малую избыточность. Для этих целей лучше использовать более избыточные форматы. Однако стоит учитывать, что общий размер файла пропорционален параметрам дискретизации, поэтому выдача таких файлов для он-лайн воспроизведения — не лучшая идея.

Измерение громкости

Для того чтобы сравнивать громкость двух разных сигналов, её для начала нужно как-то измерить. Существует по меньшей мере три метрики для измерения громкости сигналов — максимальное пиковое значение, усреднённое значение уровня сигнала и метрика ReplayGain.

Максимальное пиковое значение достаточно слабая метрика для оценки громкости. Она никак не учитывает общий уровень громкости — например, если записать грозу, то большую часть времени на записи будет тихо шелестеть дождь и лишь пару раз прогремит гром. Максимальное пиковое значение уровня сигнала у такой записи будет довольно высоким, но большая часть записи будет иметь весьма низкий уровень сигнала. Однако эта метрика всё равно является полезной — она позволяет вычислить максимальное усиление, которое можно применить к записи, при котором не будет потерь данных из-за «обрезания» пиков.

Усреднённое значение уровня сигнала — более полезная метрика и легко вычислимая, но всё же имеет существенные недостатки, связанные с тем, как мы воспринимаем звук. Визг циркулярной пилы и рокот водопада, записанные с одинаковым средним уровнем сигнала, будут восприниматься совершенно по-разному.

ReplayGain наиболее точно передает воспринимаемый уровень громкости записи и учитывает физиологические и психические особенности восприятия звука. Для промышленного выпуска записей многие звукозаписывающие студии используют именно её, также она поддерживается большинством популярных медиа-плееров. (Русская статья на WIKI содержит много неточностей и фактически не корректно описывает саму суть технологии)

Нормализация громкости

Если мы можем измерять громкость различных записей, мы можем её нормализовать. Идея нормализации состоит в том, чтобы привести разные звуки к одинаковому уровню воспринимаемой громкости. Для этого используется несколько различных подходов. Как правило, громкость стараются максимизировать, но это не всегда возможно из-за ограничений максимального уровня сигнала. Поэтому обычно берётся некоторое значение немного меньше максимума (например -14 dBFS), к которому пытаются привести все сигналы.

Иногда нормализацию громкости производят в рамках одной записи — при этом различные части записи усиливают на разные величины, чтобы их воспринимаемая громкость была одинаковой. Такой подход очень часто применяется в компьютерных видео-плеерах — звуковая дорожка многих фильмов может содержать участки с очень сильно отличающейся громкостью. В такой ситуации возникают проблемы при просмотре фильмов без наушников в позднее время — при громкости, на которой нормально слышен шёпот главных героев, выстрелы способны перебудить соседей. А на громкости, при которой выстрелы не бьют по ушам, шёпот становится вообще неразличим. При внутри-трековой нормализации громкости плеер автоматически увеличивает громкость на тихих участках и понижает на громких. Однако этот подход создаёт ощутимые артефакты воспроизведения при резких переходах между тихим и громким звуком, а также порой завышает громкость некоторых звуков, которые по задумке должны быть фоновыми и еле различимыми.

Также внутреннюю нормализацию порой производят, чтобы повысить общую громкость треков. Это называется нормализацией с компрессией. При этом подходе среднее значение уровня сигнала максимизируется за счёт усиления всего сигнала на заданную величину. Те участки, которые должны были быть подвергнуты «обрезанию», из-за превышения максимального уровня усиливаются на меньшую величину, позволяя избежать этого. Этот способ увеличения громкости значительно снижает качество звучания трека, но, тем не менее, многие звукозаписывающие студии не брезгуют его применять.

Фильтрация

Я не стану описывать совсем все аудио-фильтры, ограничусь только стандартными, которые присутствуют в Web Audio API. Самым простым и распространённым из них является биквадратный фильтр (BiquadFilterNode) — это активный фильтр второго порядка с бесконечной импульсной характеристикой, который может воспроизводить достаточно большое количество эффектов. Принцип работы этого фильтра основан на использовании двух буферов, каждый с двумя отсчётами. Один буфер содержит два последних отсчёта во входном сигнале, другой — два последних отсчёта в выходном сигнале. Результирующее значение получается с помощью суммирования пяти значений: текущего отсчёта и отсчётов из обоих буферов перемноженных на заранее вычисленные коэффициенты. Коэффициенты данного фильтра задаются не напрямую, а вычисляются из параметров частоты, добротности (Q) и усиления.

Все графики ниже отображают диапазон частот от 20 Гц до 20000 Гц. Горизонтальная ось отображает частоту, по ней применяется логарифмический масштаб, вертикальная — магнитуду (жёлтый график) от 0 до 2, или фазовый сдвиг (зелёный график) от -Pi до Pi. Частота всех фильтров (632 Гц) отмечена красной чертой на графике.

Lowpass

Рис. 8. Фильтр lowpass.

Пропускает только частоты ниже заданной частоты. Фильтр задаётся частотой и добротностью.

Highpass

Рис. 9. Фильтр highpass.

Действует аналогично lowpass, за исключением того, что он пропускает частоты выше заданной, а не ниже.

Bandpass

Рис. 10. Фильтр bandpass.

Этот фильтр более избирателен — он пропускает только определённую полосу частот.

Notch

Рис. 11. Фильтр notch.

Является противоположностью bandpass — пропускает все частоты вне заданной полосы. Стоит, однако, отметить разность в графиках затухания воздействия и в фазовых характеристиках данных фильтров.

Lowshelf

Рис. 12. Фильтр lowshelf.

Является более «умной» версией highpass — усиливает или ослабляет частоты ниже заданной, частоты выше пропускает без изменений. Фильтр задаётся частотой и усилением.

Highshelf

Рис. 13. Фильтр highshelf.

Более умная версия lowpass — усиливает или ослабляет частоты выше заданной, частоты ниже пропускает без изменений.

Peaking

Рис. 14. Фильтр peaking.

Это уже более «умная» версия notch — он усиливает или ослабляет частоты в заданном диапазоне и пропускает остальные частоты без изменений. Фильтр задаётся частотой, усилением и добротностью.

Фильтр allpass

Рис. 15. Фильтр allpass.

Allpass отличается ото всех остальных — он не меняет амплитудные характеристики сигнала, вместо чего делает фазовый сдвиг заданных частот. Фильтр задаётся частотой и добротностью.

Фильтр WaveShaperNode

Вейвшейпер (en) применяется для формирования сложных эффектов звуковых искажений, в частности с помощью него можно реализовать эффекты «дисторшна», «овердрайва» и «фузза». Данный фильтр применяет к входному сигналу специальную формирующую функцию. Принципы построения подобных функций довольно сложные и тянут на отдельную статью, поэтому я опущу их описание.

Фильтр ConvolverNode

Фильтр, производящий линейную свёртку входного сигнала с аудио-буфером, задающим некую импульсную характеристику. Импульсная характеристика — это ответ некой системы на единичный импульс. Простым языком это можно назвать «фотографией» звука. Если реальная фотография содержит информацию о световых волнах, о том, насколько они отражаются, поглощаются и взаимодействуют, то импульсная характеристика содержит аналогичную информацию о звуковых волнах. Свёртка аудио-потока с подобной «фотографией» как бы накладывает эффекты окружения, в котором была сняла импульсная характеристика на входной сигнал.

Для работы данного фильтра требуется разложение сигнала на частотные составляющие. Это разложение производится с помощью быстрого преобразования Фурье (к сожалению, в русскоязычной Википедии совершенно несодержательная статья, написанная, судя по всему, для людей, которые и так знают, что такое БПФ и сами могут написать такую же несодержательную статью). Как я уже говорил во вступлении, не стану приводить в данной статье математику БПФ, однако не упомянуть краеугольный алгоритм для цифровой обработки сигналов было бы неправильно.

Данный фильтр реализует эффект реверберации. Существует множество библиотек готовых аудио-буферов для данного фильтра, которые реализуют различные эффекты (1, 2), подобные библиотеки хорошо находятся по запросу [impulse response mp3].

Материалы

Большое спасибо моим коллегам, которые помогали собирать материалы для этой статьи и давали полезные советы.

Отдельное спасибо Тарасу Audiophile Ковриженко за описание алгоритмов нормализации и максимизации громкости и Сергею forgotten Константинову за большое количество пояснений и советов по данной статье.

UPD. Поправил раздел про фильтрацию и добавил ссылки по разным типам фильтров. Спасибо Денису deniskreshikhin Крешихину и Никите merlin-vrn Киприянову за то, что обратили внимание.

Источник