Общая информация. Лекция №6. Способы создания цифрового видеоизображения
Лекция №6. Способы создания цифрового видеоизображения. Типы цифрового видео. Оборудование для создания видео. Основные типы ПО для обработки видеоизображений. Кодеки и форматы.
Программное обеспечение
Наиболее важный класс программ — редакторы цифрового аудио. Основные возможности таких программ это, как минимум, обеспечение возможности записи (оцифровки) аудио и сохранение на диск. Развитые представители такого рода программ позволяют намного больше: запись, многоканальное сведение аудио на нескольких виртуальных дорожках, обработка специальными эффектами (как встроенными, так и подключаемыми извне — об этом позже), очистка от шумов, имеют развитую навигацию и инструментарий в виде спектроскопа и прочих виртуальных приборов, управление/управляемость внешними устройствами, преобразование аудио из формата в формат, генерация сигналов, запись на компакт диски и многое другое. Некоторые из таких программ: Cool Edit Pro (Syntrillium), Sound Forge (Sonic Foundry), Nuendo (Steinberg), Samplitude Producer (Magix), Wavelab (Steinberg), Dart.
Специализированные реставраторы аудио позволяют восстановить утерянное качество звучания аудио материала, удалить нежелательные щелчки, шумы, треск, специфические помехи записей с аудио-кассет, и провести другую корректировку аудио. Программы подобного рода: Dart, Clean (от Steinberg Inc), Audio Cleaning Lab. (от Magix Ent), Wave Corrector.
Sony Cinescore — программа для создания профессиональных саундтреков и озвучивания видеоматериалов. Cinescore автоматически генерирует неограниченное число музыкальных композиций, используя легальные темы, охватывающие практически все музыкальные жанры и направления. Можно создавать аудиодорожку определенной длины, увеличивать или уменьшать темп, чтобы музыка соответствовала происходящему на экране. В базе программы множество свободно распространяемых музыкальных тем.
Видеоинформация наиболее реалистично отражает изучаемые объекты и их взаимодействие. В дальнейшем для краткости будем употреблять термин видео.
К преимуществам видео можно отнести:
— высокая достоверность передачи особенностей движущихся объектов;
— создание эффекта присутствия.
Аналоговое видео имеет множество проблем, связанных с носителем аналоговой информации и технологией ее обработки — искажение сигнала при прохождении, потери при перезаписи и влияние носителя как такового. Цифровое видео (digital video) устраняет эти проблемы, объединяя и перенося движущееся изображение и звук в компьютерный мир
Для создания цифрового представления видеоизображения применяется следующая процедура. Аналоговые сигналы от видеоисточников, например с камеры, преобразуется перед оцифровкой в цветовую систему YUV или в аналогичное цветовое представление. Затем полученный видеосигнал преобразуются в цифровую форму при помощи специального устройства, называемого аналого-цифровой преобразователь (АЦП, ADC-Analog-to-Digital Converter). Результат этого преобразования представляет собой последовательность байтов, кодирующих цвет каждого пиксела в кадре изображения. Объединение информации о каждом кадре формирует поток данных, полностью описывающих видеофрагмент. Видео- изображение в таком представлении можно в дальнейшем обрабатывать, хранить или передавать в практически неограниченное число раз. Однако размер такого файла оказывается весьма значительным.
Для Pal/Secam частота смены кадров — 25 раз в секунду, что наш мозг воспринимает как непрерывное движение. Длинные видеопоследовательности без сжатия имеют большие размеры. Так, для видео с размером кадра 352х288, 24 бит на пиксель минута видео потребует примерно 435 Мбайт.
Источник
История развития видеоформатов (статья плюс ролик)
С девятнадцатого века люди начали добиваться успехов в создании систем движущихся картинок. Фенакистископ, Кинеограф, Праксиноскоп — примитивные, но успешные попытки показать зрителю движение. Весь двадцатый век и дальше кино и видеоформаты развивались, становясь лучше, сложнее, дешевле и доступнее, приведя в итоге к рождению стриминговых видеосервисов, где можно посмотреть об этом интересный ролик. Для Гиктаймса я подготовил его в формате статьи, а внизу оставил видео.
Статья удобнее наличием ссылок для более подробного ознакомления с интересными форматами, а ролик содержит множество иллюстраций.
До кинематографа
В 1832-м году Жозеф Плато создал фенакистископ. В приборе был вращающийся диск, на который надо было смотреть через отверстие. Нарисованные с равным интервалом «кадры», быстро сменяя друг друга, создавали иллюзию движения.
Зоотроп, как считается, изобрел Уильям Джордж Горнер в 1833-м, хотя о похожем приборе говорится в китайских летописях еще от 180-го года. Внутри полого барабана, на стенках были нарисованы кадры.
В 1868-м году Джон Бернс Линнет запатентовал слово «кинеограф» в качестве названия приспособления для быстрого листания страничек бумаги с нарисованными кадрами фильма. Навроде тех, что вы рисовали в школе на полях тетради.
В 1877-м Эмиль Рейно запатентовал праксиноскоп. По сути — это зоотроп с призмой, которая так отражает изобрежение, чтоб компенсировать отклонение «кадра» вплоть до следующего.
С семнадцатого века существует идея проектора. Только тогда это называли волшебным фонарем, а в качестве источника света в конструкции использовали, например, свечку, над которой был дымоход.
Кинопленка
Среди устройств, позволяющих записать движущееся изображение из кадров, кинетограф в 1891-м году использовал целлулоидную пленку в качестве запоминающего устройства.
В 1895-м году братья Люмьер собрали кучу наработок прошлого и сделали синематограф, на который и сняли знаменитое Прибытие поезда.
Частота кадров была ограничена 16-ю: в аппарате использовался надежный и сердитый грейфер для смены кадров рывками, и при более частых рывках пленка рвалась. По этой же причине не получалось использовать пленку длиннее 17-и метров: тяжелый рулон не хотел так быстро крутиться и пленка снова рвалась.
В 1897-м эту проблему решил Вудвил Латам, запатентовав свою петлю. То есть, создав буфер между непрерывным вращением рулона пленки и скачковым механизмом, который резко меняет кадры.
Уже тогда вопрос стандартов остро встал перед индустрией. За первые десять лет двадцатого века более-менее была приведена к стандарту ширина кинопленки — те самые 35 мм. Сложнее оказалось найти единый стандарт перфорации, проще говоря дырочек по краям пленки, позволяющих сдвигать ее ровно на кадр. С нестандартными дырочками мучались вплоть до тридцатых и даже сороковых годов.
Сегодня за стандартизацию дырочек отвечает Общество инженеров кино и телевидения СИМПТИ. Основано оно было в 1916-м, хотя кинопроизводители еще в 1908-м пытались привести перфорацию к одному знаменателю. Попытки киноделов сэкономить, покупая неперфорированную пленку и кое-как дырявя ее на собственных станках или даже внутри съемочного аппарата приводили не только к несовместимостям, но и к скачущему изображению при воспроизведении. Нормальная заводская перфорация решает обе проблемы.
Магнитная лента
В 1944-м русский эмигрант Александр Понятов основал компанию AMPEX. В 56-м компания изобрела поперечно-строчную видеозапись, в которой использовалась магнитная лента на бобинах.
В том же году БиБиСи уже использовала технологию для трансляции новостей не в прямом эфире. Сложно переоценить возможность записывать эфиры для телевизионщиков, это был прорыв. Именно от телевидения многие форматы унаследовали чересстрочную развертку.
В 59-м Тошиба предложила использовать изобретенную японцем Норикадзу Савадзаки наклонно-строчную запись вместо поперечно-строчной: строки, расположенные под углом к видеоголовке, позволяли, например, поставить видео на паузу с замиранием картинки на экране: в таком формате считывающая головка перекрывает строки для вывода одного экрана в любой момент времени.
В 65-м Ампекс разработал цветную пленку.
В то время пленка хранилась на бобинах, а значит запись можно было легко испортить, потрогав пленку руками. А заправка ее в аппарат для воспроизведения была процессом, требующим понимания, примерно как при заправке нитки в швейную машинку. И если со швейными машинками за эти годы проще не стало, то вот индустрию видеопроизводства изменили кассеты.
От аналога к цифре
Первым индустриальным форматом кассет стал U-matic от Сони. Профессионалы 1971-го года были счастливы: кассеты жили дольше бобин с пленкой, имели разрешение в 400 строк и отличное качество благодаря широкой ленте почти в два сантиметра (¾ дюйма) и высокой скорости прокрутки, да двухканальный звук.
Для домашнего использования формат не подошел: кассеты были огромными, с ограничением в 90 минут. Магнитофоны были еще более огромными. Так что, несмотря на дальнейшие доработки, Сониевские ¾ не покорили мир.
Зато его покорила JVC, выпустив на рынок в 76-м кассеты формата Video Home System. Или просто VHS, который к 84-му стал основным форматом бытового видео.
Кассеты с лентой шириной 12,5 мм (½ дюйма) могли хранить до шести часов видео разрешением 240 строк, хотя чаще хранили до трех часов. У кассет не было никакой защиты от копирования, что уже было неплохим аргументом против использования проприетарного Бетамакса — формата-конкурента от Сони, наследника U-matic.
VHS-плееры были дешевле. Вдобавок, Сони сильно просчиталась, запретив продавать на своих кассетах порно.
В 83-м году вышел знаменитый советский магнитофон Электроника ВМ-12. Тот самый, с выпрыгивающим вверх слотом для кассеты, и слизанный с Панасоника NV-2000.
Но хоть Бетамакс и проиграл войну за пользовательский рынок, его Бетакам-версия активно использовалась в профессиональной нише. В телевещании, например. Потому что VHS для профессионального использования не подходил: с каждой перезаписью кассеты качество падало, а искажения росли. Это следствие композитной записи, которая накапливает так называемые перекрестные искажения. На Бетакам записывался компонентный сигнал: видео делилось на каналы яркости и цветности, что уменьшало износ и искажения при перезаписи.
Для профессионалов было не менее важно, что камеры Бетакам писали сразу на свою кассету, и не нужно было тянуть провода к отдельному рекордеру. А это дополнительные удобство и мобильность.
Бетакам развивался параллельно остальным форматам, но был всегда профессиональным решением.
Поговаривают, что кое-где до сих пор в эфир идут записи с бетакамовских кассет.
У нас VHS прекрасно жили вплоть до массового прихода дешевых «домашних кинотеатров» и DVD-дисков, а на западе в это время появлялись новые форматы.
Через восемь лет после выхода VHS, Сони выпустила конкурента: Video-8.
Формат был компактным: восемь — это как раз ширина пленки. Формат давал качество чуть получше VHS’ного с разрешением 250 строк. Не путать с Супер-8 65-го года: популярным форматом домашней съемки, в котором использовалась кинопленка. Но рынок бытового видео восьмерка так и не захватила, хотя определенную популярность снискала: эти маленькие удобные кассеты нашли свою нишу, став стандартом для видеокамер Handycam. Вполне вероятно, что у ваших родителей где-нибудь в столе лежит такая кассета с их свадьбой.
На смену пришли S-VHS и Hi-8. Качество видео выросло, принципы записи сигнала изменились, покрытие пленки улучшилось, ленты перестали быть оксидными и стали металло-порошковыми.
S-VHS отошла от композитного сигнала к двухкомпонентному: отдельно писались каналы яркости и цветности. Разрешение выросло до 400 строк. Формат начали то ли с гордостью, то ли с сомнением называть полупрофессиональным, появились устройства для профессионального монтажа и вещания на его основе. Кассеты выглядели так же, как обычные VHS, а магнитофоны были обратно-совместимыми.
Hi-8 — самый качественный из бытовых аналоговых форматов. Разрешение — 420 строк. Выглядит кассета, как Video-8.
На этом история развития аналоговых форматов заканчивается, но не заканчивается история видеокассет. Просто теперь на кассеты пишут цифровой сигнал.
Но сперва поговорим о дисках. Которые тоже сперва хранили аналоговое видео.
Первые попытки записать видео на диск были предприняты еще в конце девятнадцатого века.
Первый патент на такую систему, способную хранить чуть больше минуты видео, был зарегистрирован в 1907-м.
Двадцатисантиметровый Ted в начале семидесятых хранил от пяти до десяти минут.
В 78-м 12-дюймовый (30 см) виниловый VISC хранил по часу на каждой стороне, но даже не позволял поставить видео на паузу.
Потенциально успешный CED планировался в 64-м, а вышел в 81-м, сразу устаревшим и провальным.
Локально знаменитый 30-сантиметровый Laserdisc 78-го года хранил до часа на стороне в разрешении 440 строк. Кроме штатов и Японии нигде успешным не стал.
25-сантиметровый VHD 83-го года хранил по часу на стороне, но не стал успешным и через три года умер.
Цифровые диски начинаются с компактов. Первым адекватным форматом стал Video CD 93-го года, который давал VHS-качество, но не самый экономный кодек MPEG1, о котором чуть позже, ограничивал продолжительность такой записи часом с четвертью. Ну а через три года вышел DVD и с ним долго никто не мог конкурировать.
А теперь вернемся к кассетам, которые стали цифровыми.
До этого цифровые модули в рекордерах и магнитофонах были. Например, манипуляции с записью компонентного сигнала требуют диджитал-вычислений, а значит, процессора (как минимум в системе рекордера), но на сами кассеты сигнал писался аналоговый.
Теперь же, вместо каналов яркости и цветности, на кассеты писались цифровые потоки данных, в остальном все было похоже.
И если для зрителя это означало лишь приятное улучшение качества, то вот профессионалам видеопроизводства приход цифровых технологий записи невероятно упростил жизнь.
Аналоговую кассету особо не разгонишь, а цифровую можно разгонять пятидесяти- и даже стократно, без потери возможности считывания записи. А это очень упрощает монтаж и критически уменьшает время от футажа до готовой к трансляции записи.
Ну и наконец-то: цифровой сигнал можно копировать и перезаписывать (почти) сколько угодно раз, никакой деградации не происходит — цифра есть цифра.
Первый цифровой формат: D1 от Сони. Где Д — значит Диджитал, а 1 — значит, что первый. Появился в 86-м.
Интересно, что кассеты очень похожи на кассеты самого первого видеоформата U-matic: тоже пленка шириной ¾ дюйма, причем — оксидная, а не металло-порошковая. Система обеспечивала поток данных в 270 Мбит/с. Интересно, что с современными кодеками, видео в 8К нормально выглядит всего при 50-и, но об этом позже.
Формат подразумевает кодирование компонентного сигнала в 4:2:2 и был очень любим профессионалами за обилие удобных устройств для монтажа и обработки и удобства самого формата.
Формат D2 числится не за Сони, а за Ампексом, хотя первая принимала участие в разработке.
Формат получился холиварным: кассеты были дешевле, магнитофоны стыковались с аналоговым оборудованием без дополнительных ЦАПов, но качество было хуже и заточен формат был для бытового использования. Лучшее, что можно было услышать от профессионалов о D2: «ну, это лучше, чем ВХС».
D3 уплотнил запись вдвое, сделав производство видео дешевле.
D4 не существовало на рынке.
D5 наконец-то вернул радость в глаза профессионалов: 10-битное кодирование и отсутствие компрессии перекрыли потребности в D1. Его HD версия позволила выбирать между чересстрочными 1080 и прогрессивными 720 с частотой до 30 к/с.
D6 в 93-м году дал возможность писать поток в безумный по компьютерным меркам 1,2 Гбит/с без компрессии. Для нормальной реализации такой плотности данных пришлось разработать новую систему коррекции ошибок. И на этом скучные форматы D заканчиваются.
В том же 93-м Сони выпустила на рынок Digital Betacam.
Преемник перекрывал D1 и позволял достаточно дешево производить и обрабатывать видео, составляя модульную систему из совместимых устройств. А еще он был обратно совместим со старыми Бетакамами. Операторам и производителям видео система полюбилась.
В 95-м у нее появился конкурент Digital-S.
Его еще называют D9 по скучной цифровой традиции. Кассеты выглядели как VHS. Чуть позже появился HD-вариант. Сигнал кодировался по системе DV.
DV или Digital Video — это целая группа форматов, что была коллективно разработана Sony, Panasonic, Philips, Hitachi и JVC и сильно влияла на рынок с 95-го.
Кассеты в рамках DV могли быть разных формфакторов, вплоть до маленьких, на которых, возможно, хранятся вторые свадьбы ваших родителей.
Через DV мы плавно переходим от физических носителей, к цифровым интерфейсам и компьютерам. И цифровое видео получает возможность храниться и передаваться в виде файлов.
А это значит, появляются такие термины, как кодек и контейнер. Ну и наконец-то мы перестаем говорить о разрешении в телеформате «строк» и начинаем говорить в компьютерном формате пикселей.
Файлы и потоки
Контейнер — это формат файла или потока данных, в рамках которых данные кодируются каким-то одним образом.
Кодек же — это кодировщик и декодировщик. То, что преобразовывает данные. В случае с медиа, кодеки призваны сжимать поток данных и часто это делают с потерями.
В рамках форматов DV, контейнером может быть AVI, Quicktime или менее известный MXF. Кодеки в рамках этих контейнеров и форматов могут быть разными.
Если говорить о сжатии видео, то существует общее правило: чем более продвинутыми средствами кодируем, тем меньше может быть поток данных или размер файла, но понадобиться больше ресурсов для воспроизведения при субъективно равном качестве записи.
Развитие кодеков проходило параллельно с ростом производительности компьютеров.
В далеком 1988-м году появился кодек H.261. Мало кто о нем слышал, хотя именно в нем появились концепции опорных кадров, блочных векторных преобразований и других технологий, которые сейчас используются во всех популярных кодеках.
То есть, видео не хранится в виде последовательности кадров, как в кинопленке. Видео анализируется кодировщиком, который находит резкую смену картинки — например, начало новой сцены — и сохраняет такой кадр, который и называется опорным. И до следующего опорного кадра описывает лишь изменения этого кадра во времени, деля изображение на блоки.
В 93-м Экспертная группа по движущимся изображениям (MPEG), сформированная Международной организацией по стандартизации (ISO), разработала группу стандартов сжатия MPEG-1.
Относительно H.261 стало возможным строить изменения не только от прошлого опорного кадра, но и от последующего; а также кодировать какой-то участок в отрыве от остальных.
В 96-м появился MPEG-2. Именно им позже будут закодированы DVD-диски, можете себе представить масштабы распространения. В игру вернулась чересстрочная развертка, а так ничего кардинально нового.
На DVD-видео надо остановиться подробно. Появились эти диски в далеком 96-м, а к 2003-му стали основным потребительским форматом видео.
Фильмы записывались с разрешением 720×576 пикселей, что совпадает с форматом D1. При этом сжатие позволило уменьшить битрейт — то есть, поток данных, до 9,8 Мбит/с, что позволило писать фильмы на диски, объемом 4,7 ГБ. Формат кодирования: 4:2:0, с уменьшением разрешения каналов цветности — эта хитрость позволяет уменьшить объем файлов не сильно влияя на качество картинки, потому что канал яркости остается в исходном разрешении.
Третий МПЕГ отдельно не существует, все его фишки абсорбировал второй. К mp3 тоже отношения не имеет. Его начинали разрабатывать примерно наравне со вторым, нацеливаясь на более высокие битрейты, но потом решили все его задачи в рамках MPEG2.
98-й — ура пиратству или MPEG-4.
DVD-диск записать на CD помогали сперва проприетарный кодек DivX, затем его открытый аналог Xvid. Качество было, конечно, значительно хуже DVD.
Зато полуторачасовой фильм занимал 700 МБ и в нулевых бум кинопиратства был завязан именно на эти кодеки. Если на компьютере были фильмы — это были фильмы такого формата, за редким исключением.
И с 2003-го начинается современность. Joint Video Team под патронажем вездесущей Экспертной группы по движущимся изображениям представила кодек H.264, которым был закодирован ролик внизу поста.
Ну, почти, все-таки с того времени его доработали, а Ютуб вообще перегнал мой ролик в VP9 =) Например, в 2007-м вышла надстройка для H.264 — SVC (Scalable Video Coding), которая не только усложнила декодирование и так нелегкого для компьютеров кодека, но и позволила хранить в потоке видео в нескольких разрешениях в таком формате, что более высокие опирались на более низкие. Вы, скорее всего видели в интернете картинки в прогрессивном джипеге, когда они грузятся не сверху вниз, а сперва в квадратиках, а после все лучше прорабатываются, пока не загрузятся полностью. Здесь похожая история. С тем преимуществом, что устройства, которым надо вывести видео в разрешении меньшем, чем имеет ролик, могут не тратить ресурсы на декодирование лишних слоев.
А кодек действительно ресурсоемкий. Он содержит в себе много продвинутых технологий, в которых я, увы, не силен. Тем не менее, сегодня даже телефоны успешно справляются с FullHD-видео в таком формате, а топовые тянут и 4К.
При этом битрейт такого ролика в 1080p колеблется около 2 Мбит/с, а без звука еще меньше. И факт того, насколько можно уменьшить объем данных, грамотно повысив объем и сложность вычислений, меня до сих пор поражает.
В 2006-м появились диски Блюрей.
За два года они вытеснили своего конкурента HD-DVD. Живы до сих пор. БД были разработаны целым консорциумом крупных компаний. Диски бывают однослойные и двухслойные, емкостью 25 и 50 ГБ соответственно. Видео для них кодируется в MPEG-2, MPEG-4, H.264 и в новом на тот момент кодеком от Майкрософта VC-1.
У HD-DVD значения емкости были чуть скромнее — 15 и 30 ГБ — но они могли быть еще и двухсторонними. Набор кодеков тот же.
При этом потихоньку приближается будущее. Многие хотели бы его встретить в лице свободного кодека VP9, но, скорее всего, это будет корпоративный оскал H.265, который так же называют HEVC. Ну что сказать, с наступающим =)
Если серьезно, то оба кодека найдут себе место. Уже сегодня можно встретить видео-вставки на сайтах, которые реализованы на открытом формате WebM, который использует либо VP9 либо 8. А раз Гугл как раз форсирует применение VP9, то Ютуб тоже будет поддерживать оба новых кодека.
Оба кодека не революционные, но это очередной виток видеотехнологий. Видео и в H.264, и в VP8, и в H.265, и в VP9 выглядят прекрасно. Только последние два при этом меньше размером и имеют более высокий потолок применения. Другой вопрос, насколько быстрее или медленнее будет видео кодироваться в новые форматы, чтобы скромным производителям контента — вроде Слайламы — тоже было удобно. Да и особых конкурентов у этих кодеков нет, потому что сегодня снова важно, умеют ли устройства аппаратно декодировать видео: ваш смартфон без проблем потянет и какую-нибудь опенсорсную Theora, но разряжаться будет гораздо быстрее. Поэтому у нас снова добро и зло, Кока-кола и Пепси, Андроид и Айфон, VP9 и H.265.
Источник
