Автоматизированная покадровая обработка видео в художественном стиле

Задача
Решение
Результат
Бизнес-эффект
Соавторы
Презентация проекта
Примеры реализации
Другие работы автора

Задача

Основная задача заключалась в следующем: необходимо было разработать и внедрить новую услугу, которая бы составила конкуренцию традиционной покадровой художественной обрисовке видео. Последняя имеет ряд недостатков, среди которых можно отметить очень большой срок на производство (один человек делает медленно), дороговизну в случае командной работы (увеличиваются человекочасы, снижается маржинальность) и различного рода огрехи и несовпадения при анализе соседних кадров.
Важно было также автоматизировать производственный процесс, чтобы появилась возможность делать всё максимально быстро, качественно, минимальным числом задействованных людей и с получением большей прибыли.

Решение

Изначально в качестве рабочих инструментов были выбраны Adobe Photoshop и нейросеть Ebsynth, при помощи которой предполагалось дорисовывать промежуточные кадры, а опорные обрабатывать в Photoshop. Решение оказалось тупиковым, как и попытки задействовать другие нейросети, умеющие производить художественную обработку изображений.
В ходе дальнейших поисков я пришёл к выводу, что гораздо проще вообще всю работу перенести в Photoshop. Было изучено множество различных уроков, протестировано большое количество всевозможных скриптов, пресетов и экшнов, после чего, на базе всех этих полученных знаний, был записан уникальный экшн для Photoshop, позволяющий обрабатывать один кадр нажатием одной кнопки.
В этой схеме было одно узкое место: когда экшн заканчивал работу, требовалось в ручном режиме дважды нажимать на кнопки — «Yes» и «Ok» при сохранении файла. Это было не сложно, скорее, однообразно. Хотелось как-то пофиксить данное досадное упущение. Задача нажимания кнопок после недолгих размышлений была возложена на программу-автокликер, для неё был записан специальный сценарий, благодаря которому клики по кнопкам производились в заданные промежутки времени.
В качестве опытного материала был выбран наш фильм 2013-го года, «Собиратель душ», поскольку визуальный ряд у него достаточно непростой: много неоднородной растительности, внутрикадровый монтаж при помощи смены фокусировки, специфическое освещение, «покраска» и т.п. Конкретно он обработан под масляную живопись. Ознакомиться с результатом можно по ссылке в «Примерах реализации», чтобы понять, как это выглядит в динамике. Другие ссылки ведут на анимированные тестовые gif-файлы, сделанные в процессе обкатки технологии.

Результат

Результат работы имеет как качественное, так и количественное выражение.
1. Создан новый конкурентный продукт, который уже опубликован мною в разделе «Услуги» на freelance.ru. На текущий момент есть 4 варианта стилизации под масляную живопись и с десяток — под карандашный рисунок. В дальнейшем, вероятно, список будет расширен.
2. Благодаря точности и автоматизации процесса художественной обработки изображений практически не требуется нахождение на рабочем месте. Важно периодически контролировать, что Photoshop ещё не закончил обработку (есть ограничения по количеству одновременно открытых картинок, в заданные промежутки времени требуется подгружать новые и перезапускать автокликер). Таким образом, при наличии ещё одной рабочей станции можно параллельно выполнять другие задачи.
3. Достигнута высочайшая скорость обработки материала. При тестировании использовались различные типы кадров — по насыщенности объектами, по освещению, по глубине резкости (см. приложенные примеры), — но при разрешении FullHD (1920х1080) на обработку даже самых сложных из них уходило не более трёх секунд, что недостижимо при ручной обрисовке. В цифровом выражении это означает следующее: в минуту обрабатывается 20 кадров, в час — 1200, за восемь часов (рабочий день) — 9600, или 6 минут 24 секунды при 25 fps. То есть за день выполняется месячная норма средней руки специалиста, а за 22 рабочих дня обрабатывается 140,8 минут, или почти два с половиной часа видеоматериалов.
4. В ходе тестирования был выявлен ряд узких мест технологии, требующих ручной доработки. Все они зафиксированы и предсказуемы, никаких «сюрпризов» не ожидается.
5. Большой потенциал для освоения рынка. Сфера применения решения достаточно широкая — музыкальные клипы, свадебные ролики, видеовизитки, «рисованные» вставки в научно-популярные и исторические передачи, короткометражные и полнометражные фильмы и т.п.
6. Побочным результатом наработок явилось то, что данная технология будет использована мною в презентации визуальной концепции для жюри всероссийского конкурса «Страна света», на второй этап которого я уже прошёл, и задача стоит попасть на третий, заключить контракт и создать контент для 3D mapping, который будет проецироваться на одно из зданий Дворцовой площади.

Бизнес-эффект

1. На больших проектах полная автоматизация позволяет задействовать обычных специалистов уровня junior, не боясь критических ошибок или срыва сроков с их стороны. Middle и выше больше не нужны.
2. Скорость как конкурентное преимущество.
3. Возможность брать большие объёмы видео даже без привлечения дополнительных специалистов.
4. Повышение маржинальности в связи со снижением расходов на производство.