«Газпром-Медиа Холдинг» (ГПМХ) представил новый сервис автоматического распознавания и тегирования видеоконтента Video Tagging System (VTS). Сервис разработали телеканал 
Пятница! и компания «ГПМ Дата» — единый центр управления большими данными активов ГПМХ. Об этом Sostav сообщили в пресс-службе холдинга.
VTS создан на стыке нескольких технологий: компьютерного зрения, искусственного интеллекта и нейросети, пояснили в компании. Он распознаёт лица, речь (с помощью технологии Tinkoff VoiceKit), надписи и количество персон в кадре, движения людей, а также выполняет детекцию животных и предметов, классифицирует кинематографические планы, считывает начало заставок и титров и определяет преобладающую палитру сцены.
«Все это позволяет ускорить поиск нужных кадров для производства промо-материалов и запуска контекстной видеорекламы. Продукт автоматизирует поиск подходящих сцен, модерацию, субтитрование и аналитику содержания видеоконтента», — отметили в ГПМХ. Кроме того, система способна выполнять автоматическую разметку самых релевантных моментов для показа рекламных роликов (мидролов), а также размечать логические паузы в многосерийном контенте.
Первыми пользователями сервиса стали телеканалы «Пятница!» и 
Суббота! , а также онлайн-кинотеатр Premier.
По данным ГПМХ, в результате использования системы VTS время подбора видеоматериалов для создания промо-роликов сократилось более чем в 20 раз, а время субтитрования контента — в четыре раза. «Применение VTS снижает трудозатраты при работе с контентом и даёт возможность пользователям перераспределить ресурсы с рутинных операций на творческие задачи», — подчеркнули в компании, отметив, что телеканал «Пятница!» «активно использует технологию для создания промо-роликов».
Максим Русаков, руководитель интернет-проектов «Пятницы!»:
Несколько лет назад коллеги из «ГПМ Дата» показали нам возможности работы нейросетей, и возникла идея применить эти чудеса для решения оперативных бизнес-задач «Пятницы!». Как минимум — автоматизировать и ускорить работу промо-продюсеров.
В результате совместных усилий появился сервис VTS. Партнёром для дистрибуции и хранения видео, а также демонстрации возможностей контекстной видеорекламы стала видеоплатформа UMA. Сейчас VTS осуществляет поиск по видеоархиву из 3 тыс. часов контента. С помощью нового сервиса промо-продюсеры тратят на поиск видеофрагментов пару минут, а раньше на такую работу уходили недели.
В марте телеканал «Суббота!» первым протестировал технологию в контекстной видеорекламе. Реклама нового кондитерского шоу с Клавой Кокой «Здравствуй, Сладкий» была интегрирована внутрь шоу «Кондитер» на «Пятнице!». Реклама автоматически появлялась в эфире после слов «сладкий» и «пробовать». Так, во время просмотра зрители «Пятницы!» видели релевантное промо другого кондитерского проекта.
Светлана Лапунова, управляющий директор «ГПМ Дата»:
Мы постоянно расширяем портфель наших цифровых продуктов для «Газпром-Медиа Холдинга» и рекламодателей. Решения на основе технологий компьютерного зрения и искусственного интеллекта обладают высоким потенциалом в оптимизации работы с медиаконтентом и в ходе настройки нативных рекламных коммуникаций для онлайн-видео. Спрос на такие разработки будет расти не только внутри «Газпром-Медиа Холдинга», но и со стороны внешних клиентов.
Сергей Стамболцян, генеральный директор Premier:
Онлайн-кинотеатр Premier уже использует технологию субтитрирования, которую предлагает система VTS. Это помогает оптимизировать работу по подготовке промо-материалов, а также адаптировать контент для слабослышащих зрителей.