В наше время модели машинного обучения для распознавания образов (Computer Vision, CV) начали активно использоваться во многих сферах человеческой деятельности. Именно сейчас они формируют ту новую реальность, в которой нам всем скоро предстоит жить. Более того, компьютерное зрение уже меняет процессы создания рекламы и видеороликов. Как это работает, рассказывает Михаил Степнов, Head of Advanced Analytics Publicis Groupe Russia.
На данном этапе своего развития машинное зрение (CV) и искусственный интеллект (AI) уже применяются в огромном количестве индустрий. Например, в автопилотах многих автопроизводителей, от Ford до Tesla. Бортовые компьютеры автомобилей с такими системами непрерывно обрабатывают визуальные данные: другие транспортные средства, дорожные знаки и пешеходы — все это анализируется в реальном времени, и полученная информация служит основанием для действий, предпринимаемых машиной.
Другой известный пример — это система распознавания лиц в Китае. Ее используют для увеличения эффективности работы полиции, проведения оплат в интернет-магазинах и других сервисах, а также для многих других целей, вплоть до оценки благонадежности гражданина.
А розничные магазины по всему миру применяют такого рода технологии для мониторинга запасов, медработники — для быстрой постановки диагнозов. В строительстве и промышленности с помощью дронов с CV отслеживают состояние строительных объектов: компьютер уже научился распознавать внешние повреждения, которые необходимо устранить для безопасной эксплуатации объектов.
Само собой, технологии работы с изображениями — первый кандидат для применения в рекламной индустрии, где визуальный ряд — краеугольный камень работы. Некоторые рекламодатели уже нашли применение — обеспечение brand safety, не позволяющее размещать интернет-рекламу рядом с контентом, противоречивым или проблематичным для аудитории бренда. Но есть и более интересные способы применения компьютерного зрения и искусственного интеллекта в рекламе. В этой статье мы поговорим о способах оценки ключевых параметров эффективности видеоконтента (например, узнаваемости роликов) с помощью моделей машинного обучения для распознавания образов.
Компьютерное зрение в ТВ-рекламе
Недавно Data Sciences департамент Publicis Groupe Russia провел исследование, в котором оценил эффект от появления различных объектов в рекламном ролике на его запоминаемость для индустрии телекоммуникаций. Всего в анализе было использовано несколько сотен ТВ-роликов четырех крупнейших операторов России (МТС, «Теле2», «Мегафон», «Билайн»).
Ранее для каждого ролика традиционным образом был замерен Ad Recall — узнаваемость ролика (на основе онлайн опроса). Он стал целевой переменной, предсказывать которую для каждого ролика учился алгоритм машинного обучения. В качестве объясняющих переменных выступил объем размещения (в TRP и WTRP, причем WTRP в модель «зашли» лучше), наличие в ролике известного человека или популярной, запоминающейся мелодии (эти факторы также можно было бы собрать посредством компьютерного зрения, но обучение модели заняло бы в разы больше времени, чем заполнение информации вручную — еще один повод вспомнить, что не все и не всегда эффективно делать с помощью машинного обучения) и сам ролик. С помощью предобученной нейросети (архитектура Mask-R-CNN) из каждого ролика собирались присутствующие там объекты, а также рассчитывалась основная цветовая гамма (в кодировке RGB, топ-3 цвета видео).
В общей сложности было собрано более 100 классов объектов: людей, животных, автомобилей, техники. Как визуализируется процесс сбора данных, можно увидеть на примере:
Рамкой выделяется найденный объект, над ней подписывается класс объекта и вероятность корректного узнавания объекта. В примере можно заметить, что некоторые объекты имеют низкую точность распознавания, однако в самом анализе не учитываются объекты с точностью ниже 0,8.
Говоря о результатах исследования, следует начать с того, что не оправдались главные опасения, возникавшие с самого начала работ: объем показов оказался не единственным значимым фактором. В противном случае выводы из модели были бы слишком очевидны: чем больше показов — тем выше узнаваемость. Однако результаты оказались весьма неожиданными.
Прежде чем перейти к описанию результатов и инсайтов, важно обратить внимание, что эта модель подходит только для сферы телекоммуникаций. Для рекламодателей, работающих в других индустриях, модель нужно обучать заново, принимая во внимание их специфику.
Выводы же, сделанные по результатам данного анализа, таковы:
- Наличие известного человека не так важно, как кажется многим. Наличие просто людей оказывается важнее, чем дорогой актер в ролике.
- Оптимальное количество людей в ролике — два человека на кадр. Большее или меньшее количество снижает узнаваемость.
- Легковые автомобили повышают узнаваемость ролика, грузовики — уменьшают.
- Телевизор, ноутбук и другая техника повышают узнаваемость.
Но самым главным и неочевидным стал вывод о цветовой гамме роликов. Доля красного в RBG-кодировке основной цветовой гаммы ролика является ключевым фактором, влияющим на узнаваемость рекламы. Важно понимать, что цвета с высокой долей красного — это красный, желтый, белый, фиолетовый и прочие. Иначе говоря, видеоряд будет тем эффективнее, чем больше в нем ярких и теплых цветов и оттенков.
На данный момент исследование продолжается: мы ежемесячно обновляем модель с учетом новых роликов, а также используем ее для претестов роликов перед их размещением.