Радио 
Часть рекламного бюджета в «Яндекс Директе» «Зерокодер» передал ИИ-агенту: тот сам анализирует кампании, предлагает решения и запускает объявления. Директор по маркетингу компании Валерий Курземнек рассказал Sostav, как устроена система, где агент уже обошел человека, а где все еще нужен зоркий взгляд маркетолога.
Ручное управление контекстной рекламой упирается в потолок быстрее, чем кажется. Сколько гипотез команда проверит за неделю — вопрос банальной арифметики: сколько в ней людей. Каждый новый специалист не удваивает отдачу: его нужно обучить, встроить в процессы, синхронизировать с остальными. А пока он учится, перспективные связки закрываются просто потому, что до них не доходят руки.
«Зерокодер» подошел к этому барьеру как компания, которая учит бизнес, госструктуры и частных пользователей работать с ИИ — и проверяет новые технологии на себе. Экспериментальной площадкой стал собственный маркетинг: часть рекламного бюджета в «Яндекс Директе» поставили под управление ИИ-агента. Систему спроектировал и собрал Валерий Курземнек — и первым узнал, что значит по-настоящему довериться машине в вопросах, где считают деньги.
Задача: почему ручное управление упирается в потолок
После того как Google остановил продажу онлайн-рекламы в России, контекст сконцентрировался вокруг «Яндекса» как ключевого канала перфоманс-маркетинга. У «Яндекс Директа» не осталось прямых альтернатив, и площадка забрала и удерживает освободившуюся долю рынка. Для рекламодателя это значит, что конкуренция за эффективность внутри канала стала выше, а цена ошибки в управлении бюджетом — заметнее.
Рекламные системы при этом уже многое берут на себя: автостратегия сама повышает или понижает ставку за показ, ориентируясь на заданную цель по стоимости конверсии. Но кабинет оптимизирует только то, что видит, — клики и заявки, — и не знает, чем эти заявки закончились в кассе. А судить рекламу нужно именно по деньгам: дешевая заявка не означает продажу, и связка, которая на короткой дистанции выглядит удачной, вполне может не окупаться по выручке. Опытные перфоманс-маркетологи давно перестали ориентироваться на кликабельность как на главную метрику.
Поэтому все еще нужен человек, который сводит данные из разных систем и принимает решения не по кликам, а по продажам, лагу и когортам. Проблема в том, что до таких решений он добирается в последнюю очередь. Сначала мелкие правки в интерфейсе, сверка выгрузок, ручная сборка отчетов. И только потом, если остаются силы, — то, ради чего он нужен.
Передать промежуточную работу агенту «Зерокодер» заставили три вещи.
Потолок масштабирования. Ломалось все на переливе трафика на победителей. Связки у команды были хорошие, но подрядчики стремились залить на них больше бюджета, а емкости на всех не хватало: один недобирал потенциал, несколько — переливали, конкурируя за одну и ту же аудиторию. На стабильном объеме такие связки давали 130−150% окупаемости — выше KPI, целевого показателя, который команда держала на уровне 130%. Но стоило увеличить бюджет, окупаемость проваливалась до 90−105%, ниже этой планки. Перспективные направления закрывались не потому, что были плохими, а потому что никто не видел общей емкости: каждый исполнитель отвечал только за свой участок.
Скорость. Цикл одной гипотезы — от идеи до понятного вывода — занимал больше месяца: анализ показателей, сборка кампании, три недели открутки для набора статистически значимых данных. При бюджете от 20 млн рублей в месяц это означало, что даже при готовых дашбордах, сводных экранах с ключевыми показателями, узким местом оставалось время, а не данные. Рынок за это время не ждал: пока одна гипотеза дозревала, десять соседних просто теряли актуальность.
Стоимость мощности. Команда могла проверять ровно столько гипотез, сколько позволял штат: в пике специалисты справлялись с 15−20 в неделю. Нарастить мощность означало нанять новых людей, а найм не давал мгновенного эффекта: подрядчик выходил на целевые показатели в среднем через два месяца. Мощность в такой модели покупалась не деньгами, а временем, которого не хватало.
Три ограничения и легли в основу гипотезы эксперимента: если решения по деньгам все равно приходится принимать вручную и медленно, что будет, если передать этот слой ИИ-агенту, снабдив его правилами, проверками и ограничениями по риску?
Почему это не чат-бот, подключeнный к «Директу»
Задачу разделили между двумя агентами. «Голиаф» ведет компании ежедневно: каждое утро читает все связки всех кампаний в «Яндекс Директе», предлагает решения и запускает объявления. «Соломон» разбирает обезличенную базу и готовит для него данные.
От чат-бота, программы, которая только отвечает на команды текстом, такую систему отличают три вещи. И все они построены на недоверии к языковой модели.
Первое: агент не считает в уме. Модели прямо запрещено называть цифры. Всю арифметику, выручку, окупаемость, стоимость заявки, считают обычные скрипты по базе данных, а модель только объясняет уже посчитанное. «Зерокодер» сознательно не отдает расчеты языковой модели: на больших объeмах высок риск, что она «вспомнит» неверное число. Детерминированный расчет вместо генерации убирает самый дорогой тип ошибки, когда система уверенно называет выручку по памяти.
Второе: агент принимает решения, но рамка задается правилами, которые устанавливает оператор. Три из них якорные:
- семь дней без заявок, кампания останавливается;
- потрачено три средние выручки с заявки, или ARPL, а заявок нет: объявление выключается;
- стоимость целевого действия превысила план в 1,7 раза, кампания останавливается. Целевое действие — заказ для отдела продаж, ориентир берeтся из плановых или исторических данных.
Отдельное правило работает на масштабирование: бюджет успешной кампании агент поднимает ступенями с контрольными паузами, а не втрое за раз.
Третье: приватность.
Евгения Заяц, технический директор «Зерокодера»:
Самым сложным оказалась не интеграция с «Директом», а контур доступа, — говорит она. — Агенту нужна вся глубина маркетинговых данных и при этом ни одного телефона и ни одной почты клиента. Мы развели эти слои так, чтобы агент физически не мог дотянуться до персональных данных: у агента есть только маркетинговые метрики, идентификаторы заказов и внутренние теги.
Под агентной системой была заложена массивная база данных за 605 дней работы отдела рекламы: внутри четыре рекламных кабинета, 1224 кампании, 6847 объявлений, 329 290 строк формата «статистика объявления за конкретный день» и суммарный бюджет 160+ млн рублей.
Но как выяснилось позже, слабым местом системы оказалась именно она, а не логика агента.
Как агент решил выключить прибыльное направление
Перед запуском Валерий Курземнек разобрал базу и нашел три искажения, каждое из которых поодиночке могло сломать всю оптимизацию.
Первое: из-за нескольких идентификаторов клиента в CRM, системе учета клиентов и заказов, терялось около 18% оплат, люди в отчетах выглядели неокупившимися, хотя платили.
Второе: статус «Завершeн» в выгрузке включал заказы на ноль рублей, поэтому в правило зашили: агент засчитывает только фактически оплаченное.
Третье: почти половина «дешевых заявок» в закупке приходилась не на новых людей, а на тех, кто уже был в базе и просто зарегистрировался повторно. Для алгоритма «Яндекса» это обычная конверсия: заявка пришла, связку можно масштабировать. Для бизнеса это ноль новых клиентов: кампания откручивала бюджет на аудиторию, которую и так не нужно было покупать.
Одним утром нашли и четвертое искажение, только вот цена ошибки могла обойтись команде в несколько недель недополученной прибыли.
На вторую неделю тестирования агент прочитал кампании и предложил остановить 47 объявлений и две группы: по одному направлению он видел нули. Каждое решение шло с коротким обоснованием: команда подтвердила их пакетом, не вдаваясь в детали, и на все решение ушло 8 секунд. Так и было задумано: смысл системы в том, чтобы человек не тратил два часа на разбор, который агент уже сделал.
Однако директор по маркетингу решил сверить последние решения агента с первоисточником и нашел подводный камень. Агент ротировал кампании, и часть новых объявлений не попала в карту привязки к продуктам. Люди по ним регистрировались и покупали, но в отчете агента этих оплат просто не было: направление приносило деньги и окупалось примерно на 160%, а в цифрах стояли нули. По правилам агента такое направление надо было выключать, и оно было выключено. Приостановка успела продлиться меньше суток; а затем направление вернули в работу.
Внимательный маркетолог поймет, что проблема была не в логике агента, а в подготовке данных: важный нюанс не был учтен и записан в память системы. И вот, в чем разница между агентом и специалистом: специалист, увидев внезапный ноль на живом направлении, скорее всего, усомнится в цифре. Но агент не сомневается. В этом его сила и в этом же вся его опасность.
После этого прецедента появилось общее правило: любую цифру о деньгах проверяют минимум двумя способами. «Ноль заявок» засчитывается, только если ноль показали три независимые системы: рекламный кабинет, счетчик веб-аналитики и CRM.
Валерий Курземнек, директор по маркетингу «Зерокодера»:
Агента невозможно поставить поверх маркетинга, который сам себя не читает. Я меряю это своей авторской шкалой машиночитаемости: от нуля, где связь рекламы с деньгами не восстанавливается вообще, до тройки, где каждый рубль видим агенту до оплаты и обратно. Мы были уверены, что у нас тройка. По факту на этих кампаниях был ноль. Клик видно, оплату видно, а ниточки между ними нет, и восстановить ее нечем. Всем, кто задумывается над сборкой агентной системы, нужно понимать: дорого обходятся не действия агента, а его слепые зоны. Восемьдесят процентов инженерии такой системы — это глаза, а не мозг.
Человек и агент: где проходит граница
Рядом с агентом в «Яндекс Директе» работают четыре специалиста с теми же вводными: те же воронки, те же инструменты для креативов, тот же доступ к данным. По четырeм параметрам их работу можно честно сопоставить.
Там, где нужно выходить за рамки, человек по-прежнему сильнее: придумать принципиально новую схему настройки, почувствовать, какая креативная идея выстрелит, решить задачу, которая не сводится к одному «Яндекс Директу». За неделю специалист выдает 3−5 новых идей, и обычно они рождаются из опыта. Агент же действует внутри заданной рамки и не предложит того, что в нее не заложено.
Где агент уже обошел человека, так это в работе с контекстом и объемом. Он удерживает карту кампаний на бюджет свыше 160+ млн рублей, помнит, какие креативы дали лучшую окупаемость, и проводит диагностику заметно быстрее. Результат у него ровнее: меньше провальных объявлений, но и меньше ярких прорывов.
Граница проходит и по деньгам.
Валерий Курземнек, директор по маркетингу «Зерокодера»:
У агента полная свобода во всем, кроме бюджета. Мы страхуемся от сценария, когда он выкрутит суточный лимит и потратит его на неэффективные связки. Рамку задаю я, а кабинет мы пополняем частями, один-два раза в неделю. Фактически мы наняли сотрудника, который работает круглосуточно, без отпусков и больничных и не срывает сроки, но ключ от сейфа держим у себя.
Результат: 370% ROAS и ни грамма магии
За два месяца, май и июнь, агент открутил 702 тыс. рублей бюджета и принес 2,6 млн выручки — оплаченные заказы из CRM по образовательным программам. Окупаемость рекламных вложений (ROAS) — около 370%.
Выручка разложилась почти поровну: 1,4 млн принесли новые люди, которые раньше не попадали в воронки «Зерокодера», 1,2 млн — реактивация: те, кто приходил на прошлые эфиры, вернулся через рекламу агента и купил. Ровно та работа, на которую у команды никогда не хватало рук: одновременно держать два фронта и не проседать ни на одном.
Разработка обошлась в 70 млн токенов и около 40 часов рабочего времени, хотя агентов до этого он не делал никогда. Токенами измеряют объем работы языковой модели, и все 70 млн уложились в подписку за 200 долларов.
Поддержание флота за два месяца работы: «Яндекс Облако» порядка 8 тыс. рублей и 30−50 долларов на API, программный интерфейс для обращения к сервису генерации баннеров. Суммарно — без рекламного бюджета и оплаты труда — получилось около 30 тысяч рублей.
Здесь же становится видна и реальная механика. В среднем до конца окна доживает три гипотезы агента из десяти, а бюджет реально поднимается на двух. Семь из десяти отсеиваются — нормальный режим работы, при котором большинство гипотез обязаны закрываться дешево. Качество системы измеряется ценой одной неудачи, и агент выигрывает в объеме проверок и скорости.
Это и есть ответ скептикам, которые ждут от ИИ технологического чуда: чуда здесь нет и не предполагалось. Есть аналитический центр, который работает круглосуточно, без выходных и больничных, и держит в поле зрения весь массив кампаний сразу — объем, недоступный человеку физически. Его преимущество во внимании и выносливости: он не пропускает связку из-за нехватки рук и не откладывает разбор на понедельник.
Рядом с таким центром обязан стоять человек — тот, кто закладывает базу данных и отвечает за ее чистоту, формулирует правила и определяет границы полномочий агента. История с выключенным направлением ровно об этом: агент отработал безупречно по полученным данным и потерял деньги, потому что данные готовил человек. Ответственность здесь не делится с системой, она остается на архитекторе.
Кирилл Пшинник, генеральный директор «Зерокодера»:
Классическая схема найма в компаниях — взять джуна и вырастить его до мидла и сеньора за три-пять лет — держится на том, что рутину дробят между людьми. Если рутину можно отдать агентам, эта схема перестает быть преимуществом и превращается в лишние расходы. В маркетинге мы это уже видим на практике: небольшая команда операторов, у каждого своя структура агентов, закрывает объем, на который раньше нужен был целый отдел. Быстрее вырастет та компания, что раньше научится собирать такие команды.