Почему с ИИ приходится точнее понимать собственную работу
Когда я собирал посадочные страницы вручную, логику компоновки не требовалось каждый раз проговаривать вслух. Порядок блоков со сходной функцией — тех же отзывов или других подтверждений доверия — от страницы к странице различался. У отдельных страниц были свои A/B-тесты, но если бы меня попросили объяснить единое основание выбора структуры, я бы вряд ли ответил сразу. Видишь продукт, держишь в голове контекст аудитории и принимаешь решение по ситуации. Так можно работать долго, даже когда собственные критерии остаются не до конца ясными.
Сложность вскрылась, когда я стал превращать эту работу в повторяемый пайплайн. Ему невозможно передать ощущение вроде «кажется, здесь отзывы лучше показать раньше». Пришлось определить, какие сведения об аудитории нужны на входе, как её ценности и барьеры влияют на выбор блоков и в каких местах решение следует проверять. В ходе этой работы я заметил, что прежде сходные решения порой принимал на разных основаниях, не объясняя себе, почему сменил критерий. Пока собираешь каждую страницу отдельно, такое расхождение легко пропустить.
Это не делает прежние страницы ошибочными. Разным аудиториям нужна разная подача, а тест помогает сравнить конкретные варианты. Только сам выбор вариантов происходит раньше теста: результат сам по себе не подскажет, какой вопрос о читателе мы забыли задать, когда придумывали эти варианты. Если для одной страницы отзывы решено поставить ближе к началу, а для другой — после описания продукта, стоит понимать, какое различие между аудиториями определило порядок. Иначе результат теста останется ответом на локальный вопрос, а правило для следующей страницы придётся снова искать на ходу.
Представим продукт, у покупателей которого есть сомнение по поводу скрытых расходов. Модель может предложить обычную последовательность блоков и связно объяснить свой выбор. Страница выглядит аккуратно; преимущества продукта изложены раньше условий покупки. Но если именно опасение дополнительных платежей мешает человеку читать дальше, такая последовательность может оказаться неудачной. Чтобы решить, где объяснять условия покупки, мне понадобилось бы знать, действительно ли расходы — барьер для этой аудитории. Аккуратная структура и связное объяснение модели этого знания не заменят. С заданным критерием модель способна помочь и при проверке варианта; без критерия ей остаётся опираться на сформулированную задачу и общий образец.
Когда я работаю с моделями и навыками для них, часть исполнительских действий передать легче: получить черновик, обработать материал, собрать варианты. Передача этих действий модели не избавляет от выбора исходных сведений и проверки готового ответа. Бывает, что трудность обнаруживается ещё при постановке задачи: пока пытаешься описать, какой результат годится, выясняется, что сам не договорил важное условие. Знание технических ограничений модели тоже нужно. Оно помогает понять, чего требовать от результата и где проверять его особенно внимательно. Полезно разделять две проверки: всё ли нужное передано модели и верно ли она использовала полученное.
Правило, которое удалось сформулировать, можно применить к следующей странице, обсудить с коллегой и изменить, если оно даёт противоречивый ответ. Интуитивное решение помогает в отдельном случае, но его основания трудно передать другому человеку. Для меня профессиональный навык теперь включает и эту работу: разобраться в своём способе выбора так, чтобы его можно было повторить и проверить. При этом явный метод не обязан превращаться в жёсткую схему с неизменным порядком блоков. В нём можно описать, при каких условиях порядок меняется. В следующем случае такое правило можно применить к другой аудитории, сохранив возможность изменить структуру, когда для этого есть причина.
При сегментации приходится решать, какие различия между людьми существенны для продукта. При формулировании ценности — каким знанием о потребностях аудитории подтверждается обещание. При построении пользовательского пути — почему действие в одной точке ведёт к следующему. Выбирая эксперимент, нужно объяснить, почему сейчас проверяется именно эта гипотеза. Это разные решения, и готовое правило компоновки страницы на них не перенести. У каждого будут свои входные сведения и свой способ проверки. Например, в сегментации аккуратная таблица ещё не отвечает на вопрос, влияют ли выбранные признаки на интерес людей к продукту. В эксперименте хорошо оформленная гипотеза не объясняет, почему её проверка должна предшествовать другим.
Думаю, в ближайшие годы явные методы придётся сформулировать для многих профессиональных задач. В моей работе освоить очередной инструмент проще, чем разобрать привычные решения, которые раньше принимались по ситуации. Собственный опыт даёт для этого материал: можно вернуться к удачному решению, посмотреть, какие сведения были доступны в тот момент и почему выбрали именно такой ход. Описывать эту логику труднее, чем воспроизвести видимый результат.
Перед тем как выбрать структуру страницы или гипотезу для эксперимента, специалисту нужно узнать достаточно о продукте, аудитории и задаче. От того, какие сведения он собрал и как их понял, зависит дальнейший выбор. Способ работы нужен уже при сборе сведений. Близкий по теме материал может не отвечать на нужный вопрос; два наблюдения могут расходиться, и тогда основание для решения приходится пересматривать. Если пропустить этот этап, следующий шаг будет выглядеть убедительно лишь потому, что исходное допущение никто не проверил.
Статьи, исследования, обсуждения и выступления дают материал в разном виде. Иногда полезный фрагмент обнаруживается не там, куда ведёт заголовок. Чтобы понять его значение, приходится возвращаться к своему вопросу и сравнивать услышанное с тем, что уже известно. Сохранить ссылку проще, чем проделать эту работу. Одна и та же публикация может оказаться полезной для одного рабочего вопроса и бесполезной для другого; длина списка прочитанного сама по себе ничего не говорит о качестве будущего решения. Чем больше материалов откладывается «на потом», тем труднее понять, какой из них стоит открыть для конкретного решения и где в нём искать ответ.
С видеозаписями профессиональных конференций это особенно ощутимо. В длинном докладе нужная мысль может прозвучать за несколько минут где-то в середине. Название доклада не укажет точный момент, а отрывок без соседних минут может потерять смысл. Сначала до нужного места надо добраться, затем понять сказанное в контексте выступления и сопоставить с тем, что известно из других материалов.