Как проводить эксперименты и A/B-тесты в Яндекс.Директе
А/B-тест или эксперимент в Яндекс.Директ — популярный способ маркетингового исследования. Он позволяет выяснить, какая стратегия продвижения работает лучше. С помощью A/B-теста можно оценить эффективность элементов рекламы, например: эффективность картинки, УТП, наличия кнопки призыва к действию, заголовка и т. д.
Объявления в A/B-тестах обычно одинаковые, за исключением одной детали, например, разных заголовков.
Пример объявлений для A/B теста в Яндекс.Директ
В этой статье разберем сценарии A/B тестов: когда проводить, зачем, откуда брать гипотезы для тестирования, а также как запускать эксперименты в Яндекс.Директ.
Сценарии применения A/B тестов
Сценариев применения A/B тестов множество, но самые частые это:
- тестирование функционала рекламной площадки: на каких форматах объявление отрабатывает лучше, на какой стратегии и т. д.
- анализ выгодного формата рекламы для вашего бизнеса: где лучше запускаться — Поиск, РСЯ и т. п.
- анализ объема денежных затрат: куда перенаправить, на какое направление, на какие кампании.
Когда проводить A/B-тесты в Яндекс.Директ
A/B-тесты лучше проводить, когда текущие кампании и метрики настроены, отрабатывают и дают конверсии, но у вас есть желание что-то поменять и улучшить.
A/B-тест — удовольствие недешевое и запускать потребуется от 2-х похожих кампаний на срок от 3-х недель, поэтому чаще тесты проводят на действующих кампаниях, которые уже принесли прибыль и не лишатся ее при запуске эксперимента.
Для чего использовать A/B-тесты в Яндекс.Директ
A/B-тесты используют для проверки гипотез и предложений. Тесты могут касаться проверки эффективности отдельных элементов текста, изображений на креативах и т.д., но также пригодны в случаях, когда вы решили поменять дизайн посадочной страницы внутри рекламной кампании, которая пару лет хорошо отрабатывает. Естественно, если кампания работает хорошо и долго, трогать ее боязно, особенно в Яндекс.Директе, где легко сломать и тяжело построить. В случае таких изменений также используют A/B-тест. Если вам кажется, что в другом дизайне посадочная отработает лучше — не факт, что тоже самое решит ваша аудитория.
На основе чего создавать идеи для A/B-тестов
A/B-тесты используют для улучшения, потому все идеи для них отталкиваются от желания улучшить. Чтобы понять, в каких рекламных кампаниях вы не дотягиваете, можно обратиться к:
- аналитике. Посмотрите отчеты метрики по кампаниям, сравните их с вашими внутренними отчетами по продажам, так сможете выяснить, на какие направления уходит бюджет, но не приходит прибыль.
- отделу продаж. Консультация с отделом продаж даст понять с каких кампаний приходит некачественный трафик, оценить его не только по цифрам, но и по разговору, который обычно у отдела продаж сохраняется. Также сотрудники отдела могут подсказать, чего не хватает в текущих кампаниях, каких уточнений, которые помогут отфильтровать нецелевых клиентов.
- конкурентам. Все мы анализируем конкурентов на рекламном аукционе в том числе. Когда конкурент вводит что-то новое в свои объявления, можно обдумать это и поразмышлять, стоит ли вносить тематические корректировки у себя?
С чего начать планирование A/B-теста
Планирование A/B-теста начинается с обсуждения гипотез и теорий. При этом стоит опираться на конкретные цифры в отчетах, а не на личное ощущения того, что «эта кампания приносит меньше конверсий, чем та».
При формировании гипотез можно фокусироваться не только на цели увеличения прибыли, но и над другими целями вроде: увеличение глубины просмотра страницы, посещаемости, уменьшение показателей отказа, повышение осведомленности о бренде и т. д.
Создайте список гипотез, которые хотите проверить и выделите из них наиболее важные, потому что количество A/B-тестов зависит от вашего бюджета, которого, зачастую, не хватает на все выдвинутые теории.
Также при планировании тестов не забывайте о денежных рисках. Тесты могут завершиться неудовлетворительно или не дать конкретного ответа на вопрос, потому не стоит рассчитывать, что вы ничего во время эксперимента не потеряете.
Настройка эксперимента в Яндекс.Директ и запуск
Для запуска эксперимента представим, что решили протестировать две посадочные страницы с одинаковым текстом, но одна в старом дизайне, а другая — в новом.
Чтобы начать тестирование, нужно перейти в Яндекс.Аудитории → Эксперименты и создать эксперимент.
Создание эксперимента в Яндекс.Директ
В настройках создания эксперимента вводим название теста, чтобы оно было емким и отражало суть эксперимента. Указываем счетчик Яндекс.Метрики, по которому будет собираться статистика, а также определяем процентное соотношение тестируемого объема аудитории. Чаще это 50/50, но если под вашу гипотезу нужен другой объем и количество сегментов, можете задать иные значения.
Настройка параметров эксперимента в Яндекс.Директ
После того, как настроили параметры эксперимента, он отобразится в общем списке, а по кнопке «Результаты», когда статистика будет собрана, можно перейти в метрику и посмотреть итоги A/B теста.
Отображение списка экспериментов в Яндекс.Директ
Отчет по результатам A/B теста в Яндекс.Директ
После создания аудитории для эксперимента нужно запустить кампании в рамках A/B теста. Для этого зайдите в Яндекс.Директ и создайте две (или более) рекламные кампании.
Стоит учесть, что:
- если вы проводите эксперимент на уже существующую кампанию, то копируете ее, а после меняйте детали в скопированных кампаниях;
- если вы проводите эксперимент с нуля, то создайте две (или более) идентичные кампании с одним отличием, влияние которого хотите проверить в ходе эксперимента.
На своем примере мы покажем запуск A/B теста 50/50 в условиях уже работающей кампании. Напоминаем: наша цель — поменять дизайн посадочной страницы, которая дает хорошие конверсии на текущей РК. После того, как скопируем текущую РК, мы установим дату запуска новых кампаний на следующий день после остановки основной — почему? — потому что A/B тест на текущую кампанию нельзя запускать во время ее работы. Компании начнут конкурировать, статистика будет ошибочной.
Как скопировать группу объявлений в Яндекс.Директе
После того, как скопировали кампанию, в параметрах нужно открыть Дополнительные настройки → Эксперименты и выбрать тот эксперимент, что ранее настроили.
Дополнительные настройки в параметрах кампании Яндекс.Директ
Настройка эксперимента для кампании Яндекс.Директ
После того, как эксперимент подключен, а нужные правки, влияние которых вы хотите проверить, внесены, основную кампанию, с которой копировали тестовые — останавливаем и запускаем тестовые. Если основной кампании не было, то просто запускаем тестовые.
После запуска эксперимента следим за кампаниями и собираем статистику. В среднем Яндекс раскачивает кампании к третьей неделе, потому закладывайте бюджет минимум на три недели теста.
Если у вас возникают затруднения с настройкой рекламы, советуем прочесть нашу статью Как самостоятельно настроить рекламу в «Яндекс.Директе» а также Как собрать минус-слова для Яндекс.Директ.
Что нужно учитывать при проведении эксперимента в Яндекс.Директ
1. За один раз тестируем одну гипотезу
Лучше розовые креативы или синие? Короткий заголовок или длинный? Больше текста или меньше? Все это тестируется отдельно друг от друга, когда остальное остается идентичным. Если пытаться проверить несколько теорий на одном эксперименте, то оценить влияние каждой на общий результат будет сложно.
2. Копим конверсии
Для адекватной оценки результатов эксперимента нужно накопить не менее 200 конверсий за месяц. Это не обязательное правило, но желательное, которое позволит точнее оценить результативность теста.
3. После теста НЕ запускаем оригинальную кампанию, если она была.
Если вы во время своего эксперимента создавали кампании при помощи копирования основной РК, то после окончания A/B теста основную кампанию НЕ включайте. Причина: после простоя кампания уйдет на модерацию и может перестать выдавать те результаты, которые давала перед началом тестирования.
По завершению A/B теста оставляйте работать ту кампанию, которая дала наилучшие результаты, а остальных участников эксперимента отключайте.
Примечание: не забудьте перевести 100% аудитории на оставшуюся кампанию, потому что во время теста у вас шел другой процент трафика.
Где смотреть результаты экспериментов в Яндекс.Директ?
Результаты эксперимента можно смотреть как в Аудитории → Эксперименты, так и в отчетах Яндекс.Метрики.
Где смотреть результаты экспериментов в Яндекс.Метрике
Чтобы вам было проще принять решение на основе результатов эксперимента, можно воспользоваться калькулятором Яндекса для проверки достоверности A/B-тестирования. Для подсчета в него потребуется скопировать результаты эксперимента.
Калькулятор достоверности A/B тестирования
Вывод
Запускать A/B-тесты нужно для улучшения работы рекламных кампаний. Просто так запускать эксперименты нет смысла, потому что можно «слить» бюджет.
Если вы сомневаетесь в своих силах и хотите ответственно подойти к запуску A/B-тестов в Яндекс.Директ, то советуем обратиться к нашим партнерам. Профессионалы помогут реализовать задумку, увеличить конверсии или просто проконсультируют по насущным вопросам работы с рекламной системой.
Создать аккаунт на AdvantShop
На платформе вы сможете быстро создать интернет-магазин, лендинг или автоворонку.
Воспользоваться консультацией специалиста
Ответим на любые ваши вопросы и поможем выйти на маркетплейсы.
Основные методы психологических исследований
Наблюдение имеет несколько вариантов. Внешнее наблюдение — это способ сбора данных о психологии и поведении человека путем прямого наблюдения за ним со стороны. Внутреннее наблюдение, или самонаблюдение, применяется тогда, когда психолог-исследователь ставит перед собой задачу изучить интересующее его явление в том виде, в каком оно непосредственно представлено в его сознании. Внутренне воспринимая соответствующее явление, психолог как бы наблюдает за ним (например, за своими образами, чувствами, мыслями, переживаниями) или пользуется аналогичными данными, сообщаемыми ему другими людьми, которые сами ведут инспектирование по его заданию.
Свободное наблюдение не имеет заранее установленных рамок, программы, процедуры его проведения. Оно может менять предмет или объект наблюдения, его характер в ходе самого наблюдения в зависимости от пожелания наблюдателя. Стандартизированное наблюдение, напротив, заранее определено и четко ограничено в плане того, что наблюдается. Оно ведется по определенной, предварительно продуманной программе и строго следует ей, независимо от происходящего в процессе наблюдения с объектом или самим наблюдателем.
При включенном наблюдении (оно чаще всего используется в общий, возрастной, педагогической, социальной психологиях) исследователь выступает в качестве непосредственного участника того процесса, за ходом которого он ведет наблюдение. Например, психолог может решать в уме какую-либо задачу, одновременно наблюдая за собой. Другой вариант включенного наблюдения: исследуя взаимоотношения людей, экспериментатор может включиться сам в общение с наблюдаемыми, не прекращая в тоже время наблюдать за складывающимися между ними и этими людьми взаимоотношениями. Стороннее наблюдение в отличие от включенного не предполагает личного участия наблюдателя в том процессе, который он изучает.
Опрос представляет собой метод, при использовании которого человек отвечает на ряд задаваемых ему вопросов. Есть несколько вариантов опроса, и каждый из них имеет свои достоинства и недостатки. Рассмотрим их.
Устный опрос применяется в тех случаях, когда желательно вести наблюдение за поведением и реакциями человека, отвечающего на вопросы. Этот вид опроса позволяет глубже, чем письменный, проникнуть в психологию человека, однако требует специальной подготовки, обучения и, как правило, больших затрат времени на проведение исследования. Ответы испытуемых, получаемые при устном опросе, существенно зависят и от личности того человека, который ведет опрос, и от индивидуальных особенностей того, кто отвечает на вопросы, и от поведения обоих лиц в ситуации опроса.
Письменный опрос позволяет охватить большее количество людей. Наиболее распространенная его форма — анкета. Ее недостатком является, тот факт что, применяя анкету, нельзя заранее учесть реакции респондента на содержание ее вопросов и, в случае необходимости, изменить их.
Свободный опрос — разновидность устного или письменного опроса, при котором перечень задаваемых вопросов и возможных ответов на них заранее не ограничен определенными рамками. Опрос данного типа позволяет достаточно гибко менять тактику исследования, содержание задаваемых вопросов, получать на них нестандартные ответы. В свою очередь стандартизированный опрос, при котором вопросы и характер возможных ответов на них определены заранее и обычно ограничены достаточно узкими рамками, более экономичен во времени и в материальных затратах, чем свободный опрос.
Тесты являются специализированными методами психодиагностического обследования, применяя которые можно получить точную количественную или качественную характеристику изучаемого явления. От других методов исследования тесты отличаются тем, что предполагают четкую процедуру сбора и обработки первичных данных, а также своеобразие их последующей интерпретации. С помощью тестов можно изучать и сравнивать между собой психологию разных людей, давать дифференцированные и сопоставляемые оценки.
Тест-опросник основан на системе заранее продуманных, тщательно отобранных и проверенных с точки зрения их валидности и надежности вопросов, по ответам на которые можно судить о психологических качествах испытуемых.
Тест-задание предполагает оценку психологии и поведения человека на базе того, что он делает. В тестах этого типа испытуемому предлагается серия специальных заданий, по итогам выполнения которых, специалисты-психологи судят о наличии или отсутствии и степени развития у него изучаемого качества.
Третий тип тестов — проективный. В основе таких тестов лежит механизм проекции, согласно которому неосознаваемые собственные качества, особенно недостатки, которые человек склонен приписывать другим людям. Проективные тесты предназначены для изучения психологических и поведенческих особенностей людей, вызывающих негативное отношение.
Специфика эксперимента как метода психологического исследования заключается в том, что в нем целенаправленно и структурировано создается искусственная ситуация, в которой изучаемое свойство выделяется, проявляется и оценивается лучше всего. Основное достоинство эксперимента состоит в том, что он позволяет надежнее, чем все остальные методы, делать выводы о причинно-следственных связях исследуемого явления с другими феноменами, научно объяснять происхождение явления и развитие.
Имеются две основные разновидности эксперимента: естественный и лабораторный. Друг от друга они отличаются тем, что позволяют изучать психологию и поведение людей в условиях, отдаленных или приближенных к действительности. Естественный эксперимент организуется и проводится в обычных жизненных условиях, где экспериментатор практически не вмешивается в ход происходящих событий, фиксируя их в том виде, как они разворачиваются сами по себе. Лабораторный эксперимент предполагает создание некоторой искусственной ситуации, в которой изучаемое свойство можно лучше всего изучить.
Моделирование как метод применяется в том случае, когда исследование интересующего явления путем простого наблюдения, опроса, теста или эксперимента затруднено или невозможно в силу сложности или труднодоступности. Тогда прибегают к созданию искусственной модели изучаемого феномена, повторяющей его основные параметры и предполагаемые свойства. На этой модели детально исследуют данное явление и делают выводы о его природе.
Модели могут быть техническими, логическими, математическими, кибернетическими. Математическая модель представляет собой выражение или формулу, включающую переменные и отношения между ними, воспроизводящие элементы и отношения в изучаемом явлении. Техническое моделирование предполагает создание прибора или устройства, по своему действию напоминающего то, что подлежит изучению. Кибернетическое моделирование основано на использовании в качестве элементов модели понятий из области информатики и кибернетики. Логическое моделирование основано на идеях и символике, применяемой в математической логике.
Кроме перечисленных методов, предназначенных для сбора первичной информации, в психологии широко применяются различные способы и приемы обработки этих данных, психологического и математического анализа для получения вторичных результатов, т.е. фактов и выводов, вытекающих из интерпретации переработанной первичной информации. Для этой цели применяются, в частности разнообразные методы математической статистики, без которых зачастую невозможно получить достоверную информацию об изучаемых явлениях, а также методы качественного анализа.
Как проводить эксперименты в Яндекс.Директе
Нет универсального способа настраивать рекламу для всех ситуаций и бизнесов. Это касается и настроек, и текстов объявлений, и аудиторий, которым вы хотите показать эти объявления.
Полагаться на интуицию в этом случае точно не стоит. Лучше выяснить на практике, какие настройки кампаний сработают именно для вашего продукта, вашей компании. Без тестирования тут не обойтись. Провести его можно с помощью экспериментов в Яндекс.Директе.
Благодаря этому инструменту вам не придется вручную проводить сплит-тесты, этот процесс Яндекс автоматизирует и делает максимально простым и прозрачным. Как запускать и проводить эксперименты, смотрите в этом руководстве.
В чем помогают эксперименты
Эксперименты – это те же сплит-тесты, только с дополнительными возможностями. То есть тестирование разных комбинаций настроек, плюс к этому вы можете:
1) Выяснить, как влияют друг на друга кампании разных типов.
2) Посмотреть, как целевые действия на сайте зависят от показов рекламы.
3) Сравнить, как работают автостратегии и ручное назначение ставок, и на основании этого решить, какая стратегия больше подойдет.
4) Сравнить разные медиапланы (полезная штука для рекламных агентств).
Рекомендуем использовать эксперименты, прежде чем запускать любую новую рекламную кампанию, чтобы убедиться в том, что её нужно запускать в полную силу.
Всё происходит следующим образом. Вы задаете количество и размер (долю) сегментов, а Яндекс случайным образом разделяет вашу аудиторию на эти сегменты.
Ограничение: нельзя проводить эксперименты для рекламы мобильных приложений и медийных кампаний со сделками.
До запуска эксперимента
Учитывайте два момента:
1) Лучше для одного эксперимента брать одну гипотезу на проверку, как изменится один параметр. Сразу же решите и сформулируйте, что именно вы хотите проверить.
2) Эксперимент есть смысл проводить, если, во-первых, у вас настроены цели в Яндекс.Метрике. И во-вторых, цель, которая важна для эксперимента, набирает от 200 конверсий и больше ежемесячно. Только так вы получите статистически значимые результаты.
Если данных недостаточно, попробуйте взять цель, которая идет выше по воронке продаж и которую пользователи достигают чаще.
3) И еще один момент относительно стратегий: если вы сравниваете ручную и автостратегию, чтобы делать какие-то основательные выводы, нужно, чтобы за время теста на оба варианта израсходовалось одинаковое количество бюджета.
Как запускать эксперимент
Сейчас эксперименты доступны в интерфейсе Яндекс.Директа по умолчанию, не нужно делать запрос на доступ к этой функции.
Она находится в Яндекс.Аудиториях. Перейдите на вкладку «Эксперименты» и кликните «Создать эксперимент» или «Создать первый эксперимент», если пользуетесь этим инструментов впервые.
здесь вы заполняете:
1) Название эксперимента.
2) Номер счетчика Метрики, из которого подтянутся данные о целях. Можно выбрать из выпадающего списка нужный:
Или добавляете нажатием на кнопку:
Можно добавить таким образом несколько счетчиков в один эксперимент.
3) Количество и долю сегментов для тестирования, например:
По умолчанию – два сегмента 50 / 50. По факту они необязательно должны быть равномерными: это может быть и 90 / 10, 70 / 30 и т.д.
При необходимости можно разделить аудиторию более, чем на 2 тестовых сегмента, нажав «Добавить сегмент»:
Как подготовить кампании для тестирования
1) Создайте несколько одинаковых тестовых кампаний.
Быстрее создать одну исходную и скопировать нужное количество раз. Для этого отметьте её галочкой в списке кампаний и выберите действие «Копировать»:
2) Поменяйте статус тестовых кампаний на «Приостановлена».
3) Измените один параметр, который хотите протестировать, в каждой тестовой кампании. Остальные настройки (параметры, объявления и бюджет) оставьте без изменений.
4) Во всех кампаниях добавьте счетчики Метрики, которые вы указали при создании эксперимента.
5) Прикрепите кампании к нужным экспериментам в дополнительных настройках.
При редактировании кампаний в блоке «Эксперименты» нажмите кнопку «Изменить».
Затем в окне настройки экспериментов выберите эксперимент, который ранее создали в Яндекс.Метрике.
Одну кампанию можно одновременно использовать максимум в 5 экспериментах.
6) В каждой тестовой кампании выберите сегмент аудитории, которому будут показываться объявления этой кампании.
Объясним на простом примере. Допустим, у вас 2 сегмента – мужчины и женщины. При создании эксперимента вы задали им доли 45 и 55 соответственно. Если в одной из тестовых кампаний вы выбираете сегмент мужчин, значит, рекламу этой кампании увидят 45% от мужчин из всей аудитории.
Если нужно, установите корректировки ставок для выбранных сегментов. Для этого активируйте опцию и укажите, на какой процент повысить или понизить ставки по рекламной кампании.
7) Когда всё готово, запустите одновременно все тестовые кампании.
На этом настройка эксперимента завершена. Дальше нужно подождать не менее 2 недель, а лучше месяц, чтобы накопить достаточно статистики для получения достоверных результатов.
Где смотреть результаты эксперимента
Первое – это Мастер отчетов в Яндекс.Директе с данными о расходах. Отметьте следующие столбцы для отображения и выберите условие фильтрации «Эксперименты». Выберите нужный эксперимент.
В итоге важно понять, какое размещение рекламы более рентабельное.
Второе – это стандартный отчет в Яндекс.Метрике, который называется «Директ, эксперименты». Из него вы узнаете данные о конверсиях.
Далее в этом отчете выберите нужный эксперимент и сегмент с кампаниями в Яндекс.Директе, созданными для этого эксперимента.
Перейдите в режим сравнения и выберите цели. Вы увидите примерно такую таблицу:
В режиме сравнения в нем выделяются цветом следующие метрики:
- Просмотры
- Визиты
- Целевые визиты
- Посетители
- Целевые посетители
- Достижения цели
- Достижения цели на посетителя
- Конверсия
- Конверсия посетителей
- Отказы
и некоторые другие.
Что значит тот или иной цвет?
Зелёный – экспериментальный вариант (сегмент) сработал лучше, чем тот, с которым вы его сравниваете, красный – наоборот значительно хуже. Метрики, выделенные серым, по обоим вариантам не отличаются. Во всех трех случаях данных достаточно для оценки результата.
Если данные не выделены, это значит одно из двух:
1) Метрику нельзя применять в режиме сравнения.
2) Данных пока недостаточно.
Решение: подождите еще, чтобы накопилось больше статистики или поменяйте настройки эксперимента, чтобы быстрее собрать необходимый трафик.
Как видите, Метрика сама определяет, достаточно ли данных для анализа, что значительно облегчает вам работу.
Осталось сопоставить данные по обоим отчетам. Для этого:
- Выберите одинаковые периоды
- Отфильтруйте данные по одному и тому же региону показа.
Также убедитесь, что эксперимент не прерывался на протяжении выбранного периода.
Допустим, результаты такие:
В этом примере при одинаковых затратах сегмент Б принес на 150% больше конверсий, чем А. При этом стоимость достижения цели уменьшилась на 60%. То есть кампания на сегмент Б эффективнее.
Естественно, если данных недостаточно, принимать решение, основываясь на этом результате, не стоит. Однако, как и в любом машинном алгоритме, в Метрике неизбежны погрешности.
Как учитывать погрешность
Реальное значение показателей всегда будет немного отличаться от того, что вы увидите при проведении эксперимента. Погрешности нет только в теории: если бы экспериментальная кампания длилась бесконечно.
В режиме сравнения включите отображение погрешности. Вы увидите, на сколько процентов возможен разброс величины. Соответственно, чем ниже погрешность, тем выше вероятность, что значение метрики истинное, и наоборот.
Также проверять достоверность теста можно с помощью Калькулятора достоверности A/B тестирования. Он позволяет быстро оценивать результаты по нескольким стратегиям назначения ставок и определять самый эффективный набор инструментов и форматов по показателю CPA (стоимости целевого действия).
Введите свои данные в пустые поля:
Здесь нужны:
- Данные по сегментам: размер, расходы, конверсии, клики.
- Целевое p-value (уровень значимости) – степень вашей уверенности в результатах эксперимента. Рекомендуемое значение 80%.
- Максимальный коэффициент жесткости дополнительных инвестиций – во сколько раз вы готовы увеличить инвестиции в рекламу для получения большего числа конверсий.
В результате расчета в последнем столбце появится слово «Да» напротив того сегмента, который эффективнее.
Или «Нет» – напротив того, который показал хуже результат. Если там будет знак вопроса, между сегментами нет статистически значимой разницы, и определить лучший невозможно. Узнать точную причину этого также почти невозможно.
Когда вы всё проанализируете и сделаете выводы, эксперимент можно завершать, а тестовые кампании все одновременно останавливать. В настройках кампании-победителя, которую вы хотите запускать «на боевую», не забудьте отключить эксперимент.
И напоследок – чек-лист в помощь для запуска эксперимента.
Чек-лист
1) Гипотеза сформулирована.
2) Счетчик Метрики с целями подключен.
3) Эксперимент в Яндекс.Аудиториях создан + тестовые кампании созданы и запущены.
4) Эксперимент длится непрерывно.
5) Необходимое количество данных собрано.
6) а) Метрика показывает более эффективный вариант, либо б) выдает результат, что по эффективности они значительно не отличаются.
7) а) Эксперимент завершен, вариант-победитель запущен «на боевую» б) настройки эксперимента изменены и он запущен заново, до получения статистически значимых результатов.
Как видите, для тестирования не нужно использовать навороченные дорогие инструменты или вручную что-то считать. Все за вас сделают инструменты Яндекса.
Высоких вам конверсий!
Похожие статьи
Хотите тоже написать статью для читателей Yagla? Если вам есть что рассказать про маркетинг, аналитику, бизнес, управление, карьеру для новичков, маркетологов и предпринимателей. Тогда заведите себе блог на Yagla прямо сейчас и пишите статьи. Это бесплатно и просто
Опубликовано редакцией Yagla
Читайте ещё статьи по этой теме
Где и как хранить пароли от аккаунтов так, чтобы их не украли Статья
Безопасность личных данных в интернете – это то, о чем каждому из нас приходится заботиться. При регистрации на сайтах и в интернет-магазинах, авторизации в соцсетях, пользовании электронной почтой и самыми разными приложениями.
В каком статусе лучше работать фрилансеру: ИП, самозанятость или без регистрации Статья
Как грамотно организовать работу и не нарваться на неприятности, если вы собираетесь идти во фриланс? Нужно ли регистрироваться? Что выбирать – ИП или самозанятость? Ответы на этот и другие организационные вопросы – в нашей статье. . 1
Как связаны дизайн и конверсия сайта: неожиданные открытия Статья
Красивая картинка продает? Если отвечать не задумываясь – да. Вроде бы всё логично: на неё приятно смотреть, значит, она будет мотивировать.
Как проводить эксперименты и A/B-тесты в Яндекс.Директе и Google Ads
В курсе «Автоматизируй это немедленно» мы рассказываем, как экономить время и силы на рутинных процессах и операциях в работе с контекстной рекламой.
В заключительном уроке проекта разберемся в том, как проще и точнее проводить эксперименты и A/B-тестирования в Яндекс.Директе и Google Ads.
Все уроки курса по автоматизации собраны на странице спецпроекта.
Сбор семантики, создание рекламных объявлений, назначение ставок и все прочие действия с рекламными кампаниями — это гипотезы, предположения, которые фактические показатели подтверждают или опровергают. Чтобы делать выводы по поводу того или иного действия в РК, гипотезу нужно протестировать, накопив достаточное количество данных. Для этого в рекламных системах есть возможность проводить запланированные эксперименты.
Сервисы рекламных систем для экспериментов и A/B-тестирований
В Директе такой сервис называется «Эксперименты» и запускается через Яндекс.Аудитории. Результат эксперимента можно проанализировать в Яндекс.Метрике. Быстро сравнить результаты тестов и принять решение о внедрении тех или иных изменений помогает калькулятор достоверности.
Эксперименты в Google Ads раньше запускались через инструменты проектов — нужно было сначала создать проектную РК, а потом внести в нее изменения. После обновления системы в январе 2022 года все стало гораздо проще: теперь создать эксперимент можно прямо в рекламном кабинете.
Как работать с экспериментами
- Тестировать по одной гипотезе за раз. Если поменять в экспериментальной РК сразу несколько параметров, они сработают вместе, и результат для каждого из изменений по отдельности будет невозможно оценить.
- Копить данные. Их должно быть много — по рекомендации Яндекса не менее 200 конверсий за месяц.
- Анализировать все результаты за один и тот же период.
- Выделять деньги на эксперимент. Можно поделить и текущий бюджет, но лучше отвести для тестов дополнительный, чтобы основная, проверенная кампания продолжала работать в обычном режиме.
- Учитывать распределение показов, трафика, конверсий. В Яндекс.Директе для успешной работы автостратегии необходимы хотя бы десять конверсий еженедельно. При создании эксперимента трафик будет разбит минимум надвое. Если количество конверсий в РК минимальное, на каждую из двух кампаний в эксперименте придется условно по пять конверсий — то есть слишком мало для работы автостратегии.
- Иметь в виду возможные риски. Гипотеза может не сработать, поэтому лучше заниматься тестированием, имея дополнительные источники конверсий. И с большой осторожностью запускать эксперимент сразу по всем РК или по единственной кампании.
Как запустить эксперимент в Яндекс.Директе
В сервисе Яндекс.Аудиторий перейдите во вкладку «Эксперименты» и нажмите на кнопку «Создать первый эксперимент».
Дайте ему максимально понятное название. Затем выберите счетчик Яндекс.Метрики, установленный на сайте, на который будет идти трафик, чтобы анализировать результаты.
Разделите доли сегментов и дайте им названия. Оптимальное соотношение для двух РК — 50/50. Можно добавить сегментов, но сравнивать работу двух кампаний удобнее.
Нажмите на кнопку «Создать эксперимент». Он сохранится в сервисе Яндекс.Аудитории.
Затем перейдите в Директ и выберите исходную РК, в которой собираетесь протестировать изменение.
Создайте две копии исходной кампании и приостановите ее. В копиях задайте изменения, которые собираетесь тестировать. В нашем примере в первой экспериментальной кампании будет включена ручная стратегия с бид-менеджером, во второй — автоматическое управление ставками и стратегия по средней цене конверсии.
Изменяйте только те параметры, которые хотите протестировать. Все остальное в этих кампаниях должно остаться по-прежнему.
Перейдите в настройки РК и в дополнительных настройках выберите вкладку «Эксперименты». В этом примере в обеих кампаниях нужно отметить «Таргетинг по сегментам». И выбрать в настройках одной сегмент «Ручная стратегия + биддер eLama», а в настройках другой — «Средняя цена конверсии».
Через пару недель, а лучше через месяц можно будет сделать выводы о том, какой вариант эффективнее. Для этого в Яндекс.Метрике зайдите в «Отчеты» —> «Стандартные отчеты» —> «Источники» —> «Директ, эксперименты».
Выберите название эксперимента (его указывали в Яндекс.Аудиториях), задайте период времени для формирования статистики и отфильтруйте с помощью сегментирования визиты из каждой экспериментальной кампании.
Чтобы включить режим сравнения с подсветкой результата, нужно выбрать, какая кампания будет исходной и какая будет с ней сравниваться.
Для вашего удобства здесь предусмотрена подсказка «Как читать ответ». Зеленая подсветка показывает положительный результат. В примере выше кампания с корректировками отработала лучше по достижению цели и целевым визитам, но хуже по отказам.
Калькулятор достоверности A/B-тестирования
В калькуляторе достоверности можно использовать настройки по умолчанию. Для оценки результат теста укажите доли сегментов, расходы за период и количество конверсий и кликов. После расчета, если данных достаточно, в столбце «Внедряем?» отобразится «Да». Если данных недостаточно, здесь высветится «Нет».
На маркетплейсе eLama вы найдете инструмент DyCont для проведения A/B‑тестов и повышения конверсии посадочных страниц. Он быстро и незаметно подменяет контент страницы сайта для пользователей из разных сегментов. Клиенты eLama могут пользоваться инструментом абсолютно бесплатно. Зарегистрироваться →
Как запустить эксперимент в Google Ads
Через меню слева в рекламном кабинете перейдите на страницу экспериментов и нажмите на кнопку «+».
Выберите тип эксперимента: оптимизация текстовых объявлений, эксперимент для видео или эксперимент по собственной гипотезе, которую вы хотите проверить. Это может быть, например, изменение стратегии.
Выберите тип рекламной кампании и нажмите на кнопку «Продолжить».
Дайте эксперименту как можно более понятное название — лучше прописать в нем, что конкретно вы тестируете. Для удобства здесь можно также добавить описание.
Следующий шаг — выбор базовой, или исходной РК. Здесь важно учесть две детали:
- Если к кампании, которую вы собираетесь выбрать в качестве исходной, прикреплен общий бюджет на несколько РК, ее нужно предварительно открепить от него, иначе корректного распределения не получится.
- При планировании эксперимента цели конверсии на уровне кампании не копируются из основной в экспериментальную — система предупредит вас об этом. Настройки экспериментальной РК нужно проверить и установить цели.
Здесь же укажите суффикс для имени ресурса, который войдет в состав названия экспериментальной рекламной кампании — присоединится в нем к заголовку базовой. В это поле автоматически копируется название эксперимента, его можно не менять.
Кампания готова, теперь нужно внести в нее изменения. Здесь рекомендация та же, что и с проверкой гипотез в Яндекс.Директе: тестируйте изменения параметров по одному, чтобы проверить, насколько каждое из них влияет на результат.
На следующем шаге вы задаете цели — те результаты РК, на которые вы хотите повлиять, и на основании которых будете принимать решение об успешности эксперимента. Целей может быть максимум две — на примере ниже это «Цена за конверсию» и «Конверсии»: цена за конверсию в ходе эксперимента должна уменьшиться, а количество конверсий — увеличиться. Вы можете выбрать другие цели — «Показы», «Клики» и так далее. Не обязательно в блоке целей предусматривать увеличение какого-то показателя, можно оставить его на том же уровне: например, пусть количество конверсий останется прежним, а цена за конверсию уменьшится.
Здесь же выделите для экспериментальной РК долю трафика и бюджета исходной кампании. Оптимальный вариант для быстрого обучения алгоритма — 50 на 50. Ниже в дополнительных настройках вы можете задать вариант распределения трафика — на основе cookies или на основе поисковых запросов — и показывать пользователям при повторном поиске объявления только из исходной кампании или только из экспериментальной, или из обеих, выбирая между ними случайным образом. По умолчанию распределение происходит по cookies — эту настройку можно не менять.
Далее определите продолжительность эксперимента: здесь можно выбрать даты его начала и окончания или указать, сколько дней он должен продлиться. Либо не задавать дату остановки эксперимента — тогда вы сами сделаете это, когда придет время.
Последний блок настроек — полезная новинка Google Ads, возможность включить синхронизацию исходной и экспериментальной кампаний. Если синхронизация работает — все изменения в исходной РК будут дублироваться в эксперимент. Почему это важно: если во время проведения эксперимента что-то изменить в основной кампании и не перенести настройки в экспериментальную, чистота эксперимента будет нарушена, потому что кампании будут различаться не только теми настройками, которые составляют суть гипотезы. Поэтому использовать синхронизацию действительно важно. Исключение — ситуации, когда вы уверены, что изменения не должны быть скопированы, и делаете это осознанно.
Вот и все. Осталось нажать на кнопку «Создать эксперимент».
Теперь, кликая на название экспериментальной кампании, вы будете попадать на страницу со сводкой. Здесь отображаются даты, цели и информация по ним, результаты исходной и экспериментальной кампаний по кликам, расходам, конверсиям, ценности показов и так далее. Таблицу можно настроить — добавить столбцы с нужными показателями. В графе ниже показывается разница между кампаниями в количественном и процентном соотношении.
А еще ниже указывается доверительный интервал, то есть значение, в пределах которого вы получите результат, применив изменения в основной кампании. Когда алгоритм наберет достаточно данных, он оповестит вас, что статистическая достоверность достигнута, и покажет доверительный интервал. Например, от 40 до 60%, что результаты в основной кампании после применения экспериментальных настроек будут такими же, как в эксперименте.
Эксперименты в Google Ads — это отличный инструментарий для проведения A/B-тестов, основной в работе с рекламными кампаниями для специалистов.
Пять причин работать с eLama
- Больше 12 систем и сервисов в одном кабинете: Яндекс Директ, Google Ads, Авито, Telegram Ads, VK Реклама и другие системы интернет-рекламы.
- Оплата с единого счета и общий комплект закрывающих документов для бухгалтерии.
- Набор полезных инструментов, которые упрощают работу с рекламой и помогают экономить время и бюджет.
- Партнерская программа для агентств и фрилансеров с ежемесячным вознаграждением.
- Служба Заботы, которая всегда приходит на помощь и остается на вашей стороне, в том числе и в вопросах модерации.