Как создать эксперимент в google adwords

Как провести эксперимент в Google Ads — пошаговое руководство

Каждый бизнес и каждый рекламодатель уникален и отличается от других. Различаться могут регионами, УТП, известностью у ЦА, бюджетом или чем-то другим. Поэтому у хорошего специалиста по контексту возникает множество гипотез, которые теоретически могут повысить эффективность кампаний.

Именно для проверки таких гипотез и целесообразно использовать А/Б-тестирование.

Что такое А/Б-тестирование

A/Б-тестирование (англ. A/B testing, Split testing) — метод маркетингового исследования, когда базовая рекламная кампания сравнивается с экспериментальной, в которой один или несколько показателей были изменены, для того, чтобы выяснить, как это изменение действует на целевой показатель кампании.

Чтобы получить результаты, которым можно доверять, необходимо выполнить следующие условия:

1. Достаточное количество данных и достаточная длительность проведения А/Б-теста.
2. Не более одного изменения в кампании.
3. Понимание на старте, как можно оценить, подтвердилась ли гипотеза.
4. Разделение бюджета 50/50.
5. Если оценка эффективности основывается на конверсиях, то желательно получить от 30 конверсий на каждую кампанию.

В Google Ads есть готовый инструмент по проведению тестов — «Проекты и эксперименты».

Когда использовать «Проекты и эксперименты»

Проекты и эксперименты можно использовать только в рекламных кампаниях на поиске и КМС. К сожалению, работа с другими типами кампаний не предусмотрена.

Можно протестировать практически любые изменения в кампаниях:

• стратегии назначения ставок (кроме стратегий «Целевое положение на странице поиска», «Целевой процент выигрышей»);
• различные корректировки: по географии, устройствам, аудиториям и т. д.;
• минус-слова;
• ключевые фразы;
• изменение структуры рекламных кампаний;
• ставки;
• типы соответствия и много других параметров кампании.

Также в экспериментах недоступны модификаторы объявлений. В случаях, когда есть несколько гипотез по увеличению эффективности рекламной кампании, рекомендуется тестировать их последовательно. Тогда у вас будут точные данные об эффективности конкретного изменения. Последовательность обычно определяется теоретической величиной прироста эффективности, которую может принести изменение.

Как провести А/Б-тест с помощью «Проектов и экспериментов»

Чтобы провести А/Б-тест, нужно создать проект на основе действующей кампании.

Проект — это вариант кампаний с внесенными в нее изменениями, эффективность которых необходимо проверить.

Чтобы создать проект на странице всех кампаний идем во вкладку «Проекты и эксперименты» и нажимаем на круглую кнопку со знаком плюса.

У вас откроется страница создания нового проекта.

Выбираем из выпадающего списка исходную кампанию, на основе которой будем создавать проект и проводить тестирование и пишем название проекта.

Лучше всего использовать название, из которого будет понятно, какие изменения внесли в кампанию. Например, если создаем проект рекламной кампании «Детские торты|| Поиск 1» и планируем тестировать автоматическую стратегию назначения ставок «Целевая цена за конверсию», то можно назвать проект «Детские торты|| Поиск 1||CPA».

Жмем кнопку «Сохранить» и попадаем на страницу готового проекта.

Тут нужно внести в проект изменения, которые хотите протестировать. Изменения в проекте производятся так же, как и в обычной рекламной кампании Ads. Когда все изменения внесены, и вы готовы к проведению А/Б-теста, жмем кнопку «Применить».

Откроется диалоговое окно, в котором можно применить изменения в действующей исходной кампании или провести А/Б-тест. Выбираем «Провести эксперимент» и нажимаем кнопку «Применить».

Мы попадаем на страницу создания эксперимента. Тут нужно заполнить все поля и нажать на кнопку «Сохранить».

При планировании длительности эксперимента важно помнить о том, что времени должно быть достаточно, чтобы кампании набрали статистику.

Поздравляю! Ваш первый эксперимент создан. Разделение трафика начнется с даты, которую вы указали, как дату начала эксперимента.

Когда эксперимент начнется, статистику по нему можно смотреть на странице «Проекты и эксперименты» во вкладке «Эксперименты в кампаниях».

Вы можете выбирать, какие параметры хотите увидеть, нажав на название столбца любого показателя.

Когда пройдет время, которое вы выделили на эксперимент или наберется достаточно статистики для принятия решения, нужно нажать на кнопку «Применить», если ваша гипотеза сработала, и вы хотите оставить только вариант кампании с новыми изменениями. Если гипотеза не подтвердилась, и вы хотите оставить в работе только исходную кампанию без изменений, нажмите «Завершить сейчас».

После клика на кнопку «Применить» откроется окно, в котором нужно выбрать вариант применения изменений — «Изменить исходную кампанию» или «Преобразовать в новую кампанию».

Предпочтителен вариант изменения исходной кампании. Во-первых, потому что это позволит в некоторых случаях сохранить накопившуюся статистику. Во-вторых, чем меньше кампаний в аккаунте, тем удобнее управлять ими, и можно меньше пользоваться фильтрами.

Но если вы по какой-то причине хотите создать новую кампанию, то есть и такая возможность.

Эксперименты в Google — это отличный инструмент для увеличения эффективности кампаний. Простота настроек и наглядность результатов делают возможным применение для специалистов самых разных уровней. К сожалению, в Яндекс.Директе пока нет подобного инструмента. Это не исключает возможности проведения А/Б-тестирования в системе, но делает его более трудоемким.

Как работают проекты и эксперименты в Google Ads

При запуске новых кампаний у рекламодателей возникает много вопросов: какие заголовки и тексты объявлений сработают лучше, как выбрать эффективную стратегию. Чтобы найти подходящий вариант, все гипотезы нужно протестировать. Но тогда возникает вопрос о достоверности или статистической значимости полученных результатов.

Проекты и эксперименты в Google AdWords дают возможность тестировать различные гипотезы, считают статистическую значимость полученных результатов теста и позволяют применить изменения в интерфейсе.

Проект — это копия рекламной кампании, в которую можно вносить изменения, чтобы протестировать их и сравнить эффективность с другой кампанией. Рекламодатели могут создать несколько вариантов объявлений в экспериментальной кампании или применить разные стратегии, чтобы понять, при какой из них реклама работает лучше.

Чтобы создать проект, нажмите на кампанию и перейдите во вкладку «Проекты и эксперименты»:

Создайте проект и дайте ему понятное название, отличное от исходной кампании:

У вас появится новая вкладка с проектом рекламной кампании:

Теперь можно войти в созданный проект и внести нужные корректировки:

Если вы хотите протестировать гипотезу, то вносите в кампанию по одному изменению в один момент времени.

В основной кампании можно изменить, например, стратегию назначения ставок:

Теперь создайте эксперимент. Нажмите кнопку «Применить»:

И затем выберите «Провести эксперимент»:

Введите название и даты начала и окончания эксперимента:

Учтите, что для эксперимента может понадобиться немало времени: от нескольких недель до месяцев. Или вы можете выключить дату окончания, следить за экспериментом и остановить его в нужный момент, когда наберется достаточное количество статистики.

Выберите экспериментальную группу — в каком процентном соотношении будет распределяться бюджет между основной и экспериментальной кампаниями. Если вы поставите 50%, то максимально быстро наберете статистику, чтобы сделать определенные выводы.

Когда вы собираетесь протестировать гипотезу, которая предположительно может ухудшить показатели рекламной кампании, уменьшите процент до 20 или 30.

Эксперимент создан. Обновите страницу, чтобы он стал активен:

Если вы уже запустили эксперимент, не вносите значимые изменения в проект или кампанию, поскольку они могут повлиять на результаты теста. В экспериментальных кампаниях вы сможете протестировать большую часть гипотез. Когда эксперимент запущен, объявления показываются в отношении 50/50 из основной и экспериментальной кампаний. Одновременно можно создавать до 5 экспериментов, но тестировать можно только один.

Когда эксперимент будет закончен, нажмите кнопку «Применить»:

Затем выберите одну из опций — сохранить изменения в исходной кампании или создать новую:

Чтобы посмотреть статистику, выберите нужный эксперимент, и в верхней части страницы появятся данные о результатах эксперимента.

Подробнее рассмотрим статистику выполненного эксперимента:

В разделе «Сравнение эффективности» сопоставляется эффективность экспериментальной и исходной кампании. По умолчанию сравниваются такие показатели, как «Клики», CTR, «Стоимость», «Показы» и «Все конверсии», но можно самостоятельно выбрать необходимые данные. Для этого нужно нажать на стрелку вниз рядом с нужным показателем:

В первой строке под названием показателя приводится его значение, полученное в результате эксперимента. Вторая строка отражает разницу эффективности между экспериментальной и исходной кампаниями. Синяя звездочка рядом с показателем отображается в тех случаях, когда результат статистически значимый:

Обратите внимание, что проекты и эксперименты можно использовать только для рекламы в поиске и КМС. В торговых кампаниях, видеокампаниях и кампаниях для приложений инструмент не работает.

В экспериментах доступны практически все параметры, которые есть в кампаниях, кроме модификаторов объявлений и некоторых стратегий с автоматическим назначением ставок ( «Целевое положение на странице поиска», «Целевой процент выигрышей»).

С помощью инструмента Google AdWords вы можете проводить в интерфейсе практически любые эксперименты, получать результаты о статистической значимости и делать на их основе выводы.

Рекомендуем тестировать любые предположения, которые касаются эффективности кампаний, чтобы при ее оценке опираться на конкретные данные и приходить к правильным заключениям.

А чтобы эффективно управлять ставками, настраивать автоматическую UTM-разметку , отслеживать статистику по всем рекламымным системам в едином кабинете и получать рекомендации для своих рекламных кампаний, зарегистрируйтесь в eLama.

Тестирование стратегии «Максимум конверсий» в Google AdWords

В конце мая AdWords запустил новую стратегию интеллектуального назначения ставок «Максимум конверсий», которая на основе алгоритма машинного обучения Google позволяет получать наибольшее количество конверсий в рамках заданного бюджета.

Многие из рекламодателей в своих рекламных кампаниях по-прежнему используют только ручную стратегию назначения ставок, стараются контролировать все своими силами и категорически отрицают любые проявления автоматизации, обходя все нововведения системы стороной.

Однако с развитием искусственного интеллекта, так стремительно набирающего обороты в наше время, становится все сложнее и сложнее не замечать эту тенденцию в различных областях науки и техники. И продукты Google не являются исключениями.

Недаром в AdWords на данный момент доступно целых 6 автоматических стратегий (+1 «Оптимизатор цены за конверсию»): целевое положение на странице поиска, целевая цена за конверсию, целевая рентабельность инвестиций в рекламу, целевой процент выигрышей, максимальное количество кликов и максимум конверсий. И все они основаны на машинном обучении и учитывают самые разные факторы, такие как устройство, на котором выполняется показ, местоположение пользователя, время суток, язык интерфейса, операционная система и т.д.

На примере нескольких рекламных кампаний я решил сравнить две автоматические стратегии и одну ручную, создав в аккаунте эксперименты на каждую из них.

• Проект: интернет-магазин по доставке цветов
• Рекламные кампании, участвующие в эксперименте:

Стратегия назначения ставок по рекламным кампаниям

Чтобы автоматическая стратегия работала корректно, в кампании должно регистрироваться не менее 30 конверсий в месяц, при этом их количество в кампании или группе объявлений за последние несколько дней не должно резко меняться.

И прежде чем выбрать стратегию «Максимум конверсий», необходимо настроить отслеживание конверсий в Google AdWords.

• Конверсия: оформленный заказ на сайте (цель импортирована из Google Analytics, аккаунты AdWords – Analytics связаны)
• Предельная стоимость за обращение (лид, заказ): 1000 руб.

Идея эксперимента очень простая. В основу гипотезы о том, что стратегия МК победит, лежало два аргумента:

1. «Целевая цена за конверсию»vs «Максимум конверсий». Предположение о том, что используя новую стратегию, Google дает таким рекламодателям некоторые преимущества по сравнению с остальными. Ведь мы (рекламодатели с включенной стратегией) помогаем разработчикам, предоставляем статистические данные для улучшения их алгоритмов. И теоретически, можем рассчитывать на небольшое поощрение со стороны системы, чтобы как можно быстрее сделать ее умнее =)
2. «Назначение цены за клик вручную» vs «Максимум конверсий». В любую автоматическую стратегию в AdWords заложен определенный алгоритм, который создан разработчиками под определенные цели. И у такого алгоритма есть «какой-то» конечный план на любое развитие событий, происходящих на аукционе. Автоматическая стратегия чаще и быстрее чем человек приспосабливается к окружающей среде. При ручном же изменении ставок мы гораздо реже заходим в аккаунт, в конкретную рекламную кампанию и медленнее реагируем на события. Представьте себе, если у вас десятки кампаний и тысячи ключевых слов. Заниматься ручной оптимизации в таких условиях – задача крайне тяжелая. К тому же, основываясь на опыте смежной рекламной системы (Facebook), где довольно неплохо работает алгоритм оптимизации по «микроконверсиям», игнорировать новинки в AdWords просто бессмысленно.

Безусловно, «Целевая цена за конверсию» и «Максимум конверсий» — две разных стратегии, которые работают исходя из собственных задач, и сравнивать их не совсем правильно. Но из-за того, что в нашем проекте «Целевая цена за конверсию» демонстрировала лучшие показатели по соотношению «Количество / Стоимость обращения», я решил сравнить именно их между собой. Аналогично поступил и с ручной стратегией.

Стратегия назначения ставок до и во время эксперимента

Чтобы добавить эксперимент в AdWords, необходимость сначала создать «Проект». Выбираем нужную кампанию и в правом верхнем углу нажимаем «Проект» — «Создать».

Создать проект в Google AdWords

Название проекта в Google AdWords

После этого мы делаем в кампании любые корректировки, которые считаем нужными: изменение стратегии, корректировки на устройства, расписание показа, цены за клик и т.д. Нажимаем «Применить» в правом верхнем углу и проводим эксперимент:

Создание эксперимента в Google AdWords

Он создается для того, чтобы распределять трафик между пользователями равномерно 50/50 на протяжении всего времени эксперимента. Тестирование стратегий в одной РК поочередно по неделям нам не подходит, поскольку изо дня в день покупательская способность и другие факторы могут кардинально меняться. Попали на выплату зарплаты, какой-нибудь праздник или сезонность – уже не то.

В интерфейсе Google AdWords для трех РК это выглядит так:

Эксперименты в Google AdWords

А в результате экспериментов, которые проходили с 4 августа по 11 сентября, я получил следующие значения:

Общие запросы

Стратегии: «Целевая цена за конверсию 700 руб.» (Исходная кампания) vs «Максимум конверсий» (Эксперимент):

Первый эксперимент в Google AdWords

Несмотря на распределение трафика 50/50, стратегия «Максимум конверсий» получила в 1,6 раз больше кликов. Это можно объяснить тем, что текущая стратегия старалась в рамках установленной цены 700 руб. за конверсию держать среднюю цену за клик в допустимом диапазоне.

Отсюда ниже позиция, меньший по сравнению с экспериментальной стратегией CTR, меньше конверсий, и как ни странно, их стоимость выше. Про коэффициент конверсии отдельная история – таким низким он не был даже при текущей ситуации до проведения эксперимента. Вот данные с 4 июля по 3 августа, за месяц до запланированного тестирования:

Показатели по общим запросам до эксперимента

Но есть одно НО: количество конверсий за текущий период меньше, чем 30. А Google нас в своей официальной справке предупреждает, что алгоритм автоматической стратегии может исправно работать только при соблюдении этого условия. У нас не было достаточных данных за последние 30 дней.

В исходных данных я написал, что мы готовы платить за оформленный на сайте заказ до 1000 руб., а в кампании стоит 700. Это объясняется тем, что сотрудники Google рекомендуют всегда ставить целевую цену за конверсию (прогнозируемую, назовем ее так) на 30-40% ниже, чем конечную (фактическую) из-за постоянно меняющегося аукциона, его условий и с учетом отмененных заказов.

Вывод: для ключей общего назначения для данной тематики у AdWords есть достаточное количество информации, на основании которой он может улучшить показатели по рекламной кампании. 41 оформленный заказ (без учета звонков) за 40 дней с ценой за заявку 1255 руб. (с НДС) – результат весьма неплохой. Особенно если сравнивать с исходной РК. По окончании эксперимента для поисковой кампании «Общие» я изменил стратегию назначения ставок с «Целевая цена за конверсию 700 руб.» на «Максимум конверсий».

Корзины с фруктами

Стратегии: «Целевая цена за конверсию 700 руб.» vs «Максимум конверсий»

Второй эксперимент в Google AdWords

В этом эксперименте все произошло совсем наоборот. Смотрим на статистику за месяц до начала:

Показатели по корзинам с фруктами до эксперимента

И снова не хватает данных по конверсиям за последние 30 дней для эффективной работы алгоритмов машинного обучения. Ни для первой стратегии, ни для второй. Однако с большим перевесом: меньшей ценой за клик, ниже позицией, но большим количеством и коэффициентом конверсий победила исходная стратегия «Целевая цена за конверсию 700 руб.»

Вывод: объяснений этому нет – просто данные. Скорее всего эксперимент можно считать неудавшимся, по причине того, что для таких кампаний, где количество конверсий ограничено и не доходит до порогового значения (30!) нет вообще смысла назначать автоматическую стратегию. Либо Google будет постоянно поднимать стоимость за клик, чтобы их стало больше (как в случае с «Максимум конверсий»), либо, наоборот, опускать.

В другом аккаунте была такая история: назначив целевую цену за конверсию (очень низкую) в процессе работы AdWords снизил ставки на ключевые слова до такого минимума, что мы перестали вообще где-либо показываться. Так что автоматические стратегии назначения ставок тоже нужно мониторить и корректировать.

В этой рекламной кампании после проведенного эксперимента я все оставил как есть, без изменений.

Цветы в шляпных коробках

Стратегии: «Назначение цены за клик вручную» vs «Максимум конверсий»

Цена за клик в ручной стратегии выставлялась одноразово исходя из средней конверсии сайта по всем источникам. И на период теста она составляла 3%. То есть каждый 33 пользователь, зашедший на сайт, делал у нас заказ (без учета звонков). А максимальная цена за конверсию, как вы уже знаете, составляет 1000 руб. Получаем цену за клик на все время эксперимента – 30 руб.

И получаем неоднозначные результаты для исходной и экспериментальной кампаний:

Третий эксперимент в Google AdWords

Вывод: победителя выявить не удалось, стоимость конверсии высокая и там и там, коэффициент конверсии довольно низкий (в 3-5 раз ниже среднего). Поэтому было принято решение изменить стратегию на «Целевая цена за конверсию 700 руб.» и посмотреть, как она отработает.

Подводя итоги

Я провел три эксперимента. Счет оказался 1:1:1. Один раз победила новая стратегия «Максимум конверсий» (для общих запросов), один раз «Целевая цена за конверсию» (для корзин с фруктами), хотя спорно, один раз победителя выявить не удалось.

Если вы захотите провести аналогичный эксперимент на своих рекламных кампаниях, то не забывайте про два ГЛАВНЫХ условия:

1. настроенные конверсии в Google AdWords
2. в кампании должно регистрироваться не менее 30 конверсий в месяц, при этом их количество в кампании или группе объявлений за последние несколько дней не должно резко меняться

Если одно из этих условий не соблюдается, то включать автоматическую стратегию назначения ставок смысла особого нет.

А был ли у вас опыт тестирования автоматических стратегий? Делитесь своими экспериментами в комментариях!

Как улучшить оценку качества целевой страницы в Google Ads — эксперимент Netpeak

Как повысить показатель качества в Google Рекламе? На одну из самых важных составляющих — оценку релевантности целевой страницы — PPC-специалист может повлиять, только если клиент согласен улучшать сайт. Ранее я уже делился кейсом , как оптимизация сайта влияет на результаты по контексту: тогда улучшились не только поведенческие показатели, но и качество ключевых фраз, рейтинг, цена клика, видимость объявлений и количество выигранных аукционов.

Но что делать, если клиент сейчас не готов внедрять ваши рекомендации или делает это очень медленно?

Я предположил, что оценка качества целевой страницы будет выше, если проставить конечные URL на уровне ключевого слова, и в этом посте поделюсь результатами своего эксперимента.

Преимущества использования конечных URL на уровне ключевых слов

1. Посадочная страница более релевантна поисковому запросу.
2. Можно организовать структуру аккаунта более экономно — нет нужды плодить много групп с объявлениями на разные целевые страницы.
3. При замене конечных URL объявления не проходят повторную модерацию, а значит реклама не приостанавливается и сохраняется статистика по объявлениям.

«Минусы» использования конечных URL

1. Требуется довольно много времени на простановку ссылок под каждый ключ.
2. Некоторые скрипты и сервисы по проверке «битых» ссылок не проверяют URL на уровне ключей.

Как добавить URL на уровне ключевого слова?

Небольшой мануал для тех, кто ранее не добавлял ссылки к ключевым словам.

Удобнее всего сделать это в редакторе Google Рекламы . Перейдите на уровень «Ключевые слова», выделите нужные ключи и выберите вкладку «Редактирование выбранных ключевых слов». В строке «Конечный URL» введите ссылку на нужную страницу сайта.

Чтобы добавить ссылку в интерфейсе Google Рекламы, необходимо перейти на уровень ключевых слов, отметить нужные ключи и далее нажать на «Изменить» — «Изменить конечные URL. ».

В открывшемся окне вставьте ссылку в поле «Конечный URL» и нажмите кнопку «Просмотреть изменения».

Убедитесь, что все корректно, и сохраните изменения.

Как я проводил эксперимент?

Чтобы получить максимально объективный результат, я сравнивал показатели похожих ключевых слов. Для эксперимента были отобраны модельные ключи в поисковых кампаниях, по которым было больше одного показа за 30 дней.

В исследовании участвовали:

• 3123 ключевых фраз, по которым было более 350 000 кликов;
• 2626 ключей — не содержали конечный URL;
• 497 — содержали конечный URL.

Оценить влияние URL на уровне ключевых слов мне помог Алексей Селезнев, Head of Analytics Department Netpeak. Мы использовали скрипт на языке R , получили данные о составляющих показателя качества и визуализировали их.

Напомню, что Google Реклама отображает оценки ключевых слов по трем составляющим:

Подробнее о том, как оценивается качество ключевого слова, читайте в статье « Как улучшить показатель качества в Google Рекламе ».

1. Сравнение по компоненту «Ожидаемый CTR»

Показатели примерно одинаковые. Это ожидаемо, так как оценка за ожидаемый CTR рассчитывается на основании исторической кликабельности фраз, а значит манипуляции с целевыми страницами априори не должны влиять на него.

Также этот график подтверждает, что анализируемые фразы имеют схожую историю, а значит достаточно однотипные.

2. Сравнение по компоненту «Релевантность объявления»

Для всех ключевых слов я использовал одинаковые тексты объявлений с динамической вставкой, при этом показатели у ключевых фраз, содержащих собственный URL, значительно выше.

Я не могу однозначно утверждать, что именно добавленные ссылки повлияли на такой результат, но очевидно, что система воспринимала переходы по таким объявлениям как более релевантные.

3. Сравнение по компоненту «Качество целевой страницы»

В группе с URL на ключевых словах значительно больше положительных оценок. В первую очередь это связано с тем, что реклама ведет пользователей на страницы, которые наиболее релевантны их поисковому запросу.

Вывод

Результаты эксперимента показали, что Google Реклама гораздо лояльнее к ключевым фразам с собственным URL, чем к тем, которые используют URL только на объявлениях.

1. Этот прием можно использовать, чтобы повысить релевантность объявлений и оценку качества целевых страниц, если все традиционные варианты вы уже испробовали, а позиция объявления и цена клика по прежнему вас не устраивает.
2. Используя такой подход, можно создать удобную структуру аккаунта, без ущерба для качества ключевых слов.

Кстати, хороший эффект по лидам дают сервисы email-рассылок с интегрированным конструктором лендингов. Например, такой конструктор лендингов и форм присутствует в GetResponse. Что приятно — ребята из сервиса постоянно работают над модернизацией этого инструментария.

Делитесь своими секретами оптимизации качества ключевых слов в комментариях.

С 2013 года занимал должность Middle PPC Specialist, а с января 2018 Senior PPC Internet Marketer в агентстве Netpeak.
Имею опыт работы с более чем 100 проектами на рынках Украины, Казахстана и запада.
Специализируюсь на работе с интернет магазинами, но так же работал в сфере SaaS и лидогенерации.
Сертифицированный специалист Google AdWords, Google Analytics, DoubleClick.

Узнайте больше

21