Как подготовить и провести A B-тестирование Базовый роадмэп для новичков

A/B-тестирование — это неотъемлемая часть процесса работы над продуктом. Это Веб-интерфейс эксперимент, который позволяет сравнить две версии чего-либо, чтобы проверить гипотезы и определить, какая версия лучше. Должны ли кнопки быть черными или белыми, какая навигация лучше, какой порядок прохождения регистрации меньше всего отпугивает пользователей? Продуктовый дизайнер из Сан-Франциско Лиза Шу рассказывает о простой последовательности шагов, которые помогут провести базовое тестирование.

Инструменты для анализа и проведения A/B‑тестов

• Причем позволяет делать это не вслепую, а ориентируясь на конкретные результаты.
• Самое главное — у всех команд тестирования в компании должен быть единый способ работы с p-value.
• Преподнесенное правильно, социальное доказательства на ваших посадочных страницах (как и на страницах товаров и прочих маркетинговых активов) могут значительно повысить конверсию.
• Выше мы обсуждали людей, которые не верят бизнесу, а верят только людям.
• Спустя какое-то время, мы анализируем данные и оставляем ту версию, которая отработала лучше, а менее удачную — выключаем.
• При запуске теста нужно удостовериться, что барьерных метрик нет или они есть, но изменение в тесте на них не влияет или влияет положительно.

Выбирать инструмент a/b testing это А/В-тестирования необходимо, исходя из того, что именно вы тестируете. Если это email-рассылка, используйте встроенные инструменты тестирования, которые предоставляют большинство email-провайдеров. Это может быть ваша домашняя страница или посадочная с высоким показателем посещаемости. В любом случае, это должна быть страница, которая имеет высокое влияние на ключевой показатель. Начните с наиболее важной страницы для показателя, который вы хотите улучшить. Именно этот аспект вы и будете тестировать и сравнивать новые показатели с исходными.

Какие инструменты для A/B-тестирования стоит использовать?

Это значит, что по итогу эксперимента будет отвергнута базовая гипотеза H0 в пользу альтернативной, что неверно. В непараметрических тестах анализируются распределения, которые не параметризуются при анализе — ни средним, ни стандартным отклонением, ни какими-либо другими параметрами. Эти методы в статье я не буду рассматривать, а обращу ваше внимание на два других вида тестов. При планировании эксперимента необходимо задать две https://deveducation.com/ гипотезы.

Алгоритм проведения A/B-тестирования

Тестируя все ту же кнопку на сайте, важно оценить, какой объем трафика бывает на странице. Сколько потребуется дней с текущим объемом трафика, чтобы достаточное количество людей увидели кнопки разной формы? Этот временной отрезок и нужно зафиксировать как границы эксперимента.

Выберите страницу, которую будете тестировать

На самом же деле вы должны проводить подобные тесты постоянно. Только так вы сможете оптимизировать ваши лендинги, а вместе  ними и рекламные объявления под предпочтения своей аудитории. А/В-тестирование – это сравнение двух версий с одним измененным элементом. Например, две одинаковые посадочные страницы, с разными призывами к действию или заглавными изображениями.

При негативном исходе придется задуматься, как еще можно повысить показатели. Затем подготовиться к проведению нового теста, а все сделанные изменения отменить. А когда речь идет о повышении конверсии сайта от 0,5 процентов, то любые колебания плюс-минус 0,1% уже много решают. Создается вторая версия лендинга, где кнопки будут круглыми.

Проведение эксперимента позволит получить объективные сведения о различных методах улучшения текущей версии любого онлайн-продукта. Полученная объективная информация в Яндекс.Метрике или Google Analytics дает возможность перенастроить страницу и быстрее продвигаться на рынке. Ведь только пользователи знают, что им требуется именно сейчас.

Поэтому лучше проводить тест именно на тех сайтах, у которых уже есть поток посетителей — как новых, так и постоянных. Такой метод поиска наилучших вариантов продвижения в интернет-маркетинге называется A/B-тестирование или сплит-тест. Как провести такие исследования грамотно и интерпретировать результаты экспериментов, рассказали специалисты digital-агентства Hope Group. A/Б-тест позволяет оценить эффективность изменений веб-страниц сайта.

С тех пор прошло более трех лет, продукт значительно эволюционировал и улучшился, поэтому мы вновь вернулись к вопросу его эффективности для бизнеса. Наличие четко сформулированного портрета целевой аудитории поможет быстрее определиться с параметрами выборки для эксперимента. Что касается сроков проведения, нужно в среднем 1-2 недели, чтобы охватить нужный для релевантности объем аудитории. Если ради высокой статистической значимости вы берете большую выборку, то тест затянется, так как понадобится набрать достаточно трафика. Зато вы получите качественные и точные результаты теста. Если же выборка меньше, то и данные вы соберете быстрее.

Это поможет в дальнейшем собрать более полную картину исследования. Независимо от того, был ли ваш тест успешным или нет, относитесь к каждому эксперименту как к возможности для обучения. Используйте то, чему вы научились, для выработки вашей следующей гипотезы.

Если разобраться, что у них под капотом, то для анализа результатов A/B-тестов можно использовать любые инструменты. Начать можно, например, с z-теста для пропорций — его используют и в продуктовом анализе, и в маркетинге. Например, использовать наборы данных из Kaggle — открытого репозитория, популярного среди аналитиков и специалистов по Data Science. Ну и последний метод, который мы рассмотрим, который стоит применять если размер выборки маленький. Но так как мы пытаемся анализировать метрику, соотношения и наблюдения в данных могут быть независимыми, то больше подойдет блочный bootstrap. В обычном bootstrap данные берутся из исходной выборки с заменой, в блочном данные берутся группами (или блоками).

Поэтому А/В-тестирование заголовка увеличит ваши шансы на то, что вы найдете тот вариант, который заставит людей чаще открывать ваши письма. Заголовок – первое, что видят люди, попадая на вашу главную страницу или лендинг. Если он сразу же не привлечет внимания посетителей, они не станут тратить время, читая, что написано ниже. Ваш фаворит – это маркетинговый актив (веб-страница, email, рекламное объявление на Facebook и пр.), который уже показал хорошие результаты или же вы ожидаете от него таковых. В свою очередь, сплит-тестирование (split-testing) предполагает сравнение двух совершенно разных исходных. Например, сравнение двух лендингов, которые предлагают один и тот же товар, но делают это с использованием разного описания, разных видео или картинок и разной ценой.

Итак, вы набрали необходимую статистику за выбранный срок. Как отделить статистически значимые показания от случайных колебаний величин? Нужно оценивать среднее значение и распределение значений в сегментах. В других видах маркетинговых активностей можно варьировать иные элементы. Например, менять тему письма в email-рассылках, увеличивать количество карточек товара в объявлении ВКонтакте. Если новая настройка приведет к снижению конверсий или числа визитов, это будет не так заметно для бизнеса.