Секреты A/B-тестирования: метрики, сроки и фичи, которые невозможно проверить

Опубликовано От Sergey
0 0
Read Time:5 Minute, 4 Second

Быстрые эксперименты помогают бизнесу эффективно определять пути развития. Об адекватных метриках, сроках и о том, какие фичи невозможно протестировать, рассказывает менеджер продукта и сервиса Lamoda «Стилист» Ксения Спасская.

Секреты A/B-тестирования: метрики, сроки и фичи, которые невозможно проверить

Ксения Спасская

Эффект в цифрах и без них

Прежде чем всем пользователям Lamoda станет доступен новый функционал, мы проводим A/B-тестирование. С этим менеджерам продукта помогает отдел дата-сайентистов и аналитиков. Они проверяют, влияет ли функционал на ключевые метрики, одна из которых — деньги.

Через тестирование проходит от 80 до 90% новых фич и продуктов платформы. Мы не тестируем те улучшения, результат внедрения которых нельзя измерить. Например, мы добавили на главную страницу приложения возможность переключаться сразу между несколькими разделами: подборка, каталог, избранное, профиль и корзина. Так как этот блок насквозь проходит все разделы платформы, ограничить аудиторию, которой он доступен, невозможно. 

Новые бизнесы не всегда можно A/B-тестировать. В новейших проектах без аналогов слишком много неизвестных, неясны метрики. Непонятно, например, как именно статьи из блога влияют на решение о покупке конкретного товара и в какой временной перспективе. Но мы понимаем, что заход на страницу с текстом и его прочтение приносят эффект. 

Классическая схема A/B-тестирования 

  • Запуск эксперимента на определенный срок и процент пользователей, которые в нем участвуют. Клиенты получают дополнительную функциональность сервиса. 
  • Сбор идентификаторов пользователей и данных об их поведении на сайте, покупках. 
  • Итоги. Оценка целевых продуктовых и бизнес-метрик. 

  • Элементы эксперимента

    Контрольная группа. Тестирование предусматривает наличие контрольной группы, характеристики которой определяют аналитики и специалисты по большим данным при помощи математического анализа. Группы формируют так, чтобы они дублировали поведение пользователей всех сегментов аудитории Lamoda. Для конкретного эксперимента продакт-менеджеры могут выбрать группу из заранее сформированных по определенным правилам. 

    Тестовые группы. У нас есть возможность раскатить новую фичу, например, только на сотрудников и даже только на одного пользователя. Можно открыть эксперимент для разных сегментов аудитории: по странам, по платформам, по группам. Классическая схема: 50% аудитории выступают как контрольная группа, другие 50% — как тестовая.

    Открывать новую фичу просто на всех пользователей без сложных схем тестирования не очень эффективно для большого бизнеса: мы не поймем, действительно ли конкретное изменение повлияло на общую выручку или конверсию в покупку, не сможем спрогнозировать дальнейшие точки роста.

    Вот так выглядит внутренняя админка сайта с двумя вариантами A/B-тестов. 

    Метрики. Стандартные метрики в A/B-тестировании — это срок, процент конверсии в покупку и рост выручки. Могут быть и чисто продуктовые метрики: в случае тестирования рекомендательной «полки» с товарами для пользователя нужно понять, сколько на ней должно быть карточек товара, удобно ли пользователю листать вбок.

    В этом случае можно принять в качестве метрики количество карточек на полке рекомендаций. А при тестировании блока с возможностью оплаты с рассрочкой можно оценить и конверсию в покупку, и конверсию в заказ. 

    В блоке про доставку добавили информацию про условия бесплатной доставки.

    Срок. Срок теста определяется исходя из перспектив набора статистической значимости — необходимого объема пользователей, которые бывают в разделе расположения новой фичи. В среднем наши тесты идут три-четыре недели. В менее посещаемых разделах эксперименты длятся дольше. 

    Пример эксперимента: перенос блока про доставку под кнопку «Добавить в корзину», так как исследование показало, что информация о выборе цвета и размера для пользователя важнее, чем информация о доставке.

    A/B-тестирование на примере сервиса «Стилист»

    Оформление услуги 

    Покупатели готовы тратить все меньше времени на подбор гардероба и хотят делегировать этот процесс. На этой гипотезе Lamoda построила новый сервис «Стилист» и запустила первые тесты осенью 2019 года. Так платформа старается расширить свой образ онлайн-магазина до онлайн-советчика и проводника в мир моды и образа жизни.

    Первой задачей было понять, нужен ли нам такой проект и куда двигаться, чтобы он работал эффективно. Первые тесты мы проводили на небольшой части сотрудников. Это был простой сервис на коленке: таблица Excel, чат в Telegram, два стилиста, которые собирали капсульный гардероб для участников эксперимента. 

    Семь тысяч сотрудников компании — отличная база для любых исследований, потому что сегментация примерно совпадает с особенностями аудитории платформы. Сделав первые выводы, мы разработали самый простой сервис и предложили протестировать его уже всем сотрудникам. Система работы стала сложнее. Мы ожидали, что запросы будут в основном от женщин, но 50% заявок поступило от мужчин. Сотрудники сами выкупали подобранные вещи и вели себя как реальные клиенты. 

    Тесты проходили до начала пандемии, а весной 2020 года нам пришлось их приостановить: в условиях распространения заболевания на наши метрики нельзя было полагаться. Поведение пользователей сильно изменилось, и мы наблюдали это на всех продуктах. Тестировать новый сервис в таких условиях было рискованно.

    Ключевые инсайты, которые мы получили: перед составлением капсулы важно хотя бы минимально разобрать гардероб клиента, чтобы не предлагать ему те вещи, которые у него уже есть; клиенты в основном ждут эффекта «вау» и преображения.

    Эти отзывы помогли нам доработать коммуникацию и объяснить особенности нашей услуги. Мы усовершенствовали анкету, чтобы пользователь мог рассказать нам о своем гардеробе. 

    30 сентября 2020 года услуга стала доступна всем пользователям сервиса в тестовом режиме, эксперимент будет идти до конца октября. Пока результаты схожи с итогами нашего внутреннего тестирования. Единственное отличие: пользователей-мужчин немного меньше, чем внутри компании: 20% аудитории. 

    A/B-тестирование в вашей компании

    Эксперименты и анализ их результатов помогают нам расставлять приоритеты, выявлять точки роста, четко понимать, что именно нужно улучшать для увеличения оборота компании. Благодаря тестам выводы максимально точны и это позволяет эффективно развивать продукт. 

    Разработка системы A/B-тестирования довольно сложная. Чтобы система работала качественно, нужны существенные вложения и специалисты. Если того и другого нет и речь идет о стартапе с понятной и небольшой аудиторией, то что-то улучшать можно и на основе сбора обратной связи от пользователей. Сложные алгоритмы тестирования будут избыточны. 

    A/B-тестами имеет смысл заниматься в том случае, когда компания уже нарастила аудиторию в несколько миллионов и не может проводить глубинные интервью. Тогда в ход идут исследования, масштабные опросы и анализ поведения. 

    Как получить максимум от A/B-тестов

  • Начинать с вопроса «Зачем мы это делаем?» и внятного ответа на него.
  • Определить контрольную и тестовые группы.
  • Продумать общие и локальные метрики в отдельных экспериментах.
  • Следить за тем, как показатели экспериментов могут повлиять на общие бизнес-показатели компании.
  • Фото на обложке: Shutterstock/aanbetta
    Изображения в тексте предоставлены автором

    Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

    Источник: https://rb.ru/

    Happy
    Happy
    0 %
    Sad
    Sad
    0 %
    Excited
    Excited
    0 %
    Sleepy
    Sleepy
    0 %
    Angry
    Angry
    0 %
    Surprise
    Surprise
    0 %

    Average Rating

    5 Star
    0%
    4 Star
    0%
    3 Star
    0%
    2 Star
    0%
    1 Star
    0%

    Добавить комментарий

    Ваш адрес email не будет опубликован. Обязательные поля помечены *