Памятка для пользователей шаблона — этот блок нужно удалить перед публикацией.
Цель
Этот шаблон — обучающий и адаптируемый шаблон — он демонстрирует функциональность A/B-тестов в QUESTIONSTAR на конкретных примерах (описания фильмов и сценарии авиакомпании). Он не готов к использованию напрямую, а задуман как отправная точка: клонируйте его, замените содержимое, настройте собственные A/B-тесты.
Что демонстрируется
- A/B/C-тест на уровне вопроса (тест 1, страница 2) — показываются три версии одного вопроса, каждый респондент случайным образом видит одну из них
- A/B-тест на уровне страницы (тест 2, страницы 4–5) — два полных сценария в виде отдельных страниц, каждый респондент случайным образом видит один из них
- Общие вопросы оценки (страница 6) — оба сценария оцениваются по одним и тем же пунктам, что позволяет количественно сравнить эффект варианта сценария
- Демонстрационная страница (страница 7) — в конце всем респондентам показываются все варианты сценариев, чтобы настройка была наглядной
Как работают A/B-тесты в QUESTIONSTAR
В редакторе анкеты откройте в меню «A/B-тесты» настройки и определите сценарии. Для каждого сценария выберите, какие вопросы (scenarioType: questions) или какие страницы (scenarioType: pages) должны отображаться. Распределение происходит случайно — каждый респондент видит ровно один сценарий.
Анализ в отчете фильтруется по сценарию: «Как ответили респонденты, увидевшие сценарий A?» против «… сценарий B». Это позволяет четко изолировать причинные эффекты.
Какие выводы возможны
A/B-тесты — корректный метод проверки причинных эффектов — не «связаны ли переменные X и Y?» (корреляция), а «изменится ли Y, если я изменю X?» (причинность). Типичные области применения:
- Маркетинг — какое рекламное сообщение (изображение, текст, обещание) сильнее повышает намерение купить?
- UX-исследования — какой вариант веб-страницы, кнопки, формы воспринимается лучше?
- Социальные исследования — как фрейминг (например, формулировка в терминах потерь или выигрыша) влияет на оценки?
- HR / система вознаграждения — влияет ли вариант объяснения (например, структуры оплаты труда) на восприятие справедливости?
Адаптация шаблона
Замените описания фильмов (тест 1) на собственные стимулы — например, три версии рекламного сообщения, три описания продукта, три варианта заголовка. Замените сценарии авиакомпании (тест 2) на собственные описания ситуаций — например, два варианта жалобы на сервис, два фрейминга политического заявления, два варианта коммуникации с сотрудниками. Матрицу оценки (страница 6) адаптируйте под ваши зависимые переменные.
Важно: размер выборки должен быть достаточным, чтобы различия между сценариями оказались статистически значимыми. Эмпирическое правило: минимум 50–100 респондентов на сценарий для умеренных эффектов. Перед публикацией рекомендуется провести анализ мощности — в этом поможет наш калькулятор выборки.
Сбор email-адреса в конце — необязательный элемент; уберите его или свяжите с явным уведомлением о защите данных (DSGVO), если планируете его использовать.
Прочитайте, пожалуйста, краткое описание этого фильма и затем сообщите нам, насколько сильно это описание пробудило ваш интерес к фильму:
На следующей странице мы опишем ситуацию, которая могла бы произойти с вами как с клиентом авиакомпании. И авиакомпанию, и описанную ситуацию мы придумали специально для этого опроса — но обе основаны на реальных прототипах.
Пожалуйста, на несколько минут погрузитесь в эту ситуацию. Просто представьте, что описанное происходит с вами по-настоящему. |
Вы уже 5 лет являетесь клиентом авиакомпании PremiumAir. PremiumAir входит в число лучших авиакомпаний Европы и предлагает рейсы по всему миру для туристов и бизнес-путешественников. Вы летаете регулярно с PremiumAir и за последние 12 месяцев в сумме 28 200 миль накопили благодаря этому; это соответствует примерно 24 перелетам туда и обратно по маршруту Берлин — Мюнхен.
Вы знаете, что PremiumAir предлагает программу лояльности для часто летающих пассажиров. Клиенты, которые хотят участвовать в этой программе лояльности, получают именную клиентскую карту, на которую начисляются накопленные мили. Если клиент накопил особенно много миль, он получает у PremiumAir статус Gold-Traveler-клиента. Gold-Traveler-клиенты пользуются особым отношением со стороны PremiumAir. Пока клиент не достиг статуса Gold-Traveler, он числится у PremiumAir как базовый клиент.
У вас самих тоже есть клиентская карта PremiumAir, и у вас статус базового клиента. Вам хотелось бы знать, сколько миль вам нужно набрать, чтобы получить статус Gold-Traveler, но до сих пор не смогли это выяснить — сколько перелетов вам еще не хватает, чтобы стать Gold-Traveler. У PremiumAir вам сообщили, что вас уведомят, как только вы достигнете статуса Gold-Traveler.
В аэропортах, откуда вы регулярно вылетаете, часто бывают длинные очереди на стойке регистрации для базовых клиентов, таких как вы. Обычно вы стоите там больше получаса. Как вы прочитали в клиентской брошюре PremiumAir, есть еще одна стойка регистрации, на которой обслуживают исключительно Gold-Traveler-клиента. В брошюре PremiumAir обещает, что на стойке для Gold-Traveler стоит меньше пассажиров, поэтому время ожидания там немного короче, чем у базовых клиентов.
После регистрации у вас часто остается больше часа до посадки, и обычно вы располагаетесь в общем, как правило переполненном зале ожидания. Из клиентской брошюры PremiumAir вы узнали, что некоторые клиенты коротают время ожидания рейса в Gold-Traveler-Comfortlounge. Вы прочитали, что в лаундже есть дополнительные места, а в баре можно купить немного снеков и напитков. Кроме того, вы слышали, что Gold-Traveler-клиента там доступны рабочие места с ноутбуком и доступом в интернет (за плату), а также краткий выпуск ежедневной газеты. Как базовый клиент вы не имеете доступа в Gold-Traveler-Comfortlounge.
Вы уже 5 лет являетесь клиентом авиакомпании PremiumAir. PremiumAir входит в число лучших авиакомпаний Европы и предлагает рейсы по всему миру для туристов и бизнес-путешественников. Вы летаете изредка с PremiumAir и за последние 12 месяцев в сумме 1200 миль накопили благодаря этому; это соответствует одному перелету туда и обратно по маршруту Берлин — Мюнхен.
Вы знаете, что PremiumAir предлагает программу лояльности для часто летающих пассажиров. Клиенты, которые хотят участвовать в этой программе лояльности, получают именную клиентскую карту, на которую начисляются накопленные мили. Если клиент накопил особенно много миль, он получает у PremiumAir статус Gold-Traveler-клиента. Gold-Traveler-клиенты пользуются особым отношением со стороны PremiumAir. Пока клиент не достиг статуса Gold-Traveler, он числится у PremiumAir как базовый клиент.
У вас самих тоже есть клиентская карта PremiumAir, и у вас статус базового клиента. Вы знаете, что вам нужно набрать в общей сложности 30 000 миль, чтобы получить статус Gold-Traveler, — то есть вам не хватает еще примерно 28 000 миль. У PremiumAir вам сообщили, что вас уведомят, как только вы достигнете статуса Gold-Traveler.
В аэропортах, откуда вы регулярно вылетаете, часто бывают длинные очереди на стойке регистрации для базовых клиентов, таких как вы. Обычно вы стоите там больше получаса. Прямо рядом со стойкой для базовых клиентов находится стойка регистрации, на которой обслуживают исключительно Gold-Traveler-клиента. Вы можете наблюдать, что на стойке для Gold-Traveler всегда стоит очень мало пассажиров, которых обслуживают практически без ожидания.
После регистрации у вас часто остается больше часа до посадки, и обычно вы располагаетесь в общем, как правило переполненном зале ожидания. Оттуда вы видите, как некоторые клиенты коротают время ожидания рейса в Gold-Traveler-Comfortlounge. Вы видите, что в лаундже есть удобные места в приятной атмосфере, свежеприготовленные бесплатные снеки (печенье и ассортимент сэндвичей) и бесплатные напитки (кофе, чай, какао, вода, сок и газировка). Кроме того, вы видите, что Gold-Traveler-клиента там доступны рабочие места с ноутбуком и бесплатным доступом в интернет, а также богатый бесплатный выбор ежедневных газет и журналов. Как базовый клиент вы не имеете доступа в Gold-Traveler-Comfortlounge, что для вас означает: нет розетки, нет бесплатного доступа в интернет, нет бесплатных снеков и напитков и нет бесплатных ежедневных газет и журналов.
Мы хотели бы узнать у вас, как вы оцениваете программу лояльности PremiumAir.
Пожалуйста, отметьте в каждом случае подходящий для вас ответ.
Теперь мы хотели бы узнать у вас, насколько разное отношение авиакомпании PremiumAir к базовым клиентам, таким как вы, и Gold-Traveler-клиентам вы считаете справедливым.
Стали бы вы жаловаться в PremiumAir на то, что с вами как с базовым клиентом обращаются хуже, чем с Gold-Traveler-клиентами?
В завершение, чтобы продемонстрировать, что A/B-тест может охватывать несколько страниц, мы покажем вам, какой фильм вы оценивали в начале анкеты. Это был...
Вы можете скопировать эту анкету в свой аккаунт QUESTIONSTAR, чтобы посмотреть детали настройки обоих A/B-тестов. Для этого нажмите кнопку «Скопировать этот опрос в мой аккаунт» внизу справа.
Теперь нажмите «Конец», чтобы завершить опрос.
Адрес электронной почты