Памятка для пользователей шаблона — этот блок нужно удалить перед публикацией.
Цель. Этот шаблон — мета-опрос для проверки качества вашей собственной анкеты. Он предлагается небольшой группе участников претеста (как правило, 3–8 человек) после того, как они заполнили основную анкету. Он выявляет проблемы с пониманием, отказы отвечать, проблемные формулировки и проблемы с форматом — до того, как вы перейдете к основному сбору данных.
Методический контекст. Шаблон ориентирован на метод когнитивного интервьюирования (Willis 2005, Cognitive Interviewing: A Tool for Improving Questionnaire Design) — золотой стандарт претестирования анкет в эмпирических социальных исследованиях. Tourangeau, Rips & Rasinski (2000) выделяют четыре когнитивных процесса при ответе на любой вопрос:
- Comprehension — понимает ли человек, о чем его спрашивают?
- Retrieval — может ли человек извлечь нужную информацию из памяти?
- Judgment — может ли он сформировать оценку?
- Response — подходит ли ему один из вариантов ответа?
Проблемы могут возникнуть на любом из этих этапов — и этот шаблон помогает их выявить.
Что мы спрашиваем.
- Общее впечатление — понятность, длина, тональность.
- Проблемные вопросы — открытый вопрос для выявления отдельных критичных пунктов.
- Проблемы с пониманием — непонятные термины, неоднозначные формулировки, двойные утверждения (double-barreled).
- Проблемы с ответами — отсутствующие или неподходящие варианты ответа, проблемы со шкалами.
- Чувствительные темы — вопросы, на которых участники претеста колебались или прерывали заполнение.
- Формат / оформление — технические проблемы, читаемость, отображение на мобильных устройствах.
Порядок проведения претеста.
- Отбор 3–8 участников претеста, в идеале со схожими характеристиками, как у вашей основной целевой группы (возраст, образование, сфера деятельности). Разнообразие важнее количества — одного человека всегда недостаточно.
- Исходную анкету в режиме претеста дайте заполнить (в QUESTIONSTAR доступно как неопубликованный предпросмотр, без попадания ответов в реальный набор данных). Опционально: протокол think-aloud — участников просят при заполнении рассуждать вслух; это раскрывает незаметные пробелы в понимании.
- Опрос-претест (этот шаблон) дайте заполнить сразу после этого.
- Анализ — по каждому вопросу видно, возникали ли проблемы. При повторяющихся проблемах (у ≥2 человек) вопрос нужно доработать.
- Повтор — при значительных изменениях рекомендуется провести второй претест с другими людьми.
Типичные результаты претестов. Ожидаемый диапазон: 15–30 % пунктов еще не протестированной анкеты имеют методические проблемы. Самые частые проблемы: (a) двойные вопросы («Насколько вы довольны ценой и качеством?»), (b) неясные обозначения шкалы («часто» против «нередко»), (c) слишком длинные списки пунктов, (d) отсутствие варианта «затрудняюсь ответить».
Адаптация. (1) Адаптируйте приветствие под контекст вашего исследования, (2) при подозрении на проблемы с конкретными вопросами заранее добавьте открытый вопрос «Что вы подумали при вопросе X?», (3) при больших анкетах разбейте вопросы о понятности на отдельные блоки.