Как подготовиться к исследованию

Цель, гипотезы и исследовательские вопросы

Перед тем как проводить исследование, нужно понять, что вы хотите узнать и как потом применить результаты — то есть определить цель.

Гипотеза — это обоснованное предположение, которое требует проверки. Ее формулируют как утверждение о продукте или интерфейсе.

Исследовательский вопрос — вопрос, на который нужно ответить в ходе исследования. Он нужен, если у вас нет гипотезы и вы ищете новое решение для улучшения продукта.

Гипотезу или исследовательский вопрос лучше сформулировать, когда вы только начинаете думать об исследовании. Так вы сможете понять:

• Правда ли нужно исследование пользователей, а, например, не A/B-тест
• Каким исследовательским методом проверить гипотезу или ответить на исследовательский вопрос
• Как сформулировать задание для исследования
• Как структурировать и анализировать результаты по итогам исследования

Как сформулировать гипотезы и вопросы

За один тест можно проверить только одну гипотезу. Поэтому важно, чтобы формулировка содержала только одно утверждение.

Гипотеза или исследовательский вопрос должны быть сформулированы так, чтобы на них можно было ответить «да» или «нет». Либо чтобы в качестве результата можно было показать соотношение респондентов, которые выбрали тот или иной вариант.

Гипотеза или исследовательский вопрос должны быть конкретны.

Проверка гипотезы должна давать новое знание, которого нет в best practices и проведенных исследованиях вашего продукта.

Гипотеза или вопрос должны быть такими, чтобы вы получили результаты, которые пойдут в работу. Если проверяете утверждение ради того, чтобы проверить утверждение, исследование лучше не запускать.

Аудитория

Чтобы получить результаты, с которыми потом можно будет работать, надо понять, чьи ответы окажутся полезны.

Важно учесть опыт респондентов и поведенческие факторы. Если вы делаете конкурента «1С», будут нужны бухгалтеры, а если агрегатор по покупке билетов, надо рекрутировать тех, кто часто путешествует.

Демографические факторы (возраст, география, пол и так далее) также могут иметь значение, если вы знаете, что пользователи из разных демографических группы ведут себя по-разному.

Чаще всего про аудиторию можно посоветоваться с продуктовым менеджером.

Сколько нужно респондентов?

Увы, простого ответа нет, поэтому сперва расскажем, от чего это зависит.

В зависимости от целей используют качественные или количественные исследования. Если коротко, то качественные — чтобы найти проблемы и придумать решения, количественные — чтобы проверить гипотезы и получить статистически значимый ответ.

Необходимое количество респондентов для каждого типа будет разным. Как посчитать — рассказываем дальше.

Для качественного исследования

Если вы проводите качественное исследование (например, анализируете взаимодействие пользователей с прототипом, собираете ответы на открытые вопросы или результаты карточной сортировки), в большинстве случаев для немодерируемого теста рекомендуем брать
👥 15-20 респондентов.

Для количественного исследования

В количественном исследовании мы проверяем гипотезу на большом числе респондентов, чтобы получить статистически значимый результат.

«Статистически значимый» значит, что этот результат будет правдив не только для тех людей, кто участвовал в тесте, но и для всех остальных пользователей.

Давайте познакомимся с несколькими терминами — они помогут в подсчете количества респондентов.

Генеральная совокупность — все люди, которые входят в аудиторию вашего продукта. Например, все, кто делает покупки в интернете, или все, кто зарегистрирован как самозанятый.

Размер выборки — опросить всю аудиторию невозможно, поэтому появилось понятие выборки и ее размера. Статистические методы помогают на основе выборки обобщить результаты на генеральную совокупность.

Погрешность — это возможное отклонение результатов, которые получили при тестировании выборки, от реальных значений в генеральной совокупности.

Количество респондентов — всегда сложный вопрос. С одной стороны, чем больше респондентов, тем ближе полученный результат будет к реальности, с другой — придётся потратить больше ресурсов на привлечение респондентов.

Поэтому при ответе на него всегда приходится балансировать между стоимостью исследования и точностью результатов.

Так сколько респондентов нужно для количественного исследования?

В общем случае мы рекомендуем привлекать к каждому количественному UX-исследованию 95–100 человек. Максимально возможная погрешность результатов с такой выборкой будет ≈ 10%.

Для подавляющего большинства случаев этого будет достаточно: для немодерируемых исследований не имеет смысла добиваться точности в несколько процентов или увидеть очень маленькую разницу, сравнивая несколько вариантов. Для этого лучше подходит А/Б тестирование.

Важно отметить, что использование другого количества респондентов (обычно, варьируется от 30 до 400 человек) — не ошибка, а просто другая точка баланса между точностью результатов и стоимостью исследования. В следующем разделе мы подробнее рассмотрим, как это работает.

Как рассчитать количество респондентов для количественного исследования

Количество респондентов зависит от максимальной допустимой погрешности полученных результатов относительно генеральной совокупности.

Если упростить, то допустимая погрешность — это та, которая вас устраивает (помните про баланс между точностью и стоимостью исследования?).

Статистически значимое минимальное изменение метрики — это разница между результатами тестов, при которой можно считать, что результаты будут различаться и для генеральной совокупности.

Таблица ниже показывает, как погрешность и минимальное изменение зависят от количества респондентов в выборке.

Для расчета значений в таблице мы использовали уровень значимости 95% и предположили, что имеем дело с большой генеральной совокупностью — более 100 000 человек.

Вы можете поменять эти значения и рассчитать размер выборки с другими погрешностью и доверительным уровнем, используя наш калькулятор:

Какой метод выбрать

Краткое описание ниже поможет разобраться, какой тест вам, скорее всего, подойдет. Подробные описания можно посмотреть в разделе про методы.

Тест первого клика — респонденту нужно куда-то нажать на экране, чтобы совершить действие.

Preference (или Side-by-Side) тест — пользователь должен выбрать, какой из двух макетов одного и того же экрана его привлекает больше.

Пятисекундный тест — у респондента есть 5 или больше секунд, за которые надо посмотреть на экран и запомнить то, что показалось важным.

Карточная сортировка — пользователь сортирует сущности по категориям в меню или каталоге. Исследователь может дать готовые названия категорий либо предложить пользователю решить самому, по какому признаку надо рассортировать сущности. Тест помогает определить, какой каталог или меню был бы для пользователя удобен.

Сценарное тестирование — респондент самостоятельно выполняет задание с прототипом или настоящим продуктом, при этом комментируя вслух процесс выполнения задания («think aloud»).

Как сформулировать задания

В вопросе не должны скрываться два вопроса — нужно, чтобы он был однозначным, простым и понятным.

Важно, чтобы вопрос звучал как реальная задача из жизни респондента — не используйте исследовательскую или дизайнерскую терминологию. При этом старайтесь не переборщить с подробностями, чтобы не запутать пользователя деталями.

Если нужно, дайте контекст, чтобы человек понял, что происходит на экране и что ему нужно сделать.

Проверьте, насколько легко формулировки читаются и нет ли в них очевидных грамматических или орфографических ошибок. Иначе респондентам будет сложнее понять задание, и они отвлекутся от сути вопроса.

Если готовите опрос, подумайте, можно ли заменить открытые вопросы закрытыми. Чем больше вопросов, на которые надо отвечать развернуто, тем меньше подробностей будут давать респонденты. А результаты будет сложнее обработать.

Если предлагаете варианты ответа, добавьте вариант «Другое» с возможностью оставить комментарий. Иначе респондент может запутаться, если не найдет подходящий вариант, — и вы получите недостоверные данные.

Типичные ошибки в формулировках

Не указывайте в вопросе на элемент интерфейса. Например, если кнопка называется «Оформить подписку», то вопрос «Куда нажать, чтобы оформить подписку» недопустим.

Не просите респондентов смоделировать далекую от них ситуацию. Не нужно предлагать пользователю представить, что он ищет работу, если в реальной жизни он этим не занят.

Не задавайте два вопроса в одном. Тогда респонденты могут дать некорректные ответы на оба из них. Пример двойного вопроса: «Какой вариант кнопки вам нравится больше и на какой бы вы нажали?»

Не используйте сложные термины и профессиональную исследовательскую лексику. Иначе часть респондентов напишут в ответах, что не знают, как сделать задание. А вторая часть выполнят задание и при этом не признаются, что не поняли его суть.

Чек-лист: о чем еще подумать перед запуском

• Спросите себя «Какое знание я хочу получить?»
• Подумайте, какой формат ответа вам подойдет — например свободный ответ, клик или выбор из нескольких вариантов.
• Проверьте, что в формулировке вопроса не скрыто два вопроса
• Посмотрите, насколько вопрос понятен и однозначен
• Дайте контекст, если это нужно для выполнения задания
• Если возможно, запускайте тест или опрос не сразу на всю выборку. Лучше сделайте пилотную версию на 20–30 респондентов. Так по первым ответам отловите проблемы и сможете их исправить
• Покажите исследование коллегам в своей команде — возможно, у них будут ценные комментарии

Чек-лист: как подготовить макет или прототип

• Подумайте, какие пути в прототипе оставить, а какие убрать. Не оставляйте только один путь — респонденты точно по нему пройдут, но результаты теста вам не пригодятся
• Посмотрите, насколько данные на макете реалистичны. Молоко не может стоить 500 рублей, а призыв к действию «Ну пожалуйста, купите» в реальной жизни никто не пишет
• Посмотрите, насколько понятно, о каком элементе вы спрашиваете. Нужный объект можно поместить в рамку или указать на него стрелкой. Если указываете стрелкой, убедитесь, что рядом с нужным элементом не стоят другие, — иначе респондент не поймет, на что надо обратить внимание
• Посмотрите, совпадают ли качество и размер двух или больше макетов, если проводите Preference-тест
• Поместите прототип в отдельный файл в Figma или другом дизайнерском редакторе. Тогда макет будет быстрее открываться и меньше зависать
• Удалите лишние элементы и скрытые слои из прототипа, убедитесь, что картинки оптимизированы: это поможет респондентам быстрее загрузить прототип, особенно на мобильных устройствах
• Если возможно, запускайте тест или опрос не сразу на всю выборку. Лучше сделайте пилотную версию на 20–30 респондентов. Так по первым ответам отловите проблемы и сможете их исправить
• Проверьте, что макет подходит к устройству, с которого респондент будет выполнять задание