Назад к блогу

Самолет+Pathway: как создать уникальный инструмент, который помогает измерять юзабилити вашего продукта, сравнивать его с конкурентами и экономить месяцы работы

О чём этот материал

Команда Самолет создала систему регулярного мониторинга UX через индексы. Теперь каждые полгода компания за 2 недели получает данные: в каких сценариях их сайт с подбором квартир и механизм онлайн-сделки сильнее конкурентов, где отстают, и что улучшать в первую очередь. Рассказываем, почему вы точно захотите забрать этот подход в свою практику.

Кейсом делится Егор Стрельцов, Senior UX Researcher в Самолет

Главная идея: один инструмент решает три задачи

Сочетание юзабилити-индекса SUM и немодерируемых тестов в Pathway позволяет:

  1. Оценивать апдейты количественно — понимать, стал ли новый интерфейс удобнее предыдущего
  2. Сравнивать свой продукт с конкурентами — видеть сильные и слабые стороны в конкретных сценариях
  3. Приоритизировать задачи — фокусироваться на сценариях с наибольшими проблемами

Всё это — за 2 недели вместо месяцев ручной работы.

Контекст: почему стандартные методы не работали

Самолет — крупнейшая девелоперская компания в России. В последние годы мы активно изучаем и развиваем диджитал-сервисы, а их изучением и анализом занимается моя исследовательская команда из двух человек. Наш основной фокус — это два флагманских проекта:

  • Сайт с подбором квартир samolet.ru
  • Механизм онлайн-сделки, который помогает купить квартиру без посещения офиса продаж

Наша особенность: мы выпускаем крупные апдейты, которые существенно меняют пользовательский опыт. Это не замена одной кнопки, а комплексная переработка целых сценариев.

Мы решаем непростую задачу — мы должны не просто найти критические ошибки нового интерфейса, но и предоставить объективную оценку апдейту

Проблема классических методов

Качественные UX-тесты помогают найти критические ошибки и генерировать идеи, но не отвечают на главный вопрос: стал ли новый интерфейс объективно удобнее предыдущего?

NPS и CSAT оценивают продукт целиком, но не фокусируются на конкретных дизайн-решениях и элементах интерфейса.

Решение, которое мы придумали: UX-индексы для оценки конкретных сценариев + немодерируемое тестирование для масштаба.

Инструмент: почему мы выбрали индекс SUM

SUM (Single Usability Metric) — это юзабилити-индекс, который помогает нам оценить конкретный сценарий внутри продукта и проанализировать метрики удобства через 4 показателя:

Объективные данные:

  • Время выполнения задачи
  • Успешность выполнения

Субъективные данные:

  • Оценка пользователем затраченного времени
  • Оценка пользователем сложности задачи

Ключевое преимущество: индекс учитывает то, что пользователь думает о процессе: сколько, по его мнению, времени заняла задача и насколько успешно он справился. Суммируя все перечисленное через формулу, мы получаем показатель в виде значения, которое учитывает как то, что респондент думает, так и то, что он делает внутри интерфейса.

В качественных исследованиях (5-10 человек) тоже можно рассчитать SUM. Но тут вы столкнётесь с трудностями:

  • Придётся вручную держать секундомер, одновременно следя за работой пользователя
  • Сложно фиксировать момент завершения задачи и разбираться с неоднозначными результатами
  • Выборка будет слишком мала для репрезентативности

Поэтому нужны немодерируемые тесты с большой выборкой.

Юзкейс 1: Как оценить апдейт интерфейса

Задача

Дизайнеры переработали карточку квартиры на странице подбора. Нужно понять: стала ли новая версия удобнее для поиска нужных параметров?

Как мы это сделали: пошаговый план

Шаг 1. Подготовка теста

  • Создали прототип новой карточки в Figma
  • Разработали задания: найти квартиры с конкретными параметрами в поисковой выдаче
  • Оформили тест в Pathway с прототипом и шкалами для субъективной оценки

Шаг 2. Сбор данных

  • Настроили целевую аудиторию
  • Собрали 200+ ответов
  • Pathway автоматически зафиксировал время и успешность выполнения задач

Шаг 3. Расчёт индекса

Результат

Получили значение индекса N для карточки квартиры. Теперь это:

  • Benchmark для будущих апдейтов — сравниваем новые версии с текущим показателем
  • Точка сравнения с конкурентами — измеряем их карточки тем же способом
  • Метрика для оценки прогресса — видим, растёт ли удобство со временем
Чеклист 1: для оценки апдейта интерфейса
 
1. Создайте прототип в Figma с новой версией интерфейса
2. Разработайте 3-5 типовых задач для тестируемого сценария
3. Соберите тест в Pathway:
→ Добавьте прототип
→ Добавьте шкалы для субъективной оценки времени и сложности
4. Настройте целевую аудиторию (ЦА вашего продукта)
5. Соберите минимум 100-200 ответов
6. Выгрузите данные и рассчитайте SUM
7. Сравните с предыдущей версией или сохраните как benchmark

Юзкейс 2: Как сравнить продукт с конкурентами

Задача

Понять, в каких сценариях сайт Самолета удобнее конкурентов, а где отстаёт. Получить объективные данные для приоритизации задач.

Как мы это сделали: пошаговый план

Шаг 1. Структура исследования

  • Периодичность: каждые полгода
  • Формат: сплит-тест на 4 компании (Самолет + 3 основных конкурента)
  • Сценарии: ключевые этапы пути клиента к покупке квартиры

Шаг 2. Создание теста в Pathway

Использовали функцию Live website — критическое преимущество:

  • Тестируем реальные сайты конкурентов, а не прототипы
  • Не нужно просить дизайнеров отрисовывать чужие интерфейсы
  • Пользователи взаимодействуют с актуальными версиями продуктов

Шаг 3. Одинаковые задания для всех

Пример задания для сценария «Поиск ЖК»: «Найдите жилой комплекс на Северо-Западе Москвы в 15 минутах от метро»

Каждая группа респондентов выполняет идентичное задание на своём сайте.

Шаг 4. Сбор и анализ

  • Собираем 200+ ответов по каждому застройщику
  • Рассчитываем индекс SUM для каждого сценария на каждом сайте
  • Получаем сравнительную таблицу показателей

Результат

Наглядная картина по сценариям:

  • Где Самолет сильнее — можем использовать как конкурентное преимущество
  • Где отстаём — видим масштаб проблемы в цифрах
  • Что улучшать первым — приоритизируем на основе разрыва с конкурентами

Время исследования: 2 недели вместо месяцев.

Бизнес заинтересован в объективной оценке результатов работы дизайн-команды, а также в понимании масштаба проблем интерфейса. Эта методика сравнения закрывает обе эти боли.

Чеклист 2: для сравнения продукта с конкурентами

1. Выберите 2-4 основных конкурента
2. Определите 5-7 ключевых сценариев пользовательского пути
3. Создайте сплит-тест в Pathway:
→ Используйте блок Live website для реальных сайтов
→ Сформулируйте одинаковые задания для всех групп
4. Распределите респондентов равномерно между группами
5. Соберите 100-200 ответов на каждую группу
6. Рассчитайте SUM для каждого сценария на каждом сайте
7. Постройте сравнительную таблицу
8. Определите приоритеты на основе наибольших разрывов

Главная опасность — забыть про качественные методы

Индексы показывают масштаб проблемы, но не объясняют причины.

В исследовательском сообществе есть противостояние «количественные методы против качественных», но это незрелый подход. Количественный метод показывает масштаб и общую картину, но не дает понимания деталей, и здесь зачастую и наступает момент для использования качественного инструментария.

Пример из нашей практики:

Шаг 1 (количественный): Провели аудит, сравнили индексы. Выяснили, что в сценарии «Поиск ЖК» мы слабее конкурента А.

Шаг 2 (качественный): Провели классические UX-тесты с 8 пользователями. Узнали, что проблема в расположении фильтра по удалённости от метро — пользователи его не замечают. И, разобравшись, что именно не так, разработали «План коррекции»

Результат: Получили не только цифры, но и план действий.

Самая главная ловушка — обращать внимание на одни лишь цифры и перестать слушать пользователя напрямую. Развитие любого продукта должно происходить в методологической гармонии.

Что можно забрать в работу прямо сейчас

  • Начните с оценки одного ключевого сценария вашего продукта
  • Рассчитайте SUM — это станет вашим benchmark для будущих улучшений
  • Выберите главного конкурента и сравните один сценарий между продуктами
  • Постройте регулярный процесс мониторинга раз в квартал или полгода

Вместо вывода: пара тёплых слов для исследователей

Друзья и коллеги, я надеюсь, что в этом материале мне удалось поделиться с вами ценными инструментами, и вы смогли забрать для себя что-то новое и важное. Развивая наши продукты и помогая бизнесу, мы не должны забывать: путь исследователя состоит в непрерывном развитии себя самого.

——

Попробовать Pathway, чтобы быстрее проверять не только продуктовые, но и маркетинговые решения и проводить любые юзабилити-тесты и исследования — можно бесплатно: вы получите доступ ко всем функциям платформы, включая возможность создать 3 теста и собрать до 250 ответов в месяц.

А ещё больше полезных материалов с крутыми экспертами и неожиданных юзкейсов вы найдёте в нашем телеграм-канале. Там мы делимся не только продуктовыми апдейтами, но спецпроектами с разными командами из России и глобала, и тем, что нас действительно вдохновляет.