Как быстро определить состав и размер аудитории для юзабилити‑тестирования

5 лет назад

Обычно определение аудитории исследования — задача, которая требует изучения и анализа большого количества информации, а значит, и времени. Но что делать, если определиться с аудиторией исследования надо быстро, а данных для этого фактически еще нет? Например, чтобы рассчитать бюджет проекта еще до начала формальной работы над ним.

Для таких случаев мы предлагаем собрать необходимый минимум информации, которого будет достаточно, чтобы сделать предварительные выводы о составе и количестве респондентов, и, по возможности, обогащать этот минимум дополнительными данными для достижения более точного результата.

Итак, краткий план действий, который будет подробно рассмотрен чуть ниже:

1. Убедиться, что вы понимаете роль юзабилити-тестирования в развитии изучаемого интерфейса/продукта.
2. Посмотреть на изучаемый интерфейс/продукт и понять, какие группы пользователей у него могут быть, у каких групп могут быть проблемы.
3. Выяснить, насколько возможно, информацию об аудитории.
4. Определиться с количеством групп.
5. Определиться с количеством респондентов.

1. Убедитесь, что вы понимаете роль юзабилити-тестирования в развитии изучаемого интерфейса/продукта

Важно помнить, что юзабилити-тестирование — прикладное исследование, инструмент, с помощью которого заказчик планирует развивать свой продукт в определенном направлении. И в зависимости от этого направления меняются фокус исследования и требования к аудитории. Например, задачей развития продукта может быть привлечение новых пользователей, а может — поиск основных проблем текущей аудитории, и респонденты под эти разные задачи будут отличаться.

Так что не стоит приступать к определению аудитории без понимания, чем было вызвано решение провести юзабилити-тестирование, какие проблемы продукта оно должно решить, на какие показатели повлиять.

2. Посмотрите на изучаемый интерфейс/продукт и постарайтесь понять, какие группы пользователей у него могут быть, у каких групп могут быть проблемы

• Посмотрите интерфейс/продукт сами.
• Изучите открытые источники, в которых упоминается, оценивается или разбирается изучаемый вами интерфейс/продукт: статьи, отзывы, обзоры, комментарии и прочее.
• Сформируйте ваши гипотезы о характеристиках, поведении и проблемах аудитории и вопросы, которые помогут вам выяснить важные детали. Например, «Большинство покупателей продукта не имеют опыта взаимодействия с аналогичными товарами» или «Владельцы продукта пользуются только основной функцией продукта и не знают об остальных».

3. Выясните, насколько возможно, информацию об аудитории

Программа минимум

• Как заказчик исследования видит аудиторию интерфейса/продукта: что считает основными характеристиками как текущих, так и потенциальных пользователей.
• По каким признакам определяет аудиторию самого исследования: опыт, профессия, задачи и так далее, видит ли различия в поведении пользователей в зависимости от этих характеристик.
• Обсудите ваши гипотезы с заказчиком, возможно, часть из них уже проверялись и на этот счет есть подтвержденные данные, попросите заказчика высказать его предположения об аудитории и дополнить ваши гипотезы.

Программа максимум

Кроме полученных вами минимальных сведений об аудитории стоит узнать:

• Какие проблемы взаимодействия с интерфейсом/продуктом видит сам заказчик. Например, «интерфейс недостаточно явно показывает, что услуга бесплатная и пользователи прерывают процесс подключения услуги, чтобы найти информацию о ее стоимости в других разделах сайта или поисковиках».
• Существуют ли обязательные параметры аудитории. Заказчик может точно знать некоторые характеристики своей аудитории (например, из результатов ранее проведенных исследований). Это также могут быть ограничения по возрасту, особенности поведения и так далее. Если такие параметры есть, важно учесть их при формировании портрета аудитории исследования.
• Попросите заказчика предоставить вам доступ к имеющейся у него аналитике и информации об аудитории и проанализируйте ее. Это могут быть как «сырые» данные, так и их интерпретация: данные маркетинговых исследований, анализа потребителей, конкурентного анализа, результаты наблюдения за пользователями, интервью с пользователями, результаты прошлых UX-исследований; веб-аналитика или результаты ее анализа; документы по продукту или проекту (спецификации, требования, планы развития, сценарии использования).
• Поговорите с сотрудниками заказчика, которые обладают дополнительной информацией о пользователях: продакт-менеджерами, маркетологами, UX- специалистами, проектировщиками.

Может случиться так, что напрямую выяснить у заказчика информацию не получится. В этом случае стоит попросить у него все имеющиеся данные об аудитории и проанализировать их самостоятельно. Если же не удастся получить и эти данные, придется руководствоваться вашими гипотезами, сформированными на основе информации из внешних источников.

4. Определите характеристики аудитории и количество групп

Проанализируйте полученную вами информацию и на ее основе:

• Определите требования, общие для всех респондентов: к примеру, возраст, наличие смартфона, проживание в определенном районе и так далее.
• Примите решение, будете ли вы делить респондентов на группы: выделять группы нужно в тех случаях, когда вы предполагаете, что сценарий использования интерфейса/продукта будет меняться в зависимости от определенных характеристик аудитории исследования. За основание деления на группы стоит брать те характеристики, которые наибольшим образом влияют на поведение людей. Например, опыт и мотивация оказывают гораздо большее влияние, чем пол или возраст.

Нужно также подумать о том, как определять эти характеристики у респондентов. К примеру, вы делите респондентов на группы по уровню опыта работы с приложением. Как определить, насколько респондент «опытный»? В качестве основного критерия можно взять сложность задач, которые выполняет респондент. А брать за основу время, проведенное за приложением или частоту его использования не стоит, так как эти критерии не всегда отражают уровень владения приложением.

Кроме того, стоит избегать неоправданно большого количества оснований для деления, так как каждое из них удваивает количество групп, а значит, сроки и сложность исследования. Например, если вы планируете провести тестирование на десктопе и мобильной платформе — это значит, что у вас сразу есть как минимум две группы для тестирования.

5. Определите количество респондентов

После того, как вы определили характеристики аудитории и количество групп, нужных для исследования, необходимо понять, сколько респондентов вам понадобится.

Задача юзабилити-исследования — найти большинство серьезных проблем, с которыми сталкиваются пользователи на пути к своей цели. При этом, как правило, исследователь ограничен во временных и финансовых ресурсах, поэтому вопрос о количестве респондентов обычно стоит так: каково минимальное число респондентов, которых надо пригласить на исследование, чтобы выявить большинство серьезных проблем интерфейса/продукта.

Для расчета нижнего предела количества респондентов в одной группе можно использовать известную закономерность, вычисленную экспертом в области юзабилити и основателем Nielsen Norman Group Якобом Нильсеном. Она описывает зависимость вероятности нахождения проблемы, встречающейся с заданной частотой, от количества респондентов. Для расчета нужно определить два исходных параметра:

1. Насколько частотные проблемы вы хотите найти.
2. Какая вероятность нахождения этих проблем вас устроит.

Например, вы хотите найти проблемы, которые встречаются в 25% случаев и чаще, и вас устроит 90% вероятность их нахождения. Применяем формулу и получаем, что для этого потребуется 8 человек.

Нужно иметь в виду, что:

• Если вы тестируете интерфейс в нескольких итерациях, то количество людей, рассчитанное по формуле Нильсена, можно разделить на количество этих итераций, и в каждой из итераций проводить тестирование только на части респондентов, поскольку за совокупное время всех тестирований вы все равно увидите искомое количество проблем.
• 3 человека на группу — минимально рекомендуемое количество, которое позволит вам убедиться, что выявленная ошибка — ошибка интерфейса/продукта, а не проявление особенностей конкретного респондента. С другой стороны, по мнению Нильсена, если вы увидели, что 5 человек совершают одну и ту же ошибку, вам не нужно смотреть, как следующие респонденты повторят ее, чтобы сделать вывод о том, что вы нашли распространенную ошибку. Это подтверждается экономически: Nielsen Norman Group провела исследование, которое позволяет утверждать, что результаты, полученные от 3-5 респондентов, лучше всего оправдывают затраты на организацию юзабилити-тестирования.

На практике закономерность Нильсена выглядит так: как правило, на юзабилити-тестирования приглашают от 6 до 12 человек, которых делят на две или три группы.

Таким образом, даже при существенных ограничениях по срокам и количеству информации вы можете составить понимание об изучаемой аудитории проекта, ее составе и количестве.