Как не провалить UX-исследования и при чём тут открытые уроки?
Head of UX/UI-design из компании red_mad_robot Сentral Asia делится своим опытом.
Все помнят школьные открытые уроки? Обычно о приходе директора или приезде важной комиссии учителя знают заранее, а значит в этот день ученики будут выглядеть по-особенному опрятно, к доске будут вызывать только отличников, а ответы на задания скорее всего будут заготовлены. Как итог: ожидаемо хороший результат в виде довольного директора и похвалы от комиссии. А всё потому, что когда за классом наблюдают, ученики ведут себя прилежно и пытаются угодить наблюдателю. Но разве будет такой результат считаться честным?
Привет, меня зовут Асылхан Назир, и я Head of Design в red_mad_robot Central Asia. В этой статье я расскажу вам про эффект Хоторна, а также затрону другие когнитивные искажения, которые влияют на результаты наших UX-исследований. В качестве примера приведу рабочие кейсы, а в конце поделюсь советами для исследователей и представителей бизнеса.
Что такое эффект Хоторна?
Эффект Хоторна проявляется, когда человек неосознанно меняет свое поведение в лучшую сторону из-за осознания того, что за ним наблюдают.
Эффект был обнаружен в 1920-х годах на фабрике "Хоторн Воркс" компании Вестерн Электрик. Исследователи хотели выяснить, как количество света на рабочих местах влияет на производительность труда. Они поделили рабочих на две группы: контрольная группа работала в привычном освещении, а тестовая — при ярком свете. Как и ожидалось, более хорошее освещение привело к росту производительности у тестовой группы. Однако она все ещё продолжала показывать лучшие результаты и при снижении освещения, из-за чего исследователи начали манипулировать другими факторами — премиями, количеством перерывов и т.д.
При любых манипуляциях исход был один — у тестовой группы результаты были лучше. Оказалось, что производительность рабочих повысилась вовсе не из-за причастности к эксперименту, а по причине того, что сотрудники углядели в исследователях шпионов компании, планирующих сокращение штата.
А что мы обычно делаем во время проведения модерируемых UX-исследований? Наблюдаем за респондентами. Давайте разберём на примерах.
Пример проявления эффекта Хоторна в полевом исследовании. Кейс Plus24 x Gippo
В 2018 году я занимался разработкой приложения Plus24, и у нас были большие амбиции по покорению рынка QR-платежей. В то время был очень популярен сервис "Рахмет" от Choco, в котором мы видели нашего главного конкурента. В целях повышения популярности Plus24 мы решили запустить совместную акцию "Кофе за 10 тенге" с одним из наших партнёров — сетью бургерных Gippo в г. Петропавловск.
Ожидая большой поток пользователей функционала QR-оплаты, мы решили параллельно провести исследование в поисках новых инсайтов по улучшению приложения и определения того, насколько функционал удобен для целевой аудитории. Для этого я поехал на точку Gippo, где сидел и наблюдал за покупателями, которым кассиры предлагали воспользоваться акцией, а затем выбегал следом за ними и проводил короткий опрос.
Исследование провалилось. Почему?
Причина №1: переоценка самой механики акции. Клиенты не так часто покупают кофе в бургерной.
Причина №2: на поведение кассиров влияло мое присутствие. Их запугали на инструктаже последствиями, которые грозят им, если они не будут продвигать акцию покупателям. В итоге осознание кассирами того, что за ними наблюдает человек в углу (то есть я), влияло на их поведение, которое они транслировали на покупателей. В результате смысл исследования сразу рушился: кассир не только продавал акцию, а помогал покупателю совершить все действия, необходимые для завершения флоу акции.
Ничего не напоминает? Прямо как на открытом уроке, только в роли учителей — кассиры, я — грозный директор, а покупатели — робкие ученики, которых учителя сами подтягивают до нормального ответа.
Как можно было избежать этого провала?
Тщательно продумать акцию с учетом целевой аудитории партнёра, и в последующем мы так и сделали, запустив акцию "Купи бургер за 200 тенге" в том же Gippo, которая была намного успешней предыдущей.
Наладить контакт с персоналом и дать им понять, в чем причина моего присутствия. Так как именно у них была ключевая функция, очень важно было с ними вежливо поболтать, расслабить, уверить в том, что я никак не оцениваю их работу и попросить вести себя естественно.
Эффект Хоторна в Usability-исследованиях. Кейс Альфа-Банка.
Работая в Альфа-банке, мы часто проводили гибридные исследования: юзабилити + глубинки. Всё по стандарту: даёшь вводную, советуешь вести себя естественно, просишь пройти задание и комментировать происходящее. Казалось бы, как иначе нам понять, как они воспринимают происходящее?
К примеру, мы просили переименовать кредитную карту, узнать подробнее о механике работы кэшбэка. Респонденты старательно выполняли задания, отвечали на вопросы, но насколько натуральны были эти ответы для их повседневной жизни?
Формулировка заданий побуждала респондентов их завершить, чтобы не ударить в грязь перед исследователем, хотя в реальной жизни они скорее всего бросили бы это на полпути. Осознание того, что за ними наблюдает исследователь вынуждало их вести себя не естественно, а в угоду сформированным ими ожиданиям от исследования, что влияло на валидность. Анализируя это сейчас, я делаю вывод, что подобное поведение пользователей вполне могло быть вызвано эффектом Хоторна.
Как сделать лучше?
1. Сделать приближенные к реалиям респондента задания. К примеру: если вы тестируете покупку товара в интернет-магазине, не просите респондента купить МакБук за 1,5 млн тенге, когда он пришёл на исследование со стареньким Самсунгом, чтобы не дать респонденту поводов почувствовать себя неловко. Респондент, скорее всего, не задумывается об этом товаре в реальной жизни.
2. Не раскрывать лишнего и оставаться невозмутимым. Детали исследования, которые вы раскрываете респонденту, могут быть неосознанно восприняты ими как рекомендации к действию, в связи с чем они могут начать вести себя неестественно.
Важно также держать дистанцию. Излишнее дружелюбие с вашей стороны может привести к тому, что респондент будет стесняться выражать своё настоящее мнение и стараться не обидеть вас своими репликами.
Какие выводы можно сделать из всего вышесказанного?
На основе полученного опыта и наблюдений я собрал несколько рекомендаций для исследователей и представителей бизнеса, которые помогут получать объективные результаты и добиваться максимально приближенных к реальным данных.
Исследователям советую:
1. Работать над собой, чтобы исключить предвзятость по отношению к респондентам и полученным результатам. Для этого изучайте различные когнитивные искажения, которые могут влиять как на респондентов, так и на вас самих.
2. Строго следовать методологиям, чтобы не влиять на ответы респондентов и исключить когнитивные искажения.
3. Если последних не удалось избежать, учитывайте это в отчетах, оценивайте валидность исследования.
Руководителям бизнеса рекомендую:
1. Принимать в расчет возможные когнитивные искажения, которые могут отразиться на результатах исследований и затронуть как респондентов, так и самих исследователей.
2. Помнить, что ни одно UX-исследование не может считаться научным на все 100% за исключением случая, когда бизнес готов тратить миллионы долларов на проводимые эксперименты. При этом важно знать, что проектирование дизайна в совокупности с исследованиями и не обязано быть научным.
Надеюсь, моя история и выводы из нее стали для вас полезным примером того, как можно сделать UX-исследования более достоверными и тем самым добиться главного результата — создавать реально полезные продукты и решения для пользователей.