Home / Дизайн / Айсберг пользовательских исследований: почему пользователю нельзя верить

Айсберг пользовательских исследований: почему пользователю нельзя верить

Ира Позднякова

BizDev

Время:12 мин

Представьте: вы сидите за столом в лаборатории. Напротив — человек в белом халате, перед вами две фотографии женских лиц.

— Какая вам кажется привлекательнее?

Вы смотрите на фотографии, выбираете одну. Исследователь забирает карточки, что-то перекладывает и протягивает вам выбранное фото обратно.

— Почему вы выбрали именно её?

Вы смотрите на лицо и начинаете объяснять. Может, вам нравится взгляд. Или улыбка. Или форма лица. Вы вспоминаете, что именно привлекло вас несколько секунд назад, и находите вполне убедительный ответ.

Только есть одно но. Вы не выбирали это фото.

Этот эксперимент в 2005 году провели когнитивные психологи Петтер Йоханссон, Ларс Халль, Сверкер Сикстрём и Андреас Ольссон. Участникам показывали 15 пар фотографий и просили в каждой выбрать более привлекательное лицо. В трёх случаях исследователи с помощью карточного трюка подменяли выбранную фотографию на отвергнутую. Большинство участников — 74% — не заметили подмены и объясняли свой выбор, которого на самом деле не делали.

Почему кнопка покупки на одном сайте красная, а на другом зелёная? Почему пользователь говорит, что ему нужна функция, а потом ей не пользуется? И почему мы вообще считаем, что пользователь хорошо знает, почему он делает то, что делает?

В работе над сайтами и продуктами мы постоянно задаём пользователям вопросы. Проводим кастдевы, интервью, тестирования, собираем обратную связь — а потом принимаем решения на основе полученных ответов. Но насколько этим ответам можно верить?

Мы собрали 10 таких эффектов в формате айсберга: сверху — самые очевидные проблемы пользовательских исследований, ниже — менее заметные и довольно странные вещи, которые происходят с нашими ответами и интерпретациями.

Погнали.

Вершина айсберга — «Пользователь может соврать»

Самый очевидный уровень.

1. Социально желательные ответы

Человек говорит то, каким хочет выглядеть в глазах других.

Например человек говорит: «За час до сна я убираю телефон и читаю книгу».

Хотя на деле засыпает под тру крайм видео на YouTube.

Так работает социальная желательность: человек подстраивает ответ под то, что кажется ему правильным, разумным или хорошо характеризует его самого. Это не обязательно сознательная ложь — иногда человек и сам воспринимает себя именно так.

Поэтому вопросы вроде «Как вы обычно выбираете?» могут давать образцовую картину: пользователь рациональный, внимательный, читает условия, сравнивает предложения и заботится о безопасности.

Хотя реальное поведение будет куда прозаичнее.

2. Пользователь хочет понравиться исследователю

На ответ влияет и сама ситуация интервью. Если человек понимает, что исследователь уже придумал функцию, потратил на неё время и теперь ждёт реакции, ему проще поддержать идею, чем сразу сказать: «Не понимаю, зачем это нужно».

В психологии это называют характеристиками требования ситуации: участник считывает из вопросов, поведения исследователя и контекста, чего от него ожидают, и это может повлиять на его ответ. Ещё в 1962 году психолог Мартин Орн описал этот эффект и показал, что участники исследования могут стремиться быть «хорошими испытуемыми» и помогать исследователю получить ожидаемый результат.

В исследованиях интерфейсов это тоже проверяли. В эксперименте Microsoft с 450 участниками исследователи обнаружили: если человек считал, что один из двух вариантов технологии разработал сам интервьюер, он примерно в 2,5 раза чаще выбирал именно его, даже когда оба варианта были одинаковыми.

Получается, исследователь может прийти на интервью за честным мнением, а пользователь пытаться понять, какое мнение от него хотят услышать.

Уровень 2 — «Пользователь плохо помнит»

С ложью всё относительно понятно: человек может приукрасить ответ, а бывают и другие ситуации, когда человек ответит совершенно искренне и всё равно ошибется.

3. Память не хранит запись происходящего

«Я всегда сначала читаю характеристики, потом сравниваю варианты и только после этого покупаю».

Звучит как описание привычного сценария. Но если попробовать вспомнить: что именно вы делали во время последних десяти покупок. Где искали товар? Какие варианты открывали? Что смотрели перед оплатой?

Скорее всего, восстановить всё по шагам не получится. Память не записывает поведение как видео. Когда человек вспоминает прошлое, он восстанавливает событие из отдельных деталей, и часть из них может потеряться, исказиться или дополниться уже после самого события.

Это показал эксперимент Элизабет Лофтус и Джона Палмера 1974 года.

Участникам давали записи автомобильных аварий, а потом спрашивали, с какой скоростью ехали машины. Для разных групп использовали разные формулировки: машины могли «столкнуться», «удариться» или «разбиться». Одно слово заметно меняло оценку скорости: после слова «разбились» участники называли более высокую скорость.

Но самое интересное произошло позже.

Через неделю участников спросили, видели ли они разбитое стекло. На записи его не было. Тем не менее после формулировки про «разбились» люди чаще отвечали, что стекло было.

То есть дополнительная информация не просто повлияла на ответ в моменте — она могла изменить то, как человек потом вспоминал само событие.

Для пользовательских исследований это важная оговорка. Когда мы просим человека восстановить прошлый опыт — «как вы выбирали товар?», «почему тогда отказались?», «что вы делали перед покупкой?» — мы получаем не запись его поведения, а воспоминание о нём.

А воспоминание может быть неполным, неточным и уже частично переработанным.

4. «Обычно» может оказаться совсем не «в последний раз»

Эта проблема вытекает из прошлого факта. Когда мы спрашиваем:

«Как вы обычно выбираете товар?»

человек пытается описать типичный сценарий, а не конкретный случай.

Он может искренне считать, что всегда читает характеристики перед покупкой. Но если попросить:

«Вспомните последнюю покупку. Что вы сделали сначала?»

ответ может оказаться, например, таким: «Ну… открыл ссылку из рекламы, посмотрел цену и сразу заказал».

Первый ответ — представление человека о собственном поведении. Второй — воспоминание о конкретном эпизоде.

Поэтому в пользовательских интервью вопрос «Как вы обычно делаете?» часто заменяют на «Расскажите про последний раз, когда вы это делали». Чем ближе вопрос к конкретному событию, тем меньше человеку приходится восстанавливать из памяти абстрактный образ самого себя.

Уровень 3 — «Пользователь не понимает собственных мотивов»

Помните эксперимент с фотографиями в начале статьи? Человек выбирал одно лицо из двух. Исследователь незаметно подменял фотографию и просил объяснить сделанный выбор. Участник смотрел на уже подменённое фото и совершенно спокойно рассказывал, почему выбрал именно его.

Но откуда человек взял объяснение, если такого выбора он вообще не делал?

Похоже, в этот момент мозг не пытался достать из памяти настоящую причину. Ему нужно было объяснить происходящее — и он быстро собрал версию, которая звучала правдоподобно.

Йоханссон и коллеги назвали это слепотой к выбору: человек может не заметить несоответствие между своим реальным выбором и тем, что ему предъявили, и при этом уверенно объяснить уже изменённый выбор. Для пользовательских исследований это довольно неприятная мысль. Когда мы спрашиваем:

«Почему вы выбрали этот вариант?»

мы предполагаем, что внутри человека уже есть готовый ответ, который можно достать, но иногда за этим будет стоять лишь попытка построить её задним числом.

5. Рационализация

Допустим, человек купил товар и говорит:

«Выбрал его из-за характеристик».

Возможно. А возможно, сначала понравилась фотография, сработал знакомый бренд или цена показалась удачной, а характеристики стали объяснением, которое легко сформулировать уже после покупки.

Это называется рационализацией: мы объясняем уже принятое решение причинами, которые кажутся логичными и убедительными.

6. Причина может быть не тем, что человек называет причиной

Более простая версия той же проблемы.

«Купил, потому что была скидка».

Но скидка не обязательно была причиной покупки. Человек мог уже хотеть этот товар, а скидка просто помогла решиться.

Человек обычно называет самый заметный фактор, который можно связать с решением. Но это не гарантирует, что именно он его вызвал.

Поэтому в исследованиях часто разделяют два вопроса:

«Что вы сделали?»

«Почему, как вам кажется, вы это сделали?»

На первый пользователь может дать довольно точный ответ. Со вторым уже начинаются догадки — в том числе его собственные.

Уровень 4 — «Мы сами заставили его так ответить»

До этого мы разбирали ошибки самого пользователя: он может приукрасить ответ, плохо помнить прошлое или придумать правдоподобную причину уже после выбора.

Теперь проблема переезжает на другую сторону стола.

Иногда исследователь вмешивается в результат уже самим фактом, что начал задавать вопросы.

Наверняка вы слышали про мысленный эксперимент с котом Шрёдингера или про то, что в квантовой физике измерение системы может повлиять на её состояние. С людьми есть похожая проблема: наблюдение и вопросы тоже иногда меняют то, что мы пытаемся измерить.

7. Вопрос может изменить то, что человек делает

Представьте тестирование сайта. Пользователь спокойно смотрит на экран и собирается выбрать способ оплаты. До интервью он вообще не думал, насколько ему важна возможность оплатить в один клик.

Исследователь спрашивает:

«А вам важно, чтобы здесь можно было оплатить в один клик?»

Теперь человеку нужно сформировать ответ. Он начинает оценивать функцию, на которую секунду назад не обращал внимания:

«Ну… вообще-то да. Это удобно».

Кажется, что исследователь просто узнал мнение пользователя. Но вопрос уже мог повлиять на то, что пользователь будет делать дальше.

Такое влияние изучают в исследованиях эффекта вопросов на поведение. В метаанализе 2016 года авторы объединили 104 исследования из 51 работы и обнаружили небольшой, но статистически значимый эффект: вопросы о будущем поведении действительно могут влиять на последующее поведение.

Особенно это важно для вещей, о которых пользователь раньше не задумывался. Спросите его про цвет кнопки, скорость анимации или способ оплаты — и теперь ему приходится иметь мнение по этому поводу.

8. Формулировка вопроса уже содержит рамку

Но даже если мнение у пользователя было до интервью, его можно направить одной фразой.

Сравните:

«Почему вам понравился этот вариант?»

«Что вы думаете об этом варианте?»

В первом вопросе исследователь уже сообщил пользователю, что вариант ему понравился. Остаётся найти объяснение почему. Формулировка вопроса способна менять ответы. На результат влияют сами слова, порядок вопросов, варианты ответа и контекст, в котором человек их получает. (Это тоже уже исследовали)

Поэтому в пользовательском исследовании вопрос — это не нейтральная трубка, через которую мы достаём из головы человека готовое мнение.

Если спросить:

«Почему вы не пользуетесь этой функцией?»

мы уже предполагаем, что человек не пользуется функцией и что у этого есть какая-то причина.

Дно — «Мы всё равно не знаем, почему он это сделал»

Чем ниже мы спускаемся по айсбергу, тем меньше исследователь похож на человека с диктофоном и тем больше — на часть самого эксперимента.

Даже если человек ответил искренне и мы задали ему идеальный вопрос, это всё равно не гарантирует, что он поступит так, как сказал.

На поверхности кажется, что решение простое: если словам пользователя доверять нельзя, посмотрим на его реальные действия.

Сказал, что будет пользоваться функцией — посмотрим, пользуется ли.

Сказал, что выбирает товар по характеристикам — посмотрим, открывает ли характеристики.

Здесь появляется последняя проблема: даже реальное поведение не всегда говорит нам, почему человек его совершил.

Человек плохо предсказывает самого себя

Начнём с примера.

— Будете пользоваться личным кабинетом?

— Конечно.

— Станете пользоваться AI-подбором?

— Да, звучит удобно.

— Оставите номер телефона ради скидки?

— Скорее всего.

Все три ответа могут быть абсолютно искренними. Но это всё ещё разговор о ситуации, которой человек пока не видел. В реальной жизни появятся цена, спешка, лень, другой способ решить задачу, случайная ошибка или просто изменившийся приоритет — и человек может поступить совсем иначе.

Исследования намерений и поведения показывают этот разрыв довольно стабильно. В метаанализе Webb и Sheeran разобрали 47 экспериментальных исследований и обнаружили: даже когда исследователям удавалось изменить намерения людей, это далеко не всегда приводило к такому же изменению их реального поведения. Намерение оказалось связано с последующим действием, но связь была заметно слабее, чем можно было бы ожидать.

То есть человек действительно может хотеть что-то сделать и искренне планировать это — а потом в реальной ситуации поступить иначе.

Поэтому фраза пользователя «я бы сделал» — это данные о его намерении, а не доказательство будущего действия.

Даже настоящее действие не объясняет само себя

Допустим, аналитика показывает: Пользователь три раза открыл характеристики товара.

Что мы теперь знаем? Только то, что он три раза открыл характеристики, а дальше начинаются интерпретации.

Вариант первый: характеристики действительно важны для выбора.

Вариант второй: пользователь не нашёл нужную информацию и поэтому возвращался к этому блоку.

Вариант третий: он сравнивал характеристики с товаром конкурента.

Вариант четвёртый: искал один конкретный параметр, который был спрятан в длинном списке.

Один и тот же след в аналитике может появиться по совершенно разным причинам.

В психологии это относят к проблеме каузальной атрибуции — тому, как мы определяем причины собственного и чужого поведения. Когда человек видит действие, ему приходится строить гипотезу о том, что его вызвало. И эта гипотеза зависит не только от самого действия, но и от контекста, доступной информации и представлений о возможных причинах.

То есть исследователь оказывается в той же ловушке, что и пользователь.

Но между действием и его причиной всегда остаётся зазор.

Что с этим делать

Пользовательское исследование редко даёт нам готовое объяснение поведения. Интервью показывает, как человек описывает свой опыт и что считает важным. Наблюдение — что он делает в конкретной ситуации. Аналитика — что происходит с продуктом в реальности. Эксперимент помогает проверить, что изменится, если поменять конкретный элемент.

Поэтому разные источники данных стоит сопоставлять, а не выбирать среди них один «самый честный».

Если пользователь говорит одно, делает второе, а аналитика показывает третье — это как раз интересный результат. Расхождение подсказывает, где искать дополнительное объяснение.

В конце концов, пользовательское исследование нужно не для того, чтобы один раз услышать правильный ответ. Оно нужно, чтобы постепенно собрать достаточно данных, чтобы понять, что происходит с человеком и продуктом на самом деле.