Yotitle — мощный инструмент AI для объединения и категоризации фидбека!
Подробнее
Кейс
Web
Строительство и недвижимость
Как исследователи Циан используют UX Feedback, чтобы упрощать проверку гипотез
8 мин чтения
«Циан» – крупнейший технологичный сервис по поиску недвижимости в России. По данным Liveinternet, ежемесячно сайт cian.ru посещают около 15 миллионов уникальных пользователей. Cian.ru входит в топ-10 крупнейших сайтов по недвижимости в мире по версии SimilarWeb.
Проблема
Исследователи и product-менеджеры Циан уже работали с обратной связью от пользователей, собирая её из магазинов приложений, соцсетей и от клиентской службы. Но в случае, если нужно было проверить гипотезу при помощи опросов на сайте, запуск кампаний происходил по длинной цепочке: нужно было нарисовать баннер, который потом отдел маркетинга запускал через Flocktory, на баннер «вешалась» ссылка на SurveyGizmo или SurveyMonkey.
Из-за перехода пользователей на сторонний сайт конверсия в отзыв была крайне низкой. Кроме того, через Flocktory было сложно сегментировать аудиторию, прошедшую опрос.
Как проходила работа и чего удалось достичь
Исследование формы подачи объявления
Веб-аналитика не могла ответить на вопрос, с какими проблемами пользователи сталкивались, когда заполняли форму подачи объявления. Поэтому после экспертного аудита все полученные гипотезы о форме решили проверить ещё и на реальных пользователях.
Параллельно с проведением юзабилити-исследования Циан начал собирать активный фидбек при помощи UX Feedback.
Активным фидбеком называют такой, для сбора которого вы инициируете диалог с пользователем. В отличие, например, от кнопки-виджета (пассивный фидбек), на которую пользователь нажимает сам.
Если суть пассивного фидбека в том, чтобы дать пользователю возможность самостоятельно оставлять фидбек в случае проблем, суть активного – задать правильный вопрос в нужное время.
UX Feedback связали с Google Analytics, и это позволило сегментировать оставивших отзывы пользователей на категории: риелторы, собственники, «поискуны» и неавторизованные.
При помощи веб-аналитики мы выяснили время, по прошествии которого можно было с уверенностью утверждать, что у пользователя возникла какая-то проблема. После превышения этого времени пользователю показывался опрос: «Удобно ли размещать объявления на нашем сайте?» — с вариантами ответа «Да, вполне!», «Нет, есть трудности», «Нет ответа».
20% пользователей, выбравших вариант «Нет, есть трудности», оставили подробные отзывы о проблемах, с которыми столкнулись. За 2 недели таких наблюдений набралось около 1000. Для сравнения, когда кампании запускались через Flocktory, бывало, что за месяц собиралось всего 6 ответов.
Эти инсайты позволили ресерчеру, ответственному за исследование, обогатить результаты юзабилити-тестирования новыми количественными и качественными данными. А значит определить частотность каждой из проблем. Итоговый отчет для продакт-менеджера содержал топ проблем в срезах по сегментам и платформам.
Динамика мнений об инструменте «Оценка недвижимости»
Отдел Циана, отвечающий за оценку недвижимости, использует UX Feedback, чтобы отслеживать мнение пользователей об инструменте. Помимо отлавливания багов, команды «Оценки» и аналитики следят за моментами, когда отрицательные отзывы начинают статистически значимо превалировать над положительными. В таком случае, отзывы изучаются детальнее, чтобы в дальнейшем разобраться, с чем связано недовольство пользователей.
Отчёты разворачиваются в BI-системе. Это позволяет наблюдать за динамикой и строить различные срезы – по ценовым категориям, регионам и так далее.
Виджет «Отзыв о сайте»
Кнопка-виджет установлена на всех страницах сайта и позволяет собирать пассивный фидбек. Как только пользователю есть, что сказать – пожаловаться, предложить, поблагодарить, – он сам нажимает на неё, ставит оценку и оставляет отзыв. Эти отзывы ежедневно обрабатываются и позволяют не только понимать фронт новых (или уже известных) проблем, но и сразу же замечать критические баги. Причем, стоит отметить, в основном пользователи пишут об интерфейсных проблемах.
Активное вовлечение ресерчеров в процесс работы с обратной связью
Команда ресерчеров Циана активно использует UX Feedback в своих цепочках исследований. Например, при A/B-тесте карты пользователям задавали вопрос: «Насколько удобно пользоваться картой?» с ответом в виде оценки, – и просили развернуто объяснить её выбор.
Отзывы позволяют исследователям держать руку на пульсе и моментально узнавать обо всех основных проблемах, требующих срочного решения. Например, ловили обращения, баги в новых интерфейсах, раскатанных на 100%. Кроме того, теперь гипотезы проверяются гораздо быстрее, потому что опросы просто создать, и для этого не нужно задействовать другие отделы.
Всего к моменту публикации кейса Циан запустил 88 кампаний, которые собрали около 207 тысяч ответов от пользователей.
88
кампаний запущено
>207 000
развёрнутых ответов пользователей
«Теперь мы можем сопровождать свои релизы моментальным сбором обратной связи. С UX Feedback опросы делаются практически моментально. Скорость проверки любых вещей, получения ответов на вопросы возросла в разы».
Анна Безрукова
Продуктовый исследователь в Циане
Как проходила работа и чего удалось достичь
Параллельно с проведением юзабилити-исследования Циан начал собирать активный фидбек при помощи UX Feedback.
— Расскажите, чем вы занимаетесь в Циане?
Анастасия Соловьёва:
Я продуктовый исследователь Циана по направлениям «Новостройки» и «Загородная недвижимость»
Анна Безрукова:
Я занимаюсь исследованиями в направлении «Аудитория», изучаю поисковый опыт. То есть общаюсь с людьми, которые ищут себе квартиру для покупки или аренды на вторичном рынке.
— Работали ли вы с обратной связью до этого?
Анастасия Соловьёва:
Я запускала и запускаю большие опросы от 5 до 30 вопросов через SurveyGizmo. Но это достаточно трудоёмкий процесс — нужно собрать опрос, запускаем его мы не сами, а через отдел маркетинга, они используют для этого Flocktory. При этом ещё нужно подготовить баннер.
UX Feedback же я использую, когда мне нужно задать 2–3 вопроса, быстро что-то уточнить. Например, когда мы выкатываем новую кнопку, я периодически задаю вопрос, замечают ли её люди. Или, в случае с новыми фильтрами, как они оценивают новую функцию. Запустить опрос можно очень быстро и самостоятельно.
Анна Безрукова:
У нас раньше, до того, как появился UX Feedback, было 2 канала получения обратной связи от пользователей: отзывы в сторах и обращения в клиентскую службу. Отзывами в сторах у нас занимались QA, и раз в неделю они делали рассылку по потоку проблем: с чем к нам люди обращались, за что нас хвалили. И в клиентской службе тоже есть такая же вещь — они собирают статистику по тому, с чем к ним больше всего обращаются, и раз в неделю делают рассылку.
В этой рассылке есть определённая рубрикация — повторяющиеся обращения собираются вместе. И если очень много жалоб на что-то, то продактов соответствующих направлений призывают ответить, что они будут с этим делать. На самом деле, важно заметить, что раз в неделю формируется только рассылка. И клиентская служба, и QA, и разработчики так или иначе постоянно держат руку на пульсе.
Проблема с отзывами из клиентской службы заключается в том, что туда человек идёт тогда, когда ему нужно получить ответ на какой-то вопрос. Бывали там, конечно, и отзывы в стиле: «Мне не хватает такого-то фильтра», – но они сильно теряются в массе других обращений. Потому что никто практически не думает, что если хочется что-то поменять в приложении, то надо написать в клиентскую службу. В техподдержку просто так мало кто пишет.
В сторах примерно такая же механика — там нужно залогиниться, какие-то поля заполнить, поэтому люди туда не особо охотно идут. Поэтому пусть до UX Feedback у нас и были каналы обратной связи, но они касались каких-то критичных вещей, по поводу которых люди очень сильно бесились.
— Как дела с обратной связью обстоят теперь?
Анна Безрукова:
Гораздо больше обратной связи стало от «поискунов», то есть тех, кто ищет недвижимость. Потому что у них редко бывают ситуации, когда нужно обратиться в клиентскую службу. В отличие, например, от риелторов, у которых нет другого рабочего инструмента. А если «поискун» чего-то не понимает или что-то ему не нравится, он, скорее всего, просто сменит площадку.
Теперь же люди могут нам написать, и у них закрывается этот гештальт, что надо куда-то своё мнение выложить. Так что у нас увеличилось количество фидбека, который касается некритичных юзабилити — или продуктовых проблем. Не когда что-то не получается или не работает, а когда «было бы здорово, если бы вы добавили…»
Анастасия Соловьёва:
Ещё в UX Feedback я всегда могу зайти в личный кабинет, куда собирается вся обратная связь, и посмотреть динамику. Например, мы не всегда быстро замечаем какой-то баг или когда что-то полетело. А по графику удовлетворённости пользователей, который строится в личном кабинете, сразу понимаешь, что где-то что-то стало хромать.
И для меня огромный плюс — это быстрый запуск кампаний. Потому что всегда, когда мне нужно решить какую-то задачу, вы помогаете в течение 15–20 минут.
— Какую основную проблему для вас решает UX Feedback?
Анна Безрукова:
UX Feedback закрывает для меня 2 проблемы. Во-первых, мы постоянно улучшаем качество своего продукта. Мы, например, вспомнили, что у нас карта медленно работает, и все продакты уже знают по отзывам, что именно нужно менять. Мы просто эту информацию копили, копили, копили и всё — тут к гадалке не ходи, надо менять.
Во-вторых, мы можем очень быстро проверять какие-то гипотезы. Например, у нас появился какой-то вопрос, и чтобы запустить опрос, нужно было сильно постараться. Сходить к людям, которые делают баннеры, попросить сделать баннер, который будет выводить на опрос. Через пару недель они бы включили нас в спринт. То же самое с теми же пуш-уведомлениями. Другими методами запускать опросы нам было достаточно сложно. Так устроена работа в большой компании.
С UX Feedback опросы делаются практически моментально. Какое-то время нужно, чтобы разобраться с таргетингами (когда требуется cookie или настройка события). Но в целом скорость проверки любых вещей, получения ответов на вопросы возрастает в разы. Запуск быстрый и гипотезы проверяются очень легко.
И мы можем свои релизы сопровождать моментальным сбором обратной связи. Мы меняли фильтр на главной странице, и нам было не совсем понятно, насколько этот эксперимент хорош. Мы туда повесили кампанию, задавали людям вопрос, заметили ли они какую-то разницу. И быстро собрали обратную связь. Так что теперь все новые релизы можно выпускать спокойнее — можно сразу же в момент раскатки увидеть живую обратную связь, оценили или нет пользователи эти наработки.
Ещё у нас есть направление оценки, которые данные, полученные через UX Feedback, пересчитывает в одну из своих метрик.
— Вы одни из немногих наших клиентов, кто сами обрабатывает фидбек. Расскажите, как у вас это происходит?
Анна Безрукова:
Пассивный фидбек мы обрабатываем каждый день, у нас под это есть специальный сотрудник. Выгружаются отзывы за вчерашний день и категоризируются. Получается непрерывный процесс. Это нужно для того, чтобы раз в неделю отправлять рассылку с отзывами и держать руку на пульсе. Нет такого, что раз в неделю выгружаются отзывы за предыдущую, и ещё через неделю получается их разложить по полочкам.
Все отзывы категоризируются по направлениям, зонам ответственности. Всё, что относится к аудитории, то есть к нам, кто работает с поиском — всё к нам, то, что относится к риелторам — в соответствующее направление и так далее. В больших направлениях есть ещё мелкие градации жалоб, например, «Аудитория/Карта», «Аудитория/Фильтры». Таким образом, категоризируя отзывы, мы можем посмотреть динамику. Например, мы недавно сделали авторизацию по телефону, и жалоб на авторизацию стало намного меньше. Сейчас мы получаем около 400 отзывов в неделю, а когда только поставили UX Feedback, их было за тот же период было около 4000. В целом, у нас очень долгий жизненный цикл пользователя, он очень много времени с нами проводит. И если он на что-то одно пожаловался, он скорее всего ещё долго не будет жаловаться повторно.
— Как вы считаете, важно ли компаниям работать с обратной связью от пользователей?
Анастасия Соловьёва:
Мне кажется, если компания не слушает клиентов, такая компания долго не просуществует. Потому, что они не будут понимать, для кого и как они делают продукт. В моей парадигме это не укладывается.
Почему у нас сейчас расширяется отдел исследований? Потому что наделали такого, не спросив у разных сегментов пользователей, что им нужно, что исправляется это уже много лет. Теперь оказывается, что всё должно быть по-другому, намного проще.
В предыдущей компании у меня было то же самое. Там тоже было множество инструментов и ситуации из разряда: «Дизайнер подумал, а потом ещё разработчик решил сделать вот так по-своему». И потом я начала общаться с пользователями, а они говорят: «Мы-то совсем по-другому работаем, надо было у нас спросить».
Общаться с пользователями очень важно, потому что иногда это хорошая аргументация для задач от стейкхолдеров. И хорошая доказательная база для разработчиков, потому что у них совершенно иная картина мира.
Дизайнеры тоже стали более эмпатичны, стали прислушиваться к пользователю. Ты должен понимать, для кого ты делаешь свой продукт.
Анна Безрукова:
Компаниям важно слушать клиентов примерно на 10/10. Потому что можно у себя в голове иметь бесконечные выдуманные представления о том, как устроена реальность за пределами твоей головы. Можно предполагать всё, что угодно, но потом оказывается, что это не так. Если ты рассчитываешь, что твой продукт будет востребованным, что его будут хвалить, им будут пользоваться, значит он должен решать какую-то задачу.
Обратная связь от пользователей — это, как раз, в какой-то мере индикатор того, насколько хорошо ты решаешь их задачу. Если тебе люди постоянно пишут: «Я ничего не могу у вас тут сделать», – очевидно, это тревожный звоночек. Поэтому не слушать пользователей, мне кажется, – это тупиковая ветвь развития любого бизнеса.
Я знаю, что есть распространённое заблуждение о Генри Форде. Что если бы он спросил у покупателей, чего они хотят, они бы ответили: «Более быструю лошадь». Но изобретать можно всё, что угодно. Главное, чтобы оно решало задачу. И у лошади в этом контексте, и у машины была одна и та же, единственная задача — доставлять людей из точки A в точку B. Поэтому уточнить, нормально ли моё изобретение решает задачу, это хорошо. А спрашивать у пользователей, где нам расположить кнопку, – вот это уже может быть рискованной идеей. Потому что они не обладают теми же глубиной понимания и опытом, что и ты, чтобы сказать, в каком месте расположение кнопки было бы оправданнее.
