Mos.ru — официальный портал мэра и правительства Москвы. Основная задача сайта – цифровизация жизни города для москвичей. На сервисе представлено более 370 оцифрованных услуг, в том числе записи к врачам и на госэкзамены, оплата штрафов, электронный дневник и так далее. Ежемесячно сайт mos.ru посещают от 50 до 70 миллионов уникальных пользователей.
Продакт-лид в Mos.ru Артем Чернов рассказал о том, как компания работает с UX Feedback.
«Сейчас наш сервис переживает ещё один виток цифровой трансформации. Многие скептически относятся к таким заявлениям, когда речь заходит о госсекторе, но, мне кажется, нам это хорошо удаётся. Однако всегда, когда «кажется», – это гипотезы. А гипотезы надо проверять, для этого нужны настоящие пользователи. Поэтому мы и обратились к UX Feedback, чтобы лучше понимать простого горожанина, с которым мы работаем».
продакт-лид в Mos.ru
О начале работы с UX Feedback
— Как вы узнали о UX Feedback?
Помимо отзовиков и крауд-маркетинга, который встречается в разных компаниях, впервые централизованно мы стали собирать обратную связь через UX Feedback на моём предыдущем рабочем месте в одном из лидирующих классифайдов недвижимости. На тот момент я был директором по продукту и очень поддержал эту идею. Сбор обратной связи и работа с ней стали обязательной ежемесячной активностью для всех продуктовых направлений.
Когда я перешёл в Mos.ru, буквально через неделю я стал продвигать эту тему и в госе, потому что опыт очень быстрого внедрения показал, что ваша компания гибкая, можно так работать.
— Перед началом использования платформы в Mos.ru были ли какие-то опасения или сомнения?
Были опасения, как платформа будет работать на разных версиях браузеров. Насколько можно закастомить виджет, чтобы он гармонично смотрелся в любом дизайне. И, самое главное, насколько можно онтологически типизировать всю обратную связь – не будет ли это просто формочкой, которая собирает текстики и перекладывает их в дашборд, в котором много других текстиков. Но все эти сомнения оказались лишними, платформа сразу сняла все эти вопросы.
— В госсекторе на первый план выходит ещё и безопасность данных. Не было ли из-за этого проблем при запуске UX Feedback?
Да, в нашем случае главный вопрос был в сохранении персональных данных. Здесь не возникло никаких проблем, потому что вы популярно объяснили, где хранятся эти данные, как всё работает и так далее. Даже с точки зрения пилота не было никаких юридических проблем, чтобы всё было абсолютно легитимно.
Ещё у наших «безопасников» было требование, чтобы сервера, на которых разворачивается наш пилот, находились в России и были сертифицированы. Ваша компания в основном работает с западными серверами, и это абсолютно нормально для рынка. Но было очень приятно, что даже для бесплатного пилота вы согласились развернуть аналог небольшой инфраструктуры под нас на российских сертифицированных серверах. На момент запуска мы были точно уверены, что остаёмся в правовом поле и соблюдаем все нормы безопасности.
О главных инсайтах
— Расскажи, как происходил запуск пилотного проекта. Насколько быстро твои коллеги подхватили идею со сбором обратной связи?
Поскольку у нас сейчас происходит серьёзная цифровая трансформация, и мы строим услуги от пользователей, у нас сформировался большой штат профессиональных продакт-менеджеров из агрессивного коммерческого рынка. Я закинул в наш общий чат идею о работе с UX Feedback и сразу же получил сумасшедший отклик. В итоге в чат рабочей группы пришли ещё 5-6 продактов, и во время пилота мы отрабатывали не один сценарий, а 10 по совершенно разным направлениям.
Это была запись на ГИА (Государственную итоговую аттестацию – прим. UX Feedback), раздел «Вопросы и ответы», личный кабинет, сервис «Мои платежи». Мы привлекли к составлению вопросов и сценариев человека, который каждый день занимается исследованиями. Это наш UX-исследователь, она помогла нам скоординировать продактов, вникла в ваш инструмент, и совместно с вашей командой мы выработали 10 сценариев с разной частотой показа, визуализацией, вопросами. Они были запущены одновременно, и мы постоянно отслеживали, что происходит.
— Быстро ли удалось получить первые инсайты от пользователей?
Первые инсайты у нас появились практически сразу после запуска, потому что у нас очень высокий трафик. Многие проблемы мы смогли увидеть через обратную связь практически моментально. Это не значит, что они сразу были решены, но зато мы смогли перенаправить фокус.
Затем мы поняли, что нам будет всё это непросто категоризировать. У нас несколько десятков миллионов учётных записей, и мы вынуждены максимально типизировать проблемы, чтобы понимать, куда копать. Для нас типизация и правильный фокус очень важны, потому что у нас даже 0,1% трафика в абсолютных значениях — это десятки тысяч людей и их ежедневных потребностей. Здорово, что с этим нам помогла ваша команда.
С помощью UX Feedback мы перешли от качественного к более количественному методу. Поэтому вашу платформу можно рассматривать не только как инструмент для качественных исследований, но и как аналитический, мониторинговый инструмент.
— Какие инсайты, на твой взгляд, были самыми полезными за время пилота?
Пользователи высоко оценивали сценарии платежей, но оказалось, что это потому, что до виджета UX Feedback доходили только те люди, которые смогли всё оплатить. А те, кто не смог оплатить, застревали в личном кабинете. Так мы рассмотрели воронку и места, в которых она ломается, гораздо подробнее.
О поиске респондентов
— Mos.ru сумел в короткие сроки собрать десятки респондентов для качественных исследований – ты сделал это прямо через опросы UX Feedback. Пожалуйста, расскажи для начала, как вы искали их до этого?
Давайте я сначала обозначу саму проблему. Мы стремимся очень быстро проводить продуктовые исследования. И чтобы перед выпуском каждая фича пропускалась через UX-ресерч, кастдевы, глубинные интервью, коридорные исследования и так далее. И всегда эта тема очень трудозатратная. Многие продакты и компании сторонятся исследований, потому что они могут быть долгими и нерепрезентативными. Как минимум, очень сложно найти респондентов.
Непонятно, где их искать, и, как правило, ты ищешь их проактивно. То есть, ты сам к ним приходишь и говоришь: «Ребята, давайте пообщаемся». Людям это, обычно, не очень комфортно, и на это тратится существенное время. Где-то это похоже на холодные звонки, где-то получается нерелевантно, потому что ты мучаешь своих друзей формами и прототипами, и у них «замыливается» глаз. В итоге всё это влияет на качество принимаемых решений, потому что в какой-то момент думаешь: «Да и ладно, я и так всё это лучше знаю».
Если говорить про панели, которые ищут респондентов – это дополнительные издержки. В случае с UX Feedback эта возможность, как оказалось, уже входит в тариф. Ты можешь делать эти вещи тогда, как тебе нужно, плюс у тебя сразу лояльные, проактивные респонденты, которые сами выразили желание во всём этом поучаствовать. Человек сам добровольно записался, так что качество базы получается гораздо выше.
— А теперь давай перейдём к самому лайфхаку. Ты, можно сказать, накреативил нам новый шаблон по использованию платформы.
Да, я стал искать респондентов через UX Feedback. Когда нам нужно было проверить некоторые гипотезы, мы собирали два кликабельных прототипа и размещали на них ссылки – выкладывали в сеть. Понятно, что если в Facebook или Telegram раскидать это своим друзьям, у тебя в лучшем случае пара десятков человек наберётся. Но это недостаточное количество респондентов для статзначимости и для того, чтобы считать эксперимент честным и репрезентативным.
В ваших опросах после того, как человек завершает его или ставит оценку, показывается «страница успеха» в стиле: «Спасибо, что поставили оценку, мы постараемся стать лучше». Я сделал так, что для тех, кто ставит нам 4 и 5, показывалась другая страница со ссылкой на прототипы. Мы говорили: «Спасибо, что вы нас поддерживаете, а ещё вы можете помочь остальным пользователям, которые пока не очень довольны».
Мы сначала один прототип так прокручивали, потом другой, за несколько дней набиралось несколько сотен респондентов, и мы сравнивали результаты. Поскольку мы набирали по несколько сотен человек и там, и там, можно было считать данные статзначимыми, и мы смогли быстро протестировать гипотезы.
Потом мы пошли дальше, и оставляли в конце форму для передачи контактов. Просили оставить телефон тех, кто был бы готов поучаствовать в часовом интервью с нашими исследователями. В итоге мы собрали несколько десятков заинтересованных респондентов.
О впечатлениях
— Расскажи, что тебе больше всего понравилось в совместной работе с UX Feedback?
Помимо максимальной гибкости и действительно большого желания вникнуть в наши кейсы, помочь нам разобраться в инструменте и предоставить вашу собственную экспертизу, очень приятно, что у нас совпали культуры команд. Когда все мыслят в одной парадигме, это круто – не приходится ничего объяснять, и происходит синергия опыта.
— Насколько полезным был отчёт, который мы подготовили по итогам пилотного проекта?
Отчёт был очень подробным, мне он был полезен для того, чтобы, в первую очередь, поделиться им с командой. Люди, не принимавшие участие в исследованиях, смогли увидеть, что происходит и какие выводы, в том числе количественные, мы получили.
— Посоветовал бы ты UX Feedback своим коллегам и почему?
Мне кажется, один из блоков в плане сотрудничества с UX Feedback у многих компаний – это то, что у некоторых есть подобные самописные инструменты. Но когда кто-нибудь из директоров приходит ко мне с предложением сделать подобное самим, я всегда рассказываю одну историю. У не очень бедной компании Google нет своей CRM-системы, они используют Salesforce. И людям, которые учатся в MBA, говорят: «Всё, что можно закупить – не делайте сами, закупайте».
Сбор обратной связи от пользователей в продуктовом подходе неизбежен. Иначе это не продуктовый подход. А если ты в XXI веке не исповедуешь этот подход, ты обречён. И если не хочешь тратить деньги на разработку какого-то глупого решения у себя «под капотом», то просто купи хороший продукт. Чтобы сделать такой продукт, как UX Feedback, нужно иметь команду, как у UX Feedback, такую же экспертизу и столько же лет потратить на разработку.
Поэтому мы неизбежно приходим к тому, что с обратной связью работать нужно, и делать это с партнёром, который предоставит своё прокаченное решение. Вместо дурацких собственных попыток «пилить» такой кастом у себя на борту, вечно его калибровать и с ним мучаться.
Так что, отвечая на ваш вопрос, безусловно посоветовал бы UX Feedback коллегам по индустрии.
