Cloud.ru — российский провайдер облачных сервисов и AI‑технологий.
Продакт направления проектирования обучения и сертификации Катерина Комзалова рассказала о том, как встроить опрос по ссылке на сайт и собирать данные непрерывно.
«Для сбора и анализа обратной связи по обучающим программам мы используем UX Feedback. Инструмент предоставляет нам возможности детального анализа, который ранее был недоступен, значительно улучшая наше понимание пользовательского опыта».
Продакт направления проектирования обучения и сертификации
— Катя, расскажи немного о том, чем занимается твоя команда.
Мы в Cloud.ru стремимся сделать облачные технологии ближе и понятнее как для специалистов, которые работают в IT, так и всех, кто интересуется облаками.
Наша команда создает онлайн курсы, на которых мы обучаем клиентов навыкам работы с облачными платформами Cloud.ru, помогаем развивать экспертизу в сфере и подтверждать навыки через сертификацию.
Большинство наших курсов не требуют предварительной подготовки или технического опыта, так как они ориентированы на широкую аудиторию: от руководителей и менеджеров, которые хотят принимать обоснованные решения о внедрении облачных технологий, до IT-специалистов, стремящихся обновить или расширить свои знания в этой динамично развивающейся области.
— Давай начнем с того, как вы раньше работали с обратной связью?
Наши курсы создавались в разное время разными экспертами и методистами, которые, в свою очередь, тестировали различные гипотезы. У нас не было единого опроса, не было стандарта, как мы хотим собирать фидбек и что мы хотим с ним делать. Каждый методист тестировал и анализировал что-то свое.
После нескольких релизов обучений и сертификаций появилась задача — собрать единый инструмент, через который мы могли бы смотреть и метрики, связанные с методиками обучения, и метрики, связанные с UX, и метрики, связанные с ценностью.В итоге у нас начал появляться пул вопросов,которые мы хотим спрашивать у пользователей.
Например, насколько удобно было пользоваться платформой, насколько визуальные элементы позволяли освоить материал лучше, какие были сложности в освоении теоретической части, как оценивалась полезность тестов и практических лабораторных работ в курсах. Вот так, по чуть-чуть начал вырисовываться единый опрос.
Далее надо было решить, как синхронизировать данные и работать с фидбеком, не переезжая полностью на новые инструменты, так как команда уже привыкла пользоваться iSpring Suite. В нём можно предлагать пользователям пройти тесты, обучать их через интерактив, а также помогать рефлексировать о полезности материала и анализировать свой опыт обучения. Сначала мы использовали только этот инструмент, когда выходили с курсами на клиентов. Но теперь, когда появилась задача быстро передавать информацию стейкхолдерам по всем показателям и иметь свежие, всегда актуальные цифры под рукой — автоматически и без ручной работы, мы начали искать новые инструменты.
— То есть, изначально решение, которое вы искали, было как раз тем встроенным инструментом в iSpring, но получилось так, что требований стало больше и появилась потребность в новом решении.
Да, там есть все, что можно было придумать для методиста. Но мы развиваемся и теперь в фокусе расширенные технические возможности для управления образовательными продуктами и аналитики. Например, появилось требование в режиме реального времени передавать данные в дэшборд. Хотелось не просто создать опрос, но и смотреть на то, где и какой элемент в курсе нужно улучшить, посравнивать и поработать уже с продуктовыми метриками обучения.
— Тогда расскажи, как в итоге вы решили прийти к UX Feedback.
Мы уже прошлись по достаточно обширному процессу создания единого опроса, осталось его утвердить и найти решение для передачи данных в дэшборд.
У нас в компании есть своя методика работы с CX и с оцениванием того, насколько пользователям с нами комфортно и удобно. И я пришла к нашему CX-исследователю Кате Кибиревой за верификацией вопросов и поделилась, что нахожусь в процессе поиска решения, как передавать данные опроса в наш дэшборд. Она мне и показала UX Feedback. В тот момент они с командой сами тестировали инструмент и я начала все это изучать, увидела три варианта использования: пассивный и активный виджеты, а также опросы по ссылке. Первые два варианта нам не подходили. Выглядело так, будто больше всего напрашиваются опросы по ссылке.
Я принесла свои наработки руководителю и команде методистов, они поддержали идею и мы начали докручивать детали: опросы по ссылке UX Feedback решали проблему передачи данных, но уводили пользователей с платформы обучения, не позволяя закончить курс, или же наоборот, пользователь мог скипнуть опрос и спокойно получить сертификат о прохождении, не поделившись фидбеком.
Мы обсуждали с командой, насколько нам важна стопроцентная проходимость после курса, от чего мы готовы отказаться, и где мы готовы пойти на риски. Решили, что нам максимально важно, чтобы опрос по ссылке также был обязательным для прохождения, и человек не уходил со страницы курса.
Получилось сделать интересную вещь: на платформе iSpring есть возможность вставлять embed-ссылки. Обычно это видео с различных хостингов. И я попробовала просто вместо ссылки на видеохостинг ставить ссылку на UX Feedback, и заработало.
В процессе уже разобрались с технической частью, как вставить нормальную ссылку, чтобы это было понятно, красиво, и ничего не ломалось в процессе заполнения.
В завершении идет слайд с кодом для получения сертификата, и там же мы используем в лонгриде текстовый блок, куда человек вставляет этот код и получает сертификат.
— Давай вернемся к единому опросу. Какой сценарий получился в итоге, как вы к нему пришли?
Во-первых, нам важно измерять NPS по результатам курса. Готовы ли пользователи после прохождения нашего обучения рекомендовать курс от Cloud.ru. Здесь мы использовали классическую NPS-шкалу.
Во-вторых, мы хотим понимать, что конкретно не устраивает наших критиков и что нравится нашим промоутерам. Тут, как раз, вы нам помогли с настройкой логики: у тех, кому все понравилось, мы спрашивали, что именно понравилось, из-за чего конкретно готовы рекомендовать наш курс.
В-третьих, мы добавили достаточно интересное разделение. Мы измеряем общий CSI, потому что это понятная и более маркетинговая метрика, и измеряем CSAT. У нас он делится на четыре отдельных вопроса, и по пятибалльной шкале с использованием смайлов, просим оценить четыре важных для нас элемента:
- подачу теории на курсе,
- тесты и практические задания,
- визуальные элементы,
- удобство обучающей платформы.
Это обычный сценарий, по которому пройдет каждый пользователь, а не как в NPS, где закладывается определенная логика в зависимости от оценки респондента.
Также мы тестируем метрику Transformation Rate. Мы спрашиваем, была ли достигнута цель, поставленная обучающимся на этот курс. Там есть три варианта ответа: «да», «нет», и «первоначальная цель изменилась в ходе обучения».
Мне кажется, я не видела продукты именно в обучении клиентов, которые бы использовали формат Transformation Rate, и, честно говоря, результаты нас приятно удивляют. Мы проводим дополнительные JTBD-интервью с людьми, которые, оставили свой e-mail и узнаем много нового о том, почему пользователи проходят курсы и какие цели ставят перед собой, это помогает нам улучшать наши продукты и делать их ближе к целям пользователей, однозначный win-win.
В заключении у нас есть открытые вопросы. Мы спрашиваем, какой самый важный запрос в обучении по облачным технологиям. Это дает нам возможность посмотреть шире на программы обучения и на какие-то методические модели, которые мы используем в проектировании.
— Я правильно понимаю, что у вас опросы в целом стандартные? Я имею ввиду разные этапы/модули.
У нас есть единый обязательный для прохождения опрос, о котором мы поговорили выше, однако чтобы держать руку на пульсе, мы используем еще и мини-опросы в конце каждого модуля в некоторых курсах. Они необязательны, их можно пропустить, от них не зависит, получит человек сертификат или нет. И там мы разбираем несколько другие вопросы и метрики.
— Расскажи про результаты. Что получилось в итоге? Как быстро начали получать их?
Благодаря тому, что у нас появился UX Feedback, нам не нужно точечно выгружать отчеты из iSpring. Чтобы посмотреть общий срез, нормально ли идут дела, когда мы, например, провели рекламную кампанию, и к нам пришли пользователи и оставили нам обратную связь, мы идем сразу в наш дашборд (данные туда попадают из двух систем: iSpring и UX Feedback), а если мы идем качественно улучшать какие-то части курса, то это сразу в UX Feedback. Например, прошла какая-то конференция, и мы смотрим, как новые пользователи отреагировали на наш контент. Потом мы оцениваем, как мы можем улучшить курс, нужно ли делать что-то более техническое, например, для этой аудитории. После этого мы уже планируем доработки текущего контента и следующие разработки курсов.
— Есть ли что-то такое, о чем вы не знали, и теперь вы увидели там что-то с другой стороны? Или в целом какие-то интересные инсайты получили. Может быть, вы что-то поменяли?
Мы меняли и продолжаем менять, просто сейчас это происходит более прозрачно и понятно. Не могу сказать, что мы не знали, рекомендуют наши курсы или нет. Скорее, нам удалось привести курсы, разные по методическому дизайну, моделям и подаче, к единому знаменателю, который соответствует и нашему бренду, и тому, как мы хотим обучать наших клиентов.
Мы чувствуем отдачу от обучающихся, которые проходят наши курсы. Также мы тестируем метрику Transformation Rate, так как максимально сфокусированы на клиентоцентричности, и результаты нас радуют. Мы видим, что цели обучающихся иногда даже шире, чем мы могли представить. Людям важно протестировать и понять, подходит ли курс для проекта или для задач команды.
Например, они могут оценить, что мы рассказали про IaaS в одном курсе. А для какой-то аудитории мы поняли, что будем делать отдельный курс по PaaS-сервисам, потому что нужно более технически глубоко подготовить клиентов. И это тоже благодаря тому, что мы оперативно увидели ответы в обратной связи от пользователей.
— Рассказываете ли вы как-то о результатах внутри команды?
Раньше мы генерировали отчеты,собирали все excel-документы воедино, а сейчас мы просто открываем наш дашборд. Если нужны какие-то качественные данные, то мы с методистами просто идем в UX Feedback и смотрим, что у нас там в аналитике по открытым вопросам, например.
— Какие у вас дальнейшие планы по внедрению фидбека в iSpring?
Мы пока что фоном челленджим историю с пассивным фидбэком. Тут есть сложности с интеграцией и отображением. Поэтому мы на стадии оценивания усилий и эффектов от внедрения.
