Статья удалена

Мои предположения, чем руководствуется DTF при оценке редизайна. Без оценочного мнения и опираясь только на официальный брифинг Коммитета.

Любое изменение в популярном продукте влечет за собой период “турбулентности”. Это могут быть технические неполадки, как в случае с “подкапотными” обновлениями. Так и недовольства пользователей, если речь идет о “лице” продукта — например, новом дизайне.

Сейчас я буду говорить о том, как “принято”. Что именно делается в Коммитете, я не могу знать — но как бы сейчас не были настроены против него пользователи, нельзя не признать, что владельцы продукта с таким размером аудитории вряд ли позволяют себе отходить от лучших практик. Но возможно и нет.

Глобальная цель любого коммерческого продукта — заработок денег. Следовательно, чем больше денег приносит продукт, тем он успешней. “Приносить деньги” значит иметь доходы больше чем расходы. Пока всё банально. Но если бы команда разработки продукта собиралась каждую неделю и смотрела просто на график с двумя полосками — доходами и расходами — то выявить, что же повлияло на рост или падение, она бы смогла бы только с помощью гадалки.

На помощь приходят продуктовые метрики — показатели эффективности функционала продукта. В большом проекте могут быть сотни продвинутых метрик, за которые ответственные функциональные команды определенного направления — например, SEO-команда, или команда платформы (она же ноутбука Ширяева). Но обычно есть 5-10 ключевых, общих для всех метрик, таких как DAU — количество уникальных активных пользователей за сутки, или Crashes — количество критических сбоев (“крашей”) у всех активных пользователей.

Прежде чем внести какое-то изменение, продуктовая команда выводит гипотезу. Гипотеза — предположение о том, как данная доработка повлияет на метрики приложения. Любое изменение это дорогой процесс, требующий усилия целой команды разноплановых специалистов. Поэтому оправдать изменения необходимо гипотетической выгодой.

Допустим, наш продукт — сайт для заказа редких физических изданий игр. Команда разработки видит, что в вечернее время очень много заходов на сайт, но очень низкая конверсия в покупку. В дневное время же наоборот — количество входов меньше, но конверсия из карточки товара в корзину выше. Команда выдвигает гипотезу — возможно, геймерам вечером не комфортно заходить на сайт со светлым оформлением. Делаем тёмную тему!

Естественно, это только первичная гипотеза, инициация нового изменения продукта. Прежде, чем поступить в разработку, разные специалисты проведут подготовительную работу, чтобы оценить, стоит ли браться за эту разработку. Владелец продукта сформулирует задачу и сделает предположения, какие метрики он улучшит. Аналитики подготовят метрики, команда разработки оценит трудозатраты, коммерческая служба посчитает потенциальный срок окупаемости. Исходя из итогов этой подготовительной работы и будет приниматься итоговое решение — быть темной теме, или не приоритет и задача уйдет в беклог (большой список задач, отсортированный по приоритетности).

Я опускаю очень много нюансов — просвещенные могут смело накидывать в комментарии, что еще я не рассказал о внутренних процессах разработки и продуктовых решениях. Просто кто знает — тот и так в курсе, а кто не в теме — тому не хочу забивать голову не релевантной информацией. Впрочем, прежде чем перейдём непосредственно к редизайну DTF, я бы хотел упомянуть два момента.

Первый — не всегда придуманное изменение делают сразу же целиком. Высок риск вложиться в разработку, но не оправдать гипотезу. Поэтому многие команды используют концепцию бережливой разработки, в основе которой лежит минимальный продукт. Грубо говоря, балансируя между “тяп ляп и готово” (в разработке есть более эмоциональный, но менее литературный термин быстрого доведения до продакшена) и возможностью дальнейшего масштабирования и развития, выкидывая все “улучшалки” и красивости, клиенту предоставляется уже работающий функционал.

Например, вместо разработки полноценной темной дизайн системы (оценили в 4 недели), мы решаем натянуть какой-то opensource плагин (оценили в 1 неделю). Да, он не прокинется на мобильную верстку сайта, фон на картинках останется белым, а еще он конфликтует с плагином выбора адреса. Зато мы быстро сможем посмотреть на метрики и понять, работает ли наша гипотеза и стоит ли вкладываться в это направление дальше. (ВНИМАНИЕ — все сказанное выше художественный вымысел, не имеющий цели оскорбить или обесценить труды фронтендеров и прочих слабозащищенных слоёв населения).

К чему данный нюанс — возможно, на DTF мы видим минимальный продукт скрытия дислайков. А доработка дизайна иконок будет в следующей итерации, если гипотеза подтвердится. Но возможно и нет.

Второй нюанс. Допустим, мы дали нашим пользователям темную тему. И видим — вау, выросли наши метрики добавления в корзину в разрезе вечернего времени. Гипотеза подтвердилась? Ну кажется да. Но постойте, а может быть просто вышла новая God of War с крутой коллекционкой? Ой, или предновогодняя пора и покупки в подарок? Или мы выкатили к концу месяца и зарплатному времени? Или может сработала маркетинговая акция? А еще мы параллельно работали над стабильностью и выкатили пару технических фиксов, может это повлияло на метрики?

В любом случае, для отделения реальной пользы доработки используются эксперименты. Самый популярный — это а/b тест, когда пользователей делят на две группы, и одним показывают сервис с изменением, а вторым — старую версию. Затем сравнивают показатели метрик обеих групп и делают выводы об успешности эксперимента но основе статистически значимой разницы. Помимо ab могут быть другие виды экспериментов — например, Ютуб тестировал и сравнивал метрики отключение дислайков сначала в некоторых странах.

Но важно вот что — даже с экспериментами всегда можно ошибиться в интерпретации результатов замера метрик и не учесть какой-то фактор. Но смотреть на метрики совсем без эксперимента — это огромный риск сделать неправильные выводы и пойти неверным путем. Да, кажется для открытой платформы с пользовательским контентом классический ab слабо применим — сразу представляю такие же гневные посты “вы что изменили”, приправленные комментариями “ты что наркоман, ничего ж не поменялось”. Но на ab свет не сошелся, и может мы просто не попали в очень хитрую тестовую группу. Но возможно и нет.

Дальше пойдут исключительно домыслы, основанные на рекламном лендинге комитета. Попробуем понять, на что ориентировалась команда продукта при последнем обновлении дизайна.

Итак, основной источник дохода DTF — это реклама. Да, есть DTF-плюс — лояльная платящая аудитория. Со времен его введения обозначалась цель в 10000 активных аккаунтов, но с тех пор какого-то апдейта найти мне не удалось. Думаю, какой-то процент выручки подписка приносит — но основной денежный поток, о чем не раз говорила редакция, это рекламные проекты.

Кажется логичным, что ключевые метрики, на которые направлены любые изменения DTF, должны быть на улучшение привлекательности для рекламодателей. Достаточно популярное мнение сейчас на сайте, что дизлайки убрали, чтобы рекламодатели не обижались на заминусованные посты. Но если бы рекламщики боялись негатива — рекламной индустрии бы вовсе не существовало.

Давайте вернемся к этому предположению позже, когда разберем, чем же DTF завлекает рекламодателей. Если на этих показателях делают акцент — значит это ключевые показатели эффективности, и именно на эти метрики (на все или какую-то часть) метили обновлением дизайна.

6 млн уникальных посетителей в месяц. Первое, что нам говорят эти цифры — что “громкое меньшинство” активных пользователей сайта — капля в море. Иногда кажется, что активных блогеров и комментаторов человек 100, слишком сильный контраст между активными членами сообщества и “рид онли”. Но популярные посты могут набирать тысячу лайков, совсем бомбы — по три тысячи лайков. У нас нет данных по дневным уникальным посещениям - поэтому корректно сравнить не получится, но даже эти цифры говорят нам, что активные пользователи является лишь какой-то небольшой частью всей аудитории проекта.

Чистая аудитория. Мы не покупаем трафик и не работаем с обменными сетями: 9% — прямые заходы, 77% — запросы в поиске, 3% — социальные сети. Очень интересная статистика. Хотелось бы больше конкретики по “запросы в поиске”, какая часть из них переходы в статьи, а какая — на главную. Но и без этого нам снова видно, какой большой приток внешних пользователей. Также этими показателями редакция говорит рекламодателям “Смотри, как у нас круто работает SEO — напишите что-то релевантное, и вас найдёт наша аудитория даже за пределами сайта”.

Дальше демографический разбор аудитории, который не особо нам интересен. Поэтому перейдем к рекламным форматам. Их много, но текущий редизайн затрагивает только статьи — наиболее популярный из форматов. Здесь много разной информации, но из интересных нам всего несколько метрик.

Гарантируем 10 тысяч уникальных просмотров. Думаю у редакции достаточно инструментов для генерации просмотров, раз это выведено в прайс-лист. Но облегчить себе достижение этого результата и тем самым освободить слоты для продвигаемых постов — вполне нормальная гипотеза и понятная бизнес-выгода.

Среднее количество переходов составляет порядка 2-5% от просмотров материала. Потенциально хорошая метрика для роста — потому что и текущий процент переходов выглядит как космос. Поднятие показателя еще выше — потенциальная убер-киллер-фича. Могла ли быть гипотеза, что скрытие дизлайков увеличит этот показатель? Да может быть, но в реальности мы вряд ли узнаем. Поэтому я и считаю, что обвинения в ублажении рекламодателей слишком преждевременные, хотя и содержат зерно истины.

Ну и кроме продуктовых-бизнесовых метрик, мы можем тыкнуть пальцем в небо (вернее, наоборот, под воду) и предположить, что редизайн как-то может повлиять и на технические метрики. А вдруг счетчик рейтинга был настолько не оптимизирован, что влиял на загрузку страницы? И волевым решением было — а давайте выкинем? Или пересчетчик рейтинга на лету нагружал очобу так, что ресурсов на загрузку картинок не хватает? Это все в порядке бреда, но не зря столько шуток про костыли в разработке — нам со стороны клиентов никогда не угадать, в чем технические проблемы сервиса.

Ну и вернемся к DTF-plus — а могла ли быть гипотеза, что редизайн поможет повысить лояльность пользователей? Слушайте, да всё может быть. Сейчас из-за громкого меньшинства эта гипотеза кажется бредом — но только глядя на метрики, и главное, правильно их интерпретируя, команда продукта может сделать вывод об успешности гипотезы.

Скорее всего, мы никогда не получим информацию о таких подкапотных вещах, как метрики и гипотезы. Поэтому я могу только делать предположения.

#редизайн #dtf #лонг