Общие нормы для всех: почему это работает

Дарья Хмелькова
Руководитель проектов Fastuna
Ляйсан Хамидуллина
Менеджер по развитию бизнеса Fastuna, Tiburon Research
Во многих решениях Fastuna установлены диапазоны норм, которые помогают оценить креатив или идею: отлично, хорошо, средне, плохо. С помощью норм можно сравнить свою идею со всеми другими, которые были ранее протестированы в рамках конкретного решения. Внутри платформы для всех отраслей используются общие нормы.

Иногда пользователи Fastuna интересуются, почему нормы не делятся по отдельным отраслям? Представители разных бизнесов выдвигают гипотезу, что нормы могут значительно отличаться в зависимости от того, какие категории продуктов, товаров и услуг рекламируются, а при сравнении с общим рынком могут получаться нерелевантные оценки — слишком строгие или слишком мягкие.

Данная гипотеза чаще всего касается тестов, связанных с фармацевтическим рынком и рынком товаров повседневного спроса. Первые считают, что фармацевтический рынок очень специфический и для лекарственных препаратов сложнее разработать креатив, поэтому диапазоны норм здесь будут ниже общерыночных. Вторые разрабатывают креатив для очень обширной категории товаров, где, по мнению представителей отрасли, конкуренция намного выше, следовательно, диапазоны норм для этих товаров будут заведомо более высокими, чем в среднем по рынку.

Команда Fastuna, накопив большую базу протестированных креативов, решила проверить, действительно ли нормы по отдельно взятым категориям отличаются?
Сравнение норм по разным категориям: значимой разницы нет
Для проверки гипотезы были взяты конкретные данные: результаты всех проведенных ранее тестирований в решении Ad Video. Это одно из самых популярных решений Fastuna — на платформе протестировано уже более 1500 роликов, что позволяет сравнить разные отрасли между собой.
Внимание к анализу видеорекламы неслучайно. На производство и размещение видеорекламы уходят огромные бюджеты, ошибка с креативом несет риски больших финансовых потерь. Именно в видеорекламе разные категории попадают в естественную конкуренцию за внимание зрителя. На ТВ рекламу цифрового сервиса сменяет реклама детских товаров и ролик про новый автомобиль, а в диджитал-пространстве конкуренция еще выше — пробить информационный шум соцсетей совсем непросто.
Предварительная оценка позволяет выбрать лучшую реализацию, доработать последние детали, предугадать реакцию аудитории и подготовиться к ней.
Решение, на котором проверяли гипотезу: Ad Video
База: 1506 концепций.

Категории: товары повседневного спроса, электроника и бытовая техника, фармацевтика, автопром, одежда и обувь, телеком, финансы, онлайн сервисы, ритейл, рестораны, перемещение и туризм, образование, медиа и развлечения, недвижимость и другое.

Как рассчитываются нормы: нормы на платформе рассчитываются для каждого решения отдельно, диапазоны норм одинаковые для каждого из показателей внутри решения, учитываются все ранее проведенные проекты по данному решению, на основе квартилей ролики распределяются по четырем диапазонам оценок.

В анализе используются оценки по топ-2 (это процент людей, поставивших оценку 4 и 5 по шкале), именно это значение сравнивается с установленными диапазонами норм. В зависимости от того, в какой интервал попадает данное значение, показатель получает окраску плохо, средне, хорошо или отлично.
Все ролики были поделены по рекламируемым категориям. Для каждой категории, набравшей достаточную базу, были рассчитаны свои нормы. В итоге были сформированы сводные таблицы:
Таблица с оценками по показателю «Нравится»
Значимые отличия по результатам проведенного анализа между отраслями не обнаружены. Соответственно, общерыночные нормы релевантны для оценки потенциала тестируемого креатива независимо от категории, которая рекламируется.
Если быть точным
Критическое мышление — залог успеха хорошего исследователя. Действительно, в ходе исследования по отдельно взятым метрикам были выявлены отклонения от общерыночных норм, но они не влияют на совокупную оценку креатива, следовательно, не могут быть критичными. Для чистоты исследования расскажем, где они были найдены.
Ролики категории товаров повседневного спроса получают более высокие оценки по параметру Воспользуюсь, а ролики категории финансовых продуктов и услуг получают более низкие оценки по параметрам Понятно, Актуально, Доверяю, Воспользуюсь.
В начале исследования одной из гипотез было предположение, что фармацевтический рынок крайне специфичен, в силу этого креативы в этой отрасли ограничены и нормы для них должны быть свои. В ходе анализа значимых отличий от рынка в данной категории не выявлено.
Почему важны общерыночные нормы
Рынок представляет единое инфополе. В различных каналах коммуникации вашим конкурентом могут быть не только компании, производящие аналогичные категории товаров и услуг. А среди потенциальных потребителей могут быть и те, кого вы не включали в основную целевую аудиторию.
Конкуренция идет за внимание потребителя, креатив должен выделяться в потоке огромного многообразия информации и рекламы товаров и услуг. На фоне общей массы он должен вызывать интерес, желание узнать больше, воспользоваться товаром или услугой, а также сподвигать в большей мере на то, чтобы поделиться увиденным с ближайшим окружением. Общерыночные нормы, в отличие от отраслевых, способны оценить в полной мере потенциал креатива относительно рынка в целом.
Категориальные нормы значимо не отличаются между собой. Небольшие отличия в оценках идей из разных категорий полезно держать в голове, но занижение или завышение норм для отдельных категорий может дать искажение в интерпретации результатов тестирования. Поэтому надежнее и объективнее опираться именно на общерыночные нормы.
Чтобы сохранять свою актуальность, нормы на платформе обновляются ежегодно. Кто знает, как изменится рынок в будущем? Stay fastuned.
Заявка на демо
Мы свяжемся с вами и договоримся о дате и времени онлайн-звонка, на котором продемонстрируем возможности платформы
Нажимая на кнопку, вы даете согласие на обработку персональных данных и соглашаетесь c политикой конфиденциальности.
Другие статьи:

Дробите комплексные бизнес-задачи на простые и исследуйте их отдельно. Лучше делать несколько простых исследований, чем одно сложное.

Анализ по подгруппам похож на ритуал. Почти никто не сомневается, что это нужно делать. Но мало кто задумывался, зачем это нужно. Показываем, когда от такого подхода можно отказаться.

Используйте все преимущества решений Fastuna и проводите опросы своих клиентов, пользователей и других контактов, которые у вас есть.

Тестируйте рекламные ролики, находящиеся на ранних стадиях доработки или даже идеи. Даем подробную инструкцию с примерами.

Разберемся, в каких случаях лучше применять прямое сравнение, в каких “один респондент – одна идея”, а в каких использовать совмещенный подход.