Нормы: как рассчитываются и применяются

Нормы (бенчмарки) — накопленная база оценок, с которыми можно сравнить полученные результаты. Они помогают оценить материал, понять, насколько он хорош и нравится аудитории. На Fastuna в каждом решении своя накопленная база и свои нормы. С помощью норм можно сравнить свой материал со всеми другими, которые были ранее протестированы в рамках конкретного решения.

В решениях есть накопленные нормы, которые были собраны при тестировании именно данного решения. На графике выводится top-2 метрики (сумма полученных оценок 4+5 в %) по каждому отдельному показателю, который мы замеряли. Каждая из оценок сравнивается с накопленными нормами — в зависимости от набранного балла, метрика попадает в диапазон. Есть 4 диапазона: плохо, хорошо, средне и отлично.

Берем базу оценок респондентов по каждому вопросу в решении, которые замеряем в стандартной анкете. В каждом показателе сортируем базу по возрастанию оценок, делим ее на 4 равные группы материалов (квартили). Худшие 25% — материалы с низкими оценками попадают в категорию «Плохо», в категорию «Средне» попадают материалы, которые попали в второй квартиль от 25% до 50%, в третью категорию «Хорошо» — значения от 50% до 75%, и в категорию «Отлично» попадают материалы, набравшие 75%+. Значения метрик худшей и лучшей идеи внутри квартиля формируют интервал и пороговые значения, с которыми и происходит сравнение, чтобы определить насколько хорошие оценки получил протестированный материал. Получается 4 интервала значений (квартили).

Протестировали два баннера, получили результаты, пойдем сверху вниз. В самом верху расположена общая оценка. Первый баннер получил оценку 80 и попал в интервал 70−100, что соответствует категории «Отлично». Он был оценен лучше второго баннера, который получил оценку 69 (входит в интервал оценок квартиля «Хорошо» — от 60 до 69).

Ниже показаны оценки по каждому параметру отдельно. Первый баннер по всем критериям был оценен высоко, все показатели находятся в категории «Отлично». Оценки второго баннера не так однозначны, просел показатель «Уникально», он попал в категорию «Средне». Также просел показатель «Воспользуюсь/Куплю», он попал в самую нижнюю категорию — «Плохо».

— Показатели рассчитываются общие для всех сфер (внутри нет разбивки по отраслям), что позволяет оценить свой материал не внутри конкретной категории, а в общем по всему рынку.

— Нормы пересматриваются ежегодно.

— Для расчета норм в решении берем от 250 материалов из разных категорий, в каждом решении от 20 000 респондентов. В ряде решений (Ad Video, Ad Message, Ad Visual, Naming, Product Design, Product Idea) база для расчета норм составляет более 2 000 материалов (более 200 000 респондентов).

— Актуальные нормы по решению можно посмотреть в отчете: