Все идеи оценили одинаково. Что делать?

Вы провели тест, используя одно из решений Fastuna. Тестировали альтернативные варианты креатива или идей продукта, и получили одинаковые общие оценки.

Пример 1. Общая оценка 5-ти дизайнов упаковки.

Вам нужно понять что делать дальше с этими данными. Или проблема еще серьезней — от вас во чтобы бы то ни стало требуют обоснованный выбор только одного варианта.

Сразу стоит заметить, что одинаковые оценки — это тоже результат, причем не такой уж и редкий. Просто для его понимания придется потратить чуть больше времени, или иметь мужество признать, что идеи нужно отправить на доработку.

Предлагаем вам простой алгоритм для решения задачи «равных общих оценок».

Задумайтесь над тем, стоит ли давать жизнь новой идее, если ее общая оценка ниже 60%. Скорее всего доработать новую идею будет проще и дешевле.

Дорабатывайте идеи по параметрам теста (нравится, актуально, уникально и т. п.), и с учетом ответов на открытые вопросы — люди обязательно расскажут вам что не так с вашими идеями.

Все варианты получили одинаково высокую общую оценку? Прекрасно! В этом случае сравните стоимость реализации идей. Например, если вы тестировали вариант промо, то можно посчитать какой из вариантов промо-механики обойдется дешевле в производстве и дистрибуции.

Еще один выход для случая одинаково высоких оценок — выбор на основании статистически значимых различий по отдельным параметрам теста, таких как «заметно», «понятно», «нравится» и так далее.

Если различия есть по нескольким параметрам, то используйте для выбора наиболее важные для вашей идеи или продукта. Приоритет расставляйте в соответствии с вашими бизнес-целями, брифом на разработку креатива/продукта и реалиями рынка.

Например, вы тестируете дизайн упаковки для одной из категорий товаров повседневного спроса с большим предложением и конкуренцией. Для вас будет важнее заметность упаковки на полке, чем желание потребителей узнать про продукт больше.

Пример 2. Отдельные параметры теста.

В этом примере один из 5-ти дизайнов упаковки (Дизайн 1) получил значимо более высокую оценку «уникально» по сравнению с тремя другими дизайнами (дизайны 3,4,5) и со средним для 5-ти дизайнов значением. Других различий между дизайнами не было. В результате выбрали Дизайн 1.

Почитайте ответы на открытый вопрос «Почему вы так ответили»? На этот вопрос люди отвечают после ответа на 5-балльную шкалу «Насколько вам в целом нравится эта реклама / идея / продукт?».

Определите какой-либо важный для вас специфический параметр, например, «мягкий эффект косметического средства». Посчитайте количество положительных, отрицательных и нейтральных высказываний, связанных с мягкостью действия для каждого тестируемого варианта.

Если ни один из этих способов не помог, то со спокойной совестью выбирайте тот вариант, который нравится больше именно вам. В этом случае это точно будет объективный выбор :).

Для профилактики проблемы «равных общих оценок», и когда маркетинговая задача имеет очень высокую важность, используйте выборку от 200 интервью на идею — это поможет увидеть даже небольшие различия. Также вам помогут дополнительные вопросы. Добавьте, например, шкальный вопрос — согласие с высказыванием по шкале от 1 до 5, куда можно включить до 10-ти высказываний о продукте, услуге, рекламе.