40 лет и 40 выученных уроков

От выборки до анализа данных, инсайты человека, который проводит маркетинговые исследования на протяжении уже четырех десятилетий.
Автор статьи Дуг Берди (Doug Berdie) – президент исследовательской фирмы Consumer Review Systems в Миннеаполисе.

Проводя маркетинговые исследования на протяжении 40 лет, стали очевидны многие «истины». Они широко применимы, так как получены в ходе опыта работы в разных отраслях промышленности, странах и культурах, и из обеих сфер бизнеса: B2B и B2С. Я бы хотел поделиться своими знаниями в надежде на то, что они избавят менее опытных специалистов от необходимости добывать их собственными силами.

Общие принципы маркетинговых исследований

1. Валидность результатов – ахиллесова пята маркетинговых исследований.
Это в особенности относится к прогностической валидности, преимущественно потому, что компании меняют свою стратегию и тактику и зачастую невозможно понять, смогли ли исследования действительно предсказать итоговые результаты. Оценка удовлетворенности клиентов – недостаточно надежный способ прогнозирования финансовых результатов. Кроме того, психологические исследования «факторов, оказывающих влияние» показывают, что люди часто объясняют свои решения причинами, сформулированными постфактум, а не теми, которые реально на них повлияли (зачастую потому, что они даже сами не знают, почему они приняли то или иное решение на самом деле). Мы также знаем, что оценка респондентами того, как долго они ждали ответа оператора колл-центра или того, как долго им пришлось ждать пока продавец в магазине их поприветствовал, не соответствуют реальным данным, полученным из записи телефонных разговоров и с камер наблюдений. Возникает вопрос: в ответах на подобные вопросы респонденты оценивают реальное время или это индикаторы негативного опыта в целом? Сложно сказать. Специалисты в области маркетинговых исследований не должны слепо верить, что в конечном итоге они измерили именно то, что изначально хотели измерить.

2. Надежность маркетинговых исследований можно максимизировать.
Использование проверенных временем методов исследований ведет к стабильности в измерениях, и это один из признаков достоверности получаемой информации. Тщательно задокументированный, повторяющийся метод отбора респондентов, высокий отклик; последовательные процедуры проведения полевых работ, вопросы и формулировки опросов, оценивающие одни и те же показатели (у разных людей и в разное время), а также системный подход к анализу и подготовке отчета на основании полученных данных – все это вполне достижимые цели, которые позволяют повысить достоверность и эффективность результатов маркетингового исследования. Несмотря на то что задачи исследований меняются, сохранение некоторых основных измеряемых показателей от исследования к исследованию позволяет отследить динамику, что приходит к более достоверным выводам. Но даже в наиболее тщательно продуманных исследованиях надежность результатов остается квазиоптимальной.

3. Модные исследования – сегодня одни, завтра другие.
Консультанты по менеджменту зарабатывают на жизнь, регулярно предлагая новые или модифицированные подходы к проведению исследований. Так, несколько лет был популярным Customer Value Analysis, который сегодня встречается крайне редко. Модель SERVQUAL одно время широко применялась для оценки потребительской удовлетворенности, но теперь практически полностью исчезла. Последнее подобное увлечение, охватившее отрасль, – стремление полностью (или, в некоторых случаях, исключительно и всецело) полагаться на вопросы о «рекомендации» в исследованиях потребительского опыта (который был образован путем слияния исследований по оценке удовлетворенности и лояльности потребителей). Наблюдая за появлением и исчезновением (обычно по причине невозможности достоверно спрогнозировать что-либо, имеющее ценность) всех этих увлечений, следует помнить о том, что сама отрасль маркетинговых исследований была выстроена на основе надежных базовых принципов проведения научных исследований (репрезентативные выборки, четко сформулированные вопросы, точный и соответствующий ситуации анализ, а также четкие и понятные презентации и рекомендации). Реализация этих здравых принципов на практике дает лучшие результаты.

4. Целое больше суммы составляющих его частей.
Некоторые специалисты в области маркетинговых исследований демонстрируют особое мастерство ведения полевых работ, другие искусны в продажах, третьи – в менеджменте. Для каждого навыка найдется своя ниша. Гораздо реже можно найти людей, талантливых сразу в нескольких областях. Команды, составленные из специалистов, обладающих всеми этими навыками, добиваются лучших результатов при проведении исследований.

Ясность при постановке задач исследования

5. Получение качественных данных - не всегда главная задача исследований.
Например, компания с большой сетью розничных магазинов захотела изменить подход к обслуживанию клиентов и для этого собирается провести серию in-store опросов для оценки удовлетворенности потребителей с учетом особенностей магазинов, чтобы руководство каждого из них могло получить представление об успешности своей деятельности и принять коррекционные меры при необходимости. В таком случае главной задачей будет максимизация вовлеченности отдельных магазинов в достижении общей цели, а для этого могут потребоваться разные варианты опросов. Несмотря на то что использование разных версий опроса (например, некоторых с пятибалльной шкалой оценки и некоторых с трехбалльной; варианты опроса на разных языках) может быть неоптимальным решением с аналитической точки зрения, но существуют способы, позволяющие максимизировать качество даже таких данных, способствуя в целом достижению общей цели исследования.

Про дизайн исследований в целом

6. Клиент почти всегда прав.
Профессионалы в области маркетинговых исследований часто расстраиваются, когда клиенты отвергают предложенный ими метод проведения исследования. Однако в тех случаях, когда мои клиенты, принимая рекомендации и понимая лежащие в их основе доводы, все же отказывались от моего предложения, обычно выяснялось, что это решение было обусловлено вескими причинами. Несмотря на то что мои познания в сфере исследований могут превосходить их познания, они лучше меня знают, что именно будет необходимо и какие рекомендации действительно пойдут «в дело» в их организации. «Хорошее исследование», результаты которого были встречены с одобрением и использованы для принятия решений, выигрывает у «превосходного исследования», результаты которого пылятся в папке на полке.

7. То, что работает в Швеции, может не сработать в Уганде.
В разных странах мира люди совершенно по-разному используют шкалу оценки, воспринимают свою работу и т. д. Например, жители стран Северной Европы более склонны к упорному труду, чем жители средиземноморских. Азиаты реже используют все доступные варианты ответа в шкале оценки. Среди европейцев число тех, кто уверен в важности сохранения правильного баланса между личной жизнью и работой, выше, чем среди американцев. Поэтому если один и тот же опрос используется в разных культурах без учета местных особенностей, то полученные в итоге результаты могут оказаться ошибочными. Следовательно, в тех случаях, когда от этих данных зависят коммерческие решения (и размер вознаграждения), необходимо действовать с максимальной осторожностью.

Конструирование выборки

8. Качество предоставляемой клиентом базы респондентов всегда вызывает разочарование.
Зачастую она настолько недостаточна, что совсем не внушает уверенности в своей репрезентативности. Покупаемые базы оказываются ненамного лучше. Поэтому обычно приходится проявлять максимум креативности, чтобы найти способы получить репрезентативную выборку.

9. Ищите и найдете.
Заблуждение – думать, что у людей, занимающих высшие посты в организации, обязательно есть необходимая вам информация. Например, не следует полагать, что опрашивая руководителей завода вы сможете получить полные данные о повседневной производственной деятельности предприятия. Тщательный предварительный анализ (например, несколько телефонных интервью) поможет понять, кто в действительности обладает необходимыми сведениями. Именно этих людей и следует опрашивать.

Определение размера выборки и погрешности данных

10. Правильный размер выборки определяется имеющимся бюджетом, задачами исследования и математикой.
Нет единой формулы, подходящей для всех ситуаций. Нельзя просто взять данные о размере выборки из таблицы в справочнике, потому что, по сути, они будут справедливы лишь для одной возможной ситуации и неверны для всех прочих. Правильный размер выборки определяется исходя из того, какой вам необходим уровень точности данных и каким бюджетом вы располагаете.

11. Тип вопроса определяет выбор формулы для получения точной оценки.
Так, для вопросов с пятибалльной шкалой оценки, необходима одна формула, для дихотомических вопросов - другая, а для вопросов, требующих числового ответа (например, вопрос о возрасте), – третья. Поэтому весь опрос (в котором обычно содержатся вопросы разных типов) потребует применения множества разных формул, для каждой из которых будет свой уровень погрешности. Чтобы получить точное значение ошибки выборки, необходимо провести оценку каждого вопроса.

12. Показатель ошибки выборки в лучшем случае представляет собой лишь приблизительную оценку.
Когда в результатах опроса заявлена абсолютная точность «в пределах плюс-минус 3,7%», это вызывает улыбку. Такие слова следует воспринимать крайне скептически. Формулы, при использовании которых можно получить такие цифры, предусматривают, что данные были получены в абсолютно случайной выборке с откликом на уровне 100% – это два критерия, к достижению которых даже близко не могут подобраться специалисты в области маркетинговых исследований. Поэтому чем дальше определение выборки от абсолютно репрезентативной и чем ниже отклик, тем более нелепыми выглядят попытки указать ошибку выборки в целом, в особенности в тех случаях, когда эта оценка дана в дробных числах! Более того, следует уточнить, что оценка ошибки выборки в случае, например, вопроса, требующего ответа «да» или «нет», определяется не как «плюс/минус Х процентов», а, скорее, как «плюс/минус Х процентных пунктов». Так, если 50% выборки отвечают «да», будет неверно утверждать, что «плюс/минус 5 процентов» (0,50 x 0,05 = 0,025) позволяют получить «47,5–52,5%». Верным будет вывод о том, что «плюс/минус 5 процентных пунктов» позволяют получить «45–55%». А это уже значимое различие.

13. Вариативность ответов существенно влияет на точность.
Вопросы, предполагающие однотипные ответы, обеспечивают более высокую точность (при одинаковой численности респондентов), чем вопросы, предполагающие ответы с высокой вариативностью. И главное здесь в том, что существует гораздо больше переменных, чем просто «количество завершенных интервью», которые определяют ошибку выборки. Поэтому без проведения оценки для каждого вопроса результаты могут быть истолкованы неверно.

Смещение в случае неответов и репрезентативность

14. Вероятность смещения в случае неответов существует во всех методах исследований.
Это означает, что при использовании любого из методов проведения опроса – через Интернет, по телефону, face-to-face и по почте – необходимо помнить о вероятности возникновения такой проблемы. Использование «замещения» не решает ее, а зачастую лишь маскирует, из-за чего ее влияние становится еще более пагубным. Единственный способ снизить вероятность такого смещения до «приемлемого» уровня – это добиться высокого отклика (по меньшей мере на уровне 50–60%).

15. Демографическая репрезентативность не гарантирует репрезентативность ответов на вопросы исследования.
Отсутствие интереса или негативные/позитивные эмоции могут стать причиной неответов.

16. Правильное ведение респондента может увеличить отклик.
На это необходимо выделить отдельное время при составлении графика работ над проектом. При телефонных опросах потребуются дополнительные звонки. Телефонные звонки так же эффективны при почтовых и онлайн исследованиях, чтобы охватить неответивших респондентов. Используйте звонки, как дополнение к дополнительному письму или электронному контакту.

17. Сегодня по-прежнему возможно получить высокий отклик.
В 2015 году мне удалось добиться отклика в 84% при опросе по почте благодаря использованию проверенной тактики: короткая опросная анкета, четкие и точные вопросы и повторное обращение к неответившим. Не верьте скептикам, утверждающим, что высокий отклик больше недостижим.

18. Глупо ожидать высокого отклика в случаях, когда тема опроса респондентам неинтересна.
Так, например, если вы попросите человека остановиться у стойки сразу после прохождения таможенного контроля во вьетнамском аэропорту (как однажды попросили меня), то вряд ли получите высокий отклик.

Методы сбора данных

19. Онлайн-опросы во многом похожи на опросы по почте.
Оба формата предполагают самостоятельное заполнение анкет. Следовательно, можно многое подчерпнуть из истории проведения почтовых опросов в том, что касается построения самих вопросов и т.д., чтобы протестировать и применять накопленный опыт в онлайн опросах. Сегодня многие специалисты, занимающиеся опросами через Интернет, не знают о существовании этого ценного собрания эмпирических знаний. Но должны знать.

20. Панели остаются панелями и имеют определенные ограничения.
Низкая репрезентативность (участие во многих случаях обусловлено лишь желанием получить вознаграждение) и недостаточность внимания при ответе на вопросы - это всегда повод быть аккуратным и осторожным в случаях, когда необходимо воспользоваться данными панели. Панель не может заменить случайную выборку.

21. Остерегайтесь больших данных.
Базовый принцип статистического анализа состоит в необходимости заранее установить, что именно вы хотите узнать, и определить приемлемые уровни статистической погрешности. Если собрать все данные в один аналитический сосуд, взболтать его, перевернуть и посмотреть, что из него выпадет, приняв полученное за результат, это приведет к нарушению базового принципа исследований и появлению множества статистических ошибок первого рода, смешению разных типов данных, объединению данных разного качества и вероятности спутать взаимозависимости с причинно-следственными связями. Это также приводит к ошибочному применению данных, полученных в группе, к отдельным людям. Большие данные могут быть полезны при разработке гипотез и идей для последующего анализа, но они не оправдывают возлагаемых на них ожиданий в генерации убедительных выводов. У больших данных есть определенная область применения, и будьте осторожны в попытках расширить эти границы.

Формулировка вопросов

22. В основе вопроса уже должны содержаться все варианты ответа.
В противном случае возможны смещения в ответах. Например, вопрос «Как вы считаете, на содержание дорог необходимо выделять больше средств, столько же или меньше, чем сейчас?» может привести к разбросу в ответах до 28 процентных пунктов в отличие от вопроса, предоставляющего только один вариант ответа: «Как вы считаете, на содержание дорог необходимо выделять больше средств?».

23. Даже незначительное изменение формулировки вопроса может существенно повлиять на ситуацию.
Тщательное предварительное тестирование крайне необходимо для выявления и устранения возможных ошибок до того, как они повлияют на конечный результат. Например, 57% опрошенных высказали свое одобрение «Хиллари Клинтон», и только 49% – «Хиллари Родэм Клинтон». Подобным же образом в опросе, посвященному свободе прессы, всего 27% поддержали «цензуру», при этом 66% высказались за введение «более строгих ограничений».

24. Не позволяйте аналитикам самостоятельно формулировать вопросы.
Если вы будете задавать вопросы, «соответствующие задачам анализа», но при этом такие, на которые респонденты не смогут ответить с уверенностью, вы не получите необходимый результат. Большинство людей не могут четко отвечать на вопросы с интервальной шкалой, хотя их легко анализировать. В большинстве случаев они могут отвечать на вопросы с ранжированием и очень хорошо отвечают на категориальные. Высказанное человеком мнение не обязательно является хорошо обдуманным или точным. Поэтому необходимо провести предварительное тестирование, чтобы понять, на какие вопросы респонденты действительно смогут ответить. Аналитикам платят за креативность в поиске способов анализа данных, и не всегда эти данные к ним попадают в том виде, в котором бы им хотелось.

Оценочные шкалы

25. Придумайте вербальные метки для каждого деления на шкале.
Не ограничивайтесь обозначением двух крайних точек. Если вы не можете придумать свою вербальную метку для каждого деления, которая имела бы смысл, это верный признак того, что на вашей шкале слишком много делений и респонденты не увидят между ними четкой разницы.

26. Не ограничивайтесь одно- или двусложными определениями.
Для вопросов типа «порекомендуете ли вы» используйте такие варианты, как: «Порекомендую, даже если меня об этом не спросят», «Порекомендую, но только если меня об этом спросят», «Выскажусь негативно, но только если меня об этом спросят» и «Приложу усилия, чтобы донести до окружающих свое негативное отношение» позволяют получить более информативные ответы, чем стандартные варианты из одного-двух слов.

27. Выбор обозначений для шкалы существенно влияет на ответы.
Чем категоричнее обозначения крайних делений шкалы, тем меньше человек их выберет для ответа. Так, если указать на шкале оценки удовлетворенности «Крайне доволен» и «Крайне недоволен», респонденты будут реже отмечать их, чем варианты «Очень доволен» и «Очень недоволен». Подобным же образом крайние деления шкалы оценки важности с обозначениями «Крайне важно» и «Совсем не важно» будут выбирать реже, чем варианты «Очень важно» и «Не важно». Категоричная формулировка обозначений для крайних делений шкалы позволяет получить наиболее полные данные.

28. Вопросы с ранжированием менее полезны, чем оценочные.
Они не позволяют респондентам присваивать один и тот же ранг более чем одному варианту ответа, даже если те равны по значимости, и, следовательно, предоставляют данные, не отражающие реальных взглядов человека. Также респонденты склонны нарушать инструкции, ранжируя только некоторые элементы, а в некоторых случаях указывая один и тот же ранг сразу для нескольких. Не существует действенного способа устранить такие аномалии в процессе анализа полученных результатов. Если приравнивать подобные нарушения к отсутствию данных, возникают неточности, так как приходится отбрасывать реальные ответы респондентов. Поэтому лучше вместо ранжирования использовать оценочную шкалу. А категоричная формулировка обозначений для крайних делений такой шкалы позволит добиться той же цели, для которой обычно и используют вопросы с ранжированием.

29. Вместо обычной оценочной шкалы попробуйте предложить респонденту сделать выбор из нескольких возможных вариантов.
Метод совместного, дискретного выбора и максимальное разнообразие форматов вопросов предоставляют определенное преимущество: респонденты вынуждены выбирать лучшее из нескольких интересных вариантов, благодаря чему можно получить реальные данные пропорциональных измерений, которые покажут, например, что характеристика A в два раза сильнее влияет на принятие решения, чем характеристика B. Другое преимущество этого метода состоит в том, что он вынуждает клиента еще на стадии разработки тщательно обдумать варианты вопросов, благодаря чему полученные в итоге данные оказываются действительно полезными.

Анализ данных

30. Больше данных не означает больше полезной информации.
Действительно полезную информацию можно получить только путем «выжимки» данных, полученных в ходе исследования. Поэтому следует скептически относиться к большим стопкам итоговых таблиц с множеством пунктов вместо коротких, резюмирующих предложений, поясняющих смысл полученных результатов.

31. Будьте осторожны с пресловутыми «общими знаменателями».
Старая поговорка, которая гласит: «С помощью статистики можно доказать все, что угодно», возникла, главным образом, благодаря склонности выводить различные общие знаменатели с целью найти тот, который даст желаемый результат. Даже в тех случаях, когда с анализом не возникает трудностей, выбор неверного общего знаменателя может привести к ошибочным результатам. Некоторые стандартные компьютерные программы для исследований представляют данные и по относительной, и по скорректированной частоте ответов – для расчета первой в качестве общего знаменателя используется число всех опрошенных, а для расчета второй – число тех, кто ответил на данный вопрос. Иногда один из этих показателей оказывается крайне полезным, но в других случаях тот же общий знаменатель может быть совершенно неуместным и приводить к ошибочным выводам.

32. Тщательно изучите разброс данных.
Если было опрошено 200 человек, и, оценивая некий параметр по пятибалльной шкале, 100 из них выбрали 1, а другие 100 выбрали 5, то это вовсе не то же самое, как если бы все 200 респондентов указали в ответе 3, несмотря на тот факт, что средняя оценка в обоих случаях действительно 3.

33. Ответы на открытые вопросы описывают конкретные действия. Правильно сформулированные и уместно используемые открытые вопросы позволяют респондентам: 1) описать свои реальные впечатления о каких-либо событиях, 2) подробно и понятно рассказать о проблемах или преимуществах той или иной ситуации, 3) предложить решения проблем и 4) передать точные эмоции, вызванные определенными ситуациями. Кроме того, ответы на открытые вопросы позволяют сделать отчеты и презентации по проведенным исследованиям более интересными и понятными.

Проверка и оценка статистической значимости

34. Клиенты хотят знать масштабы различий во мнениях между группами/в группах опрошенных.
Простого знания о наличии различий недостаточно. Поэтому стандартная практика, ограничивающаяся тестированием статистической значимости, ошибочна. В конце концов, в достаточно больших выборках даже разница в один-два процентных пункта уже будет статистически значимой. Маркетологам и руководителям необходимо знать масштабы различий, чтобы принять решение о том, стоит ли тратить средства на то или иное предложение. Чтобы предоставить эти данные, требуется провести анализ и определить доверительные интервалы, которые позволяют оценить точность собранных данных. Представление полученных результатов с указанием размера ошибки существенно облегчает процесс принятия решений.

35. Результаты проверки статистической значимости и доверительные интервалы можно перерабатывать, чтобы получать любой желаемый эффект.
Например, проверка статистической значимости, которая показала значимые различия на доверительном интервале 80%, может не показать их на интервале 95% при анализе одних и тех же данных. А стандартная ошибка может составлять +/- 3 процентных пункта на доверительном интервале 85% и +/- 10 процентных пунктов на интервале 95%. Поэтому 1) крайне важно еще перед началом любой проверки или оценки точности четко определить, какой доверительный интервал будет принят за основу при принятии решений, и 2) необходимо всегда приводить выбранный доверительный интервал и предоставляя результаты проверок значимости.

36. Статистическая значимость не то же самое, что практическая.
Незначительное различие во мнениях между группами/в группах опрошенных может не оказать реального воздействия на решения, даже если это различие статистически значимо. И наоборот, существенное различие (которое не является статистически значимым из-за малого размера выборки) может предоставить ценные сведения для выбора будущего направления коммерческой деятельности организации. Не стоит ограничиваться беглым просмотром итоговых таблиц с выделением статистически значимых элементов при полном игнорировании прочих. Вместо этого следует изучить величину различий и только потом задаться вопросом об их статистической значимости. Но даже при ее отсутствии может возникнуть желание дополнительно исследовать эти переменные.

Извлечение пользы из полученных результатов/применение на практике

37. Крайне важно предоставлять предварительные данные.
Первые предварительные данные – это почти всегда лучше, чем более полные данные, полученные слишком поздно. Возможность взглянуть на них уже на ранних этапах исследования позволяет руководителям начать принимать решения. При необходимости они могут скорректировать его впоследствии, уже после получения более полных данных. Но как показывает опыт, конечные результаты почти всегда воспроизводят предварительные, что минимизирует изменения, которые, возможно, потребуется внести в принятые решения.

38. Необходимо соблюдать баланс между научной честностью и практическими рекомендациями.
Ученые часто уходят в рассуждения, злоупотребляя такими фразами, как: «с одной стороны…», в то время как руководителям коммерческих предприятий необходимы конкретные ответы на вопросы типа: «Что, по вашему мнению, мне следует предпринять?». Профессионалы в сфере исследований обязаны изложить свои мысли клиенту. Но большое количество выводов, подкрепленные большими объемами данных в одном отчете может усложнить решение конкретной задачи.

39. Все собранные данные в итоге могут оказаться невостребованными в силу неких коммерческих причин.
Даже если вам удалось обнаружить нечто крайне ценное и полезное, представитель клиента может забеспокоиться, что представление этих сведений высшему руководству приведет к негативным последствиям в силу множества самых разных причин. Не удивляйтесь, если это произойдет. Обычно лучше заранее запрашивать согласие клиента на проведение любых дополнительных исследований, которые могут показаться вам полезными.

40. Не используйте показатели удовлетворенности клиентов в качестве мотивации.
Это относится как к вашим сотрудникам, так и к вашим торговым партнерам. Лучше вознаграждать их за действия, которые действительно помогают повысить уровень обслуживания и удовлетворенности клиентов, то есть за разработку и внедрение одобренных руководством инициатив по повышению качества работы.

Оставить свои комментарии по затронутой теме Вы можете на наших страницах и Вконтакте.

Оригинал статьи https://www.quirks.com
Перевод статьи Агентство маркетинговых исследований FDFgroup