Маркетинговое агентство FDFgroup - количественные маркетинговые исследования
Главная
Об Агентстве
Услуги
Опросы
Готовые исследования
Статьи
Пресс-центр
Контакты
Contact us

Официальная страница агентства маркетинговых исследований FDFgroup Официальная страница агентства маркетинговых исследований FDFgroup Официальная страница агентства маркетинговых исследований FDFgroup
ESOMAR Individual Membership Information
Маркетинговое агентство FDFgroup - количественные маркетинговые исследования
поиск по сайту    
Статьи >>  Респонденты сказали неправду или просто не хотели выглядеть глупо?
Назад
 

Респонденты сказали неправду или просто не хотели выглядеть глупо?

Примечание редактора: Питер Голд (Peter M. Gold) - главный исполнительный директор исследовательской компании VeraQuest, расположенной в городе Армонк, штат Нью-Йорк.

Респонденты сказали неправду или просто не хотели выглядеть глупо. Подготовлено MA FDFgroup (www.fdfgroup.ru) За последние 10 - 15 лет мы увидели много новых разработок в области маркетинговых исследований. Нейрология, мобильные исследования, исследования на основе геолокации (определения местоположения), большие данные, социальные медиа, игрофикация опросов, исследования типа «сделай сам» (DIY) и опросы потребителей Google – все эти новинки привлекли внимание, взбудоражили воображение, а иногда даже и вызывали неодобрение со стороны научного сообщества. Появление ярких новинок интересно уже само по себе – они дают исследователям возможность обсудить новую тему. Как известно, исследователи – не слишком хорошие маркетологи и не умеют продвигать себя и свои услуги, а новые технологии дают им в руки нечто, что может привлечь внимание клиентов.

Презентации, призванные показать возможности исследовательского агентства, в которых упор делается на реальных и практичных методах, дающих надежные результаты, - это самый верный способ потерять аудиторию. Наши собственные слайды с объяснением системы качества данных в VeraQuest сначала были «понижены в должности» и переведены из основных в разряд вспомогательных, а затем им вообще был присвоен унизительный статус «скрытых слайдов». Когда в последний раз я представлял аудитории слайды о качестве данных и контроле качества, главный клиент, присутствовавший на презентации, сказал: «Вы можете пропустить этот раздел – мы исходим из того, что вы и так знаете, как обеспечить такое качество».

Дело в том, что большинству конечных пользователей не так уж интересны подробности процесса, обеспечивающего качество данных. И стоит ли винить их в этом? Рынок ожидает, что современные исследователи, работающие с клиентами, должны быть экспертами в самых различных исследовательских дисциплинах, а также экспертами в области бизнес-аналитики. Большинство из них завалены требованиями и запросами внутренних клиентов, так что вполне понятна ситуация, когда у них нет ни времени, ни желания делать часть работы еще и за своих поставщиков. У них есть все основания полагать, что поставщики знают свое дело и хорошо с ним справятся.

Однако, загвоздка в том, что многим небольшим исследовательским компаниям не хватает технологий и методик в том, что касается реализации процедур качества данных, или же у них нет достаточной финансовой поддержки для обеспечения таких процедур. С другой стороны, крупные исследовательские организации, обладающие достаточными ресурсами для реализации стандартных процессов качества данных, в своих действиях часто ориентируются на запросы не только клиентов. Средства, выделяемые на обеспечение качества данных, могут пасть жертвой различных программ по сокращению издержек, когда возникает необходимость «резать косты». У больших и малых поставщиков слишком мало стимулов (а в некоторых случаях их нет вообще) обеспечивать соответствующий уровень контроля качества, если сами клиенты этого не требуют. Так может продолжаться до наступления серьезной проблемы, после которой издержки становятся огромными.

Наши первые попытки добавлять в анкеты, специальные вопросы с целью выявления недобросовестного поведения респондентов относятся к тому времени, когда мы работали с Аланом Хоптфельдом из Vantage Research + Consulting Inc. над проектом для пекарни West Coast. Пекарня хотела понять, насколько потребители страны были осведомлены о ее бренде, в этой сильно фрагментированной категории. Исследование содержало всего несколько вопросов – надо было определить секцию данной категории в супермаркете, а затем оценить осведомленность потребителей о бренде клиента и его семи региональных конкурентах.

Имея некоторый опыт работы с брендами низкого проникновения, мы предложили включить в исследование два вымышленных бренда (призрака) в качестве средства определения базового уровня «шума». Мы полагаем, что всегда будет определенный процент респондентов (возможно, 1 до 3 процентов), считающих, что они слышали о бренде, даже если его не существует. Другими словами, такие респонденты честно ошибаются. Такое бывает. Тем не менее, поскольку даже низкий уровень шума может оказать существенное влияние на результаты анализа для таких брендов, как фермерский хлеб нашего клиента и его региональных конкурентов, целесообразно учитывать влияние такого шума.

Однако результаты исследования для этого клиента оказались не теми, которые мы ожидали. Осведомленность потребителей о бренде нашего клиента получилась гораздо выше ожидаемой. Мы полагали, что осведомленность потребителей об этом бренде будет где-то в районе 6 - 9 процентов, но в результате получилось 16 процентов. Кроме того, осведомленность о других брендах (которая, по нашим оценкам, не должна была превышать и 9 процентов) оказалась в диапазоне от 11 до 13 процентов. Но самым вопиющим оказалось то, что уровень осведомленности о двух вымышленных брендах составил 9 и 12 процентов. Другими словами, осведомленность о вымышленных брендах была сопоставима с несколькими из реальных брендов.

Будучи глубоко обеспокоенными проблемой точности данных, мы начали искать возможные причины, способные объяснить столь завышенный уровень осведомленности. Мы обнаружили, что 3 процента всех респондентов сказали, что они знают все 10 брендов (8 реальных брендов и 2 вымышленных). Очевидно, что эти респонденты отвечали на вопросы анкеты, не сильно задумываясь об их сути. Если бы мы остановились на этом, то следовало бы признать, что шум может составлять от 6 до 9 процентов осведомленности – что явно не соответствовало нашим представлениям.

Два аспекта вызывали наше беспокойство: уровень осведомленности о конкретных брендах был выше ожидаемого, а кроме того, мы полагали, что лишь немногие респонденты могут знать больше, чем один-два бренда. При этом 11 процентов респондентов общенационального опроса сказали, что они знают пять или более брендов из указанного списка фермерского хлеба. Если бы мы удалили всех этих респондентов из наших данных, то для большинства брендов результаты оказались бы близки к ожидаемым. К сожалению, даже обоснованно полагая, что часть наших респондентов не отвечали на наш опрос правдиво и добросовестно, у нас не было никакой реальной основы для того, чтобы удалить из анализа каких-то респондентов (помимо указанных недобросовестных респондентов). У нас не было оснований считать, что те люди, которые заявляют о своей осведомленности в отношении реальных брендов, отвечают неправдиво. Мы также не хотели исходить из предположения, что респонденты, указавшие, что они знают один или оба вымышленных бренда, вели себя мошеннически.

Выявить и ликвидировать

Основываясь на результатах этого и нескольких других исследований, которые мы провели в то же время, мы решили начать собственное исследование. Задача состояла в том, чтобы разработать план, который позволил бы нам выявлять и удалять недобросовестных респондентов из анализа данных всех наших опросов. Изначально мы полагали, что будет относительно легко обнаружить респондентов, отвечающих на вопросы по принципу «лишь бы побыстрее закончить». Однако, глядя на результаты исследования, заказанного пекарней, мы чувствовали, что основная часть недобросовестных респондентов проявляет себя не столь очевидным образом.

Из этого исследования мы извлекли еще один важный урок, который, по нашему мнению, мог бы пригодиться в нашем новом самостоятельном исследовании. В опросе потребителей фермерского хлеба бренды были относительно небольшими, но они были настоящими. Как указывалось ранее, цель исследования состояла в том, чтобы измерить осведомленность потребителей о небольших брендах хлебных изделий среди общенациональной аудитории. При этом мы должны иметь в виду, что люди, живущие за пределами соответствующего региона (где продается конкретный бренд), возможно, ранее проживали или бывали в нем. Соответственно, мы не могли просто отнести всех респондентов из других регионов к мошенникам лишь на том основании, что они заявляют о том, что знают данный бренд.

Несмотря на то, что вопрос о вымышленных брендах в нашем исследовании выглядел вполне многообещающим способом для выявления недобросовестных респондентов, мы полагали, что для повышения эффективности нам нужно нечто большее, чем эти два выдуманных бренда. Нам требовался достаточно длинный список, на основании которого мы могли бы делать уверенные суждения о том, кто из респондентов отвечает неправдиво. Поэтому мы создали списки вымышленных брендов для трех категорий - соки, чипсы и шампуни, по 10 в каждой категории (т.е. всего 30 несуществующих брендов). Мы очень внимательно подошли к подбору вымышленных названий, потому что мы не хотели, чтобы наши придуманные марки были похожи на названия реальных брендов. С одной стороны, вымышленные названия должны были звучать правдоподобно. С другой стороны, если бы эти названия было легко спутать с реальными брендами, то само наше исследование и его результаты оказались бы ненадежными.

Поскольку VeraQuest по заказу клиентов часто проводит омнибус-опросы (обычно с несколькими клиентами в рамках каждого исследования), то было достаточно легко ненавязчиво вставить дополнительные вопросы между разделами клиентских вопросов. Подобный формат опроса с несколькими темами также обеспечивает своего рода естественную окружающую среду, в которой можно замаскировать вопросы своего собственного исследования.

Обычно для своих омнибус-опросов мы формируем выборку минимум из 1500 респондентов, при этом мы получаем таких респондентов от одного поставщика исследовательских панелей. Однако в данном случае мы использовали выборку от двух поставщиков. Одна из наших задач состояла в том, чтобы определить, была ли та проблема, с которой мы столкнулись в исследовании фермерского хлеба (наличие недобросовестных респондентов), связана с конкретным поставщиком, или же она возможна и при использовании других панелей. Конечно, было бы здорово одновременно оценить сразу несколько поставщиков исследовательских выборок, но это было физически невозможно. Кроме того, мы хотели сосредоточиться на основной цели нашего исследования – разработать систему, которая позволила бы нам выявлять и удалять из опросов недобросовестных респондентов. Стоит отметить, что ни один из поставщиков исследовательских выборок не знал о том, что мы проводим этот тест, поскольку мы не хотели ставить под угрозу надежность и достоверность результатов.

У исследования были четыре задачи. Мы хотели понять:
1. Связана ли данная проблема с конкретным поставщиком, или же она универсальна?
2. Может ли список вымышленных брендов помочь нам выявить (и, соответственно, исключить из анализа) недобросовестных респондентов?
3. Если да, то окажется ли список вопросов с несколькими вариантами ответа более предпочтительным инструментом для выявления недобросовестных респондентов, чем таблицы с вариантами ответа Да/Нет?
4. Имеет ли смысл добавить в список вымышленных брендов, по крайней мере, два реальных бренда?

Для выполнения этих задач мы использовали таблицу из восьми ячеек
FDFgroup


Задача 1: Связана ли данная проблема с конкретным поставщиком, или же она универсальна?
Не вдаваясь в подробности, скажем, что мы обнаружили проблему в обоих источниках данных, при этом у нашего основного поставщика она носила не столь выраженный характер. С помощью методологии вымышленных брендов, подробно описанной в этой статье, мы обнаружили, что оба источника данных содержали признаки наличия недобросовестных респондентов. Другими словами, оба поставщика предоставили достаточно большое число респондентов, которые отметили несколько вымышленных брендов. Это позволяет нам предположить, что данная проблема не ограничивается каким-то конкретным поставщиком. Оценка поставщиков была одной из наших внутренних задач, но не основной целью исследования. Поэтому в оставшейся части статьи мы будем рассматривать только выборку, предоставленную нашим основным поставщиком исследовательских панелей.

Задача 2: Может ли список вымышленных брендов помочь нам выявить (и, соответственно, исключить из анализа) недобросовестных респондентов?
Как я упоминал ранее, мы спрашивали респондентов об их осведомленности о брендах в трех категориях - соки, чипсы и шампуни. Следует иметь в виду, что одновременно мы тестировали и другие параметры, поэтому данные об осведомленности были сведены по ячейкам «Несколько вариантов ответа», «Варианты Да/Нет», а также по спискам «Без реальных брендов» и спискам, которые содержали «2 реальных бренда».

Мы анализировали три основных момента:
1) респонденты, утверждающие, что они знают все 10 вымышленных брендов,
2) респонденты, утверждающие, что они знают 3 или более вымышленных бренда,
3) респонденты, утверждающие, что они знают 4 или более вымышленных бренда.

Причина нашего интереса к этим аспектам заключается в том, что, во-первых, упоминание всех 10 вымышленных брендов представляет собой явное и беззастенчивое жульничество. Кроме того, упоминание одного или двух вымышленных брендов может оказаться следствием неумышленной ошибки, в то время как упоминание четырех или более вымышленных брендов с гораздо большей вероятностью может оказаться результатом недобросовестного отношения к опросу.

Мы обнаружили, что 32 из 1101 респондента (или 3 процента) жульничали, отвечая на вопросы о шампунях. Именно это мы обнаружили и в исследовании фермерского хлеба. В категориях соков и чипсов жульничали по 2 процента респондентов. Мы также обнаружили, что от 9 до 13 процентов респондентов сказали, что они знают 4 или более вымышленных бренда, а от 14 до 19 процентов сказали, что они знают 3 или более вымышленных бренда

FDFgroup


Мы также хотели понять, будут ли респонденты, ведущие себя недобросовестно при ответах в одной категории, демонстрировать такое же поведение и в других категориях. Логично предположить, что если ложные ответы являются намеренными, а не случайными, то можно ожидать четкой корреляции между категориями. И в самом деле, мы видим очень сильную зависимость между категориями. Показатель R2 составил 0,763 для шампуней и соков, 0,776 для шампуней и чипсов, и 0,843 для соков и чипсов. Иначе говоря, количество вымышленных брендов, отмеченных респондентом в одной категории, является очень хорошим показателем того, сколько вымышленных брендов он отметит в других категориях.

FDFgroup


Эти данные с очевидностью показывают, что такой подход (использование списков вымышленных брендов или чего-то аналогичного) может быть эффективным методом выявления недобросовестных респондентов. Однако, не вполне ясно, где именно следует провести черту, отделяющую приемлемое количество ложных ответов от неприемлемого. Использование подхода, не допускающего ни одного ложного ответа (то есть, отнесение к недобросовестным всех респондентов, которые отметили хотя бы один вымышленный бренд), было бы нереалистичным. Даже удаление респондентов, отметивших два вымышленных бренда, кажется слишком суровым и неоправданным, ведь мы стремимся не только избавиться от недобросовестных респондентов, но и сохранить при этом добросовестных участников опроса. Сами мы в настоящее время используем собственный алгоритм оценки, который учитывает несколько факторов. Однако конкретные значения исследовательские фирмы и поставщики выборки должны согласовывать между собой в индивидуальном порядке.

Задача 3: Окажется ли список вопросов с несколькими вариантами ответа более предпочтительным инструментом для выявления недобросовестных респондентов, чем таблицы с вариантами ответа Да/Нет?
На данный момент мы пришли к выводу, что для выявления недобросовестных респондентов могут быть использованы списки вымышленных брендов. Наша следующая задача – определить, окажется ли список вопросов с несколькими вариантами ответа более предпочтительным инструментом, чем таблицы с вариантами ответа Да/Нет.

Мы получили очень интересные результаты. Кажется, что таблицы с вариантами ответа Да/Нет более эффективны для выявления недобросовестных респондентов, чем списки вопросов с несколькими вариантами ответа. (В Таблице 2 видно, что значения в левой части таблицы значительно выше, чем в правой). Однако, мы не знаем, в чем причина такого расхождения – в том, что формат Да/Нет является более эффективным для выявления недобросовестных респондентов, или же в том, что формат Да/Нет фактически поощряет респондентов на недобросовестное поведение при опросе.

FDFgroup


Кроме того, не стоит забывать о том, что респонденты могут вести себя недобросовестно и оставаться незамеченными при использовании формата с несколькими вариантами ответа, потому что для «жульничества» им достаточно просто отказаться от ответа. Такое поведение можно было бы назвать «грех бездействия». Таким образом, мы по-прежнему находимся в затруднительное положение. Или нет?

Если в формате с несколькими вариантами ответа респонденты более склонны к недобросовестному поведению путем отказа от ответа, то они также должны отмечать реальные бренды (когда им предлагаются на выбор реальные бренды) реже, чем те респонденты, которые попадаются на формате Да/Нет. Другими словами, если эти респонденты жульничают, не выбирая ни один вариант ответа, то в случае с реальными брендами они должны вести себя аналогичным образом.

Однако, как показано на круговых диаграммах, между этими двумя форматами нет никакой разницы с точки зрения процентной доли респондентов, отмечающих реальные бренды. Этот вывод подтверждает мнение о том, что более высокая частота ложных ответов при использовании формата Да/Нет, вероятно, является следствием самой структуры такого формата. Другими словами, использование формата Да/Нет для выявления недобросовестных респондентов может быть контрпродуктивным в том смысле, что само наличие такого формата фактически поощряет то самое недобросовестное поведение, которое мы пытаемся устранить.

FDFgroup


Задача 4: Имеет ли смысл добавить в список вымышленных брендов, по крайней мере, два реальных бренда?
Мы предполагали, что формат вопроса (Да/Нет или списки с несколькими вариантами ответа) может повлиять на то, как респонденты отвечают о вымышленных брендах. Кроме того, мы хотели посмотреть, как добавление нескольких реальных брендов может повлиять на результаты. В левой части таблицы представлены ячейки, в которых в списки не включались никакие реальные бренды. В правой части - ячейки, в которых в списки были добавлены два реальных бренда. Как видите, разница существенная. Количество ложных ответов в левой части таблицы (без реальных брендов) значимо выше, чем в правой.

FDFgroup


Мы считаем, что этот результат в некоторой степени подтверждает предположение о том, что отсутствие в списках реальных брендов стимулирует ложные ответы. Кроме того, все это интуитивно понятно. С точки зрения респондента, легко понять, что чувствуют опрашиваемые, когда в списке ответов нет ни одного бренда из тех, которые они знают. Это можно назвать эффектом «голого короля». В данном случае, неосведомленность обо всех 10 брендах в категории товаров широкого пользования может негативно повлиять на самооценку респондентов и, тем самым, поощрять их к тому, чтобы отметить один или несколько брендов, о которых они никогда не слышали, чтобы не выглядеть «глупым» или «отставшим от жизни». Некоторые исследователи были бы склонны удалить этих респондентов из анализа, поскольку те отметили бренды, о которых они ничего не знают. Но на самом деле эти респонденты могли бы дать очень качественные данные, если бы их не поставили в положение, в котором они чувствуют себя «глупо» из-за списка полностью выдуманных брендов. Еще раз подчеркнем, мы не хотим напрасно исключать респондентов, которые могли бы обеспечить совершенно достоверные результаты.

Внимательность и осторожность

Как исследователи, находящиеся на переднем крае онлайн исследований с конца 90-х годов, мы твердо придерживаемся принципов, согласно которым за качество выборки должны отвечать не только поставщики панелей. Мы ожидаем от поставщиков внимательного и осторожного отношения к формированию выборки, при котором из нее будут исключены недобросовестные респонденты. Тем не менее, некоторый процент этих «плохих» респондентов, так или иначе, попадет в выборку. И даже если поставщики панелей сделают все возможное, чтобы удалить всех «жуликов», некоторые респонденты могут стать недобросовестными спустя какое-то время. Более того, некоторые респонденты могут искренне стремиться к тому, чтобы отвечать на вопросы добросовестно, но плохо продуманные анкеты могут запутать их и вызвать раздражение. А как раздраженные респонденты могут отомстить исследователям? Они могут отвечать на вопросы «наобум» и даже намеренно давать неправильные ответы.

Поэтому в том, что касается обеспечения точности ответов, исследователи просто обязаны выстроить дополнительный уровень безопасности – выявлять и удалять недобросовестных респондентов, которые проникли сквозь систему отбора поставщика панелей или, возможно, стали такими с течением времени.

Мы считаем, что сами исследования должны включать в себя меры, которые помогут защититься от недобросовестных респондентов. К сожалению, у поставщиков выборки есть практические ограничения, касательно того, что они могут сделать в рамках опроса, так как они не всегда имеют полномочия изменять анкету. Соответственно, внедрение мер, необходимых для обеспечения данных высочайшего качества, - это обязанность исследователя, непосредственно взаимодействующего с клиентом.

Автор: Peter M. Gold is chief executive officer of VeraQuest
Оригинал статьи: http://www.quirks.com/
Перевод: Агентство маркетинговых исследований FDFgroup

Читать еще:
Наши решения маркетинговых задач
Статьи по маркетинговым исследованиям и маркетингу
Бесплатные результаты маркетинговых исследований
Готовые анкеты для проведения опросов потребителей и покупателей

© Маркетинговое агентство FDFgroup