Почему правильно составленная шкала оценки способствует осмысленным ответам респондентов

Шкала оценки, по которой измеряется степень согласия или несогласия респондентов с тем или иным высказыванием,- это один из самых популярных типов вопросов. К сожалению, это также один из наименее надежных типов вопросов, с точки зрения достоверности получаемых данных. Поскольку респонденты склонны преувеличивать свое фактическое согласие, в вопросах такого типа следует использовать другую шкалу.

Согласно результатам более чем 100 специальных исследований, у респондентов существует предрасположенность соглашаться с интервьюером, независимо от содержания высказывания. В своей статье “Comparing Questions with Agree/Disagree Response Options to Questions with Construct-Specific Response Options“ («Сравнение вопросов, предусматривающих варианты ответа «Согласен / Не согласен», с вопросами, ответы на которые зависят от формулировки самих вопросов») исследователи Сарис (Saris), Кросник (Krosnick) и Шеффер (Shaeffer) выявили три основных причины, по которым респонденты готовы соглашаться с интервьюером:

• Из чувства вежливости
• Из уважения к автору исследования (т.е. полагаясь на мнение «эксперта» в конкретном вопросе)
• Из-за психического истощения во время опроса («лишь бы побыстрее ответить»)

Шкала согласия несет с собой различную психическую и умственную нагрузку для респондентов.

• прочитать и понять вопрос,
• определить, какой аспект вопроса представляет интерес для исследователя,
• определить свое отношению к данной теме,
• перевести свои ощущения в наиболее подходящий балл на биполярной шкале.

Сарис, Кросник и Шеффер дают отличный пример того, что касается последнего пункта:
Следует отметить, что вариант ответа «Не согласен…» может быть использован респондентами по самым разным причинам, некоторые из которых нарушают предполагаемую монотонную зависимость между ответами и позицией респондента на шкале его восприятия.

Рассмотрим, например, следующую ситуацию: человека спрашивают, согласен или не согласен ли он с утверждением: «В целом, я счастливый человек».
Респондент, несогласный с этим утверждением, может считать, что он:

1. в целом несчастный человек,
2. в целом не может отнести себя ни к счастливым, ни к несчастным людям,
3. он счастлив 55% своего времени и несчастен 45% времени, при этом 55% - это слишком мало, чтобы соответствовать определению «в целом»,
4. он счастлив всегда и везде, поэтому определение «в целом» не подходит для описания его случая.

Предполагалось, что использование высказываний с отрицанием повышает качество ответов на вопросы со шкалой оценки. Тем не менее, еще в 1961 году Эйферманн (Eifermann) обнаружил, что респонденты чаще делают ошибки при обработке высказываний с «не»: например, при оценке высказываний типа «5 не является нечетным числом» ошибку допускали 35%, а при оценке высказываний типа «5 – это четное число» ошибку допускали лишь 2%. Соответственно, выстраивание сбалансированных блоков с практически одинаковым количеством вопросов с отрицанием и утверждением никак не улучшает качество ответов. В том же 1961 году Мессик и Джексон (Messick & Jackson) показали, что при использовании фраз с «не» респонденты больше подвержены предрасположенности соглашаться с интервьюером, независимо от сути высказывания.
Интересно, что о плохой пригодности шкал согласия для опросов известно уже более 50 лет, но исследователи по-прежнему держатся за них и не собираются от них отказываться. Почему? Потому что они такие простые и удобные в использовании.
Но есть более правильный подход, требующий меньшей психической нагрузки от респондентов и дающий более точные результаты. Он заключается в использовании того, что Сарис и другие авторы называют «вопросы, варианты ответов на которые зависят от формулировки вопроса». По сути, они оценивают отношение респондентов к тому или иному аспекту по шкале, которая (в большинстве случаев) будет индивидуальной для каждого вопроса. Например, вот три высказывания, которые можно встретить в опросе, посвященном степени удовлетворенности сотрудников:

1. «В целом я доволен своей зарплатой». Полностью согласен, согласен, ни да - ни нет, не согласен, категорически не согласен.
2. «Часто я так занят работой, что день проходит очень быстро». Полностью согласен, согласен, ни да - ни нет, не согласен, категорически не согласен.
3. «В нашей организации хорошо налажена связь между руководителями и рядовыми сотрудниками». Полностью согласен, согласен, ни да - ни нет, не согласен, категорически не согласен.

Вот те же три вопроса, переформулированные для использования с подходящими шкалами оценки:

1. «Насколько вы в целом удовлетворены своей зарплатой?» Совсем не удовлетворен, слегка удовлетворен, скорее удовлетворен, очень удовлетворен, полностью удовлетворен.
2. «Как часто вы бываете столь заняты работой, что день проходит очень быстро?» Никогда, редко, иногда, часто, всегда.
3. «Как бы вы охарактеризовали связь между руководителями и рядовыми сотрудниками в нашей организации?» Очень плохая, плохая, посредственная, хорошая, отличная.

Здесь можно найти список наиболее распространенных шкал, которые следует использовать вместо шкалы согласия / несогласия.
Да, это требует дополнительных усилий от автора опроса. Но, вполне логично, что такую дополнительную работу должен проделать исследователь, а не респондент.
А если бы вы сами были респондентом, то что бы вы предпочли - ответить на блок из 80 высказываний, требующих вашего согласия / несогласия, или же ответить на серию вопросов, в каждом из которых используется своя собственная шкала оценки? Кроме того, разнообразие формулировок может предотвратить ситуацию, при которой респонденты быстро соглашаются с высказываниями, «лишь бы побыстрее ответить».
У многих исследователей, может сохраниться желание по-прежнему использовать шкалу согласия / несогласия в своих исследованиях. Но мы согласны не соглашаться на этот счет.

Автор: Джеффри Хеннинг (Jeffrey Henning) - президент компании маркетинговых исследований Researchscape International, разрабатывающей исследования по заказу малого бизнеса; член Совета директоров MRA; в 2012 году стал первым лауреатом премии MRA Impact Award.
Оригинал статьи http://researchaccess.com
Перевод статьи Агентство маркетинговых исследований FDFgroup