Низкий отклик в телефонных опросах. Пациент скорее мертв или скорее жив?

За последние 4 года отклик при проведении телефонных опросов в США перестал падать впервые с 1997 года. Этому свидетельствует новое исследование, проведенное компанией Pew Research Center. И несмотря на распространенное утверждение, что опросы находятся под угрозой, полученные данные показали, что влияние системной ошибки из-за уровня участников имело ограниченный характер. Этот отчет – четвертый в серии статей (предыдущие публиковались в 1997, 2003 и 2012). 

Среди ключевых результатов было выявлено что:

После десятилетий снижения отклик при проведении телефонных опросов, в последние годы стабилизировался на уровне 9%.
В то время как стабилизация – хорошая новость для индустрии, настолько низкий уровень отвечающих свидетельствует о появлении системной ошибки в том случае, если люди, которые на регулярной основе участвуют в опросах отличаются от тех, кто в них не участвуют. Однако, данное и предыдущие исследования показывают, что отклик не является индикатором системной ошибки.

Результаты телефонных опросов на политические темы и темы о религиозной принадлежности похожи на результаты face2face опросов на эти же темы с большой выборкой, такие как General Social Survey.
Это предоставляет весомое доказательство того, что решение участвовать в телефонном опросе не связано с политическими, социальными или религиозными взглядами. Так что даже в случае низкого отклика телефонный опрос на мобильные и стационарные телефоны способен дать точные оценки политических взглядов.

Не было обнаружено увеличение влияния системной ошибки из-за неответов с 2012 года.
Сравнение по 13ти вопросам (демография, образ жизни и здоровье) с вопросами из федерального опроса с высоким откликом показало то, что результаты телефонного опросы были точны как в 2012 году, так и в 2016. Средняя разница между результатами телефонного опроса и оценками использовавшегося для сравнения опроса составила 2.7 процента в 2016, по сравнению с 2.8 процента в 2012.

Телефонные опросы существенно преувеличивают гражданскую активность, вероятно, по причине системной ошибки из-за неответов.
Как было установлено в предыдущем исследовании, люди, которые отвечают на опросы, часто оказываются теми же людьми, которые участвуют в общественной жизни своего сообщества – они активисты. Но, к счастью для проводящих опросы, гражданская активность не коррелирует с политическими взглядами и другими характеристиками, которые исследователи хотят измерить с их помощью.

Телефонные опросы также преувеличивают политическую активность, но на меньшем уровне.
И сравнение результатов, и анализ базы данных избирателей показали, что политически активные взрослые чрезмерно представлены в опросах. Влияние системной ошибки на оценку политической активности обычно представлено однозначным числом (например, телефонные опросы преувеличивают долю взрослых избирателей примерно на 7%), в то время как влияние системной ошибки на гражданские показатели исчисляется двухзначным числом (например, телефонные опросы преувеличивают долю взрослых, участвующих в спортивных или рекреационных организациях за прошлый год на 16%).

Знание о том, что опросы с низким откликом существенно смещают результаты ответов на одни вопросы (например, о волонтерской деятельности), и не влияют на другие, (например, о политических симпатиях или религиозной принадлежности) подчеркивает важность проведения личных опросов с высоким откликом, благодаря которым подобные несоответствия можно обнаружить.
Без таких опросов, как Current Population Survey, American Community Survey, American National Election Survey и General Social Survey, исследователям стало бы куда сложнее, если и вовсе невозможно, определять, присутствует ли в общественных опросах с низким откликом системная ошибка или нет.

Большая часть результатов исследования основана на сравнении оценок телефонных опросов с широко признанными результатами опросов, проведенными государственными учреждениями или же ими профинансированными, в которых было куда больше участников, чем в типичном телефонном опросе. Всего 29 вопросов было сопоставлено с идентичными (или почти идентичными) вопросами, заданными в ходе телефонного опроса Pew Research Center.

Что такое системная ошибка из-за неответов?

Системная ошибка – это ошибка, которая возникает тогда, когда что-то в том, как составлен опрос, вызывает систематическое отклонение от того, что на самом деле происходит среди населения. Это не «ошибка выборки», которая возникает случайно из-за того, что в процессе сбора данных респонденты выбираются случайным образом.

Термин «системная ошибка», использующийся в этом исследовании, не подразумевает оказание предпочтения какой-то группе людей, точке зрения или умышленную подгонку результатов со стороны исследователя.

Данный отчет фокусируется на системной ошибке из-за неответов, которая возникает, когда люди, с которыми связались и которые согласились принять участие в опросе, систематически отличаются от тех, с кем связаться не удалось, или кто отказался участвовать в опросе. Например, с молодежью может быть сложнее связаться для интервью.  Это значит, что опрошенные окажутся старше, чем население в целом. В том случае, если вопросы связаны с возрастом, то результаты будут слишком сильно отражать настроение и поведение людей более старшего возраста, если не будет предпринята попытка скорректировать ошибку.

Беспокойство о системной ошибке из-за неответов возросло вместе с тем, как возросло число не отвечающих на опросы. Но важно помнить, что исследователи были обеспокоены этой проблемой задолго до того, как появились современные исследования с помощью опросов. И методы исправления системной ошибки из-за неответов хорошо проработаны и широко распространены. В частности, почти все высококачественные опросы (включая опросы Pew Research Center) используют какой-либо метод статистического взвешивания, чтобы убедиться, что их выборка соответствуют населению в целом в плане географии, возраста, уровня образования, пола, расы и других характеристик. Однако системная ошибка из-за неответов все равно может случится, если респонденты и нереспонденты отличаются по какому-либо показателю, который не учитывался при взвешивании. Данный отчет ставит целью изменить и задокументировать причину и масштаб системной ошибки из-за неответов в телефонных опросах с дозвоном по случайным комбинациям цифр, на подобие тех, которые проводит Pew Research Center.

Результаты телефонных опросов с низким откликом по-прежнему сопоставимы с результатами опросов с высоким откликом на политические и религиозные темы

Некоторые концепты настолько основополагающие для понимания общественного мнения, что их продолжают измерять в опросе за опросом. Эти концепты включают принадлежность к политической партии, политическую идеологию и религиозную принадлежность. Несколько face2face опросов с высоким откликом, равно как и опросы с низким откликом, на регулярной основе задают эти вопросы, так что исследователи могут изучить, как эти параметры соотносятся с реакцией на законы и на иные события. Возможность сравнить результаты face2face опроса позволяет оценить, являются ли телефонные опросы по-прежнему точными, когда отклик измеряется однозначным числом.

Если утверждение, что опросы более неэффективны, правдиво, то это должно проявляться в трендах этих фундаментальных концептов. В частности, две линии на графике (одна – для результатов опроса с высоким откликом, другая – для телефонного опроса), которые почти совпадали в 1990х и в начале 2000х, должны начать расходиться, допустим, к 2016 году, по причине того, что опросы, в которых отклик измеряется однозначным числом, больше не способны давать оценки без системной ошибки. Но данные говорят об обратном.

В данном исследовании были сравнены тренды опроса Pew Research Center и General Social Survey (GSS). Из-за разницы в формулировках опроса и способе интервьюирования, это сравнение не совсем точное. Вдобавок, оценки GSS представлены на основе отдельных опросов с небольшой выборкой. Оценки Pew Research Center представляют все проведенные за год интервью, в которых результаты для одинаковых вопросов из разных интервью суммировались и приводились к среднему значению за год. Это было сделано для того, чтобы минимизировать влияние ошибки выборки.

За четверть века GSS и телефонные опросы Pew Research Center давали очень похожие оценки того, какая доля взрослых американцев идентифицирует себя с Демократической или Республиканской партией. Оба набора опросов измеряли принадлежность к партии, спрашивая респондентов, считают ли они себя демократами, республиканцами или же независимыми. Средняя разница между оценками опросов с низким и высоким откликом составила 1.4 процента для относящих себя к демократам и 1.6 процента для относящих себя к республиканцам.

Соотношение доли относящих себя к одной или другой партии остается схожим в условиях низкого и высокого откликов. На протяжении почти каждого сравненного года число демократов преобладало над числом республиканцев в обоих опросах (хоть и разница между партиями не всегда является статистически значимой), и преобладание демократов возросло и уменьшилось параллельным образом в обоих опросах. Оба опроса выявили, что население более однородно распределялось между партиями в начале 2000х, чем в после 2008 года. В 2016 – самом позднем году, для которого было доступно сравнение – GSS выявил, что демократы превосходят числом республиканцев примерно на 9 процентов, в то время как опрос Pew Research Center показал, что демократов больше на 7 процентов. В целом, этот анализ демонстрирует, что – несмотря на низкий отклик – телефонные опросы способны дать точные результаты, когда речь идет о политических симпатиях американского населения. Другой подход к этому вопросу (представленный далее в данном отчете), основанный на сравнении участников телефонного опроса с не участниками с помощью данных сводок избирателей, привел к такому же заключению.

Помимо политических симпатий, картина американской идеологической ориентации остается похожей и в GSS, и в опросе Pew Research Center. В опросе Pew Research Center респондентам предлагалось выбрать между пятью категориями, варьировавшимися от «очень либерального» до «очень консервативного», в то время как GSS предлагал респондентам полностью подписанную шкалу с семью делениями от «крайне либерального» до «крайне консервативного». В обоих опросах средней была опция «умеренный».

Несмотря на разницу в шкалах, результаты выявили совпадение в опросах Pew Research Center и GSS по доле «умеренных», консервативных и либеральных. Оба опроса стабильно выявляли преобладание тех, кто относил себя к консерваторам, и оба опроса выявили плавное увеличение доли либералов со временем. Число считающих себя умеренными было схожим в обоих опросах (например, 34% в опросе Pew Research Center в 2016 году и 36% в GSS в том же году). Консерваторы превосходили числом либералов в опросе Pew Research Center 2016 года в отношении 36% к 25%, в то время как в GSS их отношение составляло 33% к 27%.

Как и политика, религия представляет огромный интерес для многих людей. Но по многим причинам правительство практически не собирает информацию о религиозной принадлежности, о религиозных настроениях и о поведении населения. На самом деле, в 1976 Конгресс запретил Бюро Переписи населения США спрашивать о религии в обязательных переписях каждые 10 лет. Однако GSS спрашивал о религии с момента своего создания.

Несмотря на разные формулировки, опросы Pew Research Center и GSS получили похожие результаты и по уровням, и по трендам в области религиозной деятельности и религиозных убеждений. Наверное, самым фундаментальным является то, что теологи называют «причастностью» или религиозной принадлежностью. Опросы Pew Research Center отслеживают религиозную принадлежность почти на ежемесячной основе с помощью относительно прямолинейного набора вопросов, которые предлагают респондентам сначала выбрать из 12 категорий, таких как протестанты, католики, иудеи, атеисты, а затем ответить на более подробные вопросы. Набор вопросов GSS о религиозной принадлежности составлен похожим образом, однако он предлагает меньшее число опций в первоначальном вопросе (протестанты, католики, иудеи, некоторые другие религии или ее отсутствие).

Картины религиозной принадлежности, составленные обоими опросами, очень похожи друг на друга по доле населения, относящих себя к основным религиозным традициям, и их изменения со временем. Оба опроса показали, что процент взрослых людей, не связывающих себя с религией (атеистов и агностиков) стремительно возрос в последнее десятилетие и составил более, чем одну пятую населения в 2016 (23% в опросах Pew Research Center и 22% в GSS). Схожим образом оба опроса показали, что принадлежность к протестантству стабильно снижалась на протяжении всего исследованного периода.

Оба опроса выявили небольшое снижение доли католиков за последнее десятилетие или около того. Опросы Pew Research Center в 2016 показали, что принадлежность к католичеству составила 21%, в то время как GSS определил долю католиков как 23%. Разница между двумя опросами статистически незначительна.

Выбора результатов для сравнения

Оценка системной ошибки в опросах требует эталона, с которым можно сравнить результаты. У выборов есть такой эталон, по крайней мере, для измерения намерения избирателей: их итог. Но большая часть результатов для сравнения берется из других опросов. Результаты, использованные здесь, были взяты из профинансированных правительством опросов, которые проводились с существенными затратами и при огромном внимании к качеству опроса. Но все же они остаются опросами, и потому сталкиваются с теми же проблемами, что и телефонные опросы с низким откликом, о которых ведется речь в статье.

Опросы, которые использовались для сравнения в этой статье, обладают высоким откликом – порядка 60% и больше. Соответственно, предполагается, что влияние системной ошибки из-за неответов в них существенно, хотя исключить ее невозможно. Так что важно ответить, что все опросы, какой бы у них ни был отклик, подвержены ошибкам проведения. Вопросы, которые задают в ходе профинансированных правительством опросов, грамотно разработаны и тщательно протестированы, но и они не застрахованы от факторов, которые нарушают их надежность и корректность. Контекст, в котором задается вопрос – созданный предыдущими вопросами – зачастую влияет на ответы. Схожим образом, все опросы могут быть подвержены различным системным ошибкам, связанным с выбором ответа, самой значительной из которых является «ошибка социальных ожиданий». Особенно в том случае, когда присутствует интервьюер, респонденты могут порой приукрашивать свои ответы, чтобы предстать в более выгодном свете (например, преувеличивая частоту участия в выборах). Все эти факторы могут повлиять на возможность сравнения идентичных, на первый взгляд, вопросов, заданных в разных опросах. Оценка качества данных – в лучшем случае, неточный процесс. Поэтому важно помнить, что сравнение результатов позволяет изменить предположительную системную ошибку, и что оно сильно зависит от конкретного набора измеряемых показателей.

Телефонные опросы преувеличивают число политически активных взрослых, но системная ошибка достаточно постоянна

Предыдущие исследования показали, что опросы выявляют диспропорционально высокое число активных избирателей. Ключевым вопросом является тот, возросло ли влияние системной ошибки с тех пор, как отклик стал выражаться однозначным числом. Чтобы прояснить этот вопрос, был изучен продолжительный тренд из Current Population Survey (CPS), отклик в котором достигает 87%.

И CPS, и телефонный опрос Pew Research Center на регулярной основе отслеживали долю взрослых американцев, которые зарегистрировались для голосования.

Данные продемонстрировали практически постоянный тренд преувеличения числа зарегистрированных для голосования в телефонных опросах с 1996 по 2014 (последний год, для которого доступны правительственные данные). В частности, наблюдаемое в 2014 году преувеличение – в году, в котором процент опрошенных для телефонного опроса составил 9% – похоже на то, которое наблюдалось в 1996 году, когда процент опрошенных составлял 37%. Это доказывает, что невысокий отклик не влияет на результаты ответа о регистрации на выборах.

CPS также предоставил результаты для сравнения по двум другим показателям политической активности: частоте участия в голосовании в местных выборах и взаимодействии с государственными служащими за прошлый год. Pew Research Center спрашивает об этих показателям крайней редко, и это означает отсутствие аналогичного тренда, за которым можно проследить. Но в целях поддержания данного исследования были добавлены вопросы о местном голосовании и взаимодействии с государственными служащими в национальный телефонный опрос 2016 года.

Сравнение собранных данных с наиболее свежими данными CPS показало, что респонденты, учавствовашие в телефонном опросе более активны, чем респонденты государственного опроса, хотя значение системной ошибки варьировалось от 5 до 15 процентов. Когда речь идет о регулярности участия в выборах, CPS показал, что 32% взрослых участвуют во всех или почти во всех подобных выборах. Оценка телефонного опроса составила 37%, преувеличивая число примерно на 5 процентов.

Куда большая системная ошибка возникает в вопросе о взаимодействии с выборными должностными лицами. CPS выявил 10% взрослых, которые связывались или посещали какого-либо чиновника на любом государственном уровне, чтобы выразить свое мнение. Для сравнения, телефонный опросе показал долю таких людей в 25%.

Самое актуальное сравнение статуса регистрации для голосования датируется 2014 годом (последний год проведения выборов, для которого доступны данные CPS). В опросе CPS 63% взрослых, обладающих правом голоса, зарегистрировались для голосования, в то время как Pew Research Center оценил их число как 70% на основе трех опросов, проводившихся во время выборов.

Системная ошибка сохраняется при измерении гражданской и социальной активности

Когда речь заходит об измерении гражданской и социальной активности, результаты становятся менее радужными. Как и отчет Pew Research Center о неучастии в опросах в 2012 году,  новое исследование подтверждает, что телефонные опросы продолжают преувеличивать число людей, утверждающих, что они занимались волонтерской деятельностью, помогали решать проблемы своего района, входили в какое-либо сообщество, рекреационную или гражданскую ассоциацию и которые говорят, что доверяют или регулярно общаются с соседями.

Системная ошибка варьируется от головокружительных 38 процентов в вопросах о работе с соседями (8% в Current Population Survey против 46% в телефонном опросе) до низких 9% в вопросах об участии в гражданских или государственных ассоциациях (6% в CPS против 15% в телефонном опросе).

Источник этих системных ошибок достаточно хорошо изучен, благодаря исследованию, опубликованному Abraham, Helms и Presse в 2009 (и более позднему исследованию Amaya и Presser, в котором изучался процент участия в волонтерской деятельности и другие виды гражданской активности, полученный CPS – тем же опросом, с результаты которого используются для сравнения в данном анализе). Сравнивая респондентов, в последствии прошедших особый дополнительный опрос, с теми, кто этот опрос не проходил, авторы продемонстрировали, что общий процент участия в волонтерской деятельности зависел от доли тех, кто вовсе не проходил опрос. В результате авторы заключили, что участие в опросах – это просоциальное поведение, связанное с другими типами поведения, вроде волонтерской деятельности. Они написали: «Наши результаты показывают, что наличие/отсутствие альтруизма в человеке влияет на принятие решения, участвовать в опросе или нет».

Анализ 2012 года данной проблемы показал, что подобное поведение – в частности, волонтерская деятельность – напрямую не связана с другими темами, интересующими проводящих опрос. Похожий анализ был проведен с данными 2016 года и обнаружилось, что превалирование взрослых с активной гражданской позицией в телефонных опросах, напротив, увеличивало поддержку Республиканской партии и Дональда Трампа. Среди белых нелатиноамериканцев доля тех, кто относил себя к республиканцам или к ним склонялся, составила 55% среди тех, кто занимался волонтерской деятельностью в прошлом году, по сравнению с 45% неволонтеров, относящих себя к республиканцам или к ним слоняющимся. В теории, взвешивание доли волонтеров, чтобы выровнять данные телефонного опроса и CPS, могло бы уменьшить системную ошибку из-за гражданской активности, но вовсе не обязательно, что это поможет сделать другие оценки опроса более точными. В 2016 году подобная поправка, скорее, только бы усугубила преувеличение поддержки Хиллари Клинтон, о которой сообщали некоторые телефонные опросы. С учетом сказанного, на данный момент утверждение о превалировании волонтеров, поддерживающих республиканцев, основано только на одном опросе. Потребуется дальнейшее изучение других опросов, чтобы проверить, насколько обоснована эта закономерность.

При телефонных опросах наблюдается незначительное отклонение в данных из-за ошибки неответов в вопросах об образе жизни, здоровье и демографии

По 14 демографическим и личным вопросам (мы пока не рассматриваем взвешивание опросов Pew Research Center – это будет рассматриваться далее), средняя разница между правительственными оценками и оценками опроса Pew Research Center составила 3 процента, варьируясь от 0 до 8 процентов. Наибольшая разница наблюдалась в вопросах, касающихся здоровья опрошенных. По правительственным оценкам, процент тех, кто оценивал свое здоровье как отличное или очень хорошее, составил 59%, в то время как в телефонном опросе он составил 51%.

Другие 13 личных и демографических показателя оказались очень схожими в двух опросах. Телефонный опрос Pew Research Center преувеличил долю тех, кто получал карточки на еду в прошлом году на 4 процента, и долю тех, кто получал пособие по безработице, тоже на 4 процента.

Оставшиеся демографические и личные показатели не совпадали на 3 или менее процента. Эти показатели включали семейный доход, статус занятости, размер семьи, гражданство, наличие медицинского страхования, длительность проживания по текущему адресу, брачное и семейное положение, курение, место рождения среди латиноамериканцев и наличие водительских прав. Иными словами, по всем этим показателям телефонные опросы с относительно низким процентом опрошенных дали практически одинаковые результаты, как и правительственный опрос с высоким процентом опрошенных. 

Точность телефонных опросов в вопросах об образе жизни, здоровье и демографии так же высока, как и четыре года назад, особенно, среди молодежи

Исследователей, разумеется, интересует, насколько системная ошибка из-за неответов ухудшается со временем. Сравнивая текущие уровни с уровнями, измеренными примерно четыре года назад, мы обнаружили, что в среднем точность телефонных опросов осталась такой же, как и в 2012 году. Для 13 вопросов о демографии, образе жизни и здоровье, по которым были доступны данные, средняя разница между оценками опроса Pew Research Center и оценками опроса с высоким откликом, использовавшимся в качестве эталона, составила 2.7 в 2016, по сравнению с 2.8 в 2012.

В целом, точность этих эталонных опросов была ниже среди определенных демографических групп, таких как молодежь и различные меньшинства. Но не было обнаружено свидетельств того, что системная ошибка внутри этих групп возросла с течением времени. Для большинства основных подгрупп – определявшихся возрастом, полом, расой или уровнем образования – точность оценок телефонных опросов осталась на том же уровне или немного возросла. Например, для 13 вопросов об образе жизни, здоровье и демографии, по которым проводилось сравнение, средняя разница между оценками для взрослых латиноамериканцев из телефонного опроса Pew Research Center и теми же оценками из эталонного опроса составила 5.5 процента в 2016, по сравнению с 6.7 в 2012. Среднее изменение точности с 2012 до 2016 для белых не латиноамериканцев было похожим. Для афроамериканцев, однако, оценки телефонных опросов разнились с оценками эталонного опроса в среднем на 5.1 процента в 2016 против 4.2 процентов в 2012.

Среди проанализированных групп, точность оценок молодежи (в возрасте от 18 до 29) улучшилась сильнее всего. В опросе Pew Research Center проведенном в 2012, средняя разница по сравнению с эталонным опросом составляла 6.5%. В опросе 2016 года разница по тому же набору вопросов составила 4.7%. Это изменение указывает на небольшое улучшение качества данных, собранных среди молодых взрослых в возрасте от 18 до 29 лет в телефонных опросах с низким процентом опрошенных, в 2016 по сравнению с 2012 годом.

Уровень образования – другой ключевой демографический тип классификации, который нас часто интересует. Для взрослых с полным средним образованием или более низким уровнем образования оценки телефонного опроса отличались от оценок эталонного опроса в среднем на 5.3% в 2016 против 4.4 % в 2012. Это же изменение средней разницы с 2012 по 2016 было не таким разительным для взрослых с более высоким уровнем образования.

Тренды при сравнении выборок во времени

В то время как выборки телефонных опросов с дозвоном на телефонные номера сгенерированные случайным образом (созданных, чтобы случайно выбирать респондентов и тем самым получать репрезентативный срез населения) изначально были сбалансированы, определенные типы демографических системных ошибок вскоре все же начали в них закрадываться, как только дело дошло до звонков. Эти ошибки хорошо известны, и поэтому Pew Research Center и многие другие занимающиеся опросами организации используют взвешивание для устранения демографического дисбаланса. Но все еще остается вопрос – становятся ли они хуже со временем. Данный анализ показывает, что нет.

По причине того, что более образованные люди с большей охотой отвечают на опросы, они превалируют в большинстве телефонных опросов, в то время как некоторые этнические меньшинства – особенно те, для кого английский не является родным языком, недостаточно представлены в опросах. С молодежью сложно связаться для опроса, а жители городов (по множеству причин, связанных с образом жизни и демографией) еще более неуловимы.

Чтобы устранить эти системные ошибки, опросы уже долгое время полагаются на статистическое взвешивание как на метод коррекции известных проблем, связанных с ключевыми направляющими демографическими переменными, такими как раса и этническая принадлежность, возраст, пол и уровень образования. Выборка была сравнена с эталонными результатами государственного опроса по этим основным демографическим переменным, и данные были модифицированы так, чтобы выборка соответствовала населению в целом. Более подробное обсуждение взвешивания может прочитать здесь. Опросы с меньшим откликом могут быть подвержены нескольким типам подобных системных ошибок. Но эти ошибки являются математической функцией определенных аспектов формата опроса, как, например, включение в выборку владельцев сотовых телефонов (что помогает связаться с более молодыми людьми из более разнообразных этнических групп) или метод связи с респондентами из одной семьи.

Чтобы создать противовес снижающемуся отклику, из-за которого возникает системная ошибка из-за неответов, взвешивание, которое применяется для исправления системных ошибок, должно стать более агрессивным. Но и у этого подхода есть свои минусы, так как взвешивание приводит к некоторой потери точности выборки и к уменьшению ее эффективного размера. Для того, чтобы оценить, насколько системные ошибки демографических характеристик меняются со временем, невзвешенный демографический состав выборок Pew Research Center был сопоставлен с эталонными правительственными результатами по четырем ключевым переменным за четверть века.

Два соседних графика иллюстрируют эти тренды. На каждом графике изображены три линии для каждой категории интересующих нас переменных. Например, левая часть первого графика показывает долю выборки, чей возраст которой составлял от 18 до 29 лет. Бледно-голубая линия – это невзвешенная доля ежегодной выборки Pew Research Center с 1992 по 2016. Серая линия, рассчитанная на основе переписи населения США, является эталонной для этой возрастной группы. Темно-синяя линия – это результирующий тренд Pew Research Center после применения взвешивания (она должна практически совпадать с эталонной). Как показывает график, в опросах середины прошлого десятилетия недоставало доли молодых людей этой возрастной группы – данные явление связано с быстрым распространением сотовых телефонов. После того, что Pew Research Center начал включать сотовые телефоны в свою выборку с 2007 года, количество молодежи начало увеличиваться, и точность этой переменной улучшилась.

Согласно графику, величина наблюдаемой системной ошибки для большинства переменных варьировалась в течение этого временного периода. Но в общем, ее величина не стала существенно больше, чем в прошлом. И качество выборок по возрасту, полу, расе и этнической принадлежности улучшилось за последние годы, благодаря введению в выборку большего числа сотовых телефонов и другим улучшениям формата опроса, вроде регулярного проведения интервью на испанском языке.

То, как правильно представить группы с разными уровнями образования, остается, пожалуй, самым серьезным испытанием для опросов с низким откликом. В опросах Pew Research Center и подобных им постоянно превалируют выпускники колледжей и не достает респондентов со средним образованием и ниже за исследуемый период. Величина этого дисбаланса плавно росла за последние годы, поднявшись со среднего значения в 8-10 процентов в 1990х и 2000х до 12-15 процентов в 2012 и далее. В это же время недостаток респондентов без высшего образования оставался равномерным, со средним значением в 10 % с 1990х годов. Как уже обсуждалось выше, взвешивание помогает скорректировать этот дисбаланс. Тем не менее, нахождение способа закрыть этот разрыв в данных об уровне образования, вместо того, чтобы полагаться только на взвешивание, принесет пользу исследователям.

У респондентов и нереспондентов телефонного опроса был схожий политический профиль, но респонденты голосуют чаще

В мире опросов системная ошибка из-за неответов становится проблемой, когда примерно 90% людей, которые не принимают участие в каком-либо опросе, существенно отличаются от 10%, кто принимает в нем участие. Один из способов выяснить, происходит ли это – побольше узнать о людях, которые не отвечают на опросы. К сожалению, это непростая задача, так как в любом опросе нереспонденты – это те, кто не предоставляют информацию о себе. Однако разработка ресурса с данными – крупной, платной базе данных взрослых, их регистрационных данных для голосования и их истории участия в выборах – открывает путь к многим из этих нереспондентов.

Чтобы извлечь из этого пользу, номера сотовых телефонов, выбранных для опроса – и тех, кто ответил на опрос, и тех, кто этого не сделал – были сопоставлены с крупной национальной базой данных, называемой сводкой избирателей, в которой содержится информация о регистрации для голосования, явке, регистрации в партии и предполагаемых политических симпатий взрослых американцев. Из 31,412 номеров сотовых телефонов для 7,698 обнаружились уникальные совпадения в сводке избирателей. Среди них 630 были респондентами опроса и 7,068 – нереспондентами, составляя 22% и 19% всех респондентов и нереспондентов соответственно.

В итоге: сравнение респондентов и нереспондентов среди уникальных совпадений номеров выявило, что респонденты были более политически активны, чем нереспонденты, но почти идентичны по показателям политических симпатий. Этот результат очень похож на тот, что был получен в ходе сравнительного анализа в 2012.

Респонденты охотнее регистрировались для участия в выборах, чем не респонденты (85% среди респондентов против 81% среди не респондентов) и с большей вероятностью участвовали в выборах в 2012 году (62% против 52%).  Завышение явки в 2014 – участие в голосовании в промежуточных выборах, которые не включали президентские – существенно выше (49% среди респондентов опроса против 33% среди нереспондентов). Сводка избирателей так же включает вероятность участия в выборах 2016 года, где 0 символизирует крайне низкую вероятность участия, и 100 – крайне высокую. Средняя оценка для респондентов составила 77, в то время как для нереспондентов она составила 69.

Для сравнения, не было обнаружено каких-либо доказательств присутствия системной ошибки в плане политических симпатий выборки. Те, кто участвовал в опросе, довольно сильно походили на тех, кто не участвовал, когда речь шла о партийной принадлежности. Сводка избирателей включала шкалу потенциальных политических симпатий, значения которой варьировались от 0 (наиболее республиканских) до 100 (наиболее демократических). Среднее значение шкалы и для респондентов, и для нереспондентов составило 58. Схожим образом записи партийной регистрации из сводки избирателей не выявили системной ошибки: 20% респондентов оказались зарегистрированными демократами, как и 20% нереспондентов. Для республиканцев эти значения составили 14% и 13% соответственно.

Несмотря на то, что этот анализ ограничен только уникальными совпадениями телефонных номеров сотовых телефонов, он – используя различные подходы – пришел к тому же выводу, что анализ GSS в самом начале отчета: несмотря на низкий отклик, грамотно сформулированный и тщательно взвешенный телефонный опрос все еще способен предоставить точную информацию о политическом профиле американцев.

Оставить свои комментарии по затронутой теме Вы можете на наших страницах в Facebook и Вконтакте.

Оригинал статьи www.pewresearch.org
Перевод статьи Агентство маркетинговых исследований FDFgroup