Как определить размер выборки для конджойнт анализа

Какого размера должна быть выборка для конджойнт анализа? Это довольно распространенный вопрос. Возможно ли дать общий совет, который можно будет с легкостью применить на практике? И, в частности, возможно ли разработать простое практическое руководство, которое можно было бы применять, еще не получив детальной информации о самом исследовании?

Размер выборки для «обычного» исследования

Начнем с того, с чего обычно начинается оценка необходимого размера выборки в маркетинговых исследованиях. Существует два стандартных подхода к определению размера выборки – один основан на расчете ошибки частоты (доли) признака, другой на расчёте статистически значимых различий между частотами (долями) двух признаков.

В первом случае нас интересует точность полученных результатов. Стандартные методы расчета позволяют оценить погрешность для частоты (доли) признака (процесс расчета для частот проще, чем для средних значений, и потому используется чаще). Так как для выборки в 400 респондентов максимальная ошибка составляет +/-5%, можно утверждать, что погрешность в определении доли произвольно взятого признака не превысит +/-5%. Исходя из требований к погрешности и имеющегося бюджета можно решить подходит ли такой размер выборки для исследования или нет.

Во втором случае мы можем выбрать такой размер выборки, который, скорее всего, позволит получить значимые различия между двумя частотами (долями). Чтобы определить, являются ли две частоты различными, обычно используется t-тест для независимых выборок. Например, для получения разницы в 7 процентных пунктов необходима выборка в 400 респондентов.

На практике выборка в 400 респондентов часто берется за выборку «по умолчанию». Конечно, если необходимо провести анализ данных не только по выборке в целом, но и по подгруппам, общий размер выборки может быть увеличен. Огромным преимуществом в данном случае служит то, что все расчеты проводятся без учета количества или типа вопросов исследования. Таким образом, решение о размере выборки можно принять заранее, не дожидаясь появления окончательной версии опросной анкеты.

Размер выборки для конджойнт анализа

Для удобства представим, что мы рассматриваем только дискретный выбор – наиболее популярный тип конджойнт анализа. На экране респондентам демонстрируется несколько (например, три-пять) продуктов (с описанием различных характеристик), и просят выбрать один, наиболее предпочтительный.

Традиционно план проведения конджойнт анализа тестируется для оценки типичных погрешностей, которые могут повлиять на показатель полезности, являющийся наиболее важным итогом исследования. Стандартное правило в данном случае состоит в необходимости удостовериться, что уровень погрешности составит 0,05 или менее (что эквивалентно погрешности в оценке показателя полезности на уровне +/- 10 %). Тест позволяет определить размер выборки, которая обеспечит необходимый показатель погрешности. Помимо того, что его можно провести только с использованием специализированного ПО уже после завершения работы над планом исследования (а, следовательно, довольно поздно), данный тест дает лишь приблизительную оценку.

Практический же интерес представляют показатели полезности по выраженности различных характеристик, представленные в виде процентного соотношения между продуктами, например вероятность совершения покупки (в случае оценки одного продукта) и степень предпочтения (в случае оценки нескольких продуктов). Концепции продуктов, разработанные в рамках конджойнт анализа, зачастую оцениваются с использованием этих показателей для определения необходимых действий на рынке. В случае оценки вероятности покупки заказчик исследвоания может интересоваться показателем неопределенности (диапазон погрешности) оценки, а в случае оценки предпочтения – необходимостью установить, является ли различие в процентных соотношениях двух продуктов значимым.

Это, несомненно, очень схоже с ситуацией определения размера выборки в обычных опросах. Поэтому здесь вполне уместен вопрос о возможности использования той же системы расчета для определения размера выборки. Один из способов ответить на него – попробовать осуществить это на практике, т. е. мы можем провести реальный конджойнт анализ, рассчитать вероятность совершения покупки, оценить степень предпочтения и сопутствующий диапазон погрешности, которые затем можно будет сравнить с соответствующими расчетами по исследованиям в целом. Повторение этой процедуры в разных исследованиях позволит нам получить достаточно данных, чтобы определить, применимы ли методы расчета размеров выборки, используемые для обработки данных исследований, к результатам конджойнт анализа.

Мы протестировали несколько опросов разной длины и с разным размером выборки (от двух до девяти характеристик с 2–10 уровнями выраженности каждой; 400 – 2500 респондентов на исследование). И получили 29 базовых точек для анализа. Для оценки вероятности покупки мы рассчитали границы распределения показателей погрешности для каждого опроса, чтобы определить максимально возможный уровень. Для оценки степени предпочтения мы провели серию симуляций с участием двух продуктов (с процентным соотношением на уровне 40–60 %) и протестировали различия в соотношениях, необходимые для установления статистической значимости полученных результатов в выборках разного размера. (Техническое примечание: это, скорее, классический t-тест, а не байесовская версия, результаты которой могут отличаться.)

На рис. 1 и 2 полученные результаты представлены в виде диаграмм.

При использовании регрессионного анализа для прогнозирования вероятности совершения покупки и оценки степени предпочтения с целью получения значимого различия, были выявлены превосходные модели (с почти идеальными значениями R²). В обоих случаях коэффициент бета составил около 0,8, что позволяет предположить, что применение стандартных расчетов для определения размера выборки представляет собой несколько более консервативный подход.

Связь между расчетами по определению размера выборки для обычных опросов и конджойнт исследований вполне понятна, учитывая, что единственные переменные, используемые в этих тестах, – это соотношения (доли) и стандартные погрешности. Проще говоря, при наличии данных о соотношениях и стандартных погрешностях важен только результат, но не причина их возникновения.

И здесь возникают два вопроса.

Вопрос 1. А как же сложность?
Вопросы конджойнт анализа отличаются от прямых вопросов. Таким образом, даже если принять тот факт, что расчеты размера выборки для стандартных опросов применимы к конджойнт анализу, не будут ли они варьироваться в зависимости от сложности исследования? Например, не потребуют ли более сложные исследования бóльшей выборки? Сложность исследования может зависеть от различных переменных, таких как количество характеристик, степеней выраженности, концепций на страницу и т. д. Возможности протестировать каждую не было, однако не обнаружилось никаких различий (при использовании четырех базовых точек в каждой группе) в случае изменения количества рассматриваемых характеристик (менее пяти и семь-девять). Кроме того, на рис. 2 показаны средние оценки для каждого размера выборки, однако реальные отклонения довольно незначительны. Это указывает на то, что сложность исследования слабо влияет на расчеты размера выборки. Однако в тех случаях, когда в плане исследования присутствуют аномалии (например, 12 степеней выраженности характеристики), увеличение размера выборки может оказаться полезным.

Вопрос 2. Можно ли использовать меньше заданий с выбором?
Это частый вопрос, который возникает при завершении работы над планом исследования и обычно вызван опасениями, что опросная анкета получится слишком длинной. И здесь важна необходимость получить требуемые результаты без увеличения размера выборки. Было проанализировано два исследования, сравнив результаты, полученные при использовании полного набора заданий с выбором, с результатами опроса с половиной таких заданий, выбранных случайным образом. Как и ожидалось, предел погрешности повысился (для показателя вероятности совершения покупки), в то время как вероятность обнаружения значимых различий снизилась (для показателя степени предпочтения). Поэтому в данном случае наблюдается четкое снижение качества при использовании меньшего количества заданий с выбором.

В своей работе Джонсон и Орме (1996) продемонстрировали, что существует возможность компромисса между количеством заданий с выбором и размером выборки. Орме (2010) рассматривает две распространенные формы погрешностей в опросах и предполагает, что количество ошибок при отборе зависит от размера выборки, а ошибок в измерениях (преимущественно) – от количества заданий с выбором. Таким образом, можно сделать вывод, что на общую погрешность в результатах исследования можно повлиять путем поиска компромисса между двумя этими типами ошибок. На практике один из способов изучить эту возможность – это взглянуть на ситуацию с точки зрения доступности выборки. Если выборка обходится недорого и при этом широка (например, исследование в сфере B2C), компромисса можно достичь, снизив количество заданий с выбором и увеличив размер выборки в тех случаях, когда опросная анкета получается слишком длинной. Если выборка обходится дорого и достаточно ограниченна (например, исследование в сфере B2B), противоположный подход может оказаться более удачным.

Простота расчетов

Конджойнт исследование проходит через различные этапы разработки и повторения. Как определить необходимый размер выборки еще до получения информации о дизайне исследования? Самая простая рекомендация состоит в использовании общепринятого метода расчета предела погрешности и значимости. Это широко известные и часто используемые эвристические методы, которые характеризуются простотой расчетов и представляются довольно консервативными. Если же возникают обоснованные опасения, что исследование окажется нестандартно сложным, вполне разумно будет увеличить размер выборки.

Оставить свои комментарии по затронутой теме Вы можете на наших страницах в Facebook и Вконтакте.

Оригинал статьи www.quirks.com
Перевод статьи Агентство маркетинговых исследований FDFgroup