Термины и определения
1. Генеральная совокупность
Все люди или единицы, о которых исследователь хочет сделать вывод: например, все взрослые жители, зарегистрированные избиратели или вероятные участники голосования.
Пример: Опрос взрослых нельзя автоматически пересказывать как мнение всех зарегистрированных избирателей.
Примечание: Модуль 1/5 · Сначала назовите группу, к которой относится результат.
2. Выборка
Часть генеральной совокупности, у которой собрали ответы и по которой оценивают характеристики всей группы.
Пример: Ответы 1200 участников являются выборкой, а не всей страной.
Примечание: Модуль 1/5 · Большая выборка помогает точности, но не исправляет плохой способ отбора.
3. Даты полевого этапа
Период, когда респонденты фактически отвечали; он определяет, какие события могли повлиять на ответы.
Пример: Опрос, завершённый до дебатов, не измеряет реакцию на дебаты, даже если статья вышла позже.
Примечание: Модуль 1/5 · Не путайте дату публикации с датами сбора данных.
4. Заказчик и исполнитель
Заказчик финансирует или инициирует исследование, а исполнитель проектирует и проводит его; роли могут принадлежать разным организациям.
Пример: СМИ заказало опрос, а независимая исследовательская компания провела интервью и расчёт.
Примечание: Модуль 1/5 · Источник финансирования важен, но сам по себе не доказывает ошибку. Проверяйте методику.
5. Режим опроса
Способ получения ответов: телефон, веб-панель, личное интервью, почта или смешанная схема.
Пример: Один и тот же вопрос по телефону и онлайн может привлекать разные группы и вызывать разные модели ответа.
Примечание: Модуль 1/5 · AAPOR рекомендует раскрывать mode вместе со способом набора участников.
6. Точная формулировка вопроса
Дословный текст вопроса, порядок вопросов и набор вариантов ответа, которые увидел или услышал респондент.
Пример: «Поддерживаете меру?» и вопрос с длинным описанием её последствий могут дать разные ответы.
Примечание: Модуль 1/5 · Первый маленький шаг: найдите полный вопрос, не ограничивайтесь заголовком.
7. Рамка выборки
Практический список или механизм, из которого могли отобрать участников: адреса, телефоны, реестр или панель.
Пример: Онлайн-панель не охватывает автоматически каждого человека с интернетом: важен способ набора в панель.
Примечание: Модуль 2/5 · Неполная рамка создаёт риск недоохвата некоторых групп.
8. Вероятностная выборка
Схема, в которой у единиц целевой совокупности есть известная ненулевая вероятность отбора с использованием случайного механизма.
Пример: Случайно выбранные адреса могут служить основой вероятностного опроса.
Примечание: Модуль 2/5 · Вероятностный отбор позволяет связывать неопределённость с дизайном выборки.
9. Невероятностная, или opt-in, выборка
Участники набираются без известной вероятности отбора — например, сами присоединяются к онлайн-панели; вывод зависит от моделирования и допущений.
Пример: Открытый опрос на сайте измеряет ответы посетителей, решивших нажать кнопку, а не автоматически мнение населения.
Примечание: Модуль 2/5 · Нельзя объявлять любой онлайн-опрос плохим: ищите набор, коррекцию и раскрытые ограничения.
10. Размер выборки
Число использованных ответов; для простой вероятностной схемы больший n обычно уменьшает случайную погрешность, но эффект убывает.
Пример: Увеличение n с 500 до 1000 не делает опрос вдвое точнее.
Примечание: Модуль 2/5 · Репрезентативность зависит не только от размера, но и от отбора, ответа и взвешивания.
11. Неответ, или nonresponse
Ситуация, когда выбранные люди не отвечают; результат может сместиться, если отвечающие систематически отличаются от неответивших.
Пример: Если занятые молодые люди отвечают реже, их взгляды могут быть недопредставлены.
Примечание: Модуль 2/5 · Низкая доля ответа — повод изучить коррекции, а не универсальный приговор качеству.
12. Взвешивание
Присвоение ответам разных весов, чтобы учесть дизайн и приблизить распределение выборки к известным параметрам населения.
Пример: Недопредставленной возрастной группе могут дать больший вес при расчёте итогового процента.
Примечание: Модуль 2/5 · ONS: веса также учитывают вероятности отбора и неответ; они могут увеличить дисперсию.
13. Оценка, а не точное значение
Опубликованный процент — расчёт по выборке, используемый для оценки неизвестного значения во всей целевой группе.
Пример: 52% в опросе не означает, что ровно 52 из каждых 100 людей страны думают так.
Примечание: Модуль 3/5 · Говорите «оценка поддержки», а не «точно столько людей».
14. Процентные пункты в сравнении опросов
Процент описывает долю, а процентный пункт — абсолютную разницу между двумя процентами.
Пример: Рост с 40% до 44% равен 4 процентным пунктам, или 10% относительно исходных 40%.
Примечание: Модуль 3/5 · Для сравнения опросов обычно яснее использовать процентные пункты.
15. Погрешность выборки
Диапазон случайной изменчивости, возникающей потому, что опрошена выборка, а не вся совокупность; обычно указывается вместе с уровнем доверия.
Пример: Оценка 48% при ±3 п.п. имеет ориентировочный диапазон 45–51% для соответствующей вероятностной модели.
Примечание: Модуль 3/5 · Погрешность выборки не включает все возможные ошибки опроса.
16. Уровень доверия 95%
В повторяемой процедуре построения интервалов около 95% таких интервалов накрыли бы истинное значение при выполнении допущений модели.
Пример: Это не означает, что 95% отдельных респондентов ответили честно или что результат гарантирован.
Примечание: Модуль 3/5 · Формулировка относится к процедуре и допущениям, а не к уверенности в заголовке.
17. Подгруппа имеет свою неопределённость
Для молодёжи, региона или другой подгруппы фактическое n меньше общей выборки, поэтому её интервал обычно шире.
Пример: Общая погрешность ±3 п.п. не обязана применяться к подгруппе из 160 человек.
Примечание: Модуль 3/5 · Pew рекомендует искать n и погрешность именно анализируемой подгруппы.
18. Невыборочные ошибки
Ошибки покрытия, неответа, измерения, формулировки, режима, обработки и моделирования, которые не описываются одной опубликованной ± величиной.
Пример: Точный расчёт случайной погрешности не исправит наводящий вопрос.
Примечание: Модуль 3/5 · Погрешность — важная часть неопределённости, но не вся неопределённость.
19. База процента
Группа, из которой рассчитана доля: все опрошенные, знающие тему, давшие определённый ответ, зарегистрированные или вероятные избиратели.
Пример: 60% среди определившихся — не то же самое, что 60% среди всех респондентов.
Примечание: Модуль 4/5 · Ищите знаменатель и правила исключения «не знаю».
20. Округление
Опубликованные целые проценты скрывают десятые доли, поэтому сумма категорий может быть 99% или 101%, а маленькая разница — результатом округления.
Пример: 49,5% и 50,4% оба могут быть показаны как 50%.
Примечание: Модуль 4/5 · Не стройте сильный вывод на разнице в один округлённый пункт.
21. Один опрос и тренд
Один замер — снимок с неопределённостью; последовательность сопоставимых замеров лучше показывает устойчивое направление.
Пример: Скачок на 2 пункта в одном опросе может исчезнуть в следующем замере.
Примечание: Модуль 4/5 · Тренд требует сопоставимой методики и дат, а не подборки удобных точек.
22. Разница между вариантами
Для вывода о лидерстве недостаточно механически сравнить разницу с погрешностью одного процента; нужна неопределённость именно разницы.
Пример: При индивидуальной погрешности ±3 п.п. разрыв 4 пункта не автоматически доказан как устойчивый.
Примечание: Модуль 4/5 · Pew отмечает, что погрешность разницы часто заметно больше погрешности одной оценки.
23. Модель вероятного участника
Фильтр или модель, оценивающая, кто реально примет участие в событии; она использует ответы и допущения и может отличаться между организациями.
Пример: Результат среди всех взрослых может отличаться от результата среди likely voters.
Примечание: Модуль 4/5 · Проверяйте, какая группа вынесена в заголовок и как её определили.
24. Эффект методики, или house effect
Устойчивое отличие результатов организации, связанное с выборкой, режимом, взвешиванием, вопросами и моделями, а не обязательно с нарушением.
Пример: Два добросовестных опроса могут расходиться из-за разных вероятностных моделей и дат.
Примечание: Модуль 4/5 · Сравнивайте методику и серии одной организации, а не только бренд.
25. Topline и таблицы
Публикация с полным текстом вопросов, порядком, вариантами и распределением ответов, часто вместе с разрезами по группам.
Пример: Topline позволяет проверить, не сократил ли заголовок сложный вопрос до удобной фразы.
Примечание: Модуль 5/5 · Ищите приложение, questionnaire, topline, tables или methodology.
26. Минимум прозрачности
Кто заказал и провёл, кого изучали, как отбирали, когда и каким mode опрашивали, n, веса, полный вопрос и заявленная неопределённость.
Пример: Карточка СМИ без ссылки на методику не позволяет проверить половину этих полей.
Примечание: Модуль 5/5 · AAPOR Transparency Initiative использует более подробный перечень; это короткий читательский минимум.
27. Сравнение «одинаковое с одинаковым»
Сопоставьте целевую группу, даты, mode, формулировку, варианты ответа, n, веса и модель участника до сравнения процентов.
Пример: Нельзя честно назвать ростом разницу между опросом всех взрослых и опросом вероятных избирателей.
Примечание: Модуль 5/5 · Если методика изменилась, отметьте разрыв серии.
28. Красный флаг без мгновенного приговора
Отсутствующие даты, n, вопрос, исполнитель или описание отбора требуют осторожности и поиска первоисточника, но не доказывают автоматически фальсификацию.
Пример: Сначала откройте полный отчёт: сокращённая статья могла опустить методику.
Примечание: Модуль 5/5 · Проверяйте раскрытие и ограничения; не заменяйте анализ обвинением.
29. Финальная проверка методики
Откройте первичный отчёт, заполните шесть полей, сформулируйте один ограниченный вывод и завершите сессию.
Пример: «Организация опросила такую группу в такие даты и этим mode; результат — оценка с указанной неопределённостью» — достаточная учебная формула.
Примечание: Модуль 5/5 · Не обновляйте рейтинги бесконечно и не ищите только подтверждение своей позиции.
30. Схема «кто — кого — когда — как — вопрос — неопределённость»
Шесть вопросов: кто провёл, какую совокупность и выборку изучали, когда собирали ответы, каким способом, как звучал вопрос и какая неопределённость раскрыта.
Пример: «Исследователь; взрослые/избиратели; даты поля; телефон/онлайн; точный текст; погрешность и другие ограничения» — шаблон без политического вывода.
Примечание: Модуль 5/5 · Видимый прогресс: 30/30. Завтра повторите только слабые карточки; затем разберите один новый опрос и закройте страницу.