Что ломает выборку диссертации даже при правильной статистике

Можно без ошибок посчитать среднее, проверить гипотезу и получить аккуратное значение p. Но если люди или объекты попали в исследование по неверной логике, статистика лишь точно описывает плохую выборку. Это один из самых коварных провалов диссертации: таблицы выглядят профессионально, а вывод всё равно нельзя переносить на ту совокупность, о которой говорит автор.

Проблема обычно возникает раньше анализа — в момент, когда исследователь решает, кого именно наблюдать и как набирать участников. Исправить её новой формулой после сбора данных почти невозможно.

Фраза «мы изучаем студентов» кажется понятной, пока не появляются уточнения:

Пока генеральная совокупность не описана через такие границы, нельзя понять, кого выборка должна представлять. Автор набирает тех, до кого проще дотянуться, а в выводах незаметно возвращается к слову «студенты» без ограничений.

Самый частый сценарий выглядит безобидно: анкета уходит в общий чат, её заполняют добровольцы, затем ответы анализируются как срез всей группы. Это удобная добровольная выборка. Она не становится случайной только потому, что ссылку увидели многие.

Вероятность участия здесь зависит от интереса к теме, свободного времени, отношения к автору и желания отвечать. Если исследование посвящено цифровым инструментам, в него могут активнее войти люди, которым эти инструменты уже нравятся или, наоборот, сильно мешают. Молчаливое большинство останется невидимым.

Статистический тест не умеет восстановить тех, кто не попал в данные.

Большая выборка уменьшает случайную погрешность, но не обязательно уменьшает смещение отбора. Тысяча ответов из одного тематического сообщества может хуже представлять совокупность, чем меньшая, но продуманно набранная группа из разных сегментов.

Это полезно проверять простым вопросом: у какой части целевой совокупности фактически не было шанса попасть в исследование? Если список получается длинным, увеличение числа наблюдений только делает неверный вывод более уверенным на вид.

Ещё один опасный момент — очистка данных задним числом. Например, после анализа автор замечает, что часть ответов портит красивую картину, и исключает их как «некачественные». Иногда основания реальны: анкета заполнена наполовину, участник не относится к целевой группе, время ответа технически невозможно. Но такие правила должны быть заданы до просмотра результата.

Иначе критерий включения начинает обслуживать желаемый вывод. Даже честный исследователь рискует незаметно выбирать аргументы в пользу своей гипотезы.

В экспериментальных и сравнительных работах авторы часто радуются, когда в группах одинаковое количество участников. Однако баланс по численности не означает сопоставимость.

Группы могут различаться по:

Если эти различия связаны с результатом, эффект можно ошибочно приписать исследуемому фактору. Поэтому до расчётов нужна таблица базовых характеристик и объяснение того, почему сравнение допустимо.

В продольном исследовании часть людей не доходит до второго или третьего измерения. Простое удаление их строк создаёт удобный чистый массив, но может исказить результат. Уход часто не случаен: участникам стало трудно, они разочаровались, столкнулись с побочным эффектом или потеряли интерес.

Полезно сравнить оставшихся и выбывших хотя бы по доступным исходным признакам. Если они заметно различаются, итоговый вывод относится прежде всего к тем, кто смог дойти до конца.

В работе с исследовательскими проектами DissHelp полезно рассматривать паспорт выборки как отдельный артефакт, а не как короткий абзац в методологии. В нём достаточно ответить на семь вопросов:

Этот документ полезнее начинать до анкеты и тем более до таблицы результатов. Он показывает, какие ограничения встроены в дизайн и какие выводы нельзя будет делать даже при красивых расчётах.

Иногда дизайн уже не переделать. Тогда честная стратегия состоит не в том, чтобы спрятать слабость, а в том, чтобы сузить утверждение.

Можно:

Нельзя превратить удобную выборку в вероятностную одной фразой или весовым коэффициентом без обоснования.

Корректная статистика начинается не с формулы, а с механизма попадания наблюдений в данные. Если этот механизм связан с изучаемым результатом, вычисления могут быть безупречными и всё равно поддерживать неверный вывод.

Перед анализом стоит проверить не только объём выборки, но и её границы, доступность разных сегментов, правила исключения и причины выбывания. Именно там чаще всего решается, что на самом деле доказывает диссертация.