Тогда коллеги-аналитики справедливо сделали замечание о том, а были ли проведены тесты на нормальность распределения?
А другие коллеги, тоже из среды умножающих в уме 5-значные цифры, поинтересовались расчетом мощности t-теста, поскольку выборка в итоговом расчете была маловата.
Справедливо и первое и второе замечание.
В предыдущем материале, все эти расчеты остались за кадром. В данной статье я пролью свет на выше озвученные комментарии.
Проверка на нормальность распределения
Для применения многих статистических методов, нормальность распределения исследуемых переменных, является важным условием. Т. е. нам нужно ответить на вопрос: а подчиняются ли закону нормального распределения наши количественные переменные, которые мы хотим исследовать?
Для решения этой задачи, зачастую, используют два взаимодополняющих подхода:
- Графический метод
- Формальные тест
Графический метод
Для того чтобы определить является ли наше распределение нормальным, следует построить график квантилей (Q-Q plots).
Q-Q plots изображают квантили двух распределений.
По оси Y изображены эмпирические данные (т.е. наши реальные исследуемые данные), а по оси Х — теоретически ожидаемого нормального распределения.
В идеальной картинке, т. е., когда наше распределение нормальное, все точки должны выстроиться вдоль прямой красной линии.
Интерпретация таких графиков требует определенного опыта и навыка. Небольшое количество наблюдений (как в рассматриваемом примере) может не всегда образовывать четкую прямую линию.
Сейчас можно обратить внимание на два отклонения в верхнем правом углу, как на первом, так и на втором графике.
Давайте нарисуем еще один похожий график:
Мы снова можем наблюдать, что по два наблюдения на каждом графике выходят за данные границы.
Графический метод оценки нормальности распределения дает первое представление об исследуемых данных. Для того чтобы принять окончательное решение о нормальности распределения, следует применить формальные тесты.
Существует целый набор тестов специально разработанных для этого задачи:
- тест Шапиро-Уилка
- тест Андерсона-Дарлинга
- тест Крамера фон Мизеса
- тест Лиллиефорса
Нулевая гипотеза в ходе применения данных тестов будет следующей: Наша выборка происходит из генеральной совокупности, которая имеет нормально распределение. Т. е. если мы получили в ходе применения теста p>0.05, тогда нулевая гипотеза не отвергается, и мы принимаем решение, что наше распределение нормальное.
Давайте применим все выше перечисленные тесты для наших выборок.
Мощность критерия — это его способность найти различия, которые мы ищем там, где они действительно существуют. Считается, что мощность критерия на уровне 0.8 и выше является приемлемой.
Для более детального понимания, давайте рассмотрим три величины: размер выборки, мощность критерия и величина эффекта. Они взаимосвязаны. Зная любые два из этих параметров, третий мы всегда можем рассчитать.
Например, если эффект, который мы хотим обнаружить маленький, тогда нам понадобится большая выборка. А если у нас в распоряжении выборка поменьше, это будет означать, что мощность теста будет низкая.
С другой, стороны, если эффект, который мы ищем, ярко выражен, тогда нам понадобиться гораздо меньшая выборка, чтобы достичь мощности теста на уровне 0.8.
Также, зная размер выборки и величину эффекта, мы можем рассчитать мощность нашего теста. Давайте это и сделаем для нашего t-критерия Стьюдента из прошлого исследования, когда мы определяли эффективность мастер-класса (ссылка).
Для расчета мощности критерия нам нужно будет задать следующие величины:
- Количество пар наблюдений в наших выборках (у нас был парный t-тест): 10
- Величина эффекта (это разность между средними значения наших двух выборок «до» и «после»): 235
- Стандартное отклонение разниц между каждой парой: 213
Это продиктовано тем, что, при достаточно небольшой выборке в 10 наблюдений мы хотели обнаружить достаточно большой эффект (разницу в скорости чтения в 235 слов).
А теперь давайте рассчитаем, какой эффект мог бы обнаружить наш t-тест при той же выборке n= 10 и уровне мощности 0.8.
А если бы мы захотели найти еще менее выраженный эффект, например, в 100 слов и оставить уровень мощности t-теста, как в самом первом нашем примере power= 0.94, тогда нам понадобилась бы гораздо большая выборка. Давайте проведем ее расчет:
Для лучшего понимания понятия «мощность t-критерия Стьюдента» и большей наглядности, давайте построим несколько графиков.
Первый будет показывать нам, как связан размер выборки с величиной эффекта, который мы пытаемся обнаружить:
А теперь давайте посмотрим на график взаимосвязи размера выборки и мощности статистического теста при заданной величине эффекта:
1. Мы проверили наши две выборки на нормальность распределения. Формальные статистические тесты подтвердили их принадлежность к таковым.
2. Мы рассчитали мощность парного одностороннего t-критерия Стьюдента, который применяли в ходе предыдущего исследования (ссылка). Мощность критерия составляет: 0.94.
