Как аналитика может помочь в оценке эффективности мастер-класса
Евгений Бондаренко
В статье рассказываю об аналитическом подходе, который помогает проанализировать работает ли обучающее мероприятие.
Идея эксперимента состояла в том, чтобы проверить может ли мастер-класс по развитию навыка скорочтения повысить скорость чтения участников.

Этот мастер-класс выбран по причине, того, что можно легко получить точные замеры по скорости чтения «до» мастер-класса и «после» его прохождения.


Коротко об этапах эксперимента

Мастер-класс по развитию навыка скорочтения длится 2 часа. За это время участники знакомятся с основными идеями скорочтения, а также выполняют два упражнения. Одно упражнение на развитие скорости чтения. Второе ─ на развитие навыка понимания прочитанного.

Важно, что в самом начале мастер-класса делается замер скорости чтения (т.е. слов в минуту) каждого участника.

После этого участникам выдается Отчет о прогрессе, с которым предстоит работать следующий месяц.
Упражнения выполняются 6 дней в неделю. На это уйдет ровно 30 минут в день. Итого: 6×4 = 24 занятия за месяц.

После месяца работы над развитием навыка скорочтения, участники заполняют новые анкеты, где отмечают, сколько дней занимались, а также сделан замер скорости чтения после месяца занятий.


Знакомство с данными

Давайте визуализируем наши данные, собранные из анкет «до» мастер-класса.

Боксплот, который показывает переменную скорость чтения, в зависимости от пола (женщина/мужчина).
Тот же показатель, только на диаграмме плотности. На картинке кривые — женщины и мужчины.
Давайте проверим нашу первую гипотезу, например, о том, что женщины читают быстрее, чем мужчины.

Расчет t-критерия Стьюдента показала следующие результаты:

t = 0.55124
p-value = 0.2919

Т. е. мы не можем отклонить нулевую гипотезу, а соответственно статистически значимой разницы между скоростью чтения женщин и мужчин нет.


Взаимосвязи

В анкетах, которые участники заполняли «до» мастер-класса, имеется информация о количестве прочитанных книг за этот год (за 10 месяцев этого года). Эта информация может помочь ответить на вопрос: Читает ли больше книг, тот, кто читает быстрее? Давайте для начала построим диаграмму рассеивания, где по Х — будет отражена скорость чтения (слов в минуту), а по Y — количество прочитанных книг за этот год. А также добавим линию тренда.
Видна положительная взаимосвязь. Т. е. при увеличении скорости чтения, увеличивается количество прочитанных книг.

Давайте теперь рассчитаем коэффициенты корреляции.
Коэффициент корреляции Пирсона

t = 2.7073
p-value = 0.9157
cor = 0.3514813 
Коэффициент корреляции Спирмена

S = 16326
p-value = 0.4868
rho = 0.3776915
Т. е. можно сделать вывод о наличии небольшой положительной корреляции на уровне 0,35−0,38. Этот показатель корреляции статистически значим (p-value < 0), что показали различные тесты (Пирсон, Спирмен).

Теперь давайте построим простую регрессионную модель с одним предиктором. Где количество прочитанных книг это зависимая переменная, а скорость чтения будет предиктором.
На рисунке расположена формула, которая описывает нашу модель. Из нашей модели видно, что скорость чтения, слабенький предиктор (R2 = 0.124) для количества прочитанных книг. Для улучшения модели можно было бы добавить и другие предикторы, но это уже выходит за рамки этого эксперимента.


Данные «после» мастер-класса

Прошел месяц, и участники заполнили анкету о том, как они занимались весь месяц, а также сделали замер своей скорости чтения за 1 (одну) минуту.

Теперь ответим на главный вопрос исследования:
Изменилась ли скорость чтения наших участников мастер-класса после его прохождения?
Для такого сравнения будем использовать парный t-тест. Важно отметить, что в расчете участвуют данные только по тем участникам, которые занимались по методике хотя бы 6 дней.
Критерий Стьюдента

t = -3.3827
p-value = 0.009603
Критерий Вилкоксона

Z = -3.4776
p-value = 0.0005059
Т. е. можно сделать вывод о том, что замеры скорости чтения у одних и тех же участников, «до» мастер-класса и «после» обучения по методике, значимо отличаются. Вывод виден и на графике боксплот.
Другими словами, мы делаем вывод о том, что мастер-класс помогает увеличить скорость чтения участников.

Евгений Бондаренко
Автор статьи
СПАСИБО!
Если вам понравилась статья, расскажите о ней в соцсетях