Урок 2: Ошибки I и II рода, статистическая vs практическая значимость, корреляция ≠ причинность

При проверке гипотез возможны две ошибки. Ошибка I рода (ложная тревога): мы отвергаем H0, которая на самом деле верна. Вероятность этой ошибки равна α. Например, лекарство не работает, но тест говорит «работает». Ошибка II рода (пропуск эффекта): мы не отвергаем H0, хотя она ложна. Вероятность этой ошибки обозначается β. Например, лекарство реально помогает, но тест не улавливает эффект. Уменьшение α снижает риск ошибки I рода, но увеличивает риск ошибки II рода — компромисс неизбежен. Статистическая значимость (p < α) не означает практической важности. При очень большой выборке (n = 100 000) тест может обнаружить разницу в 0,001 единицы — статистически значимо, но бессмысленно на практике. Поэтому важно смотреть на размер эффекта (например, насколько велика разница в абсолютных числах), а не только на p-значение. Корреляция измеряет линейную связь двух переменных: коэффициент r ∈ [−1; 1]. Но корреляция не доказывает причинности. Три альтернативных объяснения: (1) общая причина — обе переменные вызваны третьим фактором; (2) обратная причинность — связь идёт в обратную сторону; (3) случайное совпадение. Классический пример: продажи мороженого и утопания коррелируют — обе переменные растут летом, но мороженое не вызывает утопания. Чтобы установить причинность, нужен эксперимент с рандомизацией, а не наблюдение.