← Статистика и теория вероятностей с нуля
Lesson
Урок 3: Выбросы, устойчивость и выборка vs генеральная совокупность
Различать выборку (n) и генеральную совокупность (N), понимать поправку Бесселя (n−1) и выбирать устойчивые к выбросам меры.
Выборка, совокупность и устойчивость к выбросам
Выборка, совокупность и устойчивость к выбросам
В статистике нужно чётко разграничивать два понятия. Генеральная совокупность (population) — это все объекты, о которых мы хотим сделать вывод (например, все жители страны). Выборка (sample) — подмножество из n наблюдений, которые реально измерены. Обычно мы работаем именно с выборкой и хотим по ней судить о всей совокупности.
Поправка Бесселя: почему n−1? Когда мы считаем дисперсию по выборке, деление на n даёт заниженную оценку: выборка «стянута» к своему среднему и не отражает полный разброс совокупности. Деление на n−1 компенсирует это смещение и даёт несмещённую оценку дисперсии совокупности. Этот приём называется поправкой Бесселя. В большинстве калькуляторов и формул для работы с выборками используется именно n−1. Для [2, 4, 4, 4, 5, 5, 7, 9] выборочная дисперсия = 32 / (8−1) = 32 / 7 ≈ 4,57, тогда как генеральная = 32 / 8 = 4.
Выброс и правило 1,5·IQR. Значение считается выбросом, если оно выходит за пределы отрезка [Q1 − 1,5·IQR; Q3 + 1,5·IQR]. Для нашего набора IQR = 2, Q1 = 4, Q3 = 6: нижняя граница = 4 − 3 = 1, верхняя = 6 + 3 = 9. Все значения попадают в этот диапазон — выбросов нет. Но для набора зарплат [20, 22, 24, 25, 26, 28, 300] значение 300 явно выходит за пределы и является выбросом.
Устойчивость (робастность): медиана и IQR слабо меняются при добавлении выброса — они устойчивы. Среднее, размах и стандартное отклонение сильно реагируют на выбросы — они неустойчивы. При анализе зашумлённых или скошенных данных предпочтительны устойчивые меры: медиана как мера центра и IQR как мера разброса.
Lesson notes
Выборка, совокупность и устойчивость к выбросам
В статистике нужно чётко разграничивать два понятия. Генеральная совокупность (population) — это все объекты, о которых мы хотим сделать вывод (например, все жители страны). Выборка (sample) — подмножество из n наблюдений, которые реально измерены. Обычно мы работаем именно с выборкой и хотим по ней судить о всей совокупности.
Поправка Бесселя: почему n−1? Когда мы считаем дисперсию по выборке, деление на n даёт заниженную оценку: выборка «стянута» к своему среднему и не отражает полный разброс совокупности. Деление на n−1 компенсирует это смещение и даёт несмещённую оценку дисперсии совокупности. Этот приём называется поправкой Бесселя. В большинстве калькуляторов и формул для работы с выборками используется именно n−1. Для [2, 4, 4, 4, 5, 5, 7, 9] выборочная дисперсия = 32 / (8−1) = 32 / 7 ≈ 4,57, тогда как генеральная = 32 / 8 = 4.
Выброс и правило 1,5·IQR. Значение считается выбросом, если оно выходит за пределы отрезка [Q1 − 1,5·IQR; Q3 + 1,5·IQR]. Для нашего набора IQR = 2, Q1 = 4, Q3 = 6: нижняя граница = 4 − 3 = 1, верхняя = 6 + 3 = 9. Все значения попадают в этот диапазон — выбросов нет. Но для набора зарплат [20, 22, 24, 25, 26, 28, 300] значение 300 явно выходит за пределы и является выбросом.
Устойчивость (робастность): медиана и IQR слабо меняются при добавлении выброса — они устойчивы. Среднее, размах и стандартное отклонение сильно реагируют на выбросы — они неустойчивы. При анализе зашумлённых или скошенных данных предпочтительны устойчивые меры: медиана как мера центра и IQR как мера разброса.