Понять ошибку базовой частоты на примере «парадокса» теста на болезнь: почему даже точный тест на редкую болезнь часто ошибается.
Забытая базовая частота
Почему «точный» тест может ошибаться
Ошибка (игнорирование) базовой частоты — это когда мы оцениваем вероятность, забыв, насколько событие редкое само по себе.
Классический пример — тест на редкую болезнь. Пусть болезнь есть у 1 человека из 1000. Тест очень хорош: при больном он почти всегда показывает «болен», а у здоровых ошибается («ложная тревога») лишь в 5% случаев. Вам пришёл положительный результат. Какова вероятность, что вы действительно больны? Интуиция кричит «95%!». Это грубо неверно.
Посчитаем на 1000 человек.
— Болен 1 — тест почти наверняка покажет у него «болен»: 1 верный сигнал.
— Здоровы 999 — но у 5% из них тест ошибётся: это около 50 ложных «болен».
Итого «болен» показал примерно у 51 человека, а реально болен из них только 1. Значит, при положительном тесте вероятность болезни ≈ 1 из 51, то есть около 2%, а не 95%.
Почему так? Потому что здоровых ОЧЕНЬ много, и даже редкие их ошибки числом перебивают единственного настоящего больного. Базовая частота (болезнь редка) решает всё — а её-то и забывают.
Lesson notes
Почему «точный» тест может ошибаться
Ошибка (игнорирование) базовой частоты — это когда мы оцениваем вероятность, забыв, насколько событие редкое само по себе.
Классический пример — тест на редкую болезнь. Пусть болезнь есть у 1 человека из 1000. Тест очень хорош: при больном он почти всегда показывает «болен», а у здоровых ошибается («ложная тревога») лишь в 5% случаев. Вам пришёл положительный результат. Какова вероятность, что вы действительно больны? Интуиция кричит «95%!». Это грубо неверно.
Посчитаем на 1000 человек.
— Болен 1 — тест почти наверняка покажет у него «болен»: 1 верный сигнал.
— Здоровы 999 — но у 5% из них тест ошибётся: это около 50 ложных «болен».
Итого «болен» показал примерно у 51 человека, а реально болен из них только 1. Значит, при положительном тесте вероятность болезни ≈ 1 из 51, то есть около 2%, а не 95%.
Почему так? Потому что здоровых ОЧЕНЬ много, и даже редкие их ошибки числом перебивают единственного настоящего больного. Базовая частота (болезнь редка) решает всё — а её-то и забывают.
Редкое остаётся редким
Ошибка базовой частоты повсюду, где речь о редких событиях и «сигналах тревоги».
— Медицина: положительный скрининг на редкую болезнь чаще оказывается ложной тревогой, чем настоящей находкой, — поэтому за ним назначают уточняющие анализы, а не сразу лечение.
— Безопасность: система распознавания лиц с «99% точностью», натравленная на толпу, где преступник один на миллион, выдаст в основном ложные срабатывания на невиновных.
— Стереотипы: даже если у редкой группы какая-то черта встречается чаще, конкретный носитель этой черты, скорее всего, в группу НЕ входит — просто потому, что сама группа мала.
Правило-противоядие простое: прежде чем пугаться сигнала, спросите, насколько редко само событие. Чем оно реже, тем больше доля ложных тревог среди всех тревог. «Точность теста» без знания базовой частоты не говорит почти ничего.