Урок 3: Грязные данные и вопрос раньше данных

Данные редко бывают идеальными. Прежде чем считать, нужно разобраться, насколько данным можно доверять. Типичные проблемы качества делятся на четыре вида. Пропуски — пустые ячейки там, где должно быть значение. Например, у части заказов не указан город. Если вы считаете среднюю выручку и игнорируете пропуски, результат может оказаться неверным. Дубликаты — строки, которые повторяются полностью или частично. Это опасно: один заказ посчитается дважды, и сумма задвоится. Выбросы — аномальные значения, сильно отличающиеся от остальных. Например, одна доставка заняла 9 000 минут вместо обычных 30–60. Такой выброс сильно искажает среднее (медиана в этом случае устойчивее). Рассогласование единиц — разные части таблицы используют разные единицы или форматы: выручка в одних строках в рублях, в других — в тысячах рублей; дата записана то как «01.03.2024», то как «2024-03-01». Одна из главных ошибок начинающих аналитиков — сразу бросаться в данные без чёткого вопроса. Без вопроса вы собираете не то, тонете в цифрах и теряете время. Правильный алгоритм старта: сначала сформулируйте аналитический вопрос («Почему упала выручка в марте?»), затем поймите, какие именно данные нужны для ответа, и только потом откройте таблицу и проверьте её качество. Этот порядок экономит часы работы и защищает от ложных выводов.