Ловушки анализа: что мешает увидеть правду

Это вторая, заключительная часть нашего разговора о ловушках анализа. В первой части мы рассмотрели когнитивные искажения и статистические ошибки, которые мешают объективно смотреть на данные. Продолжим и разберём ещё девять распространенных ловушек – от эффекта авторитета до ошибки временного горизонта. А главное – поймем, как их распознавать и преодолевать в повседневной работе.

1. Эффект авторитета

Склонность переоценивать мнение или решения авторитетных фигур, даже если они ошибочны.

Причины:

• Социальное давление и уважение к статусу.
  
• Недостаток уверенности в своих знаниях.
  

Пример из практики: внедрение ИИ

В эпоху активного развития и внедрения искусственного интеллекта, компании разной величины задумываются о его применении в своей деятельности. Нередко они обращаются к экспертам этой области, которые, в свою очередь, приводят множество примеров внедрения и уверяют, что ИИ – это именно то, что нужно данной организации. К эксперту прислушиваются, другие варианты решения проблемы игнорируют. В результате проект по внедрению ИИ оказывается весьма дорогостоящим и объемным, хотя на деле простое логистическое решение давало бы лучший результат за меньшую стоимость.

Как преодолеть:

• Оценивайте идеи по их содержанию, а не по источнику.
  
• Задавайте вопросы и проверяйте аргументы, даже если они исходят от авторитетов.
  
• Развивайте независимое и критическое мышление.

2. Эффект нулевого риска

Предпочтение полного устранения небольшого риска вместо значительного снижения большего риска.

Причины:

• Желание чувствовать себя в полной безопасности.
  
• Непонимание вероятностей и их влияния.
  

Пример из практики: мнимое снижение рисков за счет объемных должностных инструкций

Руководитель охраны труда настаивает на добавление во все должностные инструкции компании объемного блока, описывающего обязанности сотрудников в области охраны труда. Текст содержит информацию, указанную в ЛНА, регулирующих охрану труда на предприятии, а также напрямую цитирует ТК РФ (в должностной инструкции достаточно упоминания о том, что работник обязан соблюдать правила охраны труда и следовать ЛНА предприятия).

По опыту руководителя включение данного блока в документ позволяет избежать неопределённых последствий, так как должностная инструкция – первый документ, к которому обращаются в случае возникновения инцидента или при проведении его расследования. На деле увеличение должностной инструкции не снижает какие-либо риски, а наоборот формирует их. В случае изменений в документации и/или в ТК РФ, понадобятся существенные трудозатраты на корректировку всех должностных инструкций.

Как преодолеть:

• Анализируйте риски с точки зрения их вероятности и последствий.
  
• Сравнивайте альтернативы, учитывая общий уровень риска.
  
• Избегайте решений, основанных только на эмоциях.
  

3. Переобучение или недообучение модели

Создание аналитической модели, которая слишком точно соответствует историческим данным, но плохо обобщает новые, или наоборот слишком упрощена и не учитывает важные закономерности в данных.

Причины:

• Использование слишком сложных или слишком простых моделей.
  
• Недостаточный объем данных для обучения.
  
• Игнорирование значимых переменных.
  

Пример из практики: создание финансовой модели

Финансовому отделу компании А поставили задачу: разработать инструмент для просчёта различных сценариев развития бизнеса. Руководитель проекта с головой ушёл в сбор исторических данных, на основе которых строились исходные параметры модели.

К моменту сдачи работы «калькулятор» выглядел вполне достойно: множество объёмных расчётов по каждой статье затрат. Однако у него был один существенный недостаток – каждый новый сценарий приходилось просчитывать вручную, тратя на это часы работы. А ведь именно гибкость модели была одним из главных критериев успеха проекта.

Как преодолеть:

• Используйте кросс-валидацию для проверки модели.
  
• Упрощайте модели, избегая излишней сложности.
  
• Разделяйте данные на обучающую и тестовую выборки.
  
• Усложняйте модель, добавляя релевантные переменные.
  
• Проверяйте, учитывает ли модель ключевые зависимости в данных.
  

4. Игнорирование контекста данных

Анализ данных без учета контекста, в котором они были собраны, что приводит к ошибочным выводам.

Причины:

• Фокус только на числах, без понимания их происхождения.
  
• Недостаток знаний о предметной области.
  

Пример из практики: сравнение без учета объективных ограничений

На разных объектах питания проводятся проверки одной службой мониторинга. По итогам проверки сравниваются два объекта, у объекта X кратно больше нарушений, чем у объекта Y. Руководитель департамента делает однозначный вывод – объект X работает хуже. В реальности оказывается, что объект X не может соблюсти все требования службы по объективным причинам, например, невозможно правильно выстроить поточность технологического процесса или выделить отдельную зону для обработки овощей в слишком маленьком помещении. Но так как критерии проверки для всех объектов одинаковые, учесть эти факторы невозможно.

Как преодолеть:

• Изучайте контекст данных: как, когда и зачем они были собраны.
  
• Консультируйтесь с экспертами в предметной области.
  
• Проверяйте, соответствуют ли данные реальным процессам.
  

5. Ошибка агрегации 

Потеря важной информации при агрегации данных, что приводит к некорректным выводам.

Причины:

• Объединение данных, которые должны анализироваться отдельно.
  
• Игнорирование различий между группами.
  

Пример из практики: единый стандарт для разных контекстов

Распространенный пример – формирование выводов, разработка стандартов или предложение стратегических действий компании на основании усредненных значений деятельности. Допустим, в портфеле компании имеются торговые точки разного масштаба и направленности. Ошибкой будет рассматривать все эти объекты как части единого целого, аккумулировать все их показатели, рассчитывать средние значения, а затем внедрять единый стандарт работы или единую систему KPI. В этом случае не будет учитываться контекст точек, а единые стандарты и системы будет невозможно применить. Правильный вариант – разбить торговые точки на классы, агрегировать данные внутри каждого из них, а затем делать выводы и разрабатывать программы изменений под отдельные блоки объектов.

Как преодолеть:

• Анализируйте данные на разных уровнях детализации.
  
• Проверяйте, не скрывают ли агрегированные данные важные тренды.
  
• Используйте сегментацию данных для более глубокого анализа.

Бизнес-процессы

Аудит бизнес-процессов

Аудит бизнес-процессов – комплексное исследование, которое позволяет оценить эффективность, выявить отклонения, определить возможности и потенциал улучшения всех процессов компании.

Читать

6. Ошибка экстраполяции

Необоснованное распространение выводов за пределы диапазона данных, на которых они основаны.

Причины:

• Предположение, что текущие тренды будут продолжаться бесконечно.
  
• Игнорирование возможных изменений в условиях.
  

Пример из практики: прогноз продаж

В текущем году при планировании продаж на декабрь в расчет взяли увеличение объема продаж в ноябре, которое показало +10% относительно октября. Такой рост был вызван проведением ряда акций в ноябре, но его никак нельзя экстраполировать на декабрь и рассчитывать на аналогичный результат. В дополнении к этому исторические данные за прошлый год указывают на всплеск продаж в ноябре и последующее кратное сокращение в декабре. Экстраполяция в данном случае может привести к затовариванию склада c вытекающими из этого последствиями. 

Как преодолеть:

• Осторожно относитесь к прогнозам за пределами диапазона данных.
  
• Учитывайте возможные изменения в условиях (например, экономические, социальные).
  
• Используйте сценарный анализ для учета неопределенности.
  

7. Ошибка выбора метрики

Использование неподходящих или нерелевантных метрик для оценки результатов.

Причины:

• Непонимание целей анализа.
  
• Удобство использования стандартных или доступных метрик вместо поиска подходящих.
  

Пример из практики: внедрение программы контроля

На производственном предприятии разработали новую программу внутреннего контроля. Ответственный за внедрение отдел считает, что ключевой показатель успешного внедрения системы – «процент сотрудников, подписавших политику X». Подписали значит ознакомились, а потому цель собрать 100% подписей. Результата достигли, отчет руководству предоставили, а что изменилось на производстве – никто не знает.

Как преодолеть:

• Четко определите цели анализа и выберите метрики, которые их отражают.
  
• Используйте несколько метрик для комплексной оценки.
  
• Регулярно пересматривайте выбранные метрики на соответствие задачам.
  

8. Ошибка выборки

Использование нерепрезентативной выборки данных, что приводит к некорректным выводам.

Причины:

• Неправильный метод сбора данных.
  
• Игнорирование ключевых групп в данных.
  

Пример из практики: выбор сотрудников для описания бизнес-процессов

В ходе описания бизнес-процессов топ-менеджмент «помогает» консультантам подобрать самых лояльных и откровенных респондентов для проведения интервью. Такая работа обречена на провал, т.к. зачастую эти сотрудники преследуют свои интересы и умалчивают о критически важных нюансах процессов. Выборка персонала должна производиться исходя из целей и задач описания, но никак не из лояльности к руководству.

Как преодолеть:

• Убедитесь, что выборка репрезентативна для генеральной совокупности.
  
• Используйте случайную или стратифицированную выборку.
  
• Проверяйте, не пропущены ли важные подгруппы данных.
  

9. Ошибка временного горизонта

Неправильный выбор временного периода для анализа, что искажает результаты.

Причины:

• Использование слишком короткого или слишком длинного периода.
  
• Игнорирование сезонности или изменений в условиях.
  

Пример из практики: анализ работы контрактной службы

В рамках проекта по реинжинирингу процессов контрактной службы компании А, планировалось рассчитать оптимальное количество сотрудников отдела. Недавно заступивший на должность руководитель службы решил опираться на свежие данные о количестве заключенных контрактов и исходя из этого вытроил свои расчеты. Однако он проигнорировал специфику работы отдела – большая часть контрактов заключалась в результате победы в тендерах, у которых есть своя сезонность и пики активности.

Как преодолеть:

• Выбирайте временной период, соответствующий целям анализа.
  
• Учитывайте сезонные колебания и долгосрочные тренды.
  
• Проводите анализ на разных временных интервалах для проверки устойчивости выводов.
  

Хорошая новость: все перечисленные выше ошибки можно предотвратить. Для этого нужно развивать критическое мышление, проверять контекст данных, сегментировать информацию и не доверять «среднему по больнице». Вооружившись этими принципами, вы сможете видеть за цифрами настоящую правду.

Если у вас есть конкретные примеры или задачи, где вы сталкиваетесь с подобными ловушками, давайте обсудим, как их можно преодолеть.