Аналитический подход: ловушки, которые мешают увидеть правду

Расширение ассортимента продукции, выход на новый рынок, оптимизация бизнес-процессов компании – все это требует качественно проведенной аналитики. Но зачастую процесс анализа затягивает: можно уйти в расчеты с головой и незаметно для себя замедлить принятие решения, упустить что-то важное или прийти к выводу, который на деле окажется ошибочным.

Мы собрали подборку наиболее известных и часто встречающихся ловушек. Разберем, какие они бывают, почему возникают, и как их обойти.

1. Аналитический паралич

Состояние, при котором из-за чрезмерного анализа данных или стремления к идеальному результату аналитик не может сформировать заключительные выводы.

Говоря о «чрезмерности», я имею в виду аналитический подход, где превалирует стремление найти и проанализировать дополнительные данные, помимо имеющихся, попробовать рассмотреть цифры с еще одной точки зрения, бесконечные проверки и перепроверки расчетов. Все это происходит на фоне достаточности данных и ясных целей анализа.

Причины:

• Отсутствие четких критериев для завершения анализа;
  
• Страх совершить ошибку; 
  
• Чрезмерная детализация и желание учесть все возможные факторы; 
  
• Учет ситуаций, с крайне низкой вероятностью возникновения.
  

Пример из практики: разработка оргструктуры организации совместно с заказчиком

Команда начала с построения «идеальной» модели. На каждом этапе возникало желание учесть все нюансы: «А как быть с этим смежным отделом?», «А если руководитель этого направления уйдёт — кто тогда замкнёт на себя эти функции?», «Давайте смоделируем ещё сценарий, при котором производство вырастет на 30%». В итоге все увлеклись моделированием и начали прорабатывать ситуации, вероятность которых была минимальной. Процесс разработки и утверждения структуры затянулся.

Как преодолеть:

• Установите временные рамки для анализа; 
  
• Изначально задайте погрешность анализа;
  
• Определите критерии принятия решения; 
  
• Примите, что идеальных решений не существует, и сосредоточьтесь на достаточных;
  
• Определите значение вероятностей сценариев, ниже которых рассматривать нет смысла.
  

2. Переоценка данных

Чрезмерное увлечение сбором и анализом данных, которое приводит к потере фокуса на главных задачах.

Причины:

• Ошибочное убеждение, что больше данных всегда лучше;
  
• Отсутствие четкой цели анализа. 
  

Пример из практики: оценка выхода компании на рынок другого региона

Аналитический подход к таким задачам всегда начинается с формирования перечня конкретных вопросов: каков текущий и потенциальный объемы рынка, кто наши конкуренты, какие есть барьеры входа на рынок и др. Но в каждом из этих пунктов есть риск уйти с головой в излишнее уточнение данных: поиск дополнительных источников, сбор данных о потенциальных инициативах и планах развития региона, исследование рейтинга губернаторов и т.д. Все это необходимо только в том случае, когда:

1. На это есть реальный запрос; 
   
2. Вы располагаете всеми ресурсами для выполнения такой задачи.  
   

Практика же показывает, что зачастую компаниям достаточно получить общую картину и понятные ответы на конкретные вопросы, ни больше ни меньше.

Как преодолеть:

• Сформулируйте четкие вопросы, на которые должен ответить анализ; 
  
• Отфильтруйте данные, оставив только релевантные; 
  
• Используйте принцип Парето: 20% данных дают 80% результата. 

3. Иллюзия контроля

Переоценка способности бизнес-аналитика контролировать или предсказывать события на основе анализа.

Причины:

• Чрезмерная уверенность в аналитических способностях; 
  
• Игнорирование случайных факторов и неопределенности;
  
• Неверное понимание корреляции и причинно-следственных связей;
  
• Недостаточное понимание факторов, которые можно проанализировать и которые реально влияют на ситуацию. 
  

Пример из практики: прогнозирование "человеческого" фактора

Абсолютно любые аналитические выводы рискуют стать неактуальными завтра, если не рассмотреть различные сценарии развития событий сегодня. Но даже при таком подходе невозможно предугадать все варианты. Всегда остаётся пространство неопределённости, которое полезно держать в голове, а не игнорировать ради красивой отчётности.

Один из факторов, который сложно моделировать и закладывать в сценарии, но крайне важно учесть, – человеческий. Например, можно составить отличный план реорганизации отдела X, подкрепленный ретроспективным анализом его деятельности. Но ни один подобный проект не «полетит» без понимания и вовлеченности со стороны сотрудников. На деле мало кто из непосредственных участников изменений готов согласиться с ними и начать действовать иначе.

Как преодолеть:

• Признайте, что не все факторы можно предсказать или контролировать; 
  
• Используйте сценарное планирование для учета различных вариантов развития событий; 
  
• Регулярно пересматривайте свои прогнозы и корректируйте их;
  
• Помните о том, что аналитический подход начинается с дизайна и методологии анализа.
  

О нашем подходе к анализу можно прочитать здесь. 

4. Корреляция vs Причинность

Ошибочное принятие корреляции между переменными за причинно-следственную связь.

Причины:

• Недостаточное понимание статистических принципов; 
  
• Желание найти простое объяснение сложным явлениям. 
  

Пример из практики: повышение зарплат и текучесть персонала

В компании Y одновременно наблюдалось повышение среднего уровня зарплат и текучесть персонала. Вывод, который можно было бы сделать на основании собранных данных, звучит абсурдно – повышение зарплат провоцирует увольнение. На деле же повышение зарплат было ответом на рост нагрузки в пиковые сезоны, а люди уходили из-за регулярных переработок. Итог – корреляция в изначальных данных была, а вот причинно-следственной связи не было.

Как преодолеть:

• Проводите эксперименты для проверки гипотез; 
  
• Используйте методы, такие как регрессионный анализ, для выявления скрытых факторов; 
  
• Всегда задавайте вопрос: "Есть ли третья переменная, которая влияет на обе?". 

5. Эффект якоря

Склонность слишком сильно полагаться на первую полученную информацию (якорь) при принятии решений. Эта ловушка противоположна аналитическому параличу и переоценке данных, о которых мы говорили выше. Сложность подготовки аналитики в рамках любого проекта заключается в поиске баланса между этими крайностями.

Причины:

• Первое впечатление или данные оказывают чрезмерное влияние; 
  
• Аналитический подход недостаточно критично подходит к начальным данным.
  

Пример из практики: первичная оценка прогноза продаж

Распространенный пример срабатывания эффекта якоря – любого рода «экспертные» оценки, ведь далеко не всегда их источник действительно является экспертом. Такие оценки могут быть не подкреплены реальными фактами. Например, на старте формирования прогноза продаж нового продукта в следующем квартале руководитель отдела продаж утверждает, что вполне реально сделать на этом продукте +15% к текущим объемам. В процессе прогнозирования аналитики невольно начинают искать подтверждение этой цифре, а реальные 8%, которые демонстрирует рынок, принимаются с недоверием. Первая оценка руководителя сработала в конкретном случае как якорь, который сместил фокус с объективных данных.

Как преодолеть:

• Сознательно рассматривайте альтернативные точки зрения; 
  
• Используйте несколько источников данных для формирования начальной гипотезы; 
  
• Регулярно пересматривайте свои предположения. 

Бизнес-процессы

Аудит бизнес-процессов

Аудит бизнес-процессов – комплексное исследование, которое позволяет оценить эффективность, выявить отклонения, определить возможности и потенциал улучшения всех процессов компании.

Читать

6. Подтверждающее искажение

Склонность искать, интерпретировать и запоминать информацию, которая подтверждает уже существующие убеждения. Причем такая информация может быть как позитивная, так и негативная. Последней, как показывает практика, уделяется больше внимания. Это не аналитический подход.

В дополнение к этому можно привести пример другой ловушки – ошибка базовой ставки, которая заключается в пренебрежении общей статистикой (базовой частотой) в пользу конкретных случаев и «общеизвестных» данных.

Причины:

• Эмоциональная привязанность к своим идеям; 
  
• Страх перед когнитивным диссонансом; 
  
• Конкретные примеры кажутся более убедительными; 
  
• Недостаток внимания к общим закономерностям; 
  
• Эмоциональное воздействие негативных событий. 
  

Пример из практики: поиск подтверждения своего мнения

Яркий пример – руководитель недоволен работой сотрудника и опрашивает его коллег в поиске других негативных примеров, подкрепляющих это недовольство. Все преимущества сотрудника игнорируются руководителем, итог – формируется исключительно негативное впечатление, не соответствующее действительности.

Как преодолеть:

• Сознательно ищите информацию, которая противоречит вашим убеждениям; 
  
• Привлекайте сторонних экспертов для проверки ваших выводов; 
  
• Используйте метод "адвоката дьявола" для критики своих гипотез; 
  
• Используйте статистические данные для формирования гипотез; 
  
• Сравнивайте конкретные случаи с общей картиной; 
  
• Балансируйте свое восприятие, анализируя как риски, так и возможности; 
  
• Используйте объективные метрики для оценки ситуации. 

7. Ошибка выжившего

Анализ только успешных случаев и игнорирование неудач, что приводит к искаженным выводам.

Причины:

• Недоступность данных о неудачах; 
  
• Фокус на "победителях" как на эталоне. 
  

Пример из практики: бенчмаркинг по отрасли

Распространенный запрос компаний: «Покажите, как работают лучшие в отрасли, мы хотим внедрить у себя такие же подходы». В большинстве случаев после этой фразы начинается сбор данных по лидерам рынка, а результаты такого исследования выглядят впечатляюще. На деле же оказывается, что лучшие практики неприменимы для конкретной организации по причинам, с которыми уже сталкивались другие подобные компании, потерпевшие неудачу.

Как преодолеть:

• Изучайте как успешные, так и неудачные примеры. Делайте акцент на последних; 
  
• Задавайте вопрос: "Что мы можем узнать из неудач?"; 
  
• Используйте полные данные, включая те, которые могут быть менее заметными. 

8. Ошибка доступности и новизны

Склонность придавать большее значение недавним событиям, игнорируя более старые данные, а также полагаться на информацию, которая легче вспоминается или более доступна.

Причины:

• Недавние события легче вспомнить; 
  
• Эмоциональное влияние свежей информации; 
  
• Недавние или эмоционально заряженные события кажутся более значимыми; 
  
• Ограниченный доступ к полным данным. 
  

Пример из практики: мониторинг Системы менеджмента качества (СМК)

Организация обслуживает множество объектов, на каждом из которых регулярно проводятся проверки различными службами. Результаты мониторингов фиксируют в системе, но никто ранее не делал срезы данных для их последующего анализа и формулирования соответствующих выводов. Когда такая задача появилась, в компании собрали все нарушения за последние 3 месяца, а архивные данные проигнорировали ввиду нехватки времени на их обработку. Этот аналитический подход привел к выводам, которые не отражали действительность: объекты, которые попали в перечень худших за последние три месяца, показали существенное улучшение за последний год. Улучшения произошли в результате определенных корректирующих действий на объектах, но никто не смог оценить их эффективность из-за отсутствия ретроспективных данных.

Как преодолеть:

• Используйте долгосрочные данные для анализа и систематические методы сбора данных; 
  
• Обращайтесь к историческим данным и сравнивайте текущие события с архивными аналогами; 
  
• Применяйте методы сглаживания данных (например, скользящие средние); 
  
• Проверяйте, не основываетесь ли вы на "громких" примерах. 

9. Эффект группового мышления

Стремление к консенсусу в группе, что приводит к подавлению критического мышления и альтернативных мнений. Это не совсем про аналитический подход, но имеет прямое отношение к качеству анализа.

Причины:

• Давление со стороны коллектива; 
  
• Страх конфликтов или желание сохранить гармонию; 
  
• Банальная лень. 
  

Пример из практики: проект масштабирования компании

Зачастую инициатор подобных проектов, топ-менеджмент, с уверенностью рассказывает об отлаженных процессах в организации и заверяет о готовности к расширению своего присутствия. Руководители подразделений и отделов могут иметь иное мнение, но держат его при себе, не желая начинать дискуссию и преследуя определенные цели. В результате проект планируется исходя из одних вводных, а в процессе реализации всплывают «подводные камни», которые не обсудили на этапе предпроектной подготовки.

Как преодолеть:

• Поощряйте разнообразие мнений и критику; 
  
• Назначайте "адвоката дьявола" в группе; 
  
• Проводите анонимные опросы для сбора мнений. 

10. Эффект фрейминга

Решения зависят от того, как информация представлена, например, в положительном или отрицательном ключе. Впоследствии общее положительное или отрицательное впечатление о чем-либо влияет на оценку отдельных аспектов.

Причины:

• Эмоциональная реакция на форму подачи информации;
  
• Игнорирование сути данных из-за их оформления;
  
• Эмоциональное восприятие объекта анализа;
  
• Недостаток объективных критериев оценки;
  
• Неадекватная оценка источника данных, например, мнение «уважаемого» человека.
  

Пример из практики: использование эвфемизмов в отчетах

Эвфемизмы – слова и выражения, смягчающие негативный смысл высказывания. Некоторые аналитики любят называть падение или снижение чего-либо «отрицательным ростом», чтобы сгладить негативное впечатление от полученной информации. На деле подобные приемы звучат нелепо и комично.

Другой яркий пример – любое привлечение лидеров мнения к вопросам, выходящим за рамки их экспертизы.

Как преодолеть:

• Переформулируйте проблему в разных контекстах; 
  
• Анализируйте данные в числовом или графическом виде, чтобы минимизировать влияние формулировок; 
  
• Сознательно отделяйте форму от содержания; 
  
• Разделяйте объект анализа на отдельные компоненты и оценивайте их независимо; 
  
• Используйте четкие критерии и метрики для оценки; 
  
• Избегайте эмоциональных суждений; 
  
• Всегда оценивайте достоверность, релевантность и значимость источника информации.  

Думать – самая трудная работа; вот, вероятно, почему этим занимаются столь немногие.

Генри Форд

Добавим к этому: думать, не попадая в ловушки собственного мышления, – ещё сложнее.

Мы разобрали десять ловушек, с которыми можно столкнуться в аналитической работе. Каждая из них по-своему мешает увидеть за цифрами реальную картину и принять своевременное решение.

Конечно, это далеко не полный список. В следующей статье мы продолжим эту тему и расскажем ещё о нескольких распространённых ловушках анализа – не менее коварных и не менее поучительных.