Наконец-то ты это сделал. Вы изучали аналитику безопасности в течение многих лет, хорошо разбирались в данных о сети и конечных точках, реализовали потрясающую аналитику и даже сумели добавить машинное обучение в свой стек. Ваша компания проводит тест на проникновение, и ваше решение обнаруживает все кампании! Есть несколько ложноотрицательных и повторяющихся инцидентов, но количество генерируемых предупреждений не превышает допустимого порогового значения. Вы продвигаете свою аналитику безопасности в производство. Вы решаете отпраздновать свой успех, но знаете, что безопасность никогда не достигается. Вы продолжаете улучшать свою аналитику на основе новых данных об угрозах и более точных данных благодаря постоянному мониторингу сети и проверке безопасности.
В следующем месяце состоится еще один тест на проникновение. Вы чувствуете себя уверенно после последнего, и это правильно. Ваша улучшенная аналитика работает с новыми атаками так же хорошо, как и в прошлом месяце, а ваша матрица путаницы выглядит фантастически! Однако ваша организация решает внести небольшую поправку в тест на проникновение в этом месяце. Они включают аналитиков в тест и превращают его в полноценное упражнение «красный против синего». Поскольку вы были уверены, что количество предупреждений упадет до порогового значения, определенного аналитиком, вас это не беспокоит. Вы ждете результатов упражнения.
Как такое могло случиться? Упражнение "красный против синего" оказалось огромным провалом для вашего SOC. Аналитики полностью не смогли правильно определить трафик атак. Они исключили большую часть фактического трафика атаки как ложные срабатывания и тщательно исследовали ложноотрицательные результаты. Они точно идентифицировали только одну кампанию и не классифицировали ее как действительно положительную достаточно быстро, чтобы выполнить реагирование на инцидент. Конечно, это не ваша вина . В конце концов, ваша аналитика правильно определила все кампании! Вы свели к минимуму количество дубликатов и ложноотрицательных результатов, а также обеспечили управляемость количества генерируемых предупреждений. Вы рекомендуете своему директору по информационной безопасности, чтобы аналитики прошли более качественную подготовку, потому что явно проблема в них. Верно?
Хотя эта история является гипотетической, такое поведение происходит постоянно. Я часто слышу: «Инструмент настолько хорош, насколько хорош аналитик, стоящий за консолью». Хотя я согласен с тем, что аналитики безопасности являются частью уравнения, инженеры, которые разрабатывают контент и аналитику для SOC, также несут ответственность за работу аналитиков. Если вы генерируете предупреждения, которые трудно понять, вы не можете обвинять аналитика в неправильной классификации инцидента.
Эта проблема наиболее остро стоит в области машинного обучения в целях безопасности. Многие алгоритмы машинного обучения имеют очень плохую интерпретируемость. Другими словами, алгоритм работает отлично, но вы не можете понять, что заставило алгоритм инициировать инцидент. Когда вы исследуете происшествие и проводите анализ первопричин, вы очень мало представляете, с чего начать.
Когда мы работаем с реальной аналитикой и алгоритмами, мы склонны относиться к ним несколько лучше, чем к людям. Если алгоритм не работает, выясняем, почему. Мы меняем формат данных, разрабатываем новые функции или определяем новые источники данных. Мы адаптируем данные, которые мы вводим в алгоритм, до тех пор, пока алгоритм не будет работать удовлетворительно. Мы должны так же подходить к нашим аналитикам. Если аналитик не классифицирует и не действует в соответствии с предоставленными данными или форматом, мы должны постоянно улучшать информацию, передаваемую аналитику. Хотя наши аналитики также являются ИТ-специалистами, они по-прежнему остаются пользователями! Инженеры по безопасности не освобождаются от дизайна, ориентированного на пользователя!
Если вы разрабатываете решения SOC и обвиняете аналитиков в плохом обнаружении атак и реагировании на инциденты, подумайте, как вы можете лучше помочь им в описании атак. Да, вашим аналитикам нужна подготовка, и они всегда могут стать лучше. Однако это не освобождает вас от ответственности за некачественный контент, независимо от того, насколько хороши ваши показатели. Если вы относитесь к своим аналитикам так же, как вы относитесь к своей аналитике, у вас будет хорошее начало.
Быстрое примечание. Если вы являетесь менеджером SOC, пожалуйста, не относитесь к своим аналитикам как к роботам. Помимо других человеческих потребностей, им нужен отдых, повышение квалификации, регулярные подъемы, обед, непрерывное образование и личное внимание. Пожалуйста, относитесь к ним как к людям.
