SlideShare uma empresa Scribd logo
1 de 30
Baixar para ler offline
Измерение эффективности SOC
Три года спустя
Алексей Лукацкий
20 ноября 2019
Бизнес-консультант по кибербезопасности
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Три
года
спустя
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Мы говорим преимущественно о технических и
организационных моментах
DC 2
Case management, automation and orchestration
Internal and
external
context data
sources
1 2 3 4
6
5
7
9
12
11
8
13
14
15
TIP
16 17
DC 1
Cloud Branch
Data bus
25
External
data
stores
External
analytics
27 26
Data collection
and storage
Store 1
Collect and
Forward
Store 2
Security
analytics
Correlation
UEBA
NetFlow
analytics
Threat
hunting
Compliance
monitoring
Malware
analysis
Archive
TIP
Threat intelligence
and enrichment
Data sources
22
18
19
23
Enforcement
21
Reporting
SOC
Dashboards
Visualization
Infrastructure
LDAP
NTP
E-mail
End-Point
Security
Software
management
Backup
Network
Security
Network
Compute
Storage
Agent
Workstation
VDI
Configuration
management
Network
Security
Active
Directory
SOC Portal
SOC
Collaboration
External data
and analytics
24
TI
feeds External TI
consumers
20
28
Search
Store 3
10
Источник: один из проектов Cisco по проектированию SOC
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Сколько SOCов в России измеряют себя?
15%
80%
5%
Число SOCов, использующих метрики
Измеряют Не измеряют Скрывают
Источник: опрос перед SOC Forum 2019
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
В США/мире тоже не все измеряют свою
эффективность, но их меньше, чем в России
0
5
10
15
20
25
30
Q3:Fewer
than100
Q3:101–
1,000
Q3:
1,001–
2,000
Q3:
2,001–
5,000
Q3:
5,001–
10,000
Q3:
10,001–
15,000
Q3:
15,001–
50,000
Q3:
50,001–
100,000
Q3:More
than
100,000
Yes No Unknown
Источник: SANS SOC Survey 2019
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Число инцидентов –
самая простая
метрика. Легко
считать и показать
динамику!
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Поздний детект
Высокий ущерб
Ранний детект
Малый ущерб
Среднее по
индустрии время
обнаружения
утечки
Среднее по
индустрии время
локализации
утечки
Средняя
цена
утечки
данных
Время – критический фактор
1 из 4
Риск крупных утечек в
следующие 24 месяца
Время
Источник: Ponemon 2018 Cost of a Data Breach Study
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Временная шкала инцидента
Угроза
реализована
T0
Обнаружена и
отправлена в SOC
T1 T2
Начата
приорите-
зация
T5
Инцидент
локализован
T3
Приорите-
зация
завершена
T6
Инцидент
закрыт и
причины
устранены
Анализ
завершен
T4
TTD
TTT
TTC
Большинство SOCов очень
хорошо умеет вычислять число
инцидентов/событий с
течением времени, но плохо
чистые временные метрики
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Бывает и большая детализация временных
метрик
MTTT MTTQ MTTI MTTM MTTV MTTD MTTR
Ранние доказательства
Создание алерта
Первичная инспекция
Создание кейса
Признание инцидента
Устранение
Восстановление
Но это уже лишнее во многих случаях
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Примеры временных метрик
Median time to triage
(MTTT)
(общее и по критичности)
Среднее время, необходимое SOC
для начала реагирования на
инцидент с момента получения
сигнала тревоги. Более длинный
MTTT указывает на более высокие
уровни ущерба или неспособность
аналитиков своевременно
включаться в работу.
Median time to contain* (MTTC)
(общее, по категории и по
критичности)
Среднее время, в течение
которого SOC локализует
инцидент с момента его начала.
Более длинный MTTC указывает
на более высокие уровни ущерба.
Время Время
Median time to detect*
(MTTD)
(общее и по критичности)
Среднее время, в течение которого SOC
начинает реагировать на инцидент с
момента его начала. Более длительный
MTTD указывает на более высокие уровни
ущерба. Отслеживание MTTD поможет вам
настроить инструментарий, возможности
обнаружения инцидентов или увеличить
охват сбора данных.
Время
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
Почему медиана?
• Среднее арифметическое – 8,81 часов
• Медиана – 2 часа
• Худшее – 42 часа
• Лучшее – 0,1 часа
0
5
10
15
20
25
30
35
40
45
Тип
1
Тип
2
Тип
3
Тип
4
Тип
5
Тип
6
Тип
7
Тип
8
Тип
9
Тип
10
TTD, часов
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Confidential
Почему не только
общее число?
• Разные типы инцидентов
имеют разное время
обнаружения, локализация и
закрытия
Источник: Cisco CISRT
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Примеры метрик
Число часов, сохраненных
автоматизацией
(всего и по каждому инструменту
автоматизации)
Указывает на ценность
автоматизации, а также
дает представление о том,
какие инструменты
автоматизации дают
эффект
Число инцидентов
ИБ, обнаруженных с
помощью TI
Отслеживание этого
показателя показывает
ценность фидов /
провайдеров TI
##
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Примеры метрик
Число открытых
инцидентов 1-го уровня
(критический/высокий)
Более высокие значения
могут указывать на плохую
конфигурацию инструментов
ИБ, включая инструменты в
SOC или более высокие
возможности обнаружения
по мере увеличения
зрелости SOC
Число ложных
срабатываний (всего и на
сигнал тревоги/правило)
Более высокие значения
могут указывать на плохую
конфигурацию
инструментов ИБ, в том
числе в SOC
% инцидентов, переданных
аналитикам L2
(всего и на аналитика)
Показывает эффективность
команды аналитиков 1-го уровня.
Более высокие значения будут
влиять на команду L2 и могут
указывать на: низкий уровень
знаний, потребность в обучении,
неправильный обмен
информацией
% точности эскалации
на L2
(всего и на аналитика)
Показывает эффективность
команды аналитиков 1-го
уровня. Более высокие
значения будут влиять на
команду L2 и могут указывать
на: низкий уровень знаний,
потребность в обучении,
неправильный обмен
информацией
##% %
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
• Отсутствие незакрытых инцидентов, скорость реакции,
отсутствие претензий от службы реагирования
• Количество инцидентов/общее количество выявленных
предположительно угроз (что-то вроде показателя уязвимости)
пропуска
• Количество выявленных верно угроз/общее количество
выявленных предположительных угроз (что-то вроде показателя
нагруженности)
• % отработанных инцидентов от общего их числа
Что измеряют российские SOCи?
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
• Среднее время реагирования, контроль полноты, количество
ложных срабатываний
• Количество обработанных инцидентов, количество выполненных
глобальных задач
• TTD, TTR, TTC, количество новых выявленных угроз, количество
разборов на новые угрозы
Что измеряют российские SOCи?
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Пример dashboard/отчета для главы CSIRT
Источник: Cisco CISRT
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
SOC – это не только технический стек
Активность Месяц 1 Месяц 2 Месяц 3 Месяц 4 Месяц 5 Месяц 6
Управление программой
Управление
сервисом Анализ
KPI и SLA
Стратегия и бизнес кейсы
Анализ контрактов с
внешними контрагентами
Анализ закупок у внешних
контрагентов
Персонал
Рекрутинг
Документация
Каталог
сервисов Playbooks
Тренинги и
развитие
Оценка
навыков Подготовка
Передача
знаний
Тренинги
Улучшения
Улучшение инжиниринга
Улучшение операций
Пересмотр
периметра Пересмотр VA
Пересмотр
телеметрии
Улучшение
периметра Улучшение VA
Telemetry
improvement
Измерение
Бенчмаркинг
3rd
Бенчмаркинг
3rd
• Число закрытых требованиями
НПА по КИИ сегментов /
бизнес-единиц / устройств
• Число отправленных в НКЦКИ /
ФинЦЕРТ инцидентов
• Загрузка аналитиков SOC
• Количество пройденных
тренингов
• % эффективных playbook
• % используемых сервисов SOC
• % эффективных use case
Источник: один из проектов Cisco по аудиту SOC
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Как считают буржуйские SOCи?
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Отличия крупных и небольших SOCов
Меньше внимания числу
инцидентов и времени
восстановления после
инцидента и больше числу
эскалированных инцидентов,
времени простоя и времени
устранения последствий от
инцидента
Сфокусированы на оценке
длительности простоев и
потерь для бизнеса
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
• Число пострадавших активов и устройств
• Финансовая стоимость инцидента
• С точки зрения затрат на разруливание инцидента, а не потерь от
него для бизнеса
• Число инцидентов, произошедших по причине известных
уязвимостей
• Число инцидентов, закрытых за одну смену
• Привязка к MITRE ATT&CK
Какие еще метрики используют?
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Соотношение
понесенных и
предотвращенных
потерь
Одна из самых редких метрик, которую не
способны посчитать даже руководители
бизнес-подразделений, не говоря о SOCах
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Стоимость
украденного
аккаунта
клиента в
Darknet?!
Источник: один из проектов Cisco по аудиту SOC
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
С помощью чего анализируются данные и
оценивается эффективность SOC?
57%
10%
5%
23%
5%
Россия
SIEM
TIP
SOAR/IRP
Самопал/API
Другое
50%
15%
10%
10%
15%
США/весь мир
SIEM
TIP
SOAR/IRP
Самопал/API
Другое
• Большинство респондентов полагается на SIEM, но не
удовлетворены результатами оценки
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Отмечается
тенденция отказа от
метрик, под которые
аналитики подгоняют
свои результаты
Например, число закрытых тикетов/кейсов
на аналитика, которое приводит к созданию
фейковых (легко открываемых/закрываемых)
тикетов
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Как отслеживаются и рапортуются метрики SOC?
12%
45%
33%
10%
Россия
Полностью ручной
Частичная
автоматизация
Преимущественно
автоматизированно
Полная
автоматизация
18%
44%
27%
11%
США/весь мир
Полностью ручной
Частичная
автоматизация
Преимущественно
автоматизированно
Полная
автоматизация
• Большинство респондентов полагается на SIEM, но не
удовлетворены результатами оценки
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Уровень Инструментарий Функции Threat Intelligence Метрики Персонал
1 SIEM Базовый мониторинг
событий
Нет фидов Метрик нет Мониторинг событий
(L1-L3)
2 SIEM + базовый
сетевой
мониторинг
Мониторинг событий,
тюнинг контента
Базовые фиды TI Базовые метрики,
ориентированные на
инструментарий
(например, число
событий)
Мониторинг событий,
разработка контента
3 SIEM + NTA Базовое обнаружение
аномалий, периодические
пентесты
Широкое использование
тактического и
стратегическогоTI
Метрики,
ориентированные на
инструментарий и
временные метрики (TTD,
TTC, TTR)
Базовый TI FTE
4 SIEM + NTA + EDR Анализ ВПО, базовый
threat hunting,
киберучения red/blue
team
Широкое использование
тактического и
стратегическогоTI, внутренняя
служба TI, процессы,
основанные на TI
Метрики эффективности
аналитиков, фокус на
улучшения
TI FTE или отдел TI,
red team FTE или
служба
5 SIEM + NTA + EDR
+ UEBA + SOAR
Интегрированные
мониторинг и
реагирование, threat
hunting, продвинутая
аналитика для
обнаружения аномалий,
red team
Широкое использование
тактического и
стратегическогоTI, внутренняя
служба TI, процессы,
основанные на TI, обмен
данными
Метрики
результативности
эффективности,
доказательства улучшения
обнаружения и
реагирования
Hunting team, red
team, TI team
А вот зрелость SOC мало кто оценивает
Источник: Gartner SOC Maturity Model
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
• Не снизу вверх («у меня есть данные, что я могу из них
выжать?»), а сверху вниз («у меня есть цель, какие данные мне
для этого нужны?»)
• Почему вы тратите деньги на SOC?
• Законодательство
• Мода
• Бизнес
• Что важно для вашего руководства и почему?
• Выбирайте метрики только после ответа на эти вопросы
Как правильно?
© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public
Вопросы?
Измерение эффективности SOC. 3 года спустя

Mais conteúdo relacionado

Mais procurados

Кибербезопасность прорывных технологий
Кибербезопасность прорывных технологийКибербезопасность прорывных технологий
Кибербезопасность прорывных технологийAleksey Lukatskiy
 
Бизнес-метрики ИБ для руководства финансовой организации
Бизнес-метрики ИБ для руководства финансовой организацииБизнес-метрики ИБ для руководства финансовой организации
Бизнес-метрики ИБ для руководства финансовой организацииAleksey Lukatskiy
 
Чеклист организации, выстраивающей стратегию безопасного удаленного доступа
Чеклист организации, выстраивающей стратегию безопасного удаленного доступаЧеклист организации, выстраивающей стратегию безопасного удаленного доступа
Чеклист организации, выстраивающей стратегию безопасного удаленного доступаAleksey Lukatskiy
 
Один зеродей и тысяча ночей без сна
Один зеродей и тысяча ночей без снаОдин зеродей и тысяча ночей без сна
Один зеродей и тысяча ночей без снаAleksey Lukatskiy
 
Ландшафт технологий кибербезопасности 2025
Ландшафт технологий кибербезопасности 2025Ландшафт технологий кибербезопасности 2025
Ландшафт технологий кибербезопасности 2025Aleksey Lukatskiy
 
Список потребностей CxO банка и как натянуть на них кибербезопасность
Список потребностей CxO банка и как натянуть на них кибербезопасностьСписок потребностей CxO банка и как натянуть на них кибербезопасность
Список потребностей CxO банка и как натянуть на них кибербезопасностьAleksey Lukatskiy
 
От разрозненных фидов к целостной программе Threat intelligence
От разрозненных фидов к целостной программе Threat intelligenceОт разрозненных фидов к целостной программе Threat intelligence
От разрозненных фидов к целостной программе Threat intelligenceAleksey Lukatskiy
 
"Сочные"мифы. Заблуждения, связанные с SOC
"Сочные"мифы. Заблуждения, связанные с SOC"Сочные"мифы. Заблуждения, связанные с SOC
"Сочные"мифы. Заблуждения, связанные с SOCAleksey Lukatskiy
 
Измерение эффективности ИБ промышленных систем
Измерение эффективности ИБ промышленных системИзмерение эффективности ИБ промышленных систем
Измерение эффективности ИБ промышленных системAleksey Lukatskiy
 
Атрибуция кибератак
Атрибуция кибератакАтрибуция кибератак
Атрибуция кибератакAleksey Lukatskiy
 
Защита облаков в условиях комбинирования частных и публичных облачных инфраст...
Защита облаков в условиях комбинирования частных и публичных облачных инфраст...Защита облаков в условиях комбинирования частных и публичных облачных инфраст...
Защита облаков в условиях комбинирования частных и публичных облачных инфраст...Aleksey Lukatskiy
 
Astana r-vision20161028
Astana r-vision20161028Astana r-vision20161028
Astana r-vision20161028Diana Frolova
 
Зарисовки о том, как устроена кибербезопасность в Cisco
Зарисовки о том, как устроена кибербезопасность в CiscoЗарисовки о том, как устроена кибербезопасность в Cisco
Зарисовки о том, как устроена кибербезопасность в CiscoAleksey Lukatskiy
 
Fortinet корпоративная фабрика безопасности
Fortinet корпоративная фабрика безопасностиFortinet корпоративная фабрика безопасности
Fortinet корпоративная фабрика безопасностиDiana Frolova
 
Как создать в России свою систему Threat intelligence?
Как создать в России свою систему Threat intelligence?Как создать в России свою систему Threat intelligence?
Как создать в России свою систему Threat intelligence?Aleksey Lukatskiy
 
17 способов проникновения во внутреннюю сеть компании
17 способов проникновения во внутреннюю сеть компании17 способов проникновения во внутреннюю сеть компании
17 способов проникновения во внутреннюю сеть компанииAleksey Lukatskiy
 
Почему аналитики L1 в SOC бесполезны?
Почему аналитики L1 в SOC бесполезны?Почему аналитики L1 в SOC бесполезны?
Почему аналитики L1 в SOC бесполезны?Aleksey Lukatskiy
 
Кибербезопасность и искусственный интеллект
Кибербезопасность и искусственный интеллект Кибербезопасность и искусственный интеллект
Кибербезопасность и искусственный интеллект Aleksey Lukatskiy
 
Информационная безопасность и фактор времени
Информационная безопасность и фактор времениИнформационная безопасность и фактор времени
Информационная безопасность и фактор времениAleksey Lukatskiy
 

Mais procurados (20)

Кибербезопасность прорывных технологий
Кибербезопасность прорывных технологийКибербезопасность прорывных технологий
Кибербезопасность прорывных технологий
 
Бизнес-метрики ИБ для руководства финансовой организации
Бизнес-метрики ИБ для руководства финансовой организацииБизнес-метрики ИБ для руководства финансовой организации
Бизнес-метрики ИБ для руководства финансовой организации
 
Чеклист организации, выстраивающей стратегию безопасного удаленного доступа
Чеклист организации, выстраивающей стратегию безопасного удаленного доступаЧеклист организации, выстраивающей стратегию безопасного удаленного доступа
Чеклист организации, выстраивающей стратегию безопасного удаленного доступа
 
Один зеродей и тысяча ночей без сна
Один зеродей и тысяча ночей без снаОдин зеродей и тысяча ночей без сна
Один зеродей и тысяча ночей без сна
 
Ландшафт технологий кибербезопасности 2025
Ландшафт технологий кибербезопасности 2025Ландшафт технологий кибербезопасности 2025
Ландшафт технологий кибербезопасности 2025
 
Список потребностей CxO банка и как натянуть на них кибербезопасность
Список потребностей CxO банка и как натянуть на них кибербезопасностьСписок потребностей CxO банка и как натянуть на них кибербезопасность
Список потребностей CxO банка и как натянуть на них кибербезопасность
 
От разрозненных фидов к целостной программе Threat intelligence
От разрозненных фидов к целостной программе Threat intelligenceОт разрозненных фидов к целостной программе Threat intelligence
От разрозненных фидов к целостной программе Threat intelligence
 
От SOC v0.1 к SOC v2.0
От SOC v0.1 к SOC v2.0От SOC v0.1 к SOC v2.0
От SOC v0.1 к SOC v2.0
 
"Сочные"мифы. Заблуждения, связанные с SOC
"Сочные"мифы. Заблуждения, связанные с SOC"Сочные"мифы. Заблуждения, связанные с SOC
"Сочные"мифы. Заблуждения, связанные с SOC
 
Измерение эффективности ИБ промышленных систем
Измерение эффективности ИБ промышленных системИзмерение эффективности ИБ промышленных систем
Измерение эффективности ИБ промышленных систем
 
Атрибуция кибератак
Атрибуция кибератакАтрибуция кибератак
Атрибуция кибератак
 
Защита облаков в условиях комбинирования частных и публичных облачных инфраст...
Защита облаков в условиях комбинирования частных и публичных облачных инфраст...Защита облаков в условиях комбинирования частных и публичных облачных инфраст...
Защита облаков в условиях комбинирования частных и публичных облачных инфраст...
 
Astana r-vision20161028
Astana r-vision20161028Astana r-vision20161028
Astana r-vision20161028
 
Зарисовки о том, как устроена кибербезопасность в Cisco
Зарисовки о том, как устроена кибербезопасность в CiscoЗарисовки о том, как устроена кибербезопасность в Cisco
Зарисовки о том, как устроена кибербезопасность в Cisco
 
Fortinet корпоративная фабрика безопасности
Fortinet корпоративная фабрика безопасностиFortinet корпоративная фабрика безопасности
Fortinet корпоративная фабрика безопасности
 
Как создать в России свою систему Threat intelligence?
Как создать в России свою систему Threat intelligence?Как создать в России свою систему Threat intelligence?
Как создать в России свою систему Threat intelligence?
 
17 способов проникновения во внутреннюю сеть компании
17 способов проникновения во внутреннюю сеть компании17 способов проникновения во внутреннюю сеть компании
17 способов проникновения во внутреннюю сеть компании
 
Почему аналитики L1 в SOC бесполезны?
Почему аналитики L1 в SOC бесполезны?Почему аналитики L1 в SOC бесполезны?
Почему аналитики L1 в SOC бесполезны?
 
Кибербезопасность и искусственный интеллект
Кибербезопасность и искусственный интеллект Кибербезопасность и искусственный интеллект
Кибербезопасность и искусственный интеллект
 
Информационная безопасность и фактор времени
Информационная безопасность и фактор времениИнформационная безопасность и фактор времени
Информационная безопасность и фактор времени
 

Semelhante a Измерение эффективности SOC. 3 года спустя

Как построить SOC?
Как построить SOC?Как построить SOC?
Как построить SOC?Aleksey Lukatskiy
 
Машинное обучение в кибербезопасности
Машинное обучение в кибербезопасностиМашинное обучение в кибербезопасности
Машинное обучение в кибербезопасностиAleksey Lukatskiy
 
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"Expolink
 
Некоторые примеры метрик для измерения эффективности SOC
Некоторые примеры метрик для измерения эффективности SOCНекоторые примеры метрик для измерения эффективности SOC
Некоторые примеры метрик для измерения эффективности SOCAleksey Lukatskiy
 
5 советов, от которых зависит успешность вашего SOC
5 советов, от которых зависит успешность вашего SOC5 советов, от которых зависит успешность вашего SOC
5 советов, от которых зависит успешность вашего SOCAleksey Lukatskiy
 
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"Expolink
 
Анализ ИБ и расследование инцидентов ИБ (учебный семинар)
Анализ ИБ и расследование инцидентов ИБ (учебный семинар)Анализ ИБ и расследование инцидентов ИБ (учебный семинар)
Анализ ИБ и расследование инцидентов ИБ (учебный семинар)Alexey Kachalin
 
Upd pci compliance
Upd pci compliance Upd pci compliance
Upd pci compliance BAKOTECH
 
Особенности построения национальных центров мониторинга киберугроз
Особенности построения национальных центров мониторинга киберугрозОсобенности построения национальных центров мониторинга киберугроз
Особенности построения национальных центров мониторинга киберугрозAleksey Lukatskiy
 
Stealthwatch совершенствует защиту от угроз
Stealthwatch совершенствует защиту от угрозStealthwatch совершенствует защиту от угроз
Stealthwatch совершенствует защиту от угрозCisco Russia
 
От SIEM к SOC дорогу осилит смотрящий
От SIEM к SOC дорогу осилит смотрящийОт SIEM к SOC дорогу осилит смотрящий
От SIEM к SOC дорогу осилит смотрящийjet_information_security
 
Зачем измерять информационную безопасность
Зачем измерять информационную безопасностьЗачем измерять информационную безопасность
Зачем измерять информационную безопасностьInfoWatch
 
пр зачем измерять информационную безопасность (прозоров)
пр зачем измерять информационную безопасность (прозоров)пр зачем измерять информационную безопасность (прозоров)
пр зачем измерять информационную безопасность (прозоров)Andrey Prozorov, CISM, CIPP/E, CDPSE. LA 27001
 
Cognitive Threat Analytics
Cognitive Threat AnalyticsCognitive Threat Analytics
Cognitive Threat AnalyticsCisco Russia
 
Вебинар по HP ArcSight 25.11.14
Вебинар по HP ArcSight 25.11.14Вебинар по HP ArcSight 25.11.14
Вебинар по HP ArcSight 25.11.14DialogueScience
 
Мониторинг событий информационной безопасности на базе решений HP ArcSight ES...
Мониторинг событий информационной безопасности на базе решений HP ArcSight ES...Мониторинг событий информационной безопасности на базе решений HP ArcSight ES...
Мониторинг событий информационной безопасности на базе решений HP ArcSight ES...DialogueScience
 
Cisco Cyber Threat Defense
Cisco Cyber Threat DefenseCisco Cyber Threat Defense
Cisco Cyber Threat DefenseCisco Russia
 

Semelhante a Измерение эффективности SOC. 3 года спустя (20)

Как построить SOC?
Как построить SOC?Как построить SOC?
Как построить SOC?
 
Машинное обучение в кибербезопасности
Машинное обучение в кибербезопасностиМашинное обучение в кибербезопасности
Машинное обучение в кибербезопасности
 
пр 5 почему аутсорсинга ИБ
пр 5 почему аутсорсинга ИБпр 5 почему аутсорсинга ИБ
пр 5 почему аутсорсинга ИБ
 
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"
 
Некоторые примеры метрик для измерения эффективности SOC
Некоторые примеры метрик для измерения эффективности SOCНекоторые примеры метрик для измерения эффективности SOC
Некоторые примеры метрик для измерения эффективности SOC
 
5 советов, от которых зависит успешность вашего SOC
5 советов, от которых зависит успешность вашего SOC5 советов, от которых зависит успешность вашего SOC
5 советов, от которых зависит успешность вашего SOC
 
5.про soc от jet
5.про soc от jet5.про soc от jet
5.про soc от jet
 
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"
Solar Security. Андрей Прозоров. "5 "почему" аутсорсинга ИБ"
 
SOC vs SIEM
SOC vs SIEMSOC vs SIEM
SOC vs SIEM
 
Анализ ИБ и расследование инцидентов ИБ (учебный семинар)
Анализ ИБ и расследование инцидентов ИБ (учебный семинар)Анализ ИБ и расследование инцидентов ИБ (учебный семинар)
Анализ ИБ и расследование инцидентов ИБ (учебный семинар)
 
Upd pci compliance
Upd pci compliance Upd pci compliance
Upd pci compliance
 
Особенности построения национальных центров мониторинга киберугроз
Особенности построения национальных центров мониторинга киберугрозОсобенности построения национальных центров мониторинга киберугроз
Особенности построения национальных центров мониторинга киберугроз
 
Stealthwatch совершенствует защиту от угроз
Stealthwatch совершенствует защиту от угрозStealthwatch совершенствует защиту от угроз
Stealthwatch совершенствует защиту от угроз
 
От SIEM к SOC дорогу осилит смотрящий
От SIEM к SOC дорогу осилит смотрящийОт SIEM к SOC дорогу осилит смотрящий
От SIEM к SOC дорогу осилит смотрящий
 
Зачем измерять информационную безопасность
Зачем измерять информационную безопасностьЗачем измерять информационную безопасность
Зачем измерять информационную безопасность
 
пр зачем измерять информационную безопасность (прозоров)
пр зачем измерять информационную безопасность (прозоров)пр зачем измерять информационную безопасность (прозоров)
пр зачем измерять информационную безопасность (прозоров)
 
Cognitive Threat Analytics
Cognitive Threat AnalyticsCognitive Threat Analytics
Cognitive Threat Analytics
 
Вебинар по HP ArcSight 25.11.14
Вебинар по HP ArcSight 25.11.14Вебинар по HP ArcSight 25.11.14
Вебинар по HP ArcSight 25.11.14
 
Мониторинг событий информационной безопасности на базе решений HP ArcSight ES...
Мониторинг событий информационной безопасности на базе решений HP ArcSight ES...Мониторинг событий информационной безопасности на базе решений HP ArcSight ES...
Мониторинг событий информационной безопасности на базе решений HP ArcSight ES...
 
Cisco Cyber Threat Defense
Cisco Cyber Threat DefenseCisco Cyber Threat Defense
Cisco Cyber Threat Defense
 

Mais de Aleksey Lukatskiy

4 сценария мониторинга ИБ изолированных промышленных площадок
4 сценария мониторинга ИБ изолированных промышленных площадок4 сценария мониторинга ИБ изолированных промышленных площадок
4 сценария мониторинга ИБ изолированных промышленных площадокAleksey Lukatskiy
 
Как ловить кибермафию с помощью DNS
Как ловить кибермафию с помощью DNSКак ловить кибермафию с помощью DNS
Как ловить кибермафию с помощью DNSAleksey Lukatskiy
 
Дашборды по ИБ АСУ ТП
Дашборды по ИБ АСУ ТПДашборды по ИБ АСУ ТП
Дашборды по ИБ АСУ ТПAleksey Lukatskiy
 
Тенденции киберугроз. Что необходимо знать?
Тенденции киберугроз. Что необходимо знать?Тенденции киберугроз. Что необходимо знать?
Тенденции киберугроз. Что необходимо знать?Aleksey Lukatskiy
 
Новая концепция кибербезопасности Zero Trust
Новая концепция кибербезопасности Zero TrustНовая концепция кибербезопасности Zero Trust
Новая концепция кибербезопасности Zero TrustAleksey Lukatskiy
 
ICS Cyber Security Effectiveness Measurement
ICS Cyber Security Effectiveness MeasurementICS Cyber Security Effectiveness Measurement
ICS Cyber Security Effectiveness MeasurementAleksey Lukatskiy
 
17 способов опозорить ваш МСЭ и проникнуть в корпоративную сеть
17 способов опозорить ваш МСЭ и проникнуть в корпоративную сеть17 способов опозорить ваш МСЭ и проникнуть в корпоративную сеть
17 способов опозорить ваш МСЭ и проникнуть в корпоративную сетьAleksey Lukatskiy
 
Новинки нормотворчества по ИБ от Банка России
Новинки нормотворчества по ИБ от Банка РоссииНовинки нормотворчества по ИБ от Банка России
Новинки нормотворчества по ИБ от Банка РоссииAleksey Lukatskiy
 
Техническая защита персональных данных. Как соблюсти GDPR и ФЗ-152
Техническая защита персональных данных.Как соблюсти GDPR и ФЗ-152Техническая защита персональных данных.Как соблюсти GDPR и ФЗ-152
Техническая защита персональных данных. Как соблюсти GDPR и ФЗ-152Aleksey Lukatskiy
 
Применение блокчейна в кибербезопасности
Применение блокчейна в кибербезопасностиПрименение блокчейна в кибербезопасности
Применение блокчейна в кибербезопасностиAleksey Lukatskiy
 
Майндкарта по 239-му приказу ФСТЭК
Майндкарта по 239-му приказу ФСТЭКМайндкарта по 239-му приказу ФСТЭК
Майндкарта по 239-му приказу ФСТЭКAleksey Lukatskiy
 

Mais de Aleksey Lukatskiy (11)

4 сценария мониторинга ИБ изолированных промышленных площадок
4 сценария мониторинга ИБ изолированных промышленных площадок4 сценария мониторинга ИБ изолированных промышленных площадок
4 сценария мониторинга ИБ изолированных промышленных площадок
 
Как ловить кибермафию с помощью DNS
Как ловить кибермафию с помощью DNSКак ловить кибермафию с помощью DNS
Как ловить кибермафию с помощью DNS
 
Дашборды по ИБ АСУ ТП
Дашборды по ИБ АСУ ТПДашборды по ИБ АСУ ТП
Дашборды по ИБ АСУ ТП
 
Тенденции киберугроз. Что необходимо знать?
Тенденции киберугроз. Что необходимо знать?Тенденции киберугроз. Что необходимо знать?
Тенденции киберугроз. Что необходимо знать?
 
Новая концепция кибербезопасности Zero Trust
Новая концепция кибербезопасности Zero TrustНовая концепция кибербезопасности Zero Trust
Новая концепция кибербезопасности Zero Trust
 
ICS Cyber Security Effectiveness Measurement
ICS Cyber Security Effectiveness MeasurementICS Cyber Security Effectiveness Measurement
ICS Cyber Security Effectiveness Measurement
 
17 способов опозорить ваш МСЭ и проникнуть в корпоративную сеть
17 способов опозорить ваш МСЭ и проникнуть в корпоративную сеть17 способов опозорить ваш МСЭ и проникнуть в корпоративную сеть
17 способов опозорить ваш МСЭ и проникнуть в корпоративную сеть
 
Новинки нормотворчества по ИБ от Банка России
Новинки нормотворчества по ИБ от Банка РоссииНовинки нормотворчества по ИБ от Банка России
Новинки нормотворчества по ИБ от Банка России
 
Техническая защита персональных данных. Как соблюсти GDPR и ФЗ-152
Техническая защита персональных данных.Как соблюсти GDPR и ФЗ-152Техническая защита персональных данных.Как соблюсти GDPR и ФЗ-152
Техническая защита персональных данных. Как соблюсти GDPR и ФЗ-152
 
Применение блокчейна в кибербезопасности
Применение блокчейна в кибербезопасностиПрименение блокчейна в кибербезопасности
Применение блокчейна в кибербезопасности
 
Майндкарта по 239-му приказу ФСТЭК
Майндкарта по 239-му приказу ФСТЭКМайндкарта по 239-му приказу ФСТЭК
Майндкарта по 239-му приказу ФСТЭК
 

Измерение эффективности SOC. 3 года спустя

  • 1. Измерение эффективности SOC Три года спустя Алексей Лукацкий 20 ноября 2019 Бизнес-консультант по кибербезопасности
  • 2. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Три года спустя
  • 3. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Мы говорим преимущественно о технических и организационных моментах DC 2 Case management, automation and orchestration Internal and external context data sources 1 2 3 4 6 5 7 9 12 11 8 13 14 15 TIP 16 17 DC 1 Cloud Branch Data bus 25 External data stores External analytics 27 26 Data collection and storage Store 1 Collect and Forward Store 2 Security analytics Correlation UEBA NetFlow analytics Threat hunting Compliance monitoring Malware analysis Archive TIP Threat intelligence and enrichment Data sources 22 18 19 23 Enforcement 21 Reporting SOC Dashboards Visualization Infrastructure LDAP NTP E-mail End-Point Security Software management Backup Network Security Network Compute Storage Agent Workstation VDI Configuration management Network Security Active Directory SOC Portal SOC Collaboration External data and analytics 24 TI feeds External TI consumers 20 28 Search Store 3 10 Источник: один из проектов Cisco по проектированию SOC
  • 4. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Сколько SOCов в России измеряют себя? 15% 80% 5% Число SOCов, использующих метрики Измеряют Не измеряют Скрывают Источник: опрос перед SOC Forum 2019
  • 5. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public В США/мире тоже не все измеряют свою эффективность, но их меньше, чем в России 0 5 10 15 20 25 30 Q3:Fewer than100 Q3:101– 1,000 Q3: 1,001– 2,000 Q3: 2,001– 5,000 Q3: 5,001– 10,000 Q3: 10,001– 15,000 Q3: 15,001– 50,000 Q3: 50,001– 100,000 Q3:More than 100,000 Yes No Unknown Источник: SANS SOC Survey 2019
  • 6. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Число инцидентов – самая простая метрика. Легко считать и показать динамику!
  • 7. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Поздний детект Высокий ущерб Ранний детект Малый ущерб Среднее по индустрии время обнаружения утечки Среднее по индустрии время локализации утечки Средняя цена утечки данных Время – критический фактор 1 из 4 Риск крупных утечек в следующие 24 месяца Время Источник: Ponemon 2018 Cost of a Data Breach Study
  • 8. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Временная шкала инцидента Угроза реализована T0 Обнаружена и отправлена в SOC T1 T2 Начата приорите- зация T5 Инцидент локализован T3 Приорите- зация завершена T6 Инцидент закрыт и причины устранены Анализ завершен T4 TTD TTT TTC Большинство SOCов очень хорошо умеет вычислять число инцидентов/событий с течением времени, но плохо чистые временные метрики
  • 9. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Бывает и большая детализация временных метрик MTTT MTTQ MTTI MTTM MTTV MTTD MTTR Ранние доказательства Создание алерта Первичная инспекция Создание кейса Признание инцидента Устранение Восстановление Но это уже лишнее во многих случаях
  • 10. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Примеры временных метрик Median time to triage (MTTT) (общее и по критичности) Среднее время, необходимое SOC для начала реагирования на инцидент с момента получения сигнала тревоги. Более длинный MTTT указывает на более высокие уровни ущерба или неспособность аналитиков своевременно включаться в работу. Median time to contain* (MTTC) (общее, по категории и по критичности) Среднее время, в течение которого SOC локализует инцидент с момента его начала. Более длинный MTTC указывает на более высокие уровни ущерба. Время Время Median time to detect* (MTTD) (общее и по критичности) Среднее время, в течение которого SOC начинает реагировать на инцидент с момента его начала. Более длительный MTTD указывает на более высокие уровни ущерба. Отслеживание MTTD поможет вам настроить инструментарий, возможности обнаружения инцидентов или увеличить охват сбора данных. Время
  • 11. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Confidential Почему медиана? • Среднее арифметическое – 8,81 часов • Медиана – 2 часа • Худшее – 42 часа • Лучшее – 0,1 часа 0 5 10 15 20 25 30 35 40 45 Тип 1 Тип 2 Тип 3 Тип 4 Тип 5 Тип 6 Тип 7 Тип 8 Тип 9 Тип 10 TTD, часов
  • 12. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public© 2018 Cisco and/or its affiliates. All rights reserved. Cisco Confidential Почему не только общее число? • Разные типы инцидентов имеют разное время обнаружения, локализация и закрытия Источник: Cisco CISRT
  • 13. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Примеры метрик Число часов, сохраненных автоматизацией (всего и по каждому инструменту автоматизации) Указывает на ценность автоматизации, а также дает представление о том, какие инструменты автоматизации дают эффект Число инцидентов ИБ, обнаруженных с помощью TI Отслеживание этого показателя показывает ценность фидов / провайдеров TI ##
  • 14. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Примеры метрик Число открытых инцидентов 1-го уровня (критический/высокий) Более высокие значения могут указывать на плохую конфигурацию инструментов ИБ, включая инструменты в SOC или более высокие возможности обнаружения по мере увеличения зрелости SOC Число ложных срабатываний (всего и на сигнал тревоги/правило) Более высокие значения могут указывать на плохую конфигурацию инструментов ИБ, в том числе в SOC % инцидентов, переданных аналитикам L2 (всего и на аналитика) Показывает эффективность команды аналитиков 1-го уровня. Более высокие значения будут влиять на команду L2 и могут указывать на: низкий уровень знаний, потребность в обучении, неправильный обмен информацией % точности эскалации на L2 (всего и на аналитика) Показывает эффективность команды аналитиков 1-го уровня. Более высокие значения будут влиять на команду L2 и могут указывать на: низкий уровень знаний, потребность в обучении, неправильный обмен информацией ##% %
  • 15. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public • Отсутствие незакрытых инцидентов, скорость реакции, отсутствие претензий от службы реагирования • Количество инцидентов/общее количество выявленных предположительно угроз (что-то вроде показателя уязвимости) пропуска • Количество выявленных верно угроз/общее количество выявленных предположительных угроз (что-то вроде показателя нагруженности) • % отработанных инцидентов от общего их числа Что измеряют российские SOCи?
  • 16. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public • Среднее время реагирования, контроль полноты, количество ложных срабатываний • Количество обработанных инцидентов, количество выполненных глобальных задач • TTD, TTR, TTC, количество новых выявленных угроз, количество разборов на новые угрозы Что измеряют российские SOCи?
  • 17. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Пример dashboard/отчета для главы CSIRT Источник: Cisco CISRT
  • 18. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public SOC – это не только технический стек Активность Месяц 1 Месяц 2 Месяц 3 Месяц 4 Месяц 5 Месяц 6 Управление программой Управление сервисом Анализ KPI и SLA Стратегия и бизнес кейсы Анализ контрактов с внешними контрагентами Анализ закупок у внешних контрагентов Персонал Рекрутинг Документация Каталог сервисов Playbooks Тренинги и развитие Оценка навыков Подготовка Передача знаний Тренинги Улучшения Улучшение инжиниринга Улучшение операций Пересмотр периметра Пересмотр VA Пересмотр телеметрии Улучшение периметра Улучшение VA Telemetry improvement Измерение Бенчмаркинг 3rd Бенчмаркинг 3rd • Число закрытых требованиями НПА по КИИ сегментов / бизнес-единиц / устройств • Число отправленных в НКЦКИ / ФинЦЕРТ инцидентов • Загрузка аналитиков SOC • Количество пройденных тренингов • % эффективных playbook • % используемых сервисов SOC • % эффективных use case Источник: один из проектов Cisco по аудиту SOC
  • 19. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Как считают буржуйские SOCи?
  • 20. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Отличия крупных и небольших SOCов Меньше внимания числу инцидентов и времени восстановления после инцидента и больше числу эскалированных инцидентов, времени простоя и времени устранения последствий от инцидента Сфокусированы на оценке длительности простоев и потерь для бизнеса
  • 21. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public • Число пострадавших активов и устройств • Финансовая стоимость инцидента • С точки зрения затрат на разруливание инцидента, а не потерь от него для бизнеса • Число инцидентов, произошедших по причине известных уязвимостей • Число инцидентов, закрытых за одну смену • Привязка к MITRE ATT&CK Какие еще метрики используют?
  • 22. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Соотношение понесенных и предотвращенных потерь Одна из самых редких метрик, которую не способны посчитать даже руководители бизнес-подразделений, не говоря о SOCах
  • 23. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Стоимость украденного аккаунта клиента в Darknet?! Источник: один из проектов Cisco по аудиту SOC
  • 24. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public С помощью чего анализируются данные и оценивается эффективность SOC? 57% 10% 5% 23% 5% Россия SIEM TIP SOAR/IRP Самопал/API Другое 50% 15% 10% 10% 15% США/весь мир SIEM TIP SOAR/IRP Самопал/API Другое • Большинство респондентов полагается на SIEM, но не удовлетворены результатами оценки
  • 25. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Отмечается тенденция отказа от метрик, под которые аналитики подгоняют свои результаты Например, число закрытых тикетов/кейсов на аналитика, которое приводит к созданию фейковых (легко открываемых/закрываемых) тикетов
  • 26. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Как отслеживаются и рапортуются метрики SOC? 12% 45% 33% 10% Россия Полностью ручной Частичная автоматизация Преимущественно автоматизированно Полная автоматизация 18% 44% 27% 11% США/весь мир Полностью ручной Частичная автоматизация Преимущественно автоматизированно Полная автоматизация • Большинство респондентов полагается на SIEM, но не удовлетворены результатами оценки
  • 27. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Уровень Инструментарий Функции Threat Intelligence Метрики Персонал 1 SIEM Базовый мониторинг событий Нет фидов Метрик нет Мониторинг событий (L1-L3) 2 SIEM + базовый сетевой мониторинг Мониторинг событий, тюнинг контента Базовые фиды TI Базовые метрики, ориентированные на инструментарий (например, число событий) Мониторинг событий, разработка контента 3 SIEM + NTA Базовое обнаружение аномалий, периодические пентесты Широкое использование тактического и стратегическогоTI Метрики, ориентированные на инструментарий и временные метрики (TTD, TTC, TTR) Базовый TI FTE 4 SIEM + NTA + EDR Анализ ВПО, базовый threat hunting, киберучения red/blue team Широкое использование тактического и стратегическогоTI, внутренняя служба TI, процессы, основанные на TI Метрики эффективности аналитиков, фокус на улучшения TI FTE или отдел TI, red team FTE или служба 5 SIEM + NTA + EDR + UEBA + SOAR Интегрированные мониторинг и реагирование, threat hunting, продвинутая аналитика для обнаружения аномалий, red team Широкое использование тактического и стратегическогоTI, внутренняя служба TI, процессы, основанные на TI, обмен данными Метрики результативности эффективности, доказательства улучшения обнаружения и реагирования Hunting team, red team, TI team А вот зрелость SOC мало кто оценивает Источник: Gartner SOC Maturity Model
  • 28. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public • Не снизу вверх («у меня есть данные, что я могу из них выжать?»), а сверху вниз («у меня есть цель, какие данные мне для этого нужны?») • Почему вы тратите деньги на SOC? • Законодательство • Мода • Бизнес • Что важно для вашего руководства и почему? • Выбирайте метрики только после ответа на эти вопросы Как правильно?
  • 29. © 2018 Cisco and/or its affiliates. All rights reserved. Cisco Public Вопросы?