Comment mesurer l’efficacité du SOC ? Evaluez la qualité des règles de détection.

La cybersécurité au second plan de l’actualité ? 

Au moment où nous écrivons cet article, notre pays, et une grande partie du monde traverse une crise sanitaire majeure. Alors que la crise économique qui en découle se dessine, que des entreprises tentent de limiter l’impact de ce séisme sur leur activité, les cyber-attaquants continuent, voire intensifient, leurs activités.
L’entreprise doit ainsi maintenir son niveau de sécurité informatique, tout en préservant son budget. Dans ce contexte, il est indispensable de rationaliser ses moyens de défense, et donc d’optimiser l’efficacité des dispositifs en place. Nous proposons de commencer par mesurer l’efficacité du SOC. 

Dans cet article, nous nous concentrons sur le centre névralgique de la sécurité du système d’information : le Security Operations Center (ou centre de supervision de la sécurité). 

Pour qui est destiné cet article ? 

Cet article a pour vocation d’apporter un éclairage méthodologique. Il peut intéresser toute personne en charge d’un SOC ou en réflexion sur la création ou l’évolution d’un tel service. Notamment :

• Le responsable de la sécurité (RSSI) qui est en phase de réflexion, en amont de la création d’un SOC, 
• Le SOC manager, y compris s’il veut faire évoluer son contrat avec son prestataire pour mieux suivre cette efficacité. 

Pour mesurer l’efficacité du SOC : pragmatisme et organisation sont de rigueur ! 

Comment connaître l’efficacité du SOC ? Même si cette question n’est pas toujours formulée, elle est au centre des préoccupations des acteurs de la cybersécurité.  
Pour rappel le SOC est un service qui permet de détecter des comportements malveillants sur le système d’information. Cette détection est basée sur des règles de détection ou d’analyse comportementale. En outre, ce service exploite des outils (SIEM, SIRP) qui génèrent des alertes sur la base d’algorithmes (règles de détection ou règles de corrélation). 

Efficacité du SOC : définition 

Pour mesurer l’efficacité du SOC, il existe plusieurs pistes à explorer. Il serait illusoire et fastidieux de chercher à être exhaustif. Lorsqu’il s’agit d’évaluer l’efficacité d’un SOC, il s’agit en réalité de mesurer plusieurs éléments :

• La couverture fonctionnelle et technique du SOC pour estimer la bonne articulation entre stratégie de prévention et stratégie de détection, 
• La performance de la détection pour évaluer l’efficacité des règles de corrélation en place,
• La maturité du Service, mesurée sur la base de la pertinence de la gouvernance, des missions, de la charge et des coûts du service. 

Notre expérience a montré qu’un axe pertinent est de se concentrer sur les règles de détection.

Comment mesurer la performance de la détection ? 

L’efficacité ou la performance d’un service, d’une solution technologique ou d’un processus s’évalue sur la base d’objectifs et d’indicateurs associés. L’amélioration consiste à piloter des actions de remédiation si les objectifs ne sont pas atteints.  Dans cet article, nous nous intéressons à la performance de la détection par une méthodologie en 4 étapes simples pour évaluer la pertinence de règles en place : 

Production de métriques et d’indicateurs 

La production d’indicateurs de qualité par règle suppose : 

• Une association explicite entre les alertes (et incidents) et les règles qui en sont la source, généralement à travers un identifiant de règle unique enregistré dans les tickets d’incident 
• Le renseignement à la clôture des incidents d’un champ de sévérité réelle et un code permettant de distinguer les faux positifs 

Ainsi pour chaque règle active, sur la période de référence, le SOC Manager produit un rapport contenant les métriques suivantes : 

• [indic1] Le nombre de déclenchement total, 
• [indic2] Le nombre de déclenchement par sévérité (mineur, majeur, critique), 
• [indic3] La durée d’analyse moyenne estimée en minutes, 
• [indic4] Le nombre de faux-positif, 
• [indic5] La sévérité moyenne. 

Ce dernier indicateur est calculé à partir du nombre de déclenchements et d’une pondération liée à la criticité de chacun d’eux. La sévérité moyenne par règle est la moyenne du nombre de déclenchement pondérée de la criticité. Si l’on se base sur une échelle à 3 niveaux de criticité (ce qui est généralement suffisant) avec la pondération suivante (mineur = 1, majeur = 2, critique = 3), la formule de calcul de la sévérité moyenne est : indic5 = (nombre d’incident mineur + nbre d’incidents majeurs*2 + nbre d’incidents critiques*3)/nbre de déclenchements total. 

Exemple de tableau de reporting simplifié : 

Par conséquent, mesurer l’efficacité du SOC revient donc à mesurer l’efficacité de l’ensemble des règles de détection.

Analyse des données 

Quitte à perdre certaines illusions, autant le dire directement : une analyse manuelle est indispensable pour identifier des actions de correction et d’amélioration du service.  La démarche ci-dessous permet de faire cette analyse de manière rapide et efficace.   

Concrètement, nous souhaitons mettre en évidence les règles consommatrices en temps d’analyse et à faible valeur ajoutée sécurité, donc : 

• Pour mesurer la consommation de charge, on s’appuie en première approche sur le volume d’alertes à traiter(1).  
• Pour mesurer la valeur ajoutée de l’alerte, on utilise la sévérité moyenne des incidents fermés. 

Note (1) : pour aller plus loin on peut combiner le volume d’alertes à traiter avec la durée d’analyse moyenne nécessaire pour calculer une charge  

Pour une exploitation plus simple, il nous suffit de représenter ces informations sur un graphique en 2 dimensions pour identifier les règles qui nécessitent une révision. Les 2 axes d’analyse à travailler en priorité sont : 

• Volume d’alertes (nombre d’alertes sur la période) 
• Axe de la sévérité moyenne 

L’exploitation de ce graphique doit se focaliser en priorité sur : 

1. Les règles avec une sévérité moyenne faible et de nombreux déclenchements (en bas à droite). Il faut se poser la question de la pertinence de chacune de ces règles (amélioration des seuils, optimisation d’une blacklist, suppression de la règle, etc). 
2. Les règles qui déclenchent souvent avec une sévérité élevée (en haut à droite). Par l’analyse de ces règles, vous pouvez donner une vision factuelle des comportements non couverts par des mesures de prévention et alimenter des équipes de prescription. 

En synthèse, vous avez donc effectué un « tri » sur l’efficacité de vos règles, et par conséquent sur le temps à consacrer à chacune d’entre elles au sein de votre organisation SOC. 

Nota bene : On peut faire des analyses complémentaires évidentes comme étudier la durée d’analyse moyenne nécessaire par incident ou encore sur le nombre de faux-positif par règle 

Infogérance ? Intégrez l’efficacité du SOC au contrat  

Dans vos contrats d’outsourcing SOC, l’efficacité s’anticipe en amont des projets et notamment lors de la rédaction de l’appel d’offre et dans les phases de contractualisation. Pour cela, les clauses suivantes sont pertinentes : 

• La demande de mise en œuvre d’indicateurs spécifiques sur le sujet, qui devra tirer certains éléments de la procédure de traitement des alertes et des incidents pour garantir la production des bonnes métriques (association ID règle avec ticket, codes de fermeture, révision de la sévérité, …) 
• La spécification des objectifs du processus d’amélioration continue, responsabilités et engagements du fournisseur.
• L’intégration d’évolutions inclues en standard dans les contrats, en particulier, et en sus des nouvelles sources et nouvelles règles, la révision des règles en place sur la base des indicateurs produits. 

Il est bon d’avoir en tête que ce processus bénéficie autant au fournisseur de service (gain de temps des analystes et meilleure valeur ajoutée) qu’au client (efficacité du service, crédibilité vis-à-vis des demandes vers la production).

Que faire dès à présent pour mesurer l’efficacité du SOC ? 

Le SOC en tant qu’élément central de la sécurité doit faire l’objet de toutes les attentions et optimisations. Pour cette raison, nous avons présenté une méthode pour en faire une analyse et par conséquent une manière de contribuer à son amélioration.

Nous vous proposons d’appliquer cette méthode d’analyse dans votre contexte. Vous pouvez programmer un RDV avec un consultant expérimenté pour un premier échange court et concret. Choisissez le créneau qui vous conviendra le mieux dès à présent. 

Chez EXCUBE, nous avons développé une expertise et une gamme de prestations pour un accompagnement de bout en bout sur les environnements SOC. Pour en savoir plus, vous pouvez nous contacter par ce formulaire. Découvrez aussi notre approche service.

La parole est à vous ! Comment estimez-vous l’efficacité de vos règles de corrélations ? 
N’hésitez pas à partager vos propres expériences et impressions sur la méthode présentée, l’espace de commentaires est là pour cela.