Evaluation MITRE : La solution EDR de F-Secure obtient d’excellents résultats

En juin 2019, F-Secure a terminé l’évaluation, par MITRE ATT&CK, de sa solution EDR. Nous sommes heureux de vous annoncer que les résultats sont désormais disponibles sur le site web de MITRE.

Dans cet article, nous allons vous révéler quelles ont été les performances de notre agent de détection et de réponse (EDR) en :

• Couverture télémétrique
• Couverture de détection
• Modificateurs – retardés et corrompus

Nous vous fournirons quelques recommandations sur les autres éléments à prendre en compte au moment de choisir votre solution EDR. Nous mentionnerons également quelques autres fournisseurs que vous pourriez envisager.

Vous ne connaissez pas les évaluations MITRE ? Pour en savoir plus, cliquez ici et ici.

Quels ont été nos résultats à cette évaluation ?

Les résultats de l’EDR de F-Secure – utilisé dans notre solution gérée de détection et réponse, F-Secure Countercept – se sont avérés très positifs.

Nous avons obtenu d’excellents résultats dans nombre des tests réalisés : la plateforme F-Secure Countercept prouve ainsi qu’elle est en mesure de fournir la logique de détection ainsi que les données nécessaires à la détection d’un cyber groupe soutenu par un État-nation tel qu’APT3 (les attaques APT3 faisaient l’objet de ce premier cycle d’évaluation).

L’évaluation s’est basée sur 20 phases d’attaque réparties en 105 tests, destinés à évaluer 136 cas d’attaque. Nous passerons ici en revue quelques-uns des principaux résultats.

Couverture télémétrique

La couverture télémétrique est l’une des mesures les plus utiles de l’évaluation MITRE. Elle révèle la visibilité que l’agent vous apporte sur les différents vecteurs d’attaque. Cette indicateur est calculé à partir du nombre de cas (sur 136) pour lesquels des informations étaient disponibles (vs absence d’informations). Le graphique ci-dessous montre que F-Secure Countercept a été l’un des agents plus performants en termes de couverture télémétrique totale avec un score de 122/136.

Pourquoi nos scores sont-ils ici légèrement supérieurs à ceux des autres fournisseurs ?

Cela est dû notamment au fait que nous compilons les événements Windows, les données WMI et.NET afin de disposer d’une visibilité supplémentaire. À l’inverse, vous remarquerez que de nombreux fournisseurs obtiennent des scores assez voisins les uns des autres car ils capturent les mêmes ensembles de données relatifs aux processus, au réseau, aux fichiers et aux événements PowerShell.

Il reste une subtilité que l’évaluation MITRE ne met pas en lumière : de nombreux fournisseurs se fient uniquement à la collecte de données en temps réel. F-Secure Countercept est unique en son genre car notre agent EDR contient aussi des scanners périodiques qui capturent les données de persistance et les anomalies de mémoire. Ainsi, même dans les cas où l’intrusion s’est déjà produite, nous pouvons déceler des activités passées sans qu’il soit nécessaire qu’un événement se produise en temps réel.

Analyse des détections

Une grande partie de cette première phase d’évaluation vise à catégoriser les cas (enrichissement/comportement général/comportement spécifique) en fonction de la quantité d’informations fournies par chaque produit.

Certaines des limites de cette approche ont été discutées dans d’autres articles. Nous ne les aborderons donc pas ici mais il semble utile de signaler qu’en matière de détection, une grande différence existe entre les alertes haute-fidélité, les alertes basse fidélité et les alertes d’enrichissements.

• Les alertes haute-fidélité vous aident à repérer rapidement des activités malveillantes.
• Les alertes basse fidélité ou d’enrichissement vous aident lors d’une recherche de menaces ou lors d’une enquête.

Cette première phase de l’évaluation MITRE vise à recueillir les données d’enrichissement mais, malheureusement, pas les données les plus précieuses : les détections haute-fidélité. Il devient alors difficile de comparer les capacités de détection des différents produits. Il est peut-être plus facile de comparer les capacités d’enquête, bien que des facteurs-clés comme la corrélation, les flux de travail et la réponse n’aient pas été mesurés, ce qui rend difficile une comparaison précise.

Pour tenter de mesurer les performances des différents fournisseurs, Forrester a publié un script d’évaluation comptabilisant les détections et en les notant. Sur la base de ce système, F-Secure Countercept a obtenu l’un des scores les plus élevés, soit 376.

Cela signifie-t-il que notre EDR est « meilleur » ?

Potentiellement, mais pas nécessairement. La notation dans le script Forrester donne plus de poids aux comportements non-retardés, ce qui a fait grimper notre score. Cela vous indique que notre EDR fournit une meilleure contextualisation et qu’il s’avérera plus utile pour les investigations. Ce type de score ne permet pas nécessairement d’affirmer qu’il s’agit de la meilleure détection.

Avec les données limitées de cette première phase de test, est-il même possible d’évaluer la capacité de détection ?

Il est possible d’examiner la couverture de détection en supposant que les enrichissements et les comportements ont la même valeur (en termes de potentiel de détection) et en supprimant les détections différées (celles-ci sont normalement associées aux services gérés alors qu’ici, nous nous concentrons uniquement sur les produits).

Rappelez-vous que tous les cas du test n’ont pas la même valeur. Dans le cadre de cette première phase – basée sur des données réelles de F-Secure – nous avons estimé que seuls 25 % des cas (peut-être moins) peuvent être utilisés pour la détection directe. Les 75 % restants ne permettraient d’aboutir à un diagnostic de détection qu’en étant corrélés à d’autres ou ne seraient utilisés que pour enrichir les données d’enquête.

En tenant compte de ces éléments, nous obtenons ce qui suit :

F-Secure a obtenu de bons résultats en termes de couverture de détection, tout comme Palo Alto, FireEye et Carbon Black. Notez que les résultats de haute-fidélité, qui reflètent mieux l’efficacité réelle des produits EDR, présentent une moyenne beaucoup plus basse. Notez également que les différences absolues dans les résultats haute-fidélité sont minimes entre les meilleurs fournisseurs.

Qu’en est-il de la corrélation ?

Durant cette première phase, un modificateur « vicié » a été utilisé pour déterminer si une détection reposait sur une activité antérieure (qui peut être à la fois positif et négatif). Lors de cette première phase, F-Secure Countercept n’a présenté aucune détection biaisée : nous avons en effet été en mesure de réaliser des détections directes.

Cependant, notre plateforme utilise bel et bien la corrélation pour la détection et l’investigation, comme le montrent certaines captures d’écran, mais cela n’a pas été directement étudié dans cette première phase de test. Notre analyse ne tient donc pas compte de la corrélation des événements mais, bonne nouvelle :  MITRE ajoutera un modificateur corrélé explicite durant la deuxième phase de tests.

Je souhaitais terminer cette section en citant les propos de MITRE :

« Cette évaluation se focalise sur les mécanismes déclenchant une détection plutôt que sur l’évaluation des capacités de détection de chaque fournisseur. »

Bien qu’il soit tentant, pour comparer les fournisseurs, d’additionner le nombre total de détections, il peut s’avérer nettement plus judicieux de mener une analyse qualitative. Pensez à la qualité, pas à la quantité.

Limites de cette première phase de tests :

Cette première phase est un excellent point de départ. Elle fournit un ensemble de tests génériques de haut niveau qui peuvent être appliqué à toute solution EDR. Elle présente cependant certaines limites :

• La même importance est accordée à tous les cas de tests (quand ce n’est pas le cas dans le monde réel).
• Les tests ont lieu dans un environnement sans bruit
• Les flux de travail d’enquête ne sont pas testés
• Les tâches de réponse sont pas exécutées
• Le facteur humain n’est pas pris en compte

Il semble judicieux de ne pas utiliser isolément cette première phase de tests comme moyen d’évaluation des produits EDR.

Cette première phase d’évaluation fournit des mesures de télémétrie et de détection haute-précision ainsi que des captures d’écran de l’interface utilisateur. Nous vous recommandons de vous servir de ces éléments comme point de départ pour présélectionner votre fournisseur.

Pour évaluer correctement un outil, vous devrez probablement l’installer et le tester vous-même (idéalement avec des attaques et des flux de travail simulés).

Quel est le bon agent EDR pour votre entreprise ?

De nombreux fournisseurs revendiquent être meilleur que la concurrence en recourant à des arguments audacieux. Chez F-Secure, nous sommes un peu différents. Nous pensons qu’il existe de nombreux produits EDR de qualité, similaires à ceux que nous avons développés pour F-Secure Countercept. L’évaluation MITRE le démontre très bien.

Si vous souhaitez comparer des solutions EDR sur la base des résultats de MITRE, nous vous suggérons de vous pencher sur les solutions proposées par F-Secure, Palo Alto, Cybereason, et Microsoft ATP. Notre point de vue est peut-être biaisé mais nous vous recommandons avant tout F-Secure !

L’EDR est une composante essentielle de la détection des attaques. Les équipes chargées de piloter votre solution feront toute la différence. Chez F-Secure Countercept, nous nous focalisons sur la détection et la réponse gérées en associant notre agent EDR à l’expertise de professionnels comptant parmi les meilleurs du secteur. Si vous souhaitez que des chasseurs de cyber menaces reconnus mondialement couvrent vos arrières, n’hésitez pas à nous contacter.