Im Juni 2019 hat F-Secure die MITRE ATT&CK Evaluation abgeschlossen und wir freuen uns, dass die Ergebnisse nun auf der MITRE-Website veröffentlicht sind.
In diesem Blogbeitrag zeigen wir, wie sich unser EDR-Agent (Endpoint Detection and Response) verhalten hat:
- Umfang der Telemetrie
- Umfang der Erkennung
- Modifikatoren – verzögert und verfälscht
Ihnen sagt MITRE und dessen Bewertung nichts? Mehr erfahren Sie hier und hier.
Wie haben wir abgeschnitten?
Die Ergebnisse für unsere EDR-Sensoren – wie sie in unserer Managed Detection and Response-Lösung F-Secure Countercept verwendet werden – waren sehr positiv.
Wir haben in vielen der Tests herausragende Ergebnisse erzielt und gezeigt, dass die Plattform F-Secure Countercept die notwendigen Datensätze und Erkennungslogik zur Verfügung stellt, um beispielsweise einen nationalstaatlichen Bedrohungsakteur wie APT3 (der im Mittelpunkt des ersten Durchgangs stand) umfassend zu erkennen.
Die Ergebnisse selbst basieren auf 20 Angriffsphasen, die in 105 Testfälle unterteilt sind und sich dann auf 136 Gesamtelemente erstrecken. Wir gehen einige der wichtigsten Ergebnisse durch.
Umfang der Telemetrie
Die Telemetrieabdeckung ist eine der nützlichsten Kennzahlen in der MITRE-Auswertung, da sie zeigt, wie viel Sichtbarkeit ein Tool über verschiedene Angriffsvektoren hinweg bieten kann. Dies lässt sich berechnen, indem man sich ansieht, welche der 136 Testfälle Informationen zurzeit verfügbar hatten. Die folgende Grafik zeigt, wie F-Secure Countercept mit einem Score von 122/136 bei der gesamten Telemetrieabdeckung zu den Spitzenreitern gehörte.
Warum sind unsere Werte hier etwas höher als die der anderen Anbietern?
Ein Grund, warum wir hier höhere Werte hatten, war, dass wir Windows-Ereignisse, WMI- und .NET-Daten erfassen, was uns zusätzliche Transparenz verschafft. Hier hatten viele Anbieter ganz ähnliche Bewertungen, da sie die gleichen Datensätze wie Prozess-, Netzwerk-, Datei- und PowerShell-Ereignisse erfassen.
Ein wesentlicher Punkt, der in der MITRE-Auswertung nicht erfasst wird, ist, dass viele Anbieter sich ausschließlich auf die Echtzeit-Datenerfassung verlassen. F-Secure Countercept ist insofern einzigartig, da unser EDR-Agent auch periodische Scanner enthält, die Persistenzdaten und Speicheranomalien erfassen. So können wir auch nach einem Verstoß Aktivitäten aufdecken, die in der Vergangenheit stattgefunden haben, ohne dass ein Echtzeitereignis auftreten muss.
Analyse von Erkennungen
Ein großer Teil im ersten Durchgang konzentriert sich auf die Zuordnung von Erkennungskategorien (Anreicherung / allgemeines Verhalten / spezifisches Verhalten) zu Testfällen, basierend darauf, wie viele Informationen von jedem Produkt bereitgestellt werden.
Einige der Einschränkungen dieses Ansatzes wurden bereits in anderen Beiträgen diskutiert, weshalb wir sie hier nicht weiter erörtern werden. Aber wir möchten hervorheben, dass es bei der Beurteilung der Erkennung ein großer Unterschied zwischen High-Fidelity-Alarmen und Low-Fidelity-Alarmen besteht.
- High-Fidelity-Alarme helfen Ihnen, echte bösartige Aktivitäten schnell zu erkennen.
- Low-Fidelity-Alarme hingegen helfen bei der Bedrohungssuche oder während Ermittlungen.
Die Herausforderung im ersten Durchgang bestand darin, dass MITRE angereicherte Daten gesammelt hat, aber leider nicht den ersten, wertvolleren Teil – nämlich die High-Fidelity-Erkennung – so dass es schwierig wird, die Erkennung verschiedener Produkte sinnvoll zu vergleichen. Der Vergleich von Ermittlungsfähigkeiten ist vielleicht einfacher, obwohl hier Schlüsselfaktoren wie Korrelation, Workflow und Reaktion nicht gemessen wurden, was es schwierig macht, Produkte genau miteinander zu vergleichen.
Um zu versuchen, die Leistung von Anbietern zu messen, veröffentlichte Forrester ein Bewertungsverfahren, das die Anzahl der Erkennungen zählt und bewertet. Mit ihrer einfachen Score-Metrik erzielte F-Secure Countercept eine der höchsten Punktzahlen von 376.
Ist damit unsere EDR “besser”?
Möglicherweise, aber nicht unbedingt. Die Bewertung im Forrester-Skript gibt dem nicht verzögerten Verhalten mehr Gewicht, was unsere Punktzahl gedrückt hat. Dies sagt Ihnen, dass unsere EDR Lösung möglicherweise mehr Kontext bietet und besser für die Ermittlung ist, was aber nicht unbedingt mit einer besseren Erkennung gleichzusetzen ist.
Ist es angesichts der begrenzten Daten im ersten Durchgang überhaupt möglich, die Leistungsfähigkeit der Erkennung zu beurteilen?
Ein Ansatz wäre, die Erkennungsdichte zu untersuchen, während davon ausgegangen werden kann, dass Anreicherungen und Verhaltensweisen gleich sind (in Bezug auf das Erkennungspotenzial) und verzögerte Erkennungen beseitigt werden – dies bezieht sich normalerweise auf Managed Services, während wir uns hier nur auf das Produkt konzentrieren.
Bedenken Sie, dass nicht alle Testfälle gleich sind. Tatsächlich haben wir in der ersten Runde – basierend auf realen Daten von F-Secure – angenommen, dass nur 25% der Testfälle (vielleicht weniger) für die direkte Erkennung verwendet werden können; die restlichen 75% würden eine Korrelation für die Erkennung erfordern oder werden als bereicherndes Element während einer Untersuchung verwendet.
Daraus ergibt sich folgendes:
F-Secure punktete bei der Erkennung gut, ebenso wie Palo Alto, FireEye und Carbon Black. Interessanter sind hier jedoch die High-Fidelity-Ergebnisse, die im Durchschnitt viel niedriger sind und die die tatsächliche Wirksamkeit von EDR-Produkten besser widerspiegeln. Beachten Sie auch, dass die absoluten Unterschiede bei den High-Fidelity-Ergebnissen zwischen den Top-Anbietern vernachlässigbar sind.
Wie sieht es mit der Korrelation aus?
In der ersten Runde wurde ein “verfälschter” Modifikator verwendet, um zu bestimmen, ob sich eine Erkennung auf frühere Aktivitäten stützt (die sowohl positiv als auch negativ sein können). In der ersten Runde hatte F-Secure Countercept keine verfälschten Erkennungen, da wir direkte Erkennungen demonstrieren konnten.
Allerdings verwendet unsere Plattform Korrelationen für die Erkennung und Analyse, wie in einigen der Screenshots gezeigt, aber dies wurde nicht direkt im ersten Durchgang erfasst. Fürs Erste haben wir die Korrelation aus unserer Analyse ausgeschlossen, auch wenn MITRE im zweiten Durchgang einen explizit korrelierten Modifikator hinzufügen wird.
MITRE schreibt dazu:
Die Bewertung zielt darauf ab, den Verlauf von Erkennungen zu beschreiben, anstatt die Fähigkeiten der Anbieter zu bewerten.
Obwohl die Versuchung groß ist, Anbieter anhand der Gesamtzahl der Erkennungen zu bewerten, erhalten Sie eventuell mehr Nutzen, wenn Sie die Ergebnisse qualitativ statt quantitativ analysieren.
Einschränkungen im ersten Durchgang
Die Bewertung im ersten Durchgang ist ein guter Anfang, um einen generischen Satz von Tests bereitzustellen, der auf jede EDR-Lösung angewendet werden kann. Es gibt jedoch einige Einschränkungen:
Alle Testfälle werden gleich behandelt (auch wenn dies in der Praxis nicht der Fall ist).
- Es handelt sich hier um eine rauschfreie Umgebung.
- Der Untersuchungsablauf wird nicht getestet.
- Response-Tasks werden nicht berücksichtigt.
- Die menschliche Komponente entfällt
Daher sollte der erste Durchgang nicht isoliert als Mittel zur Bewertung von EDR-Produkten verwendet werden.
Wir empfehlen, die Telemetrie- und Erkennungsmetriken sowie die UI-Screenshots aus dem ersten Durchgang als Ausgangspunkt zu verwenden, um Ihnen bei der Auswahl von Anbietern zu helfen.
Um ein Tool richtig einzuschätzen, müssen Sie es wahrscheinlich erst installieren und selbst testen (idealerweise mit einigen simulierten Angriffen und Abläufen).
Wie sieht nun die richtige EDR-Lösung für Ihr Unternehmen aus?
Viele Anbieter stellen gewagte Behauptungen auf, warum sie besser sind als deren Wettbewerber. Bei F-Secure sehen wir das etwas anders. Wir denken, dass es viele gute EDR-Produkte gibt, die dem F-Secure Countercept sehr ähnlich sind. Die MITRE Evaluation verdeutlicht dies sehr gut.
Wenn Sie EDR-Produkte auf der Grundlage der MITRE-Ergebnisse vergleichen möchten, kann es sich lohnen, F-Secure, Palo Alto, Cybereason und Microsoft ATP zu vergleichen. Wir würden F-Secure gegenüber allen anderen empfehlen, obwohl wir voreingenommen sind!
EDR ist ein wesentlicher Bestandteil der Angriffserkennung, wobei die dahinterstehenden Personen einen massiven Einfluss auf ihre Wirksamkeit haben. Bei F-Secure Countercept konzentrieren wir uns auf die gemanagte Erkennung und Reaktion gepaart mit dem Wissen und der Erfahrung der besten Experten der Branche. Wenn Sie auf der Suche nach den besten Threat Huntern sind, die Ihnen den Rücken frei halten sollen, nehmen Sie bitte Kontakt mit uns auf.
Kategorien