A giugno 2019 F-Secure ha completato la valutazione MITRE ATT&CK e siamo lieti di annunciare che i risultati sono ora disponibili pubblicamente sul sito web di MITRE qui.
In questo post mostreremo come si è comportato il nostro agent di Endpoint Detection&Response (EDR) in termini di:
- Copertura telemetrica
- Analisi dei rilevamenti
- L’uso di modificatori (o meno)
Forniremo quindi una guida su altri elementi di cui dovresti tener conto quando scegli un fornitore EDR, nonché la nostra opinione su quali altri fornitori potresti prendere in considerazione.
Non conosci MITRE e la sua valutazione? Scopri di più qui e qui.
Come abbiamo fatto?
I risultati dell’EDR di F-Secure – utilizzati nella nostra soluzione di rilevamento e risposta gestita, F-Secure Countercept – sono stati molto positivi.
Abbiamo ottenuto un punteggio elevato in molti dei test, dimostrando che la piattaforma F-Secure Countercept fornisce i set di dati e la logica di rilevamento necessari per rilevare in modo completo un attore di minacce nation-state come APT3 (che era al centro del Round 1).
I risultati stessi si basano su 20 fasi di attacco suddivise in 105 casi test, che si espandono a 136 elementi totali per i quali è possibile dimostrare le capacità. Esamineremo alcuni dei risultati chiave.
Copertura telemetrica
La copertura telemetrica è una delle metriche più utili nella valutazione MITRE in quanto mostra quanta visibilità è probabile che uno strumento ti dia su diversi vettori di attacco. Questo può essere calcolato osservando su quali dei 136 casi test erano disponibili informazioni (non “nessuno”). Il grafico seguente mostra come F-Secure Countercept sia stato uno dei migliori in termini di copertura telemetrica totale con un punteggio di 122/136.
Perché i nostri punteggi qui sono leggermente più alti rispetto ad altri vendor?
Parte del motivo per cui qui abbiamo ottenuto punteggi leggermente più alti è stato il fatto di acquisire eventi Windows, dati WMI e .NET, il che ci dà ulteriore visibilità. In generale, tuttavia, noterai che molti fornitori hanno ottenuto punteggi abbastanza simili in quanto acquisiscono gli stessi set di dati quali eventi di processo, rete, file e PowerShell.
Un punto sottile che non viene acquisito nella valutazione MITRE è che molti fornitori si affidano esclusivamente alla raccolta di dati in tempo reale. F-Secure Countercept è unico in quanto il nostro agente EDR contiene anche scanner periodici che acquisiscono dati di persistenza e anomalie della memoria. Quindi, anche negli scenari post-violazione, possiamo scoprire le attività che sono avvenute in passato, senza la necessità che si verifichi un evento in tempo reale.
Analisi dei rilevamenti
Gran parte del Round 1 si concentra sull’assegnazione di categorie di rilevamento (arricchimento / comportamento generale / comportamento specifico) ai casi test basati sulla quantità di informazioni fornite da ciascun prodotto.
Alcuni dei limiti di questo approccio sono stati discussi in altri post, quindi non li tratteremo qui, ma volevamo sottolineare che quando si valutano le capacità di rilevamento c’è una grande differenza tra avvisi utili ad alta fedeltà, avvisi a bassa fedeltà e arricchimenti.
- Gli avvisi ad alta fedeltà consentono di individuare rapidamente attività malevole autentiche
- Gli avvisi a bassa fedeltà o gli arricchimenti aiutano durante la caccia alle minacce o durante un’indagine.
La sfida nel Round 1 è che MITRE ha raccolto i dati di arricchimento, ma sfortunatamente non la prima parte più preziosa – i rilevamenti ad alta fedeltà – quindi diventa difficile confrontare significativamente le capacità di rilevamento di diversi prodotti. Il confronto delle capacità di indagine è forse più semplice, sebbene qui non siano stati misurati fattori chiave come correlazione, flusso di lavoro e risposta, rendendo difficile il confronto accurato dei prodotti.
Per provare a misurare il rendimento dei fornitori, Forrester ha pubblicato uno script di valutazione che conta e assegna un punteggio ai rilevamenti. Utilizzando la loro semplice metrica di punteggio, F-Secure Countercept ha raggiunto uno dei punteggi più alti, ovvero 376.
Ciò significa che il nostro EDR è ‘migliore’?
Potenzialmente, ma non necessariamente. Il punteggio nello script di Forrester dà più peso ai comportamenti non ritardati, il che ha aumentato il nostro punteggio. Questo ti dice che il nostro EDR probabilmente fornisce più contesto ed è migliore per le indagini, ma ciò non equivale necessariamente a una migliore rilevazione.
Con i dati limitati nel Round 1, è possibile valutare anche la capacità di rilevamento?
Un approccio potrebbe essere quello di esaminare la copertura del rilevamento presupponendo che gli arricchimenti e i comportamenti siano uguali (in termini di potenziale di rilevamento) e rimuovendo i rilevamenti ritardati: questi sono normalmente correlati ai servizi gestiti mentre qui ci stiamo concentrando solo sul prodotto.
Ricorda che non tutti i casi test sono uguali. Infatti, nel Round 1 – basato su dati F-Secure del mondo reale – abbiamo stimato che solo il 25% dei casi test (forse meno) può essere utilizzato per il rilevamento diretto; il restante 75% richiederebbe una correlazione per il rilevamento o verrebbe utilizzato come arricchimento durante un’indagine.
Tenendo conto di ciò, otteniamo quanto segue:
F-Secure ha registrato una buona performance nella copertura del rilevamento, così come Palo Alto, FireEye e Carbon Black. Ciò che è più interessante qui sono i risultati ad alta fedeltà, che sono in media molto più bassi e riflettono meglio l’efficacia reale dei prodotti EDR. Si noti inoltre che le differenze assolute nei risultati ad alta fedeltà sono trascurabili tra i migliori fornitori.
A proposito di correlazione
Nel Round 1 è stato utilizzato un modificatore “contaminato” per determinare se un rilevamento si basava su un’attività precedente (che può essere sia positiva che negativa). Nel Round 1, F-Secure Countercept non ha rilevato rilevamenti contaminati perché siamo stati in grado di dimostrare rilevamenti diretti.
Tuttavia, la nostra piattaforma utilizza la correlazione per il rilevamento e l’indagine, come mostrato in alcuni screenshot, ma questo non è stato registrato direttamente nel Round 1. Per ora, abbiamo escluso la correlazione dalla nostra analisi, anche se la buona notizia è che MITRE sta aggiungendo un modificatore correlato esplicito nel Round 2.
Concludiamo questa sezione con una citazione di MITRE:
“La valutazione si concentra sull’articolazione del modo in cui si verificano i rilevamenti, piuttosto che sull’assegnazione dei punteggi alle funzionalità del fornitore.”
Mentre è allettante tentare di assegnare un punteggio ai fornitori sommando il numero totale di rilevamenti, spesso otterrai più valore analizzando qualitativamente i risultati. Pensa alla qualità, non alla quantità.
Limitazioni nel Round 1
La valutazione del Round 1 è un ottimo inizio nel fornire una serie generica di test di alto livello che può essere applicata a qualsiasi soluzione EDR. Tuttavia, ci sono alcune limitazioni:
- Tutti i casi test sono trattati allo stesso modo (quando non è così nel mondo reale)
- È in un ambiente a zero rumore
- Il flusso di lavoro di indagine non è stato testato
- Le attività di risposta non vengono utilizzate
- L’elemento umano è omesso
Pertanto, il Round 1 non dovrebbe essere usato da solo come mezzo per valutare i prodotti EDR.
Ti consigliamo di utilizzare la telemetria di alto livello e le metriche di rilevamento, nonché le schermate dell’interfaccia utente del Round 1, come punto di partenza per aiutarti a selezionare i fornitori.
Per valutare correttamente uno strumento, sarà probabilmente necessario installarlo e testarlo da soli (idealmente con alcuni attacchi e flussi di lavoro simulati).
Qual è l’agent EDR più appropriato per la tua organizzazione?
Molti vendor hanno fatto affermazioni audaci sul perché sono migliori dei loro concorrenti. In F-Secure siamo un po’ diversi. Pensiamo che ci siano molti buoni prodotti EDR sul mercato che sono molto simili a quelli che abbiamo sviluppato per F-Secure Countercept. La valutazione MITRE lo dimostra abbastanza bene.
Se stai cercando di confrontare i prodotti EDR, in base ai risultati MITRE, potrebbe valere la pena dare un’occhiata a F-Secure, Palo Alto, Cybereason e Microsoft ATP.
L’EDR è un componente essenziale del rilevamento degli attacchi, e le persone dietro di esso che hanno un impatto enorme sulla sua efficacia. In F-Secure Countercept, il nostro focus è il rilevamento e la risposta gestiti, abbinando il nostro agente EDR con alcune delle migliori persone del settore.
Riferimenti
https://go.forrester.com/blogs/measuring-vendor-efficacy-using-the-mitre-attck-evaluation/
https://blog.f-secure.com/why-should-you-care-about-mitre/
https://blog.f-secure.com/it/come-interpretare-la-valutazione-mitre-attck/
https://www.endgame.com/blog/executive-blog/heres-why-we-cant-have-nice-things
Categorie