En junio de este año F-Secure completó la evaluación de MITRE ATT&CK y estamos contentos de anunciar que los resultados ya están publicados en la página web de MITRE aquí.
En este post damos a conocer cómo le fue a nuestro agente de detección de puntos finales y respuesta (EDR, endpoint detection and response) respecto a:
- Cobertura de telemetría
- Cobertura de detección
- Modificadores – retardados y contaminados
A continuación le proporcionaremos orientación sobre otros elementos que debe tener en cuenta a la hora de buscar un proveedor de EDR, así como nuestra evaluación del mercado en general.
¿Usted aún no está familiarizado con MITRE y su evaluación? Infórmese aquí y aquí.
¿Cómo nos fué?
Los resultados respecto al producto de detección y respuesta administrada, F-Secure Countercept fueron muy positivos. Éste obtuvo una alta puntuación en muchas de las evaluaciones, lo que demuestra que la plataforma Countercept proporciona los sets de datos y la lógica de detección requeridos para detectar de forma integral a un atacante de tipo APT3 – grupo de amenazas de origen chino presuntamente vinculado al gobierno – que fue el tema central de la primera ronda.
Los resultados se obtuvieron en 20 fases de ataque divididas en 105 casos de tests, que más adelante se ampliaron a un total de 136 elementos. A continuación vamos a analizar algunos de los principales resultados.
Cobertura de telemetría
La cobertura de telemetría es una de las variables más útiles de la evaluación MITRE, ya que revela la mayor o menor transparencia que una herramienta puede proporcionarle. Esto se calcula observando cuál de los 136 casos de prueba tenía información disponible. El siguiente gráfico muestra cómo F-Secure Countercept obtuvo uno de los mejores resultados en cuanto a la cobertura total con un puntaje de 122/136.
¿Por qué nuestros puntajes aquí son más altos que otros proveedores?
Una razón por la que tuvimos puntuaciones ligeramente más altas aquí fue porque captamos incidentes de Windows, datos WMI y.NET, lo que nos da una visión más global del problema. Sin embargo, algunos proveedores tienen un puntaje bastante similar, debido a que capturan los mismos sets de datos como procesos, redes, archivos e irregularidades de PowerShell.
Un punto crítico, que no es parte de la evaluación MITRE es que muchos proveedores sólo recolectan datos en tiempo real (“real time”). F-Secure Countercept es excepcional porque también considera escáneres periódicos que registran datos y anomalías de forma periódica. Incluso de la situación posterior a una infiltración podemos descubrir actividades maliciosas que han ocurrido en el pasado, sin que haya un incidente en este mismo momento.
Análisis de los resultados
Una gran parte de la primera ronda se centra en determinar categorías de detección a los test (enriquecimiento, comportamiento general, comportamiento específico) en función de la cantidad de información proporcionada por cada producto.
Sin embargo, existen algunas de las limitaciones en este enfoque que no las trataremos aquí, pero queremos destacar que al evaluar las capacidades de detección hay una gran diferencia entre alertas de alta fidelidad, alertas de baja fidelidad y los llamados enriquecimientos.
- Las alertas de alta fidelidad le ayudan a detectar rápidamente una actividad maliciosa genuina
- Las alertas de baja fidelidad o “enriquecimientos” le ayudan en la búsqueda de amenazas o durante una investigación.
El punto es que MITRE en la primera ronda recolectó los datos de enriquecimiento, pero desafortunadamente no la parte más valiosa – las detecciones de alta fidelidad – por lo que es difícil comparar las capacidades de detección de los diferentes productos.
Suele resultar más simple comparar las capacidades de investigación, aunque aquí no se midieron factores claves como la correlación, el workflow y la respuesta, dificultando el preciso análisis entre los productos. Para poner a prueba el desempeño de los proveedores, Forrester publicó un guión de clasificación, el cual cuenta y puntúa las detecciones de amenazas. Considerando dichos parámetros F-Secure Countercept alcanzó uno de los puntajes más altos con 376 puntos.
¿Significa eso que nuestro EDR es mejor?
Posiblemente. Los criterios de valoración del guión de Forrester le otorgan más peso a los comportamientos no diferidos, lo que definitivamente aumentó nuestra puntuación. Esto significa que nuestro EDR posiblemente proporciona más contexto y es mejor para investigar sucesos, pero eso no necesariamente equivale a una mejor detección.
¿Es posible evaluar la capacidad de detección con los datos de la Ronda 1?
Un acercamiento sería considerar la cobertura de la detección asumiendo que los enriquecimientos y los comportamientos son la misma cosa (en términos de potencial de detección) y eliminando las detecciones diferidas, que normalmente están vinculadas con servicios de gestión, mientras que en este caso nos enfocamos a los productos.
Asimismo, tenemos que considerar que no todos los test son iguales. En la primera ronda, basada en datos reales de F-Secure, estimamos que sólo el 25% de los casos de prueba pueden ser empleados para la detección directa y el 75% restante necesitaría de una corroboración o se utilizaría como material de enriquecimiento durante una investigación.
Teniendo esto en cuenta, llegamos a lo siguiente:
F-Secure obtuvo buenos resultados en la cobertura de detección, al igual que Palo Alto, FireEye y Carbon Black. Lo que es de mayor interés aquí son los resultados de alta fidelidad, los cuales son mucho más bajos en promedio y reflejan una mejor eficacia real de los productos EDR. Hay que advertir además que las diferencias absolutas de los resultados de alta fidelidad son mínimas entre los principales proveedores.
¿Qué ocurre en cuanto a la correlación?
En la primera ronda se utilizó un modificador “contaminado” para ver si una detección estaba basada en actividad previa (positiva o negativa). En la ronda número 1, F-Secure Countercept no arrojó detecciones alteradas, ya que pudimos demostrar obtener sólo detecciones directas.
Sin embargo, nuestra plataforma utiliza la correlación como herramienta para la detección y/o investigación, aunque esto no quedó registrado en dicha ronda. La buena noticia es que MITRE está añadiendo un modificador correlacionado explícito en la segunda ronda.
MITRE al respecto:
“La evaluación se centra en la forma en que se realizan las detecciones, en lugar de asignar puntuaciones a las capacidades de los proveedores”.
Si bien es muy tentador querer evaluar a los proveedores sumando el total de detecciones, a menudo es más valioso analizar los resultados cualitativamente. Hay que tener en cuenta la calidad y no la cantidad.
Restricciones de la primera ronda
La evaluación en primera instancia es un gran punto de partida para obtener un conjunto genérico de pruebas de alto nivel, que se pueden aplicar a todo tipo de solución EDR. No obstante, también hay aqui algunas limitaciones ya que:
- Todos los test son tratados por igual (lo no es el caso en la práctica).
- Ocurren en un entorno sin otras “interferencias”.
- No se comprueba el workflow de la investigación
- No se inician tareas de respuesta
- Se omite el elemento humano
La primera ronda en sí no debe ser considerada como manera única para evaluar los productos EDR.
Recomendamos utilizar las mediciones de telemetría y detección de alto nivel, así como screenshots de la interfaz de usuario, para ayudarle a seleccionar proveedores adecuados.
Asimismo, para evaluar apropiadamente una herramienta, es probable que necesite instalarla y probarla usted mismo (por ejemplo con algunos ataques simulados y en ciertos procesos de su empresa).
¿Cuál sería un adecuado proveedor EDR para mi empresa?
Muchos suministradores de productos EDR son muy enérgicos a la hora de explicar por qué ellos son mejores que la competencia. En F-Secure creemos que hay varios buenos productos EDR, que, asu vez, se parecen a lo que hemos desarrollado con F-Secure Countercept. La evaluación de MITRE lo confirma también.
Si desea comparar productos EDR, basándose en los resultados de MITRE, valdría la pena visitar F-Secure, Palo Alto, Cybereason y Microsoft ATP, aunque claramente recomendamos F-Secure por sobre los otros.
El EDR es un factor esencial en la detección de ataques, asimismo, las personas detrás de él tienen un gran influencia en lo que es su eficacia. F-Secure Countercept se centra en la gestión de detección y respuesta combinando nuestro EDR con los mejores expertos del rubro. Si quiere que algunos de los mejores cazadores de cibercriminales del mundo le cubran las espaldas, por favor, póngase en contacto con nosotros.
Categorías