Descubrir patrones anómalos a través de Machine Learning ayuda a detectar adversarios que evitan el software de seguridad moderno con técnicas “living off the land”.

<p>Como los antivirus y la detección de malware basada en Machine Learning aumentaron su efectividad para detectar ataques basados en archivos, los adversarios migraron a técnicas “living off the land” para evitar el software de seguridad moderno. Esto incluye ejecutar herramientas del sistema preinstaladas con el sistema operativo o generalmente incorporadas por los administradores para realizar tareas como automatizar tareas administrativas de TI, ejecutar scripts de forma regular, ejecutar código en sistemas remotos y mucho más. Los atacantes que usan herramientas de confianza del SO como powershell.exe, wmic.exe o schtasks.exe pueden ser difíciles de identificar. Estos binarios son inherentemente benignos y se usan con frecuencia en la mayoría de los entornos, por lo que los atacantes pueden evitar de forma trivial la mayoría de las defensas de primera línea con solo camuflarse en el ruido de lo que se ejecuta de manera recurrente. Detectar patrones como este posteriores a la vulneración requiere examinar millones de eventos sin un punto de inicio claro.</p><p>En respuesta, los investigadores de seguridad han comenzado a crear detectores de cadenas de procesos principales-secundarios sospechosas. Con MITRE ATT&amp;CK™ como cuaderno de estrategias, los investigadores pueden escribir lógica de detección para alertar sobre un proceso principal específico que lanza un proceso secundario con ciertos argumentos de línea de comando. Un buen ejemplo es alertar un powershelll.exe con argumentos codificados en base64 generado por un proceso de MS&nbsp;Office. Sin embargo, este proceso lleva tiempo y requiere experiencia en dominios y un bucle de comentarios explícito para ajustar los detectores ruidosos.</p><p>Los trabajadores de seguridad han convertido en open source varios marcos de trabajo rojos vs. azules para simular ataques y evaluar el rendimiento del detector; pero independientemente de lo efectivo que sea el detector, su lógica solo puede resolver un ataque específico. Una falla de los detectores para generalizar y detectar ataques emergentes presenta una oportunidad única para Machine Learning.</p><h2><strong>Pensar en grafos</strong></h2><p>Cuando comenzamos a pensar en detectar procesos principales-secundarios anómalos, inmediatamente se nos ocurrió convertir esto en un problema de grafos. Después de todo, la ejecución de procesos se puede expresar como un grafo de un host dado. Los nodos de tu grafo serán procesos individuales separados por ID de proceso (PID), mientras que cada extremo, que conecta los nodos, será un evento process_creation. Un extremo dado estará repleto de metadatos importantes derivados del evento, como marcas de tiempo, argumentos de línea de comando y el usuario.</p><p style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltef61d88cac306543/5e507da426150d0da990265b/discovering-anomalous-behavior-blog-process-chain.png" data-sys-asset-uid="bltef61d88cac306543" alt="discovering-anomalous-behavior-blog-process-chain.png" width="373" height="321" style="width: 373;height: 321;"/></p><figcaption style="text-align: center;">Fig.&nbsp;1: Ejemplo de representación de grafo de una cadena de procesos</figcaption><p><br /></p><p>Ahora tenemos una representación de grafo de eventos de procesos de una máquina host. Sin embargo, los ataques living off the land pueden generarse en los mismos procesos a nivel del sistema que se ejecutan siempre. Necesitas una forma de separar las cadenas de procesos buenas y malas dentro de un grafo dado. La detección de comunidades es una técnica que segmenta un grafo grande en “comunidades” más pequeñas según la densidad de los extremos entre nuestros nodos. Para usarla, necesitamos una manera de generar una ponderación entre nodos para asegurar que la detección de comunidades funcione correctamente e identifique las porciones anómalas en nuestro grafo. Para ello, recurriremos a Machine Learning.</p><h2><strong>Machine Learning</strong></h2><p>Para generar nuestro modelo de ponderación de extremos, usaremos el aprendizaje supervisado, un enfoque de Machine Learning que requiere datos etiquetados para alimentar el modelo. Afortunadamente, podemos usar los marcos de trabajo rojos y azules open source que mencionamos antes para ayudar a generar algunos datos de práctica. A continuación se presentan algunos de los marcos de trabajo rojos y azules open source usados en nuestro corpus de práctica:</p><h4><strong>Marcos de trabajo del equipo rojo</strong></h4><ul><li><a href="https://github.com/redcanaryco/atomic-red-team">Atomic Red Team</a> (Red Canary)</li><li><a href="https://github.com/endgameinc/RTA">Red Team Automation</a> (Endgame/Elastic)</li><li><a href="https://github.com/mitre/caldera">Caldera Adversary Emulation</a> (MITRE)</li><li><a href="https://github.com/uber-common/metta">Metta</a> (Uber)</li></ul><h4><strong>Marcos de trabajo del equipo azul</strong></h4><ul><li><a href="https://eqllib.readthedocs.io/en/latest/atomicblue.html">Atomic Blue</a> (Endgame/Elastic)</li><li><a href="https://github.com/mitre-attack/car">Cyber Analytics Repository </a>(MITRE)</li><li><a href="https://github.com/microsoft/WindowsDefenderATP-Hunting-Queries">MSFT ATP Queries</a> (Microsoft)</li></ul><h3><strong>Ingesta y normalización de datos</strong></h3><h3><strong></strong></h3><p style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt00f32018fe982214/5e507df806f84d0d618d9bf4/discovering-anomalous-behavior-blog-sample-process-creation.png" data-sys-asset-uid="blt00f32018fe982214" alt="discovering-anomalous-behavior-blog-sample-process-creation.png"/></p><figcaption style="text-align: center;">Fig.&nbsp;2: Ejemplo de evento de creación de proceso antes y después de la ingeniería de características</figcaption><p><br /></p><p>Una vez que hayamos ingestado algunos datos del evento, tendremos que transformarlos en una representación numérica (Fig.&nbsp;2). Esta representación permitirá al modelo aprender detalles más amplios de una relación principal-secundario en el ámbito de un ataque, lo cual ayuda a evitar solo aprender firmas.&nbsp;</p><p>Primero, realizamos la ingeniería de características (Fig.&nbsp;3) en los nombres de procesos y argumentos de línea de comando. La vectorización TF-IDF capturará la importancia estadística de una palabra dada para un evento en todo nuestro set de datos. La conversión de marcas de tiempo a enteros nos permitirá determinar la diferencia entre el tiempo de inicio del proceso principal y el momento de lanzamiento de un proceso secundario. Otras características son de naturaleza binaria (por ejemplo, 1 o 0, sí o no). Los siguientes son algunos buenos ejemplos de este tipo de característica:&nbsp;</p><ul><li>¿El proceso está firmado?&nbsp;</li><li>¿Confiamos en el firmante?&nbsp;</li><li>¿El proceso es elevado?</li></ul><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt25637fac37f11262/5e50802eaa10350d40de7cfd/discovering-anomalous-behavior-blog-feature-engineering.png" data-sys-asset-uid="blt25637fac37f11262" alt="discovering-anomalous-behavior-blog-feature-engineering.png"/></p><figcaption style="text-align: center;">Fig.&nbsp;3: Ejemplos de ingeniería de características en metadatos de eventos de procesos</figcaption><p><br /></p><p>Una vez transformado nuestro set de datos, lo usaremos para entrenar un modelo de aprendizaje supervisado (Fig.&nbsp;4). El modelo proporciona una “puntuación anómala” para un evento de creación de procesos dado entre 0 (benigna) y 1 (anómala). Podemos usar la puntuación anómala como ponderación de extremo en nuestro grafo.</p><figcaption style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt035ac4d8f6488c90/5e5080cf9911e20db4ddf7ec/discovering-anomalous-behavior-blog-supervised-machine-learning.png" data-sys-asset-uid="blt035ac4d8f6488c90" alt="discovering-anomalous-behavior-blog-supervised-machine-learning.png"/><br />Fig.&nbsp;4: Ejemplo de un flujo de trabajo de Machine Learning supervisado</figcaption><p><strong></strong></p><h3><strong>Servicio de prevalencia</strong></h3><figcaption style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5d6f3f5d4a9a94a8/5e50811caa10350d40de7d03/discovering-anomalous-behavior-blog-conditional-probabilities-1.png" data-sys-asset-uid="blt5d6f3f5d4a9a94a8" alt="discovering-anomalous-behavior-blog-conditional-probabilities-1.png" width="216" height="149" style="background-color: initial;width: 216;height: 149;"/><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt8c47b8c822d879b1/5e50811363fdbd0db5743cea/discovering-anomalous-behavior-blog-conditional-probabilities.png" data-sys-asset-uid="blt8c47b8c822d879b1" alt="discovering-anomalous-behavior-blog-conditional-probabilities.png" width="279" height="143" style="width: 279;height: 143;"/><br />Fig&nbsp;5: Probabilidades condicionales usadas por el motor de prevalencia</figcaption><p style="text-align: center;"><br /></p><p>Ahora tenemos un grafo de ponderación; cortesía de nuestro modelo de Machine Learning. Misión cumplida, ¿no? El modelo que entrenamos hace un trabajo excelente para decidir si una cadena principal-secundario dada es buena o mala conforme a nuestra interpretación general de lo bueno y lo malo. Pero cada entorno de cliente será diferente. Habrá procesos que no hayamos visto antes y administradores de sistemas que usan PowerShell para... bueno, todo.</p><p>Básicamente, si usáramos este modelo solo, probablemente veríamos un gran caudal de falsos positivos y aumentaríamos la cantidad de datos que un analista debe examinar. Para compensar este problema potencial, desarrollamos un servicio de prevalencia que nos indica qué tan habitual es una cadena de procesos principales-secundarios dada dentro de ese entorno. Tener en cuenta los matices locales del entorno nos permitirá elevar o suprimir con más confianza eventos sospechosos y quitar cadenas de procesos verdaderamente anómalas.&nbsp;</p><p>El servicio de prevalencia (Fig.&nbsp;5) se basa en dos estadísticas derivadas de la probabilidad condicional que nos permite decir lo siguiente: “De este proceso principal, vi este secundario más que el X&nbsp;% de otros secundarios” Y “de estos procesos, vi esta línea de comando más que el X&nbsp;% de otras líneas de comando asociadas con el proceso”. Una vez que el servicio de prevalencia esté listo, podemos agregar los toques finales a nuestra lógica de detección central, find_bad_communities.</p><h3><strong>Búsqueda de comunidades “malas”</strong></h3><figcaption style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltb6c59558aee70528/5e50815b1ec0810daab50176/discovering-anomalous-behavior-blog-python-code.png" data-sys-asset-uid="bltb6c59558aee70528" alt="discovering-anomalous-behavior-blog-python-code.png"/><br />Fig.&nbsp;6: Código Python para descubrir comunidades anómalas</figcaption><p style="text-align: center;"><br /></p><p>Arriba (Fig.&nbsp;6) vemos el código Python usado para generar las comunidades malas. La lógica de find_bad_communities es muy directa:</p><ol><li>Clasifica cada evento process_create de una máquina host para generar un par de nodos (por ejemplo, nodo principal y nodo secundario) y una ponderación asociada (por ejemplo, la salida de nuestro modelo).&nbsp;</li><li>Construye un grafo dirigido.&nbsp;</li><li>Realiza la detección de comunidades para generar una lista de comunidades en el grafo.</li><li>En cada comunidad, determinamos qué tan prevalente es una relación principal-secundario (por ejemplo, cada conexión). Representamos el carácter común de un evento principal-secundario en la anomalous_score final.&nbsp;</li><li>Si la anomalous_score llega al umbral o lo supera, separamos la comunidad completa para que la revise un analista.&nbsp;</li><li>Una vez analizada cada comunidad, devolvemos una lista de comunidades “malas” ordenadas por la anomalous_score máxima.</li></ol><h2><strong>Resultados</strong></h2><p>Entrenamos el modelo final con una combinación de datos benignos y malintencionados simulados y del mundo real. Los datos benignos eran datos de eventos de procesos de Windows recopilados de nuestra red interna durante 3&nbsp;días. Las fuentes de estos datos fueron una combinación de estaciones de trabajo de usuarios y servidores para replicar una organización pequeña. Generamos datos malintencionados detonando todas las técnicas ATT&amp;CK disponibles a través del marco de trabajo Endgame&nbsp;RTA y lanzando malware basado en macros y binarios desde adversarios avanzados como FIN7 y Emotet.</p><p>Para nuestro experimento principal, decidimos usar datos de eventos de la <a href="https://attackevals.mitre.org/">evaluación de MITRE ATT&amp;CK</a> que se proporciona en el <a href="https://github.com/hunters-forge/mordor">proyecto Mordor</a> de Roberto Rodriguez. La evaluación de ATT&amp;CK buscaba emular la actividad de APT3 usando herramientas FOSS/COTS como PSEmpire y CobaltStrike. Estas herramientas permiten que las técnicas living off the land se agreguen a la cadena para realizar tareas de ejecución, persistencia o evasión de defensa.&nbsp;</p><p>El marco de trabajo pudo identificar varias cadenas de ataque multitécnica usando exclusivamente eventos de creación de procesos. Descubrimiento (Fig.&nbsp;7) y movimiento lateral (Fig.&nbsp;8) que descubrimos y resaltamos para la revisión por parte de analistas.&nbsp;</p><figcaption style="text-align: center;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6dcc408f4752159c/5e5081827569ef0d9eca55a5/discovering-anomalous-behavior-blog-discovery-techniques.png" data-sys-asset-uid="blt6dcc408f4752159c" alt="discovering-anomalous-behavior-blog-discovery-techniques.png"/><br />Fig.&nbsp;7: Cadena de procesos realizando técnicas de “descubrimiento”</figcaption><figcaption style="text-align: center;"><br /><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt19416010ffee0562/5e5081c826150d0da9902667/discovering-anomalous-behavior-blog-lateral-movement.png" data-sys-asset-uid="blt19416010ffee0562" alt="discovering-anomalous-behavior-blog-lateral-movement.png"/><br />Fig.&nbsp;8: Cadena de procesos realizando movimiento lateral</figcaption><p style="text-align: center;"><strong></strong></p><h4><strong>Reducción de datos</strong></h4><p>Un efecto secundario de nuestro enfoque es no solo la capacidad de descubrir cadenas de procesos anómalas, sino la capacidad de demostrar el valor del motor de prevalencia para suprimir falsos positivos. En combinación, pudimos reducir drásticamente la cantidad de datos de eventos que necesitan revisión de un analista. En números:&nbsp;</p><ul><li>Calculamos aproximadamente 10&nbsp;000&nbsp;eventos de creación de procesos por endpoint en el escenario de APT3 (5&nbsp;endpoints en total).&nbsp;</li><li>Identificamos aproximadamente 6&nbsp;comunidades anómalas por endpoint.</li><li>Cada comunidad tenía aproximadamente entre 6 y 8&nbsp;eventos.</li></ul><h2><strong>Con la mirada en el futuro</strong></h2><p>Nos encontramos en el proceso de llevar esta investigación de la prueba de concepto a una solución integrada como característica de <a href="/es/security">Elastic&nbsp;Security</a>. La característica más prometedora es el motor \prevalence. Los motores de prevalencia que resaltan la frecuencia de las repeticiones de archivos son comunes, pero describir la prevalencia de relaciones entre eventos ayudará a los profesionales de seguridad a detectar amenazas de formas nuevas, tanto mirando lo inusual/habitual en sus empresas como lo eventualmente incrementado según mediciones de lo inusual a nivel global.&nbsp;</p><h2><strong>Conclusión</strong></h2><p>Presentamos este marco de trabajo basado en grafos (llamado <a href="https://docs.google.com/presentation/u/1/d/1bcdBzxedIDwgAgXJr3LGfIaauk_YnCw3z562N1jYEzE/edit">ProblemChild</a>) en <a href="https://www.virusbulletin.com/conference/vb2019/abstracts/problem-child-common-patterns-malicious-parent-child-relationships">VirusBulletin</a> y <a href="https://www.camlis.org/2019/talks/filar">CAMLIS</a> el año pasado con el objetivo de disminuir la necesidad de experiencia en dominios en el proceso de escritura de detectores. Con la aplicación de Machine Learning supervisada para derivar un grafo ponderado, demostramos la capacidad de identificar comunidades de eventos aparentemente dispares en secuencias de ataque más grandes. Nuestro marco de trabajo aplica la probabilidad condicional para clasificar de forma automática las comunidades anómalas y para suprimir las cadenas principal-secundario que ocurren de manera habitual. Cuando se aplica para ambos objetivos, los analistas pueden usar este marco de trabajo como ayuda para crear o ajustar detectores y reducir los falsos positivos con el tiempo.&nbsp;</p>

blog-banner-bw-dot-grid.jpg

blog-thumb-bw-dot-grid.jpg

Discovering anomalous patterns based on parent-child process relationships

Descubrimiento de patrones anómalos basados en relaciones de procesos principales-secundarios

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Bobby Filar

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

El contenido de esta página no está disponible en el idioma seleccionado. Elastic está trabajando para garantizar que el contenido esté disponible en varios idiomas. Gracias por tu paciencia mientras trabajamos.

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/elastic-cloud-account-terms" target="_self">Condiciones de servicio</a>, y que acepta recibir las <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">comunicaciones seleccionadas</a> en los detalles de contacto que proporcionó anteriormente. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/serverless-preview-terms" target="_self">Condiciones de servicio</a>, y que Elastic puede <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">ponerse en contacto con usted</a> acerca de nuestros productos y servicios relacionados. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>Al enviar esta información, aceptas los <a href="/es/agreements/global/cloud-services-monthly" rel="nofollow">Términos de servicio de Elastic</a>. Los datos personales se procesarán de conformidad con la <a href="/es/legal/privacy-statement">declaración de privacidad de Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>Al enviar, confirma que ha leído y acepta nuestras <a href="/es/legal/terms-of-use" target="_self">Condiciones de servicio</a>, y que Elastic puede <a href="/es/legal/privacy-statement#how-we-use-the-information" target="_self">ponerse en contacto con usted</a> acerca de nuestros productos y servicios relacionados. Consulte la <a href="/es/legal/privacy-statement/" target="_self">Declaración de privacidad de Elastic</a> para obtener más información o para cancelar su suscripción en cualquier momento.</p>

Hosted by

All Solutions

Follow us on Youtube

Watch now (no PT)

Articles by

Share by Email

Filters

All (no PT translation)

Contact information

See when this webinar starts in my time zone

Ver cuándo comienza este webinar en mi zona horaria

Thank you for your interest!

Register to Attend

Small image for

Register to Watch

Continue reading

Featured webinar

What to explore next...

Reset all

Load more press releases

Sign In to Attend

Share

Upcoming webinar

Learn more

Search Integrations

Share on Reddit

Share on Twitter

Share on Facebook

Load more news

View more posts

On-demand webinar

Follow us on Facebook

Author

Press Release

You'll also receive an email with related content.

You'll also receive an email with related content

Además, te enviaremos contenidos relevantes

Print

Contact Info

Overview

Video for

Read less

Register now

Share this story

See All Posts

See all top stories

View next

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

¿No puedes asistir? Regístrate y te enviaremos la grabación. También recibirás un correo electrónico con contenido relacionado.

Follow us on LinkedIn

Highlights

Explore similar demos

Follow us on Twitter

Share on LinkedIn

Load More

See more insights

Speakers

Close

Thank you for registering. We will send you a confirmation email soon.

Gracias por registrarte. Te enviaremos un correo electrónico de confirmación pronto.

Author

Articles by Bobby Filar

Descubrimiento de patrones anómalos basados en relaciones de procesos principales-secundarios

Sign up for Elastic Cloud free trial