Comment DataDome manage son cluster à forte charge en écriture et lecture avec rollover et ILM

DataDome est une société de cybersécurité internationale qui délivre une solution SaaS qui a pour but de protéger les sites internets et API des menaces automatisées OWASP: credential stuffing, layer 7 DDoS attaques, SQL injection et intensive scraping. DataDome protège tous les points de vulnérabilités de ses clients (web, mobile apps & APIs) grâce à sa technologie d'intelligence artificielle qui délivre une protection temps réel de bot protection.

DataDome utilise Elasticsearch pour stocker toutes les requêtes des utilisateurs finaux de ses clients. En quelques chiffres, le cluster Elasticsearch stocke plus de 150To de données, 60 milliards de documents répartis en 3000 index et 15000 shards sur 80 nodes.

Nous allons pendant ce talk évoquer les problèmes que DataDome a rencontré, relatif à la forte charge en écriture et comment l'équipe a réussi à les résoudre en partie grâce au rollover et à l'index lifecycle management.

Enregistrement réalisé lors du Meetup ElasticFR Paris #40 chez Doctrine.