Hadoop sous pression Retour sur une année d'exploitation à Criteo (Rémy Saissy)

En une année, le nouveau cluster Hadoop de Criteo a doublé de taille, finissant l'année à ~1080 datanodes soit ~88Po bruts. Cela en plus du cluster existant de taille équivalente en termes de datanodes. Ce talk propose une rétrospective d'une année d'exploitation d'Hadoop sous l'angle de quelques incidents marquants et permettant de présenter comment nous assurons la stabilité de clusters Hadoop de plus de 1000 datanodes. Nous parlerons notamment : * De quelques incidents majeurs ayant mis en lumière des bugs HDFS et YARN et visibles à grande échelle * De la scalabilité du Namenode et comment nous le gérons * De l'impact de jobs sur la disponibilité du cluster ou de ses gateways de soumission et comment nous le gérons

Hadoop sous pression Retour sur une année d'exploitation à Criteo (Rémy Saissy)

Speakers

Rémy Saissy

Related Talks

Problèmes rencontrés en microservice Configuration, authentification... (Quentin Adam)

Rendez vos applications plus humaines avec Cognitive Services (Jean Sébastien Dupuy)

Managing Open Source Contributions in Large Organizations (James Ward)

Java 9 modulo les modules (Jean Michel Doudoux)