Spark Streaming and Suicidal Tendencies (Youen Chéné

Essayer de mettre du spark streaming en production, faire des calculs savants pour avoir le bon batch intervalle, jouer sur une quinzaine de propriétés Spark plus prometteuse les unes que les autres afin que le temps de traitement moyen d'un batch soit inférieur au batch intervalle calculé, scruté la Spark UI pour essayer de constater des changements... avoir des envies de suicide car tout ça sans succès. Ce qui fait tenir l'espoir de trouver la propriété qui changera tout, se dire que ce nouveau métier de chercheur (qui ne trouve pas) offre des possibilités inattendues de reconversion professionnelles... Finalement trouver une solution et commencer à jouer avec les types complexes en SPARK SQL, c'est reparti pour des envies de suicide... spark.Cordes = interdit, spark.médicaments=interdit,spark. rasoirs=interdits!!!

Spark Streaming and Suicidal Tendencies (Youen Chéné - Aurélien Vandel)

Speakers

Youen Chéné

Aurélien Vandel

Related Talks

Java 9 à la poursuite des grands heaps Romain Colle

Le Streaming d'API Comment transformer vos APIs statiques en données temps réel (Audrey Neveu)

Ce que j'ai appris en construisant des systèmes distribués (Michaël Figuière)

Dual Universe Challenges techniques création monde virtuel "single shard" (JC Baillie)