Description
de la mission
Tech Lead Data Engineer
Tech Lead Data Engineer
pourvue
Île-de-France
À partir du 29/11/2021 - 6 mois
Mission publiée le : 15/11/2021
Mission consultée : 690 fois
Consultants positionnés : 19
Référence : MISS0134201197
Compétences
EXPERT
. INFORMATICA . MongoDB . PYTHON . Spark . SQL . Data . IDQ . ORACLE . Conception . integration . Fonction . KafkaDescription de la mission
Cherchons un Lead Tech data Engineer pour gérer une petite équipe orientée Python/ Big data.
Objectif : accompagner le développement de l'équipe.
Missions principales de développement :
• Définir la conception technique des produits proposés par le client, et les développer en fonction des besoins.
• Définir et suivre la feuille de route technique des produits, en anticipant les mises à jour techniques et les nouvelles versions à venir.
• Concevoir, implémenter et maintenir le code d’intégration de données basé sur Spark – Idéalement
avec Pyspark.
• Rétro-ingénierie sur des anciens pipelines à reprendre dans la nouvelle plateforme (refactoring à partir de NIFI, INFORMATICA IDQ, ORACLE SQL)
La stack technique est principalement sur du Python, mongoDB, Spark, CDH, HDP, Kafka, Nifi,
Informatica IDQ, Oracle
Objectif : accompagner le développement de l'équipe.
Missions principales de développement :
• Définir la conception technique des produits proposés par le client, et les développer en fonction des besoins.
• Définir et suivre la feuille de route technique des produits, en anticipant les mises à jour techniques et les nouvelles versions à venir.
• Concevoir, implémenter et maintenir le code d’intégration de données basé sur Spark – Idéalement
avec Pyspark.
• Rétro-ingénierie sur des anciens pipelines à reprendre dans la nouvelle plateforme (refactoring à partir de NIFI, INFORMATICA IDQ, ORACLE SQL)
La stack technique est principalement sur du Python, mongoDB, Spark, CDH, HDP, Kafka, Nifi,
Informatica IDQ, Oracle