CV du
consultant

BDD

Azure BI Data Databricks datalake DataWareHouse Hbase HDFS HIVE MapReduce Sqoop Stockage

Connaissances fonctionnelles

Acquisition Administration Analyse ANGLAIS Cloud Coordination flux Formation GCP Kafka MOBILE pipelines Produit Rédaction transformation

Langages

Confluence Docker Hadoop JAVA JIRA powerBI PySpark PYTHON scala SHELL sonar Spark SQL

Méthodes

AGILE Architecture Conception développement elasticsearch ENCADREMENT Etudes Gouvernance Jenkins Maven MIGRATION Nexus POC PROJET Qualité SCRUM TDD

Outils

airflow Datadog GitLab Kibana sonarcloud SonarQube Unity

Réseaux et Middleware

ansible AWS KUBERNETES Monitoring réseaux Saas Terraform

Systèmes

GIT INFRASTRUCTURE UNIX WINDOWS

. 2017 - Diplôme d’Ingénieur Informatique Ecole Nationale de Sciences de l’Informatique (

Architecture
• Participation à la conception, mise en place et administration de solutions Cloud Big Data.
• Participation à l’administration, installation et configuration des clusters Cloud et Hadoop.

Compétences techniques
• Cloud : Azure, AWS, GCP
• Langages : Scala, Python, Java, shell, SQL
• Outils : Git, Gitlab CI, Maven, SBT, Jenkins, Nexus, Ansible, Sonar, Docker, Kubernetes, Datadog, Airflow, Nifi, Jupyter, PowerBI, CI/CD
• Big Data: Databricks, Azure Synapse, ADLS, Hadoop (MapReduce, Yarn, HDFS), Spark, Hive, HBase, Kafka, Sqoop, Oozie.
• Agile : Confluence, Jira
• OS : Unix, Windows

Langues
• Anglais : Bon

Méthodologie
· Agile SCRUM

Certifications
• Horton Works Certified Associate (HCA)

Formation
• Septembre 2017 Diplôme d’Ingénieur Informatique
Ecole Nationale de Sciences de l’Informatique (ENSI), Tunisie.

• Juin 2014 Admission au concours national d’entrée aux écoles d’ingénieurs
Institut préparatoire aux Etudes d’Ingénieur de Tunis (IPEIT), Tunisie.

• Juin 2012 Baccalauréat scientifique, Section : Mathématiques, Mention : Très Bien
Lycée Pilote Gafsa, Tunisie


Expériences Professionnelles


Client « SNCF » – Tech Lead Data Engineer: depuis 03/2021

Projet
• Conception et mise en place d’une solution datawarhouse pour construire des dashbords, exploitable par le métier, sur la ponctualité et la régularité des trains.
• Migration des projets Sql vers spark 3 et migration des pipelines kubernetse vers Databricks

Contexte
Implémentation d'une solution pour construire des rapport PowerBi après l'extraction des données à partir du datalake azure et déposer les tables finales sur Postgre.

Réalisations
· Encadrement et mentoring de l’équipe de développement pour monter en compétence sur Spark.
· Mise en place des bonnes pratiques de développement et gestion des revues de code pour garantir la qualité des livrables.
· Coordination avec les équipes métier et les équipes d’infrastructure pour assurer une livraison efficace et sans incident
· Conception technique du projet et rédaction des documents d’architecture.
· Participation aux ateliers de migration avec les architectes Cloud et architectes Data.
· Développement et optimisation de pipelines Spark
· Migration complète de Kubernets vers Databricks.
· Mise en place des DAGs et tâches avec Airflow/Databricks.
· Migration de Hive Metastore vers Unity eCatalog
· Renforcement de la gouvernance des données

Environnement
Cloud: AWS, Azure
Languages: Scala, Python, Go, Shell
Frameworks: Spark
SAAS: Databricks, Datadog, Gitlab, SonarCloud
Outils: Terraform, Gitlab, Maven, Jenkins
Autres: Elasticsearch, Kafka, Ansible, Nexus, Kubernetes, Docker, Airflow


Client « Société Générale » – TechLead / Senior Data Engineer : depuis 01/2020 à 03/2021

Projet
Conception et mise en place d’une solution de transfert et traitement des données de hdfs vers un calculateur d'impayés pour les clients bancaires
Développement d'une solution pour construire une vue complète sur les clients bancaires en question et alimenter cette vue à un calculateur, afin de déterminer les impayés d'un client.

Réalisations
· Conception technique du projet et la validation de l'architecture proposée
· Interventions avec l'équipe architectes pour ajuster les choix
· Développement du job Spark pour homogénéiser et normaliser les données et les stocker dans des fichiers hdfs temporaires
· Implémentation de job Spark pour réaliser les jointures entre les tables temporaires
· Construction des blocs Nifi pour cristalliser les données à traiter et assurer l'alimentation du calculateur.
· Implémentation de la partie monitoring en utilisant ElasticSearch et Kibana
· Mise en Prod et assistance post prod.

Environnement
Scala (2.11), Spark (2.2.0), Java, SQL, Hadoop (2.6.4), Hive, Kafka (2.2.0), HDFS, Gitlab, Scala Test, Jenkins, Nexus, SonarQube, Nifi, Kibana, ElasticSearch.


Client « EDF » – Senior Data Engineer : depuis 11/18 à 12/19 (13 mois)

Projet
Conception et mise en place d’une chaîne de transfert et traitement des données de hbase vers les outils de disposition BI

Contexte
Développement d'une solution pour construire une vue complète d'un produit (commerciale, technique, maintenance, etc.) toute en appliquant les bonnes règles de gestion sur une variété de données.

Réalisations
· Réalisation des différents poc pour tester les différentes architectures proposées.
· Contribution aux choix de l'architecture de datawarehouse
· Développement du job Spark pour homogénéiser les données et les stocker dans hive
· Développement des scripts hive pour construire le datawarhouse sur hive
· Implémentation du job Spark pour l'ingestion de donées dans SQLServer
· Construction des vues dans SQLServer
· Migration des anciens flux vers hdp 2.6.4
· Mise en prod du projet et encadrement de l'équipe dev tant que TeachLead
· Interventions post prod
· Adoption des méthodologies TDD et BDD pour garantir la fiabilité des livrables.

Environnement
Java (8.0), Scala (2.10), Spark (2.1.0), SQL, Hadoop (2.6.1), SQLServer, HBase (1.0.0), HDFS, Sqoop, Gitlab, Scala Test, Jenkins, Nexus, SonarQube.


Projet « E-Reputation » – Data Engineer : depuis 08/2017 à 09/2018 (10 mois)

Contexte
Collecte des données depuis les réseaux sociaux et leur transformation en un format exploitable pour permettre une vue détaillée en temps réel d’un produit ou d’un sujet d'actualité.

Réalisations
· Développement de plusieurs job Spark d’acquisition des données en temps réel depuis les réseaux sociaux, les données sont directement ingérées dans des topics Kafka pour être ensuite consommées dans des jobs Spark Streaming.
· Agrégation et normalisation des données et stockage dans HDFS.
· Développement du job d’analyse sentimentale (Naive Bayes, Random Forest, K-Means) sur les données récoltées et stockage des résultats dans Elasticsearch (pour une visualisation sur Kibana).

Environnement
Spark (1.6.1), Java (8.0), Scala (2.10), Python, Kafka, HDFS, ElasticSearch, Git, Jenkins, Maven.


OOREDOO [Groupe Recherche et Développement] – Stage de fin d’études : 2016 (6 mois)

• Projet
Développement d'une application Big Data pour améliorer la qualité du service réseaux mobile.

Contexte
On commence par l'intégration de la base de données des utilisateurs de l'opérateur téléphonique dans HDFS. Ainsi, on réalise le stockage dans des tables Hive. Ensuite on utilise Zeppelin pour visualiser les courbes, les analyser afin d'améliorer la qualité du service réseaux.


Réalisations
· Utilisation de Nifi pour intégrer les données dans HDFS.
· Construction des tables Hive.
· Visualisation des courbes avec Zeppelin.

Environnement
Hive, HDFS, Zeppelin, Java, Nifi, Git.