CV du
consultant

BDD

CLOUDERA Data BI DataWareHouse HDFS HIVE Hue MYSQL ORACLE POSTGRESQL TERADATA

Connaissances fonctionnelles

ANGLAIS Cloud Déploiement DISTRIBUTION flux Français Industrialisation international Kafka PCA PRA Production transformation

Langages

SHELL Spark Batch Docker ELK Hadoop JAVA PySpark PYTHON REFERENCEMENT SAFe

Méthodes

DEVOPS AGILE Conception integration ITIL Jenkins Management MIGRATION PROJET Support UML

Outils

GitLab Grafana openstack

Réseaux et Middleware

KUBERNETES Terraform ansible CDP Monitoring

Systèmes

APACHE CENTOS

COMPETENCES
Langages : Python, Java, Korn Shell
Big Data : Hadoop, Kafka, Spark, Hive, Impala, Airflow
Streaming : Spark Streaming, Kafka Streams, Flink
Distribution Big data : Cloudera ( CDH, CDP, CDSW)
Monitoring : Grafana, Prometheus, ELK
DevOps : Gitlab, Ansible, Sonatype, Jenkins, Docker
BI : DataWarehouse Oracle Cube
Conception : UML
Gestion de projet : MS Project
Base de données : MySQL, Oracle, Teradata
Management SI : ITIL, PCA, PRA
Langues : Français, Anglais, Arabe

EXPERIENCES PROFESSIONNELLES
Consultant Expert Big Data
Societé Générale | Novembre 2021 - Aujoud'hui
Extension des ressources du cluster
Approvisionnement des ressources nécessaires depuis le cloud interne ( VM OpenStack, Postgresql Cloud Platform, Load Balancer, S3 storage)
Support niveau 3 avec des équipes à l'international ( Bangalore et Montréal )
Export des logs des clusters vers une bucket S3 avec Fluentd
Extraction de la gestions des accès à la donnée à travers Apache Ranger
Réorganisation des services Cloudera ( déplacement Hue sur des serveurs dédiés)
Tunning de la configuration du cluster pour assurer le bon fonctionnement
Administration système ( CentOs )
Monitoring des clusters avec Prometheus/Grafana
Cadre :
Expert Hadoop dans un contexte d'une offre de service dans un cloud interne.
4 Clusters de production sont proposés dans l'offre de service
Safe: Scaled Agile Framework
Contexte international
Activité:
Ajout des DataNode
Support aux Data Enginners/Scientists
Automatisation du déploiement de la configuration Fluentd avec Ansible
Data Engineer
SFR | Septembre 2017 - Octobre 2021
Framework d’Ingestion batch, En Agile
Framework d’Ingestion temps réel, En Agile
Transformation des données batch, En Agile
Cadre :
Migration des flux de données de l’ancien Data Warehouse vers le nouveau cluster Hadoop.
Etude des besoins Data métiers & Data Scientists
Mise en place de nouveaux flux de données pour répondre aux différents besoins métiers.
Développement & Industrialisation Big Data
Architecture et veille technologique
Projets :
Chargement des données dans HDFS
Gestion intégration/référencement des nouveaux Flux
Python, HDFS, KSH
550 Flux batch quotidien en production
Kafka, Flume, Nifi, Spark Streaming
Pyspark, Hive
Développement UDF's HIVE
750 jobs quotidiens en production