Mon espace
Je m'inscris

En tant que

Consultant Client
 

CV du
consultant

Réf PROF00006822

Accueil > Consultants > PROF00006822
 
 

Data Engineer

Disponible

 

Profil publié le : 08/03/2023 Profil vu : 478 fois Référence : PROF00006822

 
 

Compétences

Expert Moyen Débutant

BDD

Data BI CLOUDERA datalake HDFS HIVE hortonworks Hue ORACLE POSTGRESQL Spotfire Sqoop

Connaissances fonctionnelles

AMOA ANGLAIS b2c communication DISTRIBUTION DSI energie Exploitation FACTURATION Formation google Industrialisation Kafka Marketing paramétrage Production reglementaire RGPD TELECOM TMA transformation

Langages

Hadoop Spark C J2EE JAVA Java8 JSON MongoDB PySpark PYTHON scala SHELL SQL TALEND

Méthodes

AGILE Conception CSV integration Jenkins MIGRATION POC PROJET SCRUM

Outils

Kibana

Réseaux et Middleware

AWS Monitoring Terraform

Systèmes

GIT UNIX

Diplômes et formations

Pays / régions

Expérience professionnelle

Environnement / langage / outils technique
Terraform
StepFunctions,
DynamoDb,
DataPipeline,
TransferFamily,
Unix,
Hive,
Spark,
Java8,
Git,
Jenkins,
Cloudera Data Platform,
XL Release,
XL Deploy,
Unix,
AWS (S3, Glue, Athena, Lambda, Iam),
Talend,
Sqoop,
Nifi,
Python,
Scala,
Spark,
Hue,
Oozie,
Jupyter
...


Formation
2001-2006 : Master II STIC, Science et Technologie de l’Information et de la Communication à l’Université de Reims.


Langues
Anglais : Connaissances professionnelles.


EXPERIENCES PROFESSIONNELLES

Janvier 2022 – Aujourd’hui
IAD Immobilier
Data Engineer AWS
Tâches
Collecte et préparation de données issues de sources externes (base de données SQL, postgreSql, csv,api…)
Ingestion de données, développement des jobs glue (pyspark) et intégration des données dans le datalake
Traitement et transformation des données selon les cas d’utilisation (historisation, analytique, data science).
Optimisation des performances et des coûts.
Analyser, conseiller, et faire des recommandations de façon à améliorer l'efficience et l'efficacité des solutions techniques mises en place

Environnement / langage / outils technique :
Terraform, S3, Glue, Athena, Lambda, StepFunctions, DynamoDb, DataPipeline, Iam, TransferFamily…

Février 2020 – Février 2022
Natixis (Risque de crédit de contrepartie)
Data Engineer
Tâches (équipe B2C)
Construire, développer et maintenir un pipeline robuste et performant pour ingérer une volumétrie de données importante issu de sources différentes.
Collecter, nettoyer et traiter la donnée mis à disposition pour la rendre compréhensible
Développement du moteur de calcul réglementaire pour mesurer la valeur d’exposition pour le risque de contrepartie (FRTB-CVA/SACVA/SACCR…).

Environnement / langage / outils technique :
Unix, Hive, Spark, Java8, Git, Jenkins, Cloudera Data Platform, XL Release, XL Deploy...

Octobre 2018 – Février 2020
Société Générale Itim (Centre De Compétence BigData)
Data Engineer
Tâches (projet AGILE : scrum, backlog, story, itération, rétro…)
Collecte, mise en forme et mise à disposition des données issues de sources différentes (Job Spark +Glue).
Restitution de certains résultats via des rapports sous Jupyter
Mise en place d’un monitoring des jobs applicatifs ainsi que les logs Yarn/Hue de production.

Environnement / langage / outils technique :
Unix, AWS (S3, Glue, Athena, Lambda, Iam), Talend, Sqoop, Hive, Nifi, Python, Scala, Spark, Hue, Oozie, Git, Jupyter, Jenkins...

Décembre 2015 – Juin 2018
Axa France
Data Engineer
Tâches
Traitement et manipulation (collecter, nettoyer, modéliser, croiser, dénormaliser, mise en forme…) des données variées issues de plusieurs sources différentes en termes de contenu et/ou de format (ex : données issues des bases assurantielles, de google analytics, de texte, de conversation téléphonique, des logs de navigation, d’image...).
Développement en PySpark basé sur le Framework Hadoop (distribution Cloudera) répondant aux UCs métiers.
Développement / industrialisation, en collaboration avec les DataSciences sur les sujets utilisant des algorithmes Machine Learning.
Conception/développement des applications pour la mise en place de la RGPD sur les données du DataLake (ex : fichiers csv, json, txt, parquet, avro…).
Mise en place d’un outil de monitoring pour le traitement des logs applicatives via Kafka.
Environnement / langage / outils technique :
Unix, Python, Spark, Hdfs, Hive, Impala, Hue, Oozie, Kafka, Kibana, Git, Notebooks, Jenkins, MongoDB, Spotfire...


Septembre 2014 – Décembre 2015
TMA GFI– Ministère d’économie
Data Engineer
Projet POC : Service de renseignement rattaché au ministère des Finances, pour lutter financiers clandestins, le blanchiment d’argent et le financement du terrorisme.
Tâches
Paramétrage et intégration des données INSEE dans Hive.
Migration de la base SQlServeur vers hive via Sqoop.

Environnement / langage / outils technique :
Hadoop (HDFS), Hive, SQL Server, Java, Sqoop, Hortonworks, Shell.

Octobre 2013–Juillet 2014
Orange
AMOA
Soft : Application de prise de commande des offres Internet et multiservices résidentielles et OPEN

Aout 2011 – Juillet 2013
Bouygues Telecom (Entité DSI Marketing).
Consultant BI, GECO (Gestion Centralisée des Offres)
outil de gestion de paramétrage des offres mobiles.

Juin 2009–Juin 2011
EDF Pleyel (Entité DOOAT).
Développeur J2EE
Projet CAPP : Application chargé de fournir une prévision de l’énergie à produire

Avril 2007-Juin 2009
Orange.
Développeur C++/PLSQL
Projet Syroco (application LIGIS Web-METAMICRO
Consultant BI
Projet SISIF : Système de facturation du recouvrement et des impayés pour le calcul des pénalités.

2006 : Stage 6 mois
développeur .net
Centre Vinicole Champagne Nicolas Feuillatte à Chouilly
Conception / Développement d’une application .net sous VisualStudio capable de connaître en temps réel les données provenant des caméras pour chaque bouteille passée sur le convoyeur (5 bouteilles/s), ces données sont stockées dans une base de données Oracle, ainsi qu’une I.H.M sur C# pour la consultation et l’exploitation de la base de données

 
 

Consultants similaires

 
Développeur Java/Mulesoft

Compétences : AWS, dataweave, JAVA, Jenkins, Mulesoft, GitLab, spring ...

Voir
consultant
Retenir
 
Data analyst

Compétences : Azure Cloud, Data, PYTHON, SQL, AGILE, Analyse, ANGLAIS, ...

Voir
consultant
Retenir
 
Sénior data engineer

Compétences : Data, DataWareHouse, ETL, PySpark, PYTHON, AGILE, Analyse, ...

Voir
consultant
Retenir
 
support data analyst

Compétences : Data, PYTHON 3, ServiceNow, Support, cegid, Power BI, ...

Voir
consultant
Retenir
 
ingenieur devops-cloud

Compétences : ansible, AWS, Cybersecurité, DEVOPS, Terraform, AD, ...

Voir
consultant
Retenir
 
Data analyst

Compétences : Data, Gestion Budgétaire, Gestion commerciale, Power ...

Voir
consultant
Retenir
 
Product Owner

Compétences : Data, product owner, ACCESS, AGILE, Analyse, ANGLAIS, ...

Voir
consultant
Retenir
 
Expert Python et Data Scientist

Compétences : Data, INTELLIGENCE ARTIFICIELLE, PYTHON, ACCESS, AGILE, ...

Voir
consultant
Retenir
 
Consultant Data Analytics

Compétences : ALTERYX, Data, Dataiku, PYTHON, Qlik, Qlik Sense, qlikview, ...

Voir
consultant
Retenir
 
Consultante Data

Compétences : Data, data factory, DATA MANAGER, Google Cloud Platform, ...

Voir
consultant
Retenir
 
 

Partager

 

Retenir

  • Pour quelle mission ?

 

Vous avez oublié
votre mot de passe ?