Description
de la mission
Tech lead data
Tech lead data
Île-de-France
À partir du 26/06/2023 - 6 mois
Mission publiée le : 22/05/2023
Mission consultée : 204 fois
Consultants positionnés : 6
Référence : MISS0154301197
Compétences
EXPERT
. PYTHON . Spark . SQL . Data . DB2 . ETL . Hbase . HDFS . HIVE . NoSQL . ORACLE . POSTGRESQL . CDP . GIT . LINUX . Systèmes . Conception . Gouvernance . RECETTE . BROKER . Kafka . pipelinesMOYEN
. JIRA . Jenkins . Grafana . OpenSearch . VaultDescription de la mission
Cherchons un profil Tech Lead expérimenté (+9ans d'expérience sur un poste similaire)
MISSION :
Contribuer à la mise en œuvre du développement des pipelines d’ingestion et la proposition sous-jacente d'une offre de service dit "dataFactory" :
- La mise en œuvre de produit d’ingestion de fichiers internes et externes
- Le rafraichissement des données s’appuyant sur des technologies non-intrusives de type Change DataCapture ainsi que les traitements de propagation en aval
- L’offre de service d’une plateforme d’exploitation de ces données massive à destination des métiers dite « dataFactory »
- L’organisation et le stockage des données en lien avec la gouvernance transverse du projet
PRESTATION ATTENDUES :
Encadrer :
1. CONCEPTION TECHNIQUE
- Animation des affinages techniques et proposition de solutions techniques et prise en charge des travaux conjoints avec les équipes fournisseurs
- Data Eng : participation active aux affinages techniques des besoins et propositions de solutions techniques
2. TRAVAUX DE DEVELOPPEMENT / D'ACCOMPAGNEMENT
Pilotage des réalisations et suivi des risques.
- définir les bonnes pratiques
- développer de nouveaux composants d'ingestion et de traitement de la donnée correspondant à des patterns définis (connecteurs)
- accompagner nos clients à l'intégration de ces composants sur la réalisation de pipelines de données dans les règles de l'art et le respect de bonnes pratiques définies
- documenter les méthodes d'utilisation de ces composants de manière simple et intuitive (How to, tutoriaux...)
- mettre en œuvre des pipelines de données à partir de nos composants et os méthodes pour le compte de clients
3. ASSISTANCE A LA RECETTE
EXPERTISE REQUISE :
- spark + principes / utilisation des bdd (SQL / Nosql)
- python et principes ETL/ELT
- maitrise des principes de l'écosystème CDP, des bases SQL (Hive, DB2, PostgreSQL, Oracle...), des bases NoSQL (Hbase, Elastisearch...) des systèmes de fichiers et de stockage (HDFS, Minino...), d'Apache Airflow, de Git, de Messge Broker (kafka)
- connaissance de Jenkins, Prometheus/Grafana, Stack Elastic/opensearch, du développement CI/CD, d'Hashicorp Vault, Linux, JIRA et de la sécurité des SI
Mission sur Paris, télétravail possible 2/3 jours par semaine.
MISSION :
Contribuer à la mise en œuvre du développement des pipelines d’ingestion et la proposition sous-jacente d'une offre de service dit "dataFactory" :
- La mise en œuvre de produit d’ingestion de fichiers internes et externes
- Le rafraichissement des données s’appuyant sur des technologies non-intrusives de type Change DataCapture ainsi que les traitements de propagation en aval
- L’offre de service d’une plateforme d’exploitation de ces données massive à destination des métiers dite « dataFactory »
- L’organisation et le stockage des données en lien avec la gouvernance transverse du projet
PRESTATION ATTENDUES :
Encadrer :
1. CONCEPTION TECHNIQUE
- Animation des affinages techniques et proposition de solutions techniques et prise en charge des travaux conjoints avec les équipes fournisseurs
- Data Eng : participation active aux affinages techniques des besoins et propositions de solutions techniques
2. TRAVAUX DE DEVELOPPEMENT / D'ACCOMPAGNEMENT
Pilotage des réalisations et suivi des risques.
- définir les bonnes pratiques
- développer de nouveaux composants d'ingestion et de traitement de la donnée correspondant à des patterns définis (connecteurs)
- accompagner nos clients à l'intégration de ces composants sur la réalisation de pipelines de données dans les règles de l'art et le respect de bonnes pratiques définies
- documenter les méthodes d'utilisation de ces composants de manière simple et intuitive (How to, tutoriaux...)
- mettre en œuvre des pipelines de données à partir de nos composants et os méthodes pour le compte de clients
3. ASSISTANCE A LA RECETTE
EXPERTISE REQUISE :
- spark + principes / utilisation des bdd (SQL / Nosql)
- python et principes ETL/ELT
- maitrise des principes de l'écosystème CDP, des bases SQL (Hive, DB2, PostgreSQL, Oracle...), des bases NoSQL (Hbase, Elastisearch...) des systèmes de fichiers et de stockage (HDFS, Minino...), d'Apache Airflow, de Git, de Messge Broker (kafka)
- connaissance de Jenkins, Prometheus/Grafana, Stack Elastic/opensearch, du développement CI/CD, d'Hashicorp Vault, Linux, JIRA et de la sécurité des SI
Mission sur Paris, télétravail possible 2/3 jours par semaine.
