Freelancer profile translated to English.

Description

Data engineer depuis plus de 6 ans, j'ai pu développer mon expertise autour de la valorisation de la data dans le domaine de l'industrie, la finance, la banque et télécommunication.

J'intervenais sur les différentes phases de cycle de vie des projets : Conception, architecture, développement, industrialisation et maintenance évolutive.

Mon expertise de la data tourne autour de :

- L'analyse et la modélisation des données

- La collecte des données en mode batch (Spark), en mode streaming (spark Streaming, apache Storm) depuis kafka

- L'intégration des données dans le data lake (Hdfs, Hive, Hbase, Elasticsearch)

- Transformation de la data en valeur métier

- La gestion et l’automatisation des flux de données de différents sources sur Nifi

- L'ordonnancement des flux d’exécution (job spark, HiveQL) sur Oozie et Control-M

- La supervision applicatives

... etc

N’hésitez pas à consulter mon profil pour apprendre plus de mes expériences et de mes compétences. Aussi je serai ravi de discuter avec vous sur vos projets et vos besoins.

Mon tarif peut être négociable selon la mission.

Actuellement en mission, je serai disponible 02 mois après la validation de la prochaine mission.

Languages

English
Conversational
French
Native or bilingual

Workplace preferences

Can work on-site

Paris (up to 50km), Paris (up to 20km)

BNP Paribas
Lead data engineer
BANKING AND INSURANCE
June 2022 - Today (4 years)
Montreuil, France
Mission : Co-construction des offres de services Data sur le Cloud privé de BNP Paribas (Cloud IBM), support/coaching des applications sur le datahub V1 (Hadoop) et accompagnement vers les solutions de migration chez BCEF.

Réalisations :
- Accompagnement des équipes projets sur des solutions techniques et des
incidents de production
- Mise en place d’un pipeline de recette des services du datahubV2 (Star-
burst, Hive, Airflow) via Behave Python, Jenkins, Docker et Octane
- Réalisation de POC et MVP sur Starburst en fonction des uses cases sur
le datahubV1a
- Réalisation de POC et MVP sur Iceberg et couplage avec Starburst et
Spark
- Fédération de la donnée sur starburst
- Optimisation de la qualité des données Hive/Hdfs
- Développement d’un module de collecte et de production de données en
mode batch et streaming de Kafka vers Teradata
- Migration des données Kafka Confluent vers Ibm EventStream
- Participation à la mise en place d’une gouvernance de la donnée dans le
datahubV2
- Code review, validation git
- Mise en place de bonnes pratiques applicatives
starburst Kafka confluent Ibm EventStream Hashicorp Vault Hadoop cloudera Hive Spark Sql Schema Registry Hue Oozie Ibm Cos Teradata GitHub Jenkins Jfrog Airflow trino
Société Générale
Lead data engineer
BANKING AND INSURANCE
April 2021 - June 2023 (2 years and 2 months)
Puteaux, France
Synthèse : Projet CARMA sur la conformité des données provenant des différentes
entités.

Réalisations :
- Accompagnement des data engineers (coordination et suivi des projets
data)
- Review code, validation git
- Développement de pipelines CI/CD (Git, Cucumber, Jenkins, Ansible)
- Mise en place des pipelines de collecte de données en streaming
- Mise en place des pipelines de collecte et de traitements de données
"mode batch" en scala spark et mode streaming (Nifi, Kafka, Elk)
- Stockage des données sur divers composants répondant à des besoins
divers : Hive, PostgreSQL (BI & analytics), Elasticsearch (Moteur de re-
cherche, supervision), S3 (Palantir)
- Ordonnancement des flux d’exécution (job spark, HiveQL) sur Oozie
- Optimisation des jobs spark et du workflow Nifi
- Mise en place de bonnes pratiques applicatives
Spark Scala Nifi Apache Kafka Cucumber Jenkins Ansible Hue Hive AWS S3 Nexus GitHub Shell Hadoop Cloudera PostgreSQL Elasticsearch
Bouygues Telecom
Lead data engineer
TELECOMMUNICATIONS
January 2020 - April 2021 (1 year and 3 months)
Meudon, France
Synthèse : Traitement et alimentation des données d’équipements réseaux, 2G, 3G et 4G.

Réalisations :
- Accompagnement des data engineers (coordination et suivi des projets
data)
- Review code, validation git
- Veille technologique
- Mise en place des pipelines de collecte de données en streaming
- Optimisation des jobs spark
- Mise en place de bonnes pratiques applicatives
- Compréhension et la formalisation des enjeux et des besoins métiers.
Spark structured streaming Java kubernetes Apache Kafka Spark sql FileBeat Logstash Elasticsearch Deltalake Python Shell Hive Hdfs Docker registry