Description

Ingénieur Big Data depuis plus de 2 ans, j'ai pu développer mes compétences sur de multiples projets, impliquant :

- Mise en place de pipeline data

- Ingestion de sources de données (fichiers texte, csv, parquet, json, kafka)

- Transformation (computing Machine Learning, calculs divers)

- Load (Ecriture dans kafka, Cassandra, Elastic et HDFS)

- Spark Structured Streaming avec traitement d’évènements kafka en temps réel

- Définition et mise en place d'architecture Big Data

- Optimisation d’applicatifs via la Spark UI et les Spark Listeners (eventLog Spark History Server)

- Formation sur Spark 2.4.x et Cassandra

- Lead sur les bonnes pratiques et le clean code

- Merge request reviewer en chef

Languages

Workplace preferences

Remote only

Primarily works remotely

Kering
Data Engineer
LUXURY GOODS
June 2021 - Today (5 years)
Spark Scala Python Jenkins Clean Code Clean Architecture Bugzilla
BOURSORAMA
Ingénieur big data
BANKING AND INSURANCE
November 2019 - June 2021 (1 year and 7 months)
Spark Scala Cassandra Apache Kafka Elasticsearch Atlassian JIRA