You're seeing this page as if you were . The main menu is still yours, though. Exit from immersion
Erwan D.ED

Erwan D.

Data Engineer & Architecte

€750/day
3 projects
Toulouse, FR
3-7 years

Average response time: 1 hour

About Erwan

Data Engineer & Architecte (logiciel / data / infra)

Curieux et tenace : j’adore creuser loin dans le code, remonter les chaînes d’appels, fouiller la doc et les issues, et traquer la micro-optimisation qui change tout. On me mandate pour simplifier, stabiliser et accélérer des plateformes data existantes — et laisser l’équipe avec des outils compréhensibles et durables.

Expérience
Actif depuis 2019, j’ai évolué entre back-end temps réel, data pipelines lourds et rendu/traitement haute performance. Succès typiques : remettre d’équerre des collectors et jobs batch, lever les goulots (partitionnement, compaction, skew, mémoire), fiabiliser du streaming et industrialiser sur Kubernetes (images propres, CI/CD, secrets, stockage). Je navigue bien entre diagnostic et mise en production, avec un vrai soin de la lisibilité, des tests et de l’observabilité.

Compétences clés
• Data engineering : Spark (batch / Structured Streaming), Kafka, Hive/Parquet, Iceberg/Delta, S3/MinIO
• Langages : Scala, Java, (Python en appui)
• Plateforme : Kubernetes / Spark Operator, Docker, CI/CD (GitLab/GitHub), Grafana/Prometheus/ELK, Argo Workflow, Helm

Open-source & projets perso
Je contribue et publie régulièrement : développement d’un connecteur InfluxDB pour Trino, contributions à Argo Workflows. Pour m’émanciper techniquement, je développe aussi des apps Flutter (lecteur de news dopé à l’IA générative).
Côté R&D perso : ray tracer en Scala, algos de compression, interpréteur/VM en Scala Native, binding OpenCL en Java, moteur 3D C++/OpenGL (GitHub : k3rnL). Ces projets nourrissent mon approche de la performance, des algorithmes et de l’architecture bas niveau.
  • French

    Native or bilingual

  • English

    Native or bilingual

  • Ukrainian

    Conversational

Can work on-site
Toulouse (up to 15km)

Experience

  • CLS
    Data Platform Engineer — Product Owner
    SOFTWARE PUBLISHING
    June 2023 - Today (3 years)
    Toulouse, France
    Plateforme Big Data pour l’analytique maritime (AIS) : ingestion, stockage et requêtage à l’échelle. Je travaille sur la fiabilité, la performance et le coût de l’écosystème (batch & streaming), avec un fort volet observabilité et industrialisation Kubernetes.

    Réalisations clés
    • Modernisation du lakehouse : schémas évolutifs, gestion des partitions et compaction, gouvernance légère, migration progressive vers des formats de table modernes.
    • Optimisation Spark/Trino : partitionnement pertinent, tailles de fichiers, réduction du skew, tuning shuffle/cache, règles SQL, stratégie de tri/cluster pour accélérer les scans sur données AIS.
    • Pipelines streaming (Kafka + Spark Structured Streaming) : reprise contrôlée, backpressure, reprocessing, SLA, runbooks d’exploitation.
    • Industrialisation sur Kubernetes : Spark Operator, images propres, CI/CD, secrets, stockage objet, chart Helm
    • Observabilité & fiabilisation : métriques/logs/traces, tableaux de bord (perf & coûts), alerting, SLO/SLA, durcissement des bonnes pratiques (tests, revues, documentation concise).

    Stack & pratiques
    Spark, Trino, Kafka, Kubernetes/Spark Operator, Docker, S3/MinIO, Iceberg/Delta, Hive/Parquet ; Grafana/Prometheus/ELK ; Helm/Helmfile ; Terraform
    Scala, Java • CI/CD GitLab/GitHub • Perf & optimisation, DDD
    Scala Spark Helm Kubernetes Java
  • Living@Object
    Data Engineer
    SOFTWARE PUBLISHING
    June 2020 - July 2022 (2 years and 1 month)
    Toulouse, France
    Équipe Data Collection (pilier produit) pour de grands opérateurs télécom : conception et mise en œuvre d’un nouveau collecteur temps réel, industrialisation et outillage, avec de très forts volumes (To/jour) et une exigence de zéro perte.

    Réalisations clés
    • Architecture & développement du nouveau collecteur, puis industrialisation (routines, packaging, déploiement), pilotage technique de l’équipe. 
    • Déploiement ~50 projets (sur ~250 en prod) en remplacement progressif de l’ancien collecteur. 
    • MCO de l’existant (anciens collecteurs) et outils utilitaires : copieur de bases haut débit/haute compatibilité, outil de synchro “type rsync” adapté métier. 

    Stack & pratiques
    Scala/Java/Python, Spark, Kafka, Hadoop/HDFS (Cloudera), ClickHouse, PostgreSQL, MySQL, Impala, Bash • Optimisation perf & algos, CI/CD, qualité et fiabilité d’ingestion.
    Java Scala Spark ClickHouse Lead Developer
  • Capgemini DEMS France S.A.S
    Stage
    CONSULTING AND AUDITS
    November 2019 - April 2020 (6 months)
    Toulouse, France
    Projet tour de contrôle aérien (petits à grands aéroports).
    Contexte à fortes contraintes de performance et de compatibilité : parc matériel/logiciel ancien (Linux 2.6, OpenGL 2.0, 512 Mo RAM). Équipe de 6 personnes.

    Réalisations clés
    • Conception d’un moteur 2D optimisé pour le rendu radar et intégration dans l’app existante.
    • Passage de 10–50 FPS (selon charge) à 60 FPS (limite système) après migration du rendu.

    Stack & pratiques : C/C++, GLSL, Qt, Bash/Python • OpenGL • Architecture & techniques de rendu.
    C++ OpenGL Qt

Reviews

5,0

Out of 3 ratings

T

Thomas

Mariette

Reviewed on 08/04/2022

Un grand merci pour ce service de qualité !
D

Damon

Whirlwind3D

Reviewed on 12/01/2022

Erwan did excellent programming work and completed the work promptly. His communications were always clear. I highly recommend Erwan to anyone needing computer programming work.

Recommendations

Be the first to recommend Erwan

Help this freelancer shine by sharing your experience working together.

These freelancer profiles also match your criteria

AgathaA

Agatha Frydrych

Backend Java Software Engineer

4.7

(3)

2

BaptisteB

Baptiste Duhen

Fullstack developer

4.6

(4)

5

AmedA

Amed Hamou

Senior Lead Developer

4

(2)

7

AudreyA

Audrey Champion

Web developer

4.3

(3)

4

Education

  • Ingénieur
    EPITECH - European Institute of Technology
    2020
  • BAC Pro SEN
    Lycée Renne bonnet
    2014

Skill set

Categories