Description

Data Engineer orienté Spark / Scala / Cloud, spécialisé dans la

conception de pipelines Big Data robustes et la mise en

production de modèles IA.

J'interviens également sur des missions Python, sur des traitements par batchs comme sur du temps réel.

Languages

French
Native or bilingual
English
Fluent

Workplace preferences

Can work on-site

Rennes (up to 50km)

SKEEPERS
DATA ENGINEER
SOFTWARE PUBLISHING
February 2022 - Today (4 years and 4 months)
Rennes, France
Contexte :
Plateforme UGC (avis clients, influence, campagnes marketing) - forte
volumétrie - industrialisation de fonctionnalitées IA.

Missions :
- Mise en production de modèles IA :
- Résumés d’avis clients générés par IA sur ~ 20 millions de produits
par an.
- Classification et analyse de sentiments d’avis ~ 70000 par jour.
- Recommandation automatique d’influenceurs pour les marques.
- Conception d’un framework d’industrialisation de modèles IA.
- Optimisation des performances et coûts AWS.
- Astreinte sur infrastructure critique.
- Mise en place du monitoring des jobs.
- Accompagnement des équipes Data dans les bonnes pratiques de
développement.

Environnement technique :

- Spark, Presto, Scala, Python
- AWS (S3, EC2, ECR, ...)
- Temporal, Cadence
- Docker, Kubernetes, Terraform
- Grafana, Prometheus, Coralogix

Apports :
- Pipelines industrialisés et résilients qui traitent plusieurs centaines de
millions de données par jour
- Amélioration des temps de traitement
- Maîtrise des coûts cloud ~ 20% de moins en gardant les mêmes temps
de traitement.
- Standardisation des pratiques data
MIDDLEWARE EDITIONS
DEVELOPPEUR JAVA
January 2021 - August 2021 (7 months)
Rennes, France
Contexte :
Participation au développement de la solution Enterprise Flows
Repository, plateforme de gouvernance des flux des systèmes
d’information permettant de cartographier, superviser et exposer les
échanges intra-applicatifs.

Missions :
- Développement de microservices Java / Quarkus exposés par API
REST
- Conception des services backend pour la gestion des flux applicatifs
- Implémentation de couches d’accès au données.