About Yaouen
Je suis un freelance spécialisé en ingénierie des données, passionné par la création de solutions robustes pour gérer, traiter et analyser des volumes massifs de données. Fort d'une solide expertise dans la data, je propose mes services pour aider les entreprises à exploiter la valeur de leur données.
Je conçois, développe, teste et maintiens des pipelines de données efficaces, redondantes et scalables en utilisant des technologies de pointe telles que Databricks et DBT mais aussi les services de cloud computing comme AWS et GCP.
Je suis également compétent dans la mise en place de bases de données, l'optimisation des performances, la mise en place de architectures distribuées ainsi que les chaines d'intégration et de delivery.
Je cherche principalement des missions en télétravail ou hybride.
French
Native or bilingual
English
Fluent
Japanese
Basic
Chinese
Basic
Spanish
Basic
Can work on-site
Lille (up to 40km), Paris (up to 10km)
Experience
- ADEO ServicesData EngineerRETAIL (LARGE RETAILERS)November 2022 - Today (3 years and 8 months)Lille, FranceContexte :Dans l’équipe Supply Receiving Check intégrée à la Supply DataChain Platform (SCDP) d’ADEO, j’ai pu participer à l’industrialisation et auscaling au niveau international de notre produit d’intelligence artificielle“Receiving Check” qui prédit les colis défectueux à leur arrivée afin de faciliterle contrôle en magasins et entrepôts via une API.Je travaillais en collaboration avec un Data Analyst, un Data Scientist pour lesbesoins de dataviz et d’IA et un SE pour les besoins de l’API.Équipe de 7 à 10 personnes en mode Agile Scrum.Réalisations techniques :Data Engineering :
- Collecte des données, conception, développements et tests de flux Data sur Bigquery/Postgres/DBT.
- Industrialisation du projet pour l’intégration de nouveaux pays (Portugal, Brésil, Italie, France) et mise en place des flux Data correspondants.
- Mise en place d’une stratégie de tests pour nos pipelines.
- POC de la librairie de tests great expectations.
- Amélioration des flux existants en mettant en place des bonnes pratiques de code.
- Développement de pipelines data basées sur l’environnement GCP pour le DataLake (GCS) et le DataWarehouse (BQ)/Postgres.
- Orchestration de nos flux avec Airflow sur le service Composer (GCP).
- CI / CD et versionning via Github / GH actions.
- Documentations techniques sur confluence et collibra.
- Mise à disposition des données sur Firestore puis Postgresql/BQ via des data marts.
- Refonte de l’architecture du projet de bout en bout sur DBT afin de faciliter le développement et le déploiement de nouvelles features data.
- Analyses exploratoires via la librairie Pandas et jupyter notebooks.
- Maintien et run de jobs ETL sur Dataflow, cloud functions.
- Identification des sources de données et garantir l’accès à cette données pour l’ensemble de l’équipe (Gestion de droits IAM GCP).
- Mise en place de flux kafka (Avro) et connexion à Big Query.
System Engineering :- Conception, développements et tests (unitaires/intégration/e2e) de nouvelles fonctionnalités pour l’API grâce à Python et Fast API.
- Déploiement de l’API sur Turbine (outils interne pour l’orchestration de container) et intégration des différents nouveaux pays.
- Tests et mise en place de nouveaux scénarios de tests sur Postman.
- Run technique, veille, amélioration continue et mise en prod
- Gestion du contrat d’interface de l’API (Pydantic).
- Monitoring et suivi des performances de l’API via des métriques (SLO/SLI/SLA) sur datadog.
- Versionning et CI/CD Git/Github.
- Mise en place de logging Datadog et Kafka pour leur intégration dans Big Query à des fins d’analyses / de reporting.
- DecathlonConsultant Big Data / SparkRETAIL (LARGE RETAILERS)January 2021 - November 2022 (1 year and 10 months)Lille, France
- Récupération des besoins clients, conceptions, développements, tests unitaires et d'intégrations de Pipeline ETL Spark ou Spark Streaming à l'aide du framework Spark Scala 3.1.2.
- Utilisation du Cloud AWS pour le DataLake (S3) et DataWarehousing (RedShift) / Glue pour le metastore et Athena pour l'analyse exploratoire.
- Utilisation de Spark sur la plateforme DataBricks pour exploration de la donnée / Analyse / développement de dashboard de suivi de qualité de la donnée ou traçabilité.
- Mise en place de tours de contrôle pour la vérification de la qualité des données et leur traçabilité.
- Mise à disposition des données aux utilisateurs sur redshift/s3
- CI / CD et Orchestration des jobs avec Jenkins sur les différents projets ETL mis en place.
- Versionning Git/Github
- Formation Airflow.
- Run technique, veille, améioration continue des flux. Réalisations fonctionnelle :
- Suivi de projet sur la suite Atlassian.
- Matrice d'expression des besoins développeurs pour les nouvelles US.
- Ateliers pour établir les bonnes pratiques sur les différents projets de l'équipe (Code Review / Tests / Normes dév)
- Accompagnement des utilisateurs pour la réalisation de nouvelles US (tres amigos, contact régulier, démo…)
- Gestion des incidents (Run) et accompagnement/communication avec les utilisateurs.
- Documentations techniques / fonctionnelles des flux (nouveaux comme existants) sur Confluence et Collibra. Accueil et accompagnement des nouveaux data engineer lors de leur arrivée chez Decathlon.
- ADN AxDaNeData Engineer & RPA EngineerPHARMACEUTICALS INDUSTRYSeptember 2019 - September 2020 (1 year)Levallois-Perret, FranceMissions principales : Mise en place d'algorithme d'intelligence artificielle pour la validation de systèmes de santé et l'identification des exigences :
- Langages : Python, SQL
- Frameworks : Pandas, Spark, SparkNLP, Scikit learn, NLTK ...
- Algorithmes : SVM, Natural Language Processing (NLP), Naives Bayes, Logistic Regression, Word2Vec, BOW, TF-IDF ...
- Mise en place de la plateforme de Robotic Process Automation (RPA/RCA) Automation Anwywhere :
- Installation et administration dans le cloud AWS.
- Administration de la plateforme AAE 2019.
- Développement de robots logiciels (RPA) et de robots cognitifs IQ Bot (RCA).
- Étude pour la validation des robots cognitifs.
- Présentation d'un Webinar sur AAE 2019 et ses applications dans la santé
Secondaires :- Formation sur le cloud d'AWS (DynamoDB, Lambda, SageMaker)
- Formation et prise en main de la plateforme 3DEXPERIENCE de Dassault Systèmes.
- Formation et Certifications RPA sur Automation Anywhere
Recommendations
Be the first to recommend Yaouen
Help this freelancer shine by sharing your experience working together.
These freelancer profiles also match your criteria
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Education
- Diplôme d'ingénieur Généraliste, spécialité Big DataEcole supérieure d'électronique de l'Ouest - ESEO Angers2020Diplôme d'ingénieur Généraliste, spécialité Big Data
- Certification MOOC Gestion de Projet, Parcours classiqueMOOC Gestion de Projet2018Certification MOOC Gestion de Projet, Parcours classique