About Achraf
Ayant 8 ans d’expérience en tant que Data Engineer. J’ai essentiellement travaillé sur les projets Spark dans un environnement Cloud et les industrialiser afin de faciliter l’exploitation des données. Mes dernières expériences professionnelles m’ont permis de développer une expertise dans le BIG DATA afin de répondre à des différentes problématiques et transformer les données brutes en insights stratégiques.
French
Native or bilingual
English
Fluent
Spanish
Basic
Can work on-site
Paris (up to 50km)
Experience
- EngieSenior Data EngineerENERGY AND UTILITIESMay 2024 - Today (2 years and 1 month)Paris, FranceGalileo est une application construite sur la plateforme AWS autour du framework dedéveloppement SCALA SPARK et de divers composant AWS ( Lambda, Glue, DynamoDB,Redshift,Kinesis) .Cette plateforme est interconnecté avec les services Microsoft et Dataiku✓ RÉALISATIONS➢ Cloud AWS :• Analyse des besoins et participation à l’identification des scénariosd’implémentation technique sous AWS.• Conception et implémentation de jobs ETL performants sur AWS Glue, enutilisant Scala/Spark, pour le traitement de données volumineuses issues dedifférentes sources (S3, JDBC, API).• Formalisation des spécifications techniques et évolution de l’existant.• Mise en place de checks de Data Quality et utilisation de Glue Cataloguepour faciliter la gouvernance des données.• Conception et développement d’un module flexible d’ingestion de donnéesécrit en Scala/Spark, capable de gérer plusieurs types de sources dedonnées (API REST, S3, JDBC).• Analyse des logs CloudWatch pour l’investigation des incidents etamélioration continue des traitements.➢ Windmill/Traiding Auto :• Animation de workshops avec les traders afin de recueillir les besoinsmétier et comprendre les aspects fonctionnels liés à la configuration desstratégies de traiding.• Mise en place de l'ETL en Python : intégration de plusieurs sources dedonnées. à l’aide des frameworks boto3 pour l'interaction avec le serviceCloud S3 de AWS.• Automatiser la mise en œuvre, le suivi et l’exécution de stratégies detrading via la plateforme Windmill.Environnement technique: AWS (Lambda, DynamoDB, S3, AWS Glue, Glue Catalogue, CloudWatch,CloudFormation, Athena), API REST, Scala Spark, Python, Azure DevOps, Windmil, Github
- AXASenior Data EngineerBANKING AND INSURANCEJuly 2022 - May 2024 (1 year and 10 months)Nanterre, FranceDéveloppement from scratsh et mise en place du projet BING afin de traiter les données etalimenter les différents cube BI dans le cadre de rationaliser et dynamiser les reportings.✓ RÉALISATIONS• Conception et développement des applications Ingestion des donnéesdans le Datalake avec du Spark/Python.• Préparation des données : collecte et transformation des donnéesingérées (PySpark).• Mise en place des pipelines pour charger et transformer les données.• Orchestration des pipelines avec Azure Data Factory (ADF).• Recettage des données avec Databricks.• Planification et exécution des workflow avec ADF.• Participation à la rédaction des spécifications et rédactiond’une documentation technique.• Contribution à la refactorisation du code des applicationsPySpark en appliquant les meilleures pratiques de Spark• Développement du code YAML pour l'intégration et déploiement continu(CI/CD) dans AZURE DEVOPS afin d’optimiser l’intégration et ledépoilement des développements.• Review et approbation des Pull Requests afin de les merger vers labranche master.• Monitoring et analyse des incidents dans la production via Azure DataFactory.• Faire progresser les équipes et contribution à la validation du planning
- PMUconsultant cloud data engineerENTERTAINMENT AND LEISUREMay 2020 - June 2022 (2 years and 1 month)Paris, FranceConcentrer, ordonnancer les données du PMU Puis mettre à disposition ces données pour des usages analytique type BI, Data Science, Exploration, etc. RÉALISATIONS On-Premise :• Conception et création des applications Spark/scala from scratsh et intégration dans la chaîne CI/CD pour déployer les projets en prod via Jenkins.• Mise en place des pipelines pour charger et transformer les données.• Déploiement des applications sur les environnements Hors prod et prod.• Ordonnancement et supervision via ControlM.• Recettage des données massives via Impala.• Run master : Monitoring et analyse des incidents dans la production.• Maintenir et évoluer les fonctionnalités des projets Big data existants. Cloud AWS :• Refonte et migration des projets de Hadoop On-Prem vers Cloud AWS.• Rédaction des requêtes et Recettage des données massives sur AWS Athenapour exploiter les tables.• Intégration et déploiement continu des programmes via Gitlab CI/CD.• Développement et supervisions de fonctions Lambda.• Orchestration et monitoring des pipelines via Airflow.• Extraction des données depuis Amazon Simple Queue Service (Amazon SQS).Environnement technique : Cloudera, Spark, Scala, Hive, Hue, Impala, Jenkins, Foreman, Control-M, Dataiku, GITLAB, Jira, AWS (Airflow, Lambda, SQS, Athena, Bucket S3).
Recommendations
Be the first to recommend Achraf
Help this freelancer shine by sharing your experience working together.
These freelancer profiles also match your criteria
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Education
- Licence Fondamentale en Mathématiques et ApplicationsLicence Fondamentale en Mathématiques et Applications2015
- Master en Ingénierie Mathématiques et Statistiques ActuariellesEcole Centrale de Marseille2017