About Sandid
Bonjour,
Ingénieur Data Senior avec plus de 6 ans d'expérience en Big Data et Cloud. Expert en Spark, Scala,Pyspark et solutions CI/CD. Spécialisé dans l'optimisation des pipelines de données, la modélisation Vault et l'accompagnement des équipes techniques. Fort d’une expertise dans les environnements Azure et Databricks, avec une capacité à livrer des solutions performantes pour répondre aux besoins complexes des entreprises.
French
Fluent
English
Fluent
Can work on-site
Paris (up to 50km)
Experience
- BoursoramaData EngineerBANKING AND INSURANCEJune 2021 - Today (5 years)Paris, FranceContexte du projet :Développement des jobs temps réel et des tests unitaires et la mise en place des scénarios métier ainsi que la Conception et la migration des scénarios de conformité métier.• Développement d’un job temps réel afin de valoriser des données Kafka dans des tables Cassandra après traitements et Développement des tests unitaires.• Développement d’un job Spark en Python afin d’appliquer les règles métier et le déployer sur Jenkins.• Conception des tables et la solution à appliquer (les tables référentiels, tables agrégations …).• Compréhension des règles métiers et les sources des données à utiliser.• Développement d’un job Spark en scala générique configurable pour les 23 scénarios métier.• Participation à la création d’un process NIFI pour envoyer les alertes générées à Oxygéné.• Documentation des règles métier et les choix technique sur Confluence.Environnement technique : Hadoop, Kafka, Spark, Scala, Pyspark, Hive, Cassandra, Nifi, Intellij (SBT), Jenkins.
- OrangeData EngineerTELECOMMUNICATIONSJanuary 2019 - June 2021 (2 years and 5 months)Contexte du projet : Migration d’une base de données oracle ainsi que plus de 30 jobs et 100 rapports de sending vers une plateforme Big data Azure.Tâches effectuées :- Développement de jobs (Processor Group) de collection de données par Nifi en les stockant dans Datalake Storage GEN2.- Traitements des flux des données en déployant un job Template Spark sur Databricks (Scala).- Développement de jobs Spark Scala sur Databricks afin de migrer les différents rapports de sending à partir de l’ancienne solution.- Optimisation des jobs spark afin de garantir des performances optimales.- Réalisation d’une phase de recette des différents jobs via des requêtes SQL en effectuant une étude comparative avec l’ancienne solution afin de vérifier l’intégrité des données.- Planification et ordonnancement des services avec Data Factory.- Pilotage des opérations de maintenance corrective et évolutive et Monitoring des différents jobs via des alertes et envoi de mails.Environnement technique : Azure, Spark Databricks, Scala, Cosmos, Data Factory, Nifi, Event Hub,Datalake Storage Gen2.
- SofrecomData EngineerTELECOMMUNICATIONSJune 2018 - January 2019 (7 months)Goal: implementing a predictive analsye system of customer behavior for contact centers during the call overflow period.- Development of jobs to collect data into the Datalake(Sqoop) from SqlServer to Hive.- Writing Hql scripts to prepare our dataset.- Data extraction and data visualisation (statistical study) with Python,Jupyter.- Define the different customer classes at flexible contact center and Predict the number of calls to contact centres using Pyspark(Spark 2.4.0).- Present our result on Dashboard (PowerBi). Tools: cloudera, Hadoop, Spark, SQLServer, Clustering(k-means,DBSCAN, hierarchical clustering...), regression (Decsion trees, Random Forest, XGBOOST), Power BI
Recommendations
Be the first to recommend Sandid
Help this freelancer shine by sharing your experience working together.
These freelancer profiles also match your criteria
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Education
- PreparatoryPreparatory Institute for Engineering Studies of Monastir (IPEIM)2016Preparatory
- Diplôme d'ingénieurSUP'COM2018Diplôme d'ingénieur en Big Data