About Walid
French
Native or bilingual
English
Fluent
Experience
- BNP PARIBAS,Lead Data EngineerBANKING AND INSURANCEJune 2023 - Today (3 years)Nanterre, FranceProjet :
- Move to cloud : Migration de FinReport vers la plateforme Cloud de IBM
- Application FinReport : Centralisation des reporting financiers (TCA, RFQ,…) et réglementaires (MIFID2, BestExecution,…)
Missions :- Pilotage de la migration ETL legacy vers le Cloud (planification, chiffrage, coordination des équipes, ateliers techniques)
- Conception et développement de pipelines ETL en Python (pandas, PySpark, SQLAlchemy, cx_Oracle) et SQL
- Orchestration des workflows avec Apache Airflow (DAGs, scheduling, monitoring)
- Mise en place d’une solution (API REST) d’échange avec les partenaires externes
- Développement des scripts de comparaison (SQL, Python) pour le parallèle run et validation de la migration
- Mise en place de tests automatisés des pipelines de données (Pytest)
- Déploiement des jobs sur Kubernetes via les pipelines CI/CD sur Azure DevOps.
- Optimisation des performances :
o Pipelines ETL Python (traitement distribué PySpark, parallélisation Airflow)o Tuning SQL (réécriture de requêtes, plans d'exécution, window functions)o Oracle Exadata (indexation, partitionnement, tuning SQL)- Mise en place d’une solution de virtualisation de données multi-sources avec Denodo.
- Modélisation de la couche sémantique (vues virtuelles, derived views, interfaces métier)
- Migration des rapports Power BI vers Denodo Platform
- Revue et optimisation des Datasets et des requêtes SQL
- Mise en place d’un monitoring quotidien pour le suivi d’activité
- Maintenance de l’existant sur Datastage et résolution des incidents de Production
Environnement :Python (pandas, PySpark), Oracle Exadata, SQL, PL/SQL, Apache Airflow, Denodo, IBM Cloud (COS, S3, Vault), Shell, Kubernetes, Docker, Git, Azure DevOps, Sentinel, Datastage Px, Power BI - SOCIETE GENERALE,Data EngineerBANKING AND INSURANCEJanuary 2022 - June 2023 (1 year and 5 months)Fontenay-sous-Bois, FranceProjet :
- Data Marketing : Refonte des outils de data marketing pour l’envoi de campagnes marketing et réglementaires (Migration du progiciel UNICA vers Adobe Campaign) ainsi que tous les traitements associés
- YOGA : Projet du Fusion des données et des systèmes d'informations entre Société Générale et Crédit Du Nord
Missions:- Définition de l’architecture du nouveau Datamart
- Conception et développement des pipelines ETL d'alimentation (Python, PL/SQL, Datastage, PostgreSQL, Control-M)
- Développement de scripts Python pour l'intégration de fichiers XML/JSON
- Implémentation de scripts Python (pandas) de contrôle qualité des données : détection de doublons, valeurs nulles, contrôle de formats, cohérence inter-tables et validation des règles métier
- Développement et optimisation des procédures stockées PL/SQL (Oracle) et migration vers PL/pgSQL (PostgreSQL)
- Développement de Scripts Shell pour automatisation et lancement
- Orchestration des workflows avec Control-M
- Gestion du versioning des scripts avec Git
- Déploiement des pipelines en environnements de recette et production
- Mise en place du monitoring des pipelines ETL avec Grafana
- Suivi et résolution des incidents de Production
- Études comparatives des performances (Oracle vs PostgreSQL) & optimisation des traitements à fortevolumétrie :
o Insertion massive des données volumineuses (mode Bulk)o Parallélisation des traitementso Dissociation Extractions / Chargementso Augmentation des Nœuds Datastageo Activation / Désactivation des contraintesEnvironnement :PostgreSQL 12, Oracle 12C, Python3 (pandas), Teradata 17.1, DataStage 11.7, Grafana, Shell, PL/SQL, Control-M, Git, JIRA - ING DIRECTData EngineerBANKING AND INSURANCEMarch 2018 - December 2021 (3 years and 9 months)Paris, FranceProjet :Dare, Plateforme mondiale de bancassurance multi-pays permets de fournir des produits d'assurance et des services associés via une plate-forme d'assurance numérique centrale (Allemagne, Australie, Italie, France, République tchèque et Autriche)Contexte internationale agile 100% AnglaisMissions :
- Tech Lead d'une équipe de développeurs off-shore (Inde) : encadrement technique, revues de code et validation des livrables.
- Architecture et design de la stratégie Data Lake & Data Warehouse multi-pays
- Conception de POCs et réalisation d'études comparatives à destination des équipes métiers et des directions pays.
- Développement de pipelines de données (Batch & Streaming) pour l'alimentation du Shared Data Lake avec DataStage, Oracle PL/SQL, Python et Kafka
- Migration Cloud (On-Premise vers GCP) : Conception et déploiement de pipelines ELT de l'environnement analytique vers Google Cloud Platform (Cloud Storage à BigQuery).
- Modélisation de données et implémentation de modèles dbt sur BigQuery.
- Création de scripts d'extraction multi-sources (APIs, bases de données, fichiers, Cloud Storage).
- Framework Data Quality : Développement d'un outil de contrôle qualité sur-mesure en Python (Pandas) intégrant la gestion des règles métiers, la détection d'anomalies et la cohérence inter-tables.
- Orchestration complète des pipelines avec Cloud Composer (Airflow) / UAC
- Déploiement de pipelines CI/CD sous Azure DevOps
- Étude de performances et optimisation des processus
- Création de rapports de restitution sous Power BI
Environnement:Python 3, SQL, PL/SQL, Oracle 19C, DataStage 11.7, GCP (BigQuery, Cloud Storage, Cloud Composer/Airflow, Google Kubernetes Engine), Kafka, Docker, Azure DevOps, GitLab, UAC, Grafana, Kibana, JIRA, DBT
Recommendations
Be the first to recommend Walid
Help this freelancer shine by sharing your experience working together.
These freelancer profiles also match your criteria
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Education
- d'Ingénieur en InformatiqueDiplôme National2010d'Ingénieur en Informatique
- Cycle préparatoire auxgrandes écoles d'ingénieurs2007Cycle préparatoire aux