Fayssal B.

Architecture collecte SFTP et historisation des factures multi-opérateurs (OI & sous-traitants), corrélation multi-systèmes (Praxedo, Interop, refacturation OI), certification des anomalies de facturation. Oracle.

Réalisations clés

▸ Industrialisation complète Airflow : conception et développement de DAGs de synchronisation SFTP avec préservation d'arborescence, gestion des exclusions, reprise sur erreur et logging structuré.

▸ Architecture d'ingestion modulaire : patern BaseProcessing (load_data / clean_data / insert_data) déployé sur 6+ flux (PXO, GUDI, MTHD, YANA/KOUROU, SRR).

▸ Migration Dev → Prod : packaging complet du projet (config, connexions, variables Airflow), mise en place de tests unitaires et validations de données.

▸ Création des tables Oracle (DDL) et schémas d'historisation.

▸ Orchestration de bout en bout : SFTP → serveur data → Oracle.

Stack : Airflow 2.x, Python (Pandas), Oracle, Linux, Git/GitLab

Pipeline de cartographie de flux firewall en quasi-réel (1,3 Cloud LUCID, Hive.

Réalisations clés

▸ Optimisation Spark majeure : réduction du temps d'exécution d'un job critique de 6 heures à 1 heure (÷6) par analyse du plan d'exécution, repartitionnement et élimination des shuffles.

▸ Pipeline d'enrichissement : collecte API partenaires, alimentation quotidienne des référentiels Hive, jointures multi sources pour la cartographie des logs bruts.

▸ Tooling d'observabilité : fonction utilitaire de diagnostic des partitions (volume par partition) pour accélérer le debugging en production.

▸ Transformation JSON → Hive via jobs Spark, orchestrés quotidiennement par Control-M.

▸ Monitoring de la progression des jobs via Yarn.

Stack : Control-M, Yarn, Hive, Jenkins, Scala, Spark, HQL, GitHub

▸ Librairie Scala/Spark mutualisée : co-développement d'une librairie via IntelliJ pour génériser les traitements redondants, partagée dans l'écosystème Databricks.

▸ Pipeline event-driven ADF : déclenchement automatique sur dépôt de fichiers Excel, parsing multi-onglets, validation de schéma par job Spark (routing bad/valid), enrichissement métadonnées et stockage en tables Delta.

▸ Jointure cross-source : croisement Morningstar (fonds d'investissement) et Vendome (actifs financiers), écriture PostgreSQL pour alimentation BI.

▸ Mise en place de tests Cucumber (BDD) pour validation des développements.

▸ Construction des pipelines ADF (Linked Services, Datasets, Triggers, Alerts).

▸ Mise en production du stream BI Digitalization.

Stack : Azure Data Factory, Blob Storage, Databricks, Cucumber, Scala, Spark, SQL, IntelliJ

Refonte backend de l'application Agathe (maintenance prédictive IA) : migration vers FastAPI pour améliorer la maintenabilité et les performances. Capteurs IoT temps réel sur équipements industriels.