Description

Bonjour,

Je suis un Ingénieur BI/Big Data avec 5 ans d'expérience, spécialisé dans les technologies Spark, Azure Databricks, Snowflake, et SQL. Mon parcours professionnel démontre ma capacité à travailler dans des environnements complexes, à apprendre rapidement de nouvelles technologies, et à automatiser les tâches quotidiennes. Mon approche AGILE, mon investissement personnel dans les nouvelles technologies, ainsi que ma communication professionnelle contribuent à la satisfaction continue des clients.

Cordialement.

Baligh BOUABID

Languages

French
Native or bilingual
English
Fluent

Workplace preferences

Can work on-site

Paris (up to 50km)

Dbex
Migration de données publicitaires vers la base SAP
E-COMMERCE
January 2023 - Today (3 years and 5 months)
Paris, France
REALISATIONS :

Participer à la définition des besoins fonctionnelles et conception du modèle

Configuration d’un cluster Azure Databricks et mise en place d’un Datalake (DBFS) pour le stockage des données

Ingestion multiple des données (CSV, JSON) dans la Data Lake DBFS

Gestion de l’ordre des générations de fichiers pour garantir l’intégrité de données en se basant sur des workflows Databricks

Développements des règles de gestions et des transformations : PySpark et Spark Scala

Développer des jobs basés sur des notebooks (Pyspark , Spark Scala) par Databricks Workflows

Développement et optimisation de pipelines avec Azure Data Factory pour l'ingestion de données publicitaires et le chargement dans un entrepôt de données Azure SQL Data Warehouse."

Orchestration de flux de données complexes en utilisant Azure Data Factory pour automatiser la transformation de données

Utilisation de déclencheurs et de planifications dans Azure Data Factory pour exécuter les pipelines de manière régulière et en réponse à des événements spécifiques."

Surveillance des workflows de données

Import de données dans la base SAP : bcp et Powershell

SQL Server, Transact-SQL, SSMS, Azure Databricks, Azure Data Factory Hadoop-3.1.1, Spark, Python, Scala, DBFS, Azure PowerShell, Git, Jira Agile (SCRUM)
DBEX
Consultant BI/Big Data
DIGITAL AND IT
April 2019 - Today (7 years and 2 months)
Champigny-sur-Marne, France
PROJET 1 : Développement d’une solution antifraude à la base du Framework Hadoop

CONTEXTE PROJET :
Ma mission consiste à :
Développer une architecture dédiée à notre solution basée sur une étude comparative entre des outils Hadoop ayant les mêmes fonctions.
Contrôler les compatibilités entre les outils Hadoop.
Intégration et visualisation des données.

REALISATIONS :
Collecter des données à partir de sources multiples.
Importer les fichiers dans un DataLake (HDFS).
Création des tables Hive avec HiveQL.
Charger les fichiers dans les tables.
Intégration Spark avec Hive et traitement des requêtes.
Intégration entre Hadoop et Power BI et Visualisation des données.

METHODOLOGIE :
Agile (SCRUM)

ENVIRONNEMENT TECHNIQUE :
CentOS 7, Python 3.5, XShell, Power BI, Hadoop-3.0.0, Hive-3.0.0, Spark-2.4.0, HiveQL.
Hadoop Apache Kafka Spark Python AWS