You're seeing this page as if you were . The main menu is still yours, though. Exit from immersion
Mohamed Raed A.MR

Mohamed Raed A.

Data Engineer GCP

€800/day
Paris, FR
8-15 years

Average response time: 1 hour

About Mohamed Raed

Data ingénieur avec 8 ans d'expérience, je cherche une mission de longue durée. J'ai une expérience dans plusieurs secteurs d'activités : média (FranceTV, TF1, RTL) , transport(Ouigo, blablabus) , retail(chantelle, diptyque), restauration(burgerKing, Buffalo Grill), immobilier (sergic, foncia), sport(FFF), énergie (EDF)
  • French

    Fluent

  • English

    Fluent

  • Spanish

    Basic

  • Arabic

    Native or bilingual

Can work on-site
Paris (up to 50km), Bezons (up to 50km)

Experience

  • EDF
    GCP Data Engineer
    ENERGY AND UTILITIES
    September 2023 - Today (2 years and 10 months)
    Chatou, France
    OBJECTIFS
    Faire la migration du DataLake actuel sur Hadoop Hortonworks vers Google Cloud Plateform

    MISSIONS
    ● Identifier les sources de données et les cas d’usages dans le Datalake actuel
    ● Définir les méthodes de récupération des données par source de données
    ● Participer à la formalisation du DAT (Document d’architecture technique)
    ● Identifier les services GCP pour les différentes phases de traitement
    ● Industrialiser les ressources GCP via Terraform (Datastream, GCS, Composer, BigQuery, ..)
    ● Développer les DAGs Airflow d’ingestion (HTTPS, SFTP)
    ● Ajouter la partie reverse-proxy pour la connexion entre les bases de données et GCP
    ● Transformer le code existant (Hive, Hbase, Sqoop, Nifi) pour préparer le script PySpark
    ● Faire de la rétro-ingénierie en utilisant Codey du service Vertex AI
    ● Développer les DAGs pour orchestrer le lancement des scripts PySpark sur Dataproc

    ENVIRONNEMENT TECHNIQUE
    Python, Spark, pySpark
    Google Storage, BigQuery, Dataproc serverless, Datastream, IAM
    Terraform, Airflow
    Confluence, Jira, SAFE, GitLab, GitLab CI/CD
    Cloud GCP Spark PySpark Python Big Query Storage Dataproc Terraform Airflow Gitlab Gitlab CI/CD Atlassian JIRA SAFe
  • France Télévisions
    GCP Data Engineer
    FILM AND AV
    February 2021 - August 2023 (2 years and 7 months)
    Issy-les-Moulineaux, France
    ● Participer aux différentes phases d'un projet de l'analyse au déploiement
    ● Construire et monitorer des pipelines de traitement de données dans leur intégralité sur GCP
    ● Participer à la gouvernance de données par la mise en place de processus MDM : dédoublonnage, historisation, calcul d’indicateurs et d’agrégats…
    ● Collecter des flux de données et mettre en place des contrôles de qualité et détection des anomalies
    ● Nettoyer et transformer des données de différentes sources non homogènes
    ● Optimiser les traitements de données et refactorer les codes
    ● Développer des nouveaux connecteurs (opérateur custom FacebookAds, GoogleAds)
    ● Mettre en place des traitements RGPD: anonymisation et droit à l’oubli
    ● Industrialiser la création des tables et des vues sur BigQuery avec Dbt
    ● Upgrader nos outils en interne (migration vers Airflow 2 et Spark 3)
    ● Mettre en place d’une nouvelle architecture LakeHouse
    ● Mettre en place des jobs temps réel pour certaines sources de données (PubSub, Dataflow)
    ● Maintenir et s'assurer de la qualité de code et promouvoir les bonnes pratiques au sein de l'équipe (testing, CI/CD, code review,..)
    ● Mettre en place une solution de profiling (Python, Cloud Function, Airflow, Dataproc)
    ● Contribuer et veiller à la documentation technique des projets sur Confluence
    ● Faire une veille technologique permanente dans le domaine
    ● Préparer un Quickstart pour les nouveaux arrivés
    ● Participer à la phase d'onboarding
    Python 3 Spark Google Cloud Platform (GCP) Big Query Google Storage Dataproc PubSub Cloud Run Cloud transfer Cloud Functions Apache Airflow DBT Terraform
  • Leadeal Marketing
    Data engineer
    DIGITAL AND IT
    October 2018 - January 2021 (2 years and 4 months)
    Paris, France
    ● Réalisation d’une API pour une application interne en Spark/Scala
    ● Optimisation et ajout de nouvelles fonctionnalités sur l’outil KAMINO (ETL interne de l’entreprise)
    ● Collection des données issues d'applications ou système d'information tiers (BDD relationnelles,
    API, MongoDB, Azure, AWS, FTP, …)
    ● Mise en place et automatisation des pipelines de traitement de données (flux de données, Data
    Lake, ingestions et structuration des données, transformation et calcul d’indicateurs)
    ● Nettoyage et déduplication des données collectées
    ● Traduction des besoins fonctionnels récupérés auprès de l’équipe MOA en solutions techniques
    adaptées aux différents projets
    ● Déploiement et planification des workflows dans les environnements de production en utilisant
    Airflow
    ● Conception, création et maintien de bases de données relationnelles (Datamart reporting,
    Datamart fiche client, bases PRM/CRM)
    ● Mise en place du processus d'anonymisation dans le cadre du Règlement Général des Protections
    de Données (RGPD)
    ● Exploitation et monitoring des traitements quotidiens, investigation et correction des anomalies
    ● Mise en place des tests unitaires
    ● Automatisation du déploiement en utilisant GitLab CI/CD
    ● Partage des connaissances dans l'équipe et instauration des bonnes pratiques
    ● Documentation des workflows sur confluence
    ● Faire de la veille technologique
    ● Participation au processus du recrutement des candidats
    Scala Spark Java SQL Server MSSQL AWS S3 EMR AWS Azure Storage Azure HDInsight Microsoft Azure Apache Airflow

Recommendations

Be the first to recommend Mohamed Raed

Help this freelancer shine by sharing your experience working together.

These freelancer profiles also match your criteria

AgathaA

Agatha Frydrych

Backend Java Software Engineer

4.7

(3)

2

BaptisteB

Baptiste Duhen

Fullstack developer

4.6

(4)

5

AmedA

Amed Hamou

Senior Lead Developer

4

(2)

7

AudreyA

Audrey Champion

Web developer

4.3

(3)

4

Education

  • Master
    UPMC, Paris, France
    2018
  • Diplôme d'Ingénieur
    Ecole Nationale d'Ingénieurs de Sousse, Tunisie
    2018

Certifications

Skill set

Categories