You're seeing this page as if you were . The main menu is still yours, though. Exit from immersion
Bakarime DiomandeBD

Bakarime Diomande

Data Engineer & Scientist | DataOps & MLOps | AWS

€700/day
Paris 13e Arrondissement, FR
3-7 years

Average response time: 1 hour

About Bakarime

Issu d’une formation universitaire, j’étais prédisposé à une carrière dans la
recherche.
Après quelques années passées en tant qu’ingénieur de recherche en optimisation de réseaux télécom, j’ai entamé une reconversion vers le Cloud et la Data.
J'ai des compétences variées dans le domaine de la data. Je couvre un éventail assez large de Data Engineer | DataOps et Data Scientist | MlOps. J'ai un solide background d'Architecture Solution Cloud AWS avec une forte appétence pour l’approche DevOps.
Je travaille principalement sur la conception et la construction de plateforme data dans le cloud. Je travaille également sur les problématiques de conception et déploiement de solution ML, en m'appuyant sur les technologies suivantes :
- AWS
- Python
- Spark
- SQL
- NoSQL
- Terraform
- Databricks
- Airflow
- MLFlow
  • French

    Native or bilingual

  • English

    Fluent

  • Italian

    Basic

Can work on-site
Paris 13e Arrondissement (up to 50km)

Experience

  • ENGIE - Entreprises & Collectivités
    DataOps & DevOps
    ENERGY AND UTILITIES
    October 2021 - Today (4 years and 8 months)
    Bagneux, France
    Intervention sur différents projets de la DGP :
    • Méthode Agile (backlog, score, sprint, rétrospective)
    • Déploiement de la pile AWS avec Terraform (S3-LAMBDA-GLUE, etc...)
    - Assurance de la cohérence et de la reproductibilité avec les modules Terraform
    - Approvisionnement automatisé et mise à l'échelle avec Terraform et GitLab
    • Maintenance en condition opérationnelle de l'infrastructure de données sur AWS
    - Gestion des contrôles d'accès, configurations des groupes de sécurité, configuration du chiffrement
    - Utilisation d'AWS Inspector pour détecter les vulnérabilités des AMI AWS
    - Gestion des correctifs des instances EC2 avec AMI sans vulnérabilités
    - Mise en place de la haute disponibilité en déployant dans plusieurs régions, en utilisant l'auto-scaling et en configurant la bascule automatique
    - Mise en place de la conformité SSL pour les buckets S3 pour renforcer la sécurité
    - Gestion des coûts en mettant en œuvre des stratégies d'économie de coûts
    - Surveillance des performances et de la santé des ressources avec CloudWatch
    - Mise en place de stratégies de sauvegarde pour les données et la configuration des ressources
    • Configuration de l'infrastructure Databricks sur AWS en utilisant Terraform
    - Créer l'infrastructure réseau (VPC, sous-réseaux, point de terminaison VPC)
    - Créer des ressources Databricks (espace de travail, configuration de stockage, configuration du catalogue Unity)
    - Configuration d'un pipeline CI/CD avec GitLab pour créer des clusters Databricks avec des instances Spot
    • Configuration d'Airflow géré par AWS avec Terraform
    - Créer un environnement MWAA
    - Créer de DAGs pour MWAA
    • Orchestration des tâches Databricks en utilisant Airflow
    • Déploiement et exploitation de la pile ELK pour la surveillance des ressources
    - Configuration de l'abonnement CloudWatch pour envoyer des journaux et des métriques vers ELK
    • Configuration d'Elasticsearch comme sources de données de Grafana pour la création de dashboards
    Python Spark Terraform AWS Gitlab CI Airflow Databricks
  • VALOWAY
    DataOps & DevOps
    DIGITAL AND IT
    May 2021 - August 2021 (4 months)
    Paris, France
    Dans le cadre du projet Forkast :
    • Méthode Agile (backlog, score, sprint, rétrospective de sprint)
    • Conception de l'Architecture des Données et de l'Infrastructure
    - Modélisation des données en identifiant les entités de données pertinentes et en comprenant les relations entre ces entités.
    - Architecture de stockage en définissant, en considérant le volume de données, le type de technologies de stockage (AWS S3 datalake) et la manière dont les données seront stockées et récupérées.
    - Conception de l'intégration des données en choisissant la solution ETL AWS Glue en raison de son aspect serverless et du volume de données.
    • Configuration du pipeline pour l'ingestion et le traitement des données
    - Configuration du catalogue, de la base de données et des jobs AWS Glue.
    • Ingestion et traitement des données avec Lambda (Python3) et Glue (Pyspark)
    - Utilisation de AWS Lambda (Python) pour vérifier différents formats de fichier et extraire les données pertinentes des fichiers, puis créer un fichier JSON en sortie.
    - Utilisation de Glue (Pyspark) pour supprimer les doublons et valider le format des types de données.
    - Utilisation de Glue (Pyspark) pour agréger les données en temps réel en données quotidiennes, hebdomadaires, etc.
    • Déploiement de la pile (S3-LAMBDA-GLUE-DYNAMODB) avec Terraform
    • Configuration du pipeline CI/CD avec GitLab-CI
    - Configuration des informations d'identification AWS dans GitLab.
    - Création du pipeline de déploiement CI/CD avec .gitlab-ci.yml.
    Python Spark ETL AWS Architecture Data Data Analytics Gitlab-ci Terraform Méthode agile
  • Veolia Water technologies
    DataOps et Devops
    ENVIRONMENTAL
    October 2019 - April 2021 (1 year and 6 months)
    Saint-Maurice, France
    Dans le cadre du projet Datalake et Datahub :

    • Méthode Agile (backlog, score, sprint, rétrospective de sprint)
    • Conception de l'Architecture des Données et de l'Infrastructure
    - Modélisation des données
    - Architecture de stockage S3
    - Conception de l'intégration des données avec ETL AWS Glue
    • Configuration du pipeline pour l'ingestion et le traitement des données
    - Configuration du catalogue, de la base de données et des jobs AWS Glue.
    • Ingestion et traitement des données avec Lambda (Python3) et Glue (Pyspark)
    - Utilisation de AWS Lambda (Python) pour vérifier différents formats de fichier et extraire les données pertinentes des fichiers, puis créer un fichier JSON en sortie.
    - Utilisation de AWS Lambda (Python) pour insérer des données dans DynamoDB
    - Utilisation de Glue (Pyspark) pour effectuer la qualité des données (suppression de valeurs nulles et de doublons, validation du format des types, vérification si les données contiennent des champs pertinents, etc.).
    - Utilisation de Glue (Pyspark) pour agréger les données en temps réel en données quotidiennes, hebdomadaires, etc.
    • Interrogation de bases de données MySQL et PostgreSQL avec SQL.
    • Déploiement de ressources AWS avec Terraform
    - Données traitées disponibles pour affichage via API Gateway sauvegardée par AWS Lambda récupérant des données depuis DynamoDB.
    - Données traitées disponibles pour l'IA via un job Glue qui crée les données d'or sur S3.
    • Déploiement de solution d'IA (SAGEMAKER MLOPS FRAMEWORK)
    - Configuration des instances avec auto-scaling pour entraîner le modèle.
    - Création d'artefacts pour le modèle entraîné avec les paramètres du modèle et les métadonnées.
    - Déploiement du modèle entraîné sur l'endpoint SageMaker.
    - Surveillance des performances avec CloudWatch.
    - Gestion des versions de modèle avec SageMaker.
    • Tests unitaires avec Moto, Boto3, et Pytest.
    • Configuration du pipeline CI/CD avec GitLab-CI.
    Python Spark ETL SQL NoSQL AWS Architecture Data Data Analytics Gitlab-ci Terraform

Recommendations

Be the first to recommend Bakarime

Help this freelancer shine by sharing your experience working together.

These freelancer profiles also match your criteria

AgathaA

Agatha Frydrych

Backend Java Software Engineer

4.7

(3)

2

BaptisteB

Baptiste Duhen

Fullstack developer

4.6

(4)

5

AmedA

Amed Hamou

Senior Lead Developer

4

(2)

7

AudreyA

Audrey Champion

Web developer

4.3

(3)

4

Education

  • Bachelor
    Université Cadi Ayyad De Marrakech (Maroc)
    2006
    Probabilité et Statistique
  • Master
    Université Cadi Ayyad De Marrakech (Maroc)
    2008
    Mathématiques Appliquées et Modélisation

Certifications

Skill set

Categories