About Houssem
🔧 Ingénieur Data Enthousiaste | Maîtrise des Solutions de traitement Données en Mode Batch & Streaming 🔧
En tant qu'ingénieur data passionné, je m'efforce de transformer les données brutes en informations puissantes qui guident les décisions stratégiques. Avec une expertise en traitement de données batch et streaming, je construis des pipelines de données évolutifs et efficaces pour répondre aux besoins en données en temps réel et historiques.
De la conception de workflows ETL robustes à la gestion d'architectures de données à grande échelle, j’adopte une approche pratique pour relever les défis modernes de l'ingénierie des données. Je maîtrise des technologies de pointe telles qu'Apache Spark, Kafka et les plateformes cloud pour fournir des solutions de données performantes. Mon objectif est de permettre aux organisations de tirer parti de leurs données pour un impact maximal, que ce soit grâce à l'analyse en temps réel ou au traitement massif des données.
Connectons-nous et explorons comment transformer vos données en un atout stratégique !
French
Native or bilingual
English
Native or bilingual
Can work on-site
Paris (up to 50km)
Experience
- ContentsquareSenior data engineerE-COMMERCEOctober 2021 - Today (4 years and 7 months)Paris, France
- Conception d'un système de quota en exposant les différentes options, trade off, les technologies, les coûts et en chiffrant le temps requis pour la mise en production.
- Développement d’un service permettant de recevoir, valider et traiter les requêtes de quota avec Scala et Akka Http.
- Développement d’un service de streaming permettant de lire et agréger les messages de déduction de crédit depuis Kafka, et la mise à jour des crédits dans la base de données PostgreSQL.
- Création d’un système de monitoring pour les services de quota en utilisant Prometheus, Grafana et Alert Manager.
- Benchmarker les services en injectant du trafic artificiel pour estimer les ressources nécessaires au bon fonctionnement (CPU, mémoire, nombre d’instances…).
- DĂ©ploiement des services sur cloud (kubernetes, AWS et Azure) en utilisant Jenkins, Terraform et Ansible.
- Conception d’un système de scraping composé de 3 services : extracteur, scrapper et provider permettant de gérer plus de 10k ressources par seconde
- Développement d’un service extractor permettant d’extraire les URLs depuis des payloads (protobuf) en utilisant Scala, Akka stream, Kafka
- Développement d’un service de scrapping permettant de télécharger les ressources et les mettre dans un système de stockage cloud (aws, Azure)
- GĂ©rer la retention des ressources en utilisant des Lifecycle rules sur S3 et Azure blobstorage.
- Optimiser le scraping en mettant en place des stratégies de revisite, caching et de rate limiting.
- Mettre en place d’un service provider permettant de récupérer des ressources depuis le stockage cloud.
- Estimation du coût de service de scraping (stockage, cloud operations, Kubernetes …)
- Création d’un système de validation de metadata session replay en agrégeant une quantité massive de données (100 k msg/s) et en implantant des règles métiers en utilisant Flink
Technologies : scala, golang, kafka, akka, aws, azure, kubernetes, clickhouse, aerospike, promotheus, grafana, jenkins, terraform - Société GénéraleData EngineerSeptember 2019 - October 2021 (2 years and 1 month)
- Développement des batchs en Spark / Scala permettant de créer des rapports réglementaires et financiers pour répondre aux besoins du plan de relance et de résilience, les inputs sont des fichiers dans HDFS, des tables Hive, des API rest, base de données Teradata..
- Automatisation et orchestration du workflow de processing en utilisant Oozie.
- Exécution des requêtes d'analyse de données sur Hive.
- Création d'une chaîne CI/CD en utilisant Jenkins, Ansible et nexus
- Migration vers une nouvelle plateforme Big data (Cloudera)
- Création des rapports réglementaires et des dashboards sur Power BI
- Gestion de la connexion avec Hive en utilisant Presto
- Mise en place d'une API REST permettant d'insérer et de lire les configurations des rapports réglementaires en utilisant Scala, Akka HTTP et Postgres
- DĂ©ploiement du service en utilisant Openshift
Technologies : Scala, Spark, HDFS, Sqoop, Hive, Oozie, Hue, jenkins, ansible, Power BI, Presto, Akka Http, Postgres, Openshift - KayrrosData engineerENERGY AND UTILITIESJanuary 2019 - September 2019 (8 months)Paris, France
- Développement, Automatisation et Optimisation des performances des data pipelines permettant d’analyser des images satellitaires afin de suivre la production du pétrole et du gaz en utilisant Pyspark.
- Scrapping des informations sur la production du pétrole et du gaz et les stocker dans Elasticsearch.
- Industrialisation des modèles mathématiques de traitement d’images et de machine learning.
- DĂ©ploiement des services sur un cluster Kubernetes avec Rancher.
- Manipulation des bases de données SQL et NoSQL.
- Création des Dashboards de monitoring avec Kibana.
Technologies : Python, Spark, Pandas, HDFS, airflow, elasticsearch, kibana, docker, rancher
Recommendations
Be the first to recommend Houssem
Help this freelancer shine by sharing your experience working together.
These freelancer profiles also match your criteria
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Education
- Diplôme d'ingénieur en informatique (Double diplôme)Télécom SudParis2019Diplôme d'ingénieur en informatique (Double diplôme)
- Diplôme d'ingénieur en TélécommunicationsEcole supérieure des communications de Tunis2017Diplôme d'ingénieur en Télécommunications