About Ousmane
Data engineer depuis 8 ans, avec une formation initiale d’ingénieur en développement de logiciels. J'ai travaillé 4 ans en startup, ce qui m'a permis de développer des compétences variées, puis 4 ans comme freelance dans un grand groupe.
J’interviens sur l’ensemble de la chaîne de valorisation des données :
- Compréhension des enjeux business et alignement avec les besoins des parties prenantes
- Mentorat de profils juniors et non techniques, ayant permis d’améliorer la qualité des pipelines avec la mise en place des tests, CI/CD, conception de pipelines robustes et maintenables. (réduction de 30% des incidents en prod)
- Conception et exploitation de plateformes Data Lakehouse et Data Warehouse
- Collecte et ingestion de données via le crawling/scraping de sites web (Playwright, BrightData, CommonCrawl), via API ou depuis des bases SQL/NoSQL
- Stockage dans des systèmes comme AWS S3 ou HDFS, avec des formats optimisés (Parquet, Delta Lake, Apache Iceberg, partitionnement, etc...)
- Traitement et analyse : développement de pipelines ETL/Spark pour nettoyer les données, appliquer des règles de gestion, identifier des liens via du graph processing, appliquer des modèles de machine learning et stocker les résultats dans des bases adaptées (PostgreSQL, Elasticsearch, Redis, Neo4J, Amazon Neptune)
- Data visualisation et monitoring qualité : dashboards avec Kibana / OpenSearch Dashboard
J’ai également des compétences en Ops et en infrastructure/Cloud :
- Automatisation et orchestration de pipelines data et ML avec Apache Airflow et Kubeflow
- Provisioning et configuration via Terraform et Ansible
- CI/CD avec GitLab, GitHub, ArgoCD, Kubernetes pour l’automatisation des builds, tests et déploiements
- Expérience sur les principaux cloud providers : AWS et GCP
French
Native or bilingual
English
Fluent
Can work on-site
Paris (up to 50km)
Experience
- ENGIE - Lab CrigenSenior Data/ML engineerENERGY AND UTILITIESJanuary 2022 - Today (4 years and 5 months)Stains, FranceJ’aide à concevoir, construire et industrialiser des produits data : modèles de données SQL et NoSQL, jeux de données et tables sur le datalake, pipelines de données et de machine learning, ainsi que des tableaux de bord d’analyse. J’accompagne également les profils juniors à monter en compétences sur les pratiques d’ingénierie.
- MixdataData engineer/Dev Full stackSOFTWARE PUBLISHINGSeptember 2017 - December 2021 (4 years and 3 months)Boulogne-Billancourt, FranceMes missions :- Maintenir et ajouter des nouvelles fonctionnalités dans la plateforme web mixdata.com- Assurer la mise à jour et la qualité des données : conception, développement et maintenance des pipelines d'intégration de données.Environnement Technique :- Agile/SCRUM, JIRA,- Git, Jenkins, Java, Scala, Kotlin, Spring Framework, Spark- Bases de données : Hadoop/HDFS, Neo4J, Elasticsearch, Cassandra, MySQL, Redis- DevOps : Ansible, Terraform- Cloud : Azure, OVH, Scaleway, AWSParmi mes tâches/réalisations :- Migration de jobs Spark on prem vers Azure- Mise en place d'Apache Airflow (avec un role Ansible) et migration de pipelines script shell vers des DAGs Airflow.- Développement d'APIs REST CRUD pour accéder des données dans MySQL- Crawling en masse de plusieurs millions de sites web sur le cloud en lançant des machines virtuelles avec Terraform et Ansible, et stockage des pages web dans Cassandra, Elasticsearch- Développement/amélioration de traitements Spark/Scala pour extraire les informations (siren, adresses, téléphone, etc..) sur les pages crawlées, stockage en format PARQUET sur Hadoop/HDFS et dans MySQL- Développement d'un l'algorithme de "graph processing" (Spark GraphX) qui permet trouver l'entreprise éditeur d'un site web donnée à partir des informations extraites.- Mise en place d'une base de données graphe Neo4J des entreprises et leurs dirigeants. Et la rentre accessible dans la plateforme grâce à la librairie de datavisualisation Cytoscape.js.- Intégration des données Sitadel dans la plateforme, la base opendata des permis de construire en France, permettant ainsi de pouvoir rechercher des entreprises à partir des informations se trouvant sur le permis de construire.- Développement de la page de datavisualisation des listes d'entreprises en mettant en place d'une API pour récupérer les données en format JSON et utilisation des librairies D3.js/DC.js
Reviews
Recommendations
Be the first to recommend Ousmane
Help this freelancer shine by sharing your experience working together.
These freelancer profiles also match your criteria
Agatha Frydrych
Backend Java Software Engineer
4.7
(3)
2
Baptiste Duhen
Fullstack developer
4.6
(4)
5
Amed Hamou
Senior Lead Developer
4
(2)
7
Audrey Champion
Web developer
4.3
(3)
4
Education
- Ingénieur développement logicielISIMA2017
Certifications
- Professional Machine Learning EngineerGoogle Cloud2021