Maxime Loyez

Dans un contexte agile et cloud (Databricks sur AWS), participation au développement de

pipelines de données robustes pour un projet stratégique. Conception de notebooks de

développement, création de flux de données Pyspark orchestrés via Airflow, et automatisation

des déploiements via GitHub Actions.

• Implémentation de tests avec Great Expectations pour assurer la qualité des données.

• Création de Makefiles pour simplifier les tests et contrôles en local.

• Mise en place d’une CI/CD via GitHub Actions pour fiabiliser les déploiements.

• Création de flux de données en pyspark dans Airflow

• Ajout de Github Action pour automatiser les déploiements + contrôle du code

Contexte :

Le but était de fournir une expertise data ainsi qu'un accompagnement des équipes sur la mise en place des flux de données en Spark (scala comme pyspark) ainsi que sur de l'automatisation et de l'optimisation des flux de données (via Airflow)

Activité :

- Adaptation des requêtes SQL(sous dremio) en spark

- Déploiement et automatisation des flux de données via Airflow

- Développement des flux de données en spark (pyspark/scala) /python

- Utilisation des API pour la mise en place de récupération de données / mise en place de sonde permettant un monitoring automatisé

Outils et technologies :

- Dremio / Tableau / Dataiku /Jupyter

– Git / Jira

- Airflow / Spark (scala / pyspark) / Python /SQL

– Bash / Hadoop / Hive

- Agile

Intervention dans le cadre d'un POC Dremio-Tableau

- Monter en compétence de l'équipe qui allait être en charge de l'application dremio.

- Tests de montée en en charge

- Mise en place de Dashboard dans tableau basé sur différentes volumétrie.

- Mise en place de VDS dans dremio

Accompagnement des data analystes sur du pyspark pour optimiser leur traitement de données.