Farah Fertassi

Contexte:

Mise en place du data warehouse d'Allianz Trade, la plateforme BI & Data Analytics sur AWS/Snowflake. Les données sont streamées via Kinesis et déposées dans S3, représentant le Datalake. Elles sont ensuite référencées dans des Snowflake stages, afin d'alimenter les processus d'ingestion et de modélisation (Data Vault, Business Vault, Datamart) développés en DBT et automatisé via la CI/CD, puis exposées pour le reporting par Microstrategy et à l'entrainement des models en machine learning.

Mes responsabilités:

• Etudes technico-fonctionnelle de plusieurs business needs (Business Events) tels que sales cycle, brokerage, et commercial reporting… en collaborant avec le Business Analyst, le Product Owner, les clients, les DevOps, et le Report Developer.

• Conception technico-fonctionnelle du Data Model en suivant la modélisation Data Vault, Business Vault, et Datamart.

• Rédaction des stories sous JIRA indiquant le besoin fonctionnel et les details techniques, adressées aux développeurs.

• Contributions aux implementations fonctionnelles.

• Contributions aux besoins non-fonctionnels, tels que l'optimisation des ressources (réduction des coûts) et du temps d'exécution.

• Initialement, la surveille de la prod en rotation avec les autres data engineers, mais actuellement il y a une squad RUN dédiée.

• Support, Code Review et CI/CD.

Stack technique: AWS S3, AWS DynamoDB, AWS Kinesis, DBT, Jinja, Python, Snowflake, SQL, AWS CloudWatch, Microstrategy.

Challenges:

• Complexité certains besoins techniques, impliquant des implementations SQL avancé.

• La pertinence choix relativement à la nature au les

• Des tests rigoureux orientés métier, et la veille performances

• Data Quality (data freshness et correctness).

Durant à peu près 5 ans chez Renault Digital, j'ai eu l'opportunité de contribuer à 4 projets phares, avec de multiples rôles. Le Platform"

Objectif : conformité cette plateforme vise à :

• Acquérir les données en temps réel, des véhicules Renault de différentes architectures électroniques.

• Valider et mutualiser le schéma.

• Archiver les données brutes à des fins d'exploration par les data scientists et les data analystes, avec la possibilité de faire des replays d'ingestion on-demand.

• Transformer les données en temps réel via des pipelines en streaming (Apache Beam + GCP Dataflow).

• Interagir avec d'autres systèmes pour l'enrichissement (Ex : données géographiques, référentiel des véhicules, génération des sessions), et le croisement des données en temps réel et à froid.

• Exposer des données chaudes via Solace (il s'agit d'un Event broker similaire à Apache Kafka), dans le Data Marketplace mis en vente aux Data Brokers, et au sein de Renault aux différents Business Units.

• Exposer des données froides via BigQuery pour l'analytics, et la mise en place des ETLs custom spécifiques à des prérequis business.

• Assurer une configurabilité dynamique sans arrêt des services respectant le SLA,

• et mettre à disposition des interfaces du le monitoring.

Mes responsabilités: En tant que Senior Data Engineer, et les rôles de Data & Solution Architect + Technical Lead sur un sous-projet:

• la contribution aux benchmarks des technologies, la redaction des ADRs (Architecture Decision Records) et l'implémentation de plusieurs pipelines en streaming et en batch (Apache Beam, PySpark, routines BigQuery, Workflows Google, Cloud Run..),

• l'intégration avec d'autres technologies (Solace, Pub/Sub, MongoDb, Google MemoryStore Redis, BigQuery),

• l'automatisation via Gitlab CI/CD et Terraform pour l'infrastructure,

• Conception d'un modèle de données LookML pour le développement de tableaux de bord Looker assurant le suivi des KPI stratégiques.

✓ Le projet :

Objectif : La détection de la fraude à partir des appels et SMS anonymisés en se servant de l'IA (des modèles de Machine Learning).

Mes responsabilités: En tant que

• Echanges avec le métier et les data scientists pour comprendre le besoin et dégager les évolutions nécessaires au niveau des différentes pipelines (l'ingestion, la préparation, et l'agrégation des données), ainsi que l'intégration des modèles ML.

• Contribution au développement des pipelines, en batch (Spark core & SQL, Hive), en streaming (Spark streaming, Kafka), et celles intégrant des modèles de Machine Learning (Spark MLib), et la Data Visualisation (ELK: Kibana, ElasticSearch, Kafka, Yarn