Arthur Clerc-Gherardi

Contexte: une petite équipe (avec des prestataires de temps en temps) dans un domaine fonctionnel autour de la navette autonome. Rôle de lead tech data avec pour objectif de mettre en place une architecture data scalable. Tâches effectuées en Data Engineer:

- Migration de l'ancien ETL Python sur Databricks en Spark

- Utilisation de différents connecteurs (MySQL,Redshift...)

- Migration de 2 anciens pipelines

- Ajout de nouvelles sources de données (Git, Prometheus, custom Navya...)

- Monitoring des jobs avec Databricks SQL

- Création et complétion d'un document global pour le lineage de la donnée

- Gestion d'un Redshift avec les bonnes pratiques (schémas et users spécifiques, convention de nommage). Benchmark des différents algos d'encodage sur les colonnes de AWS.

- Gestion d'un outil d'analyse (Tableau) avec l'ajout de nouvelles sources de données (dont Databricks et Redshift)

- Etude et mise en place d'un pipeline complexe pour remonter et traiter des gros volumes de données (me contacter pour plus d'informations) Tâches effectuées en Data Architect/Data Ops:

- Benchmark et comparaison de différentes plateformes Data (SaaS ou à construire)

- Mise en place de la plateforme Databricks via Terraform sur plusieurs environnements

- Mise en place des bonnes pratiques pour l'intégration de Databricks sur AWS:

- Réseau (VPC, Subnets, Security Groups etc...)

- Sécurité (KMS, S3 chiffré, rôles IAM et instance profiles etc...)

- Stockage (multi-couches sur S3 avec des cycles de vie différents etc...)

- Calcul (EC2, Pool, Tags, scripts d'init ...)

- Coût (polices spécifiques pour chaque équipe ...)

- Monitoring (jobs, S3, coûts ...)

- Utilisateurs

- Configuration d'un Nexus

- Gestion d'un Gitlab (runners, users, groupes, projects)

- Création de projets pyspark boilerplate pour faciliter le travail des équipes et donner les bonnes pratiques

- Mise en place de CI & CD sur Databricks avec dbx sur différents environnements Gitlab

Contexte: galaxie d'applications d'aide au déploiement des compteurs Linky

- Corrections d'anomalies et de bugs (JAVA1.8 et Informatica)

- Créations d'utilitaires python pour des besoins ponctuels (rattrapage de données, comparaison de données ou encore automatisation)

- Optimisation de requêtes SQL (Oracle 11.2)

- Analyses approfondies et propositions d'améliorations de batchs (SpringBatch et Informatica)

- Création de tests automatisés de bout en bout pour Informatica. Tests intégrés directement dans le projet maven principal

- Création d'un outil de gestion de métriques fonctionnelles pour faciliter le monitoring de la production (Python 3.6 pour le développement, Ansible pour le déploiement). Utilisation d'appels REST (librairie request), d'appels SSH (librairie paramiko) ou de requêtes SQL (librairie cx_Oracle). La déclaration et la publication des métriques se fait via une solution Kafka branchée sur un Grafana pour faire les indicateurs graphiques.

- Présentation et formation aux futurs utilisateurs de l'outil de gestion de métriques

Informatique industrielle où j'ai pu réaliser des projets seuls ou en équipe :

- Une application RT en JAVA 1.8, JEE 8 (Wildfly 12), Primefaces et Oracle SQL pour de la gestion de consommables sur des équipements (optimisation et affichage). Cache partagé et forte robustesse pour une application 24h/7j

- Etude de faisabilité beacons et Windows 10

- Création d'un utilitaire de concaténation de fichiers avec une logique métier

- Développements Java 1.6 sur de la transformation de données en entrée et sortie d'un moteur d'optimisation

- Récupération de besoins utilisateurs et réalisations de reportings financiers/ industriels

- Création/modification de rapports via un outil propriétaire

- Migration d'une base 6i à 10g (Oracle SQL)

- Développements VB6 sur du suivi de FAB