Thomas Caillierez

Mise en place d'un pipeline d'automatisation complet et robuste pour extraire, transformer et distribuer les données produits d'un PIM (Quable) vers un site vitrine WordPress.

L'architecture repose sur l'orchestration de flux via n8n et le développement de micro-services sur-mesure avec FastAPI.

- Orchestration & Flux n8n : Conception et configuration d'un workflow n8n activé de manière périodique (Cron job) pour automatiser l'ensemble de la chaîne de traitement.

- Extraction des données (ETL) : Développement d'une route FastAPI dédiée à l'appel de l'API du PIM Quable, à la récupération des données et à leur stockage sécurisé sur un serveur FTP initial.

- Transformation & Nettoyage (Pandas) : Création d'une seconde route FastAPI exploitant la puissance de la librairie Pandas pour nettoyer, structurer et formater les données, avant de les déposer sur un second répertoire FTP prêt à être consommé par WordPress.

- Maintenance & Clean-up : Intégration d'une routine de purge automatique pour supprimer les données obsolètes (historique supérieur à 30 jours) afin de garantir l'optimisation du stockage.

- Orchestration : n8n

- Backend & API : Python, FastAPI

- Data Processing : Pandas

- Protocoles & CMS : FTP, API REST (Quable, WordPress)

- Adapter le workflow existant vers une Architecture N8N/FastAPI

- Construction des différents Docker pour N8N, PostgreSQL, FastAPI

- Automatisation de la relève des fichiers nouvellement déposés par les clients

- Gestion de la communication entre N8N et FastAPI pour automatiser l'envoi de mail et la définition du reporting

- Définition des premiers scipts de traitement en utilisant Python, Pandas, etc.

Au cours de cette mission, j'étais en charge du développement d'API backend sous FastAPI. Ce projet m'a permis de naviguer dans un environnement DevOps complexe et exigeant, maîtrisant l'intégration et la consommation de webservices SOAP et REST. J'ai travaillé en étroite collaboration avec une architecture basée sur des microservices, en utilisant des outils comme Gitea pour le contrôle de versions, Drone pour l'intégration continue et Krakend comme passerelle API. Cette expérience a renforcé ma capacité à concevoir des solutions robustes et sécurisées dans un écosystème technique de pointe, répondant aux standards élevés du secteur des assurances et mutuelles.