Mehdi Challakh

VLM : Gemini

LLM : Sonnet / Opus

OCR : Google Document AI

STT : Whisper

Backend : FastAPI (Python)

Jobs/queue : Redis + RQ

Auth : JWT + bcrypt

Frontend : React + Vite + TypeScript

Styling : Tailwind

Streaming : SSE / WebSocket

DOCX gen : python-docx

PDF export : LibreOffice headless

Containers : Docker + docker-compose

Doc editor : TipTap (ProseMirror)

File storage : disk volumes (MinIO/S3 later)

Embeddings : OpenAI text-embedding-3 (or BGE)

Database : PostgreSQL

Vector store : pgvector

Assistance aux installateurs à la création et conformité de dossiers CEE.

1/ VLM #1 comparaison photos conformité

2/ Détection de photos de photos (fraude)

3/ VLM #2 comparaison photos dossier

4/ Comparer infos devis (scans) vs devis (base de donnée)

5/ Détecter/Extraire/Vérifier étiquettes équipements

6/ Détecter/Extraire/Vérifier infos tampons

7/ Détection d'objets et labellisation automatique

8/ Fraude : Détecter les fausses étiquettes

Une legaltech spécialisée dans les conventions collectives et la complémentaire santé avait un pipeline d'extraction qui convertissait des PDFs de contrats en images bitmap, les envoyait à un LLM, puis tentait de faire correspondre les prestations extraites à une nomenclature de 286 entrées. Le résultat : des hallucinations fréquentes, une correspondance erratique entre prestations et nomenclature, et des résultats non reproductibles d'une exécution à l'autre sur le même document. L'audit a identifié les causes racines à chaque étape. L'extraction bitmap introduisait de la variabilité dès l'entrée. Les prompts cumulaient plusieurs responsabilités dans un seul appel. Un système de filtrage par signaux additionnels (keywords, embeddings) éliminait des résultats corrects avant même que le LLM ne les voie. Et la nomenclature elle-même était inutilisable : 68 % des entrées sans mots-clés, aucune description, aucune relation structurelle. Les livrables ont couvert l'ensemble : refonte architecturale documentée (diagrammes legacy vs cible), migration vers une extraction JSON structurée via Document AI avec classification block-level, audit et réécriture complète des prompts avec un guide de prompt engineering appliqué, analyse comparative de trois architectures de signaux additionnels avec recommandation de suppression du filtrage au profit d'une vérification post-LLM, plan d'enrichissement de la nomenclature (10 nouveaux champs, méthodologie de génération), stratégie de gestion du contexte par spécialité, et un sprint de 4 jours structuré pour établir une baseline mesurable avant toute optimisation. L'équipe a commencé l'implémentation des recommandations dès la livraison.