Othmane Nahyl

Le serverless va devenir un enjeu majeur dans le traitement automatisé et scalable de données. Le sujet de stage porte sur l'exécution d'algorithmes de type map/reduce sur de grands jeux de données selon l'architecture dite BigLambda. Les contraintes seront les suivantes :

• utilisation du service AWS S3 pour le stockage des données

• utilisation du service AWS Lambda pour l'exécution du code sans aucune administration de serveur et à faible coût

• mise au point d'une solution permettant le traitement de données à une échelle de plusieurs dizaines de milliard d'enregistrements

• automatisation du déploiement des fonctions Lambda avec l'outil Terraform

• orchestration des fonctions Lambda avec le service Step Functions Une fois l'objectif atteint il s'agira de comparer la solution obtenue avec les solutions actuellement utilisées dans l'industrie :

• clusters Hadoop

• clusters Spark

• Kafka + Storm / Kafka + Flink

• BigQuery / Athena Cette comparaison portera sur les performances mais aussi sur l'investissement nécessaire au développement ainsi que les coûts d'exploitation.