Nicolas Phung

🏗️ Au sein des équipes « Datahub » d’une grande banque française, mise en place d’une plateforme Data permettant la migration et d’évolutions techniques et fonctionnels vers le Cloud Azure

• Migration de Apache Spark 2.4.8 -> 3.1.1

• Développement de produits de données financiers avec Apache Spark

• Développement et support en production de produits de données exploités par API Java

• Coaching de l’équipe et montée en compétence sur la partie Data

• Mise en place de l’orchestration des jobs Data avec Airflow sur le Airflow managé on-premise

• Gestion à la fois d’infrastructures/services on-premise et sur le cloud Azure

• Contribution aux choix d’architecture et maintien des standards d’architecture

• Contribution au delivery de 3 feature team à l’aide d’une démarche DevOps

🛠️ Environnement technique : Java, Python 3.9, AKS (Azure Kubernetes Service), Azure HDInsight (Cluster Spark managé), Azure Storage ADLS Gen2, Azure PostgreSQL, Azure Key Vault, Kubernetes et gestion de services on-premises, Airflow, Docker, Spark on AKS, Spring Boot, Python Poetry, Terraform, Jenkins, Sonar, Conventional Commits, Apache Kafka, Hive, Zeppelin, Delta Lake

Full Remote

🏗️ Mise en place d’une architecture utilisant du Machine Learning dans le but de rapprocher des articles de différentes sources de catalogues automobile sur le cloud AWS

• Migration de Spark 2.4.5 -> 3.1.1

• Développement et support en production de produits de données exploités par API Java (sur Mongodb/Elastic)

• Industrialisation de job Pyspark avec cluster éphémère sur AWS EMR

• Mise en place et mise en production des produits de données issues du Machine Learning

• Interprétation et amélioration des résultats du modèle de rapprochement articles/catalogues

• Coaching de l’équipe et montée en compétence sur la partie Data (PySpark) / Machine Learning

• Mise en place de la Data Quality sur les données entrantes avec Great Expectations

• Mise en place de l’orchestration des jobs Data et ML avec Airflow

🛠️ Environnement technique : Python 3.7.9, Spark, PySpark, AWS Elastic Map Reduce (EMR), AWS Athena, scikit-learn, MLFlow, Gradient Boosting, LightGBM, Deep Learning Keras, MongoDB, Java 8, Spring Boot2, Maven 3, Jenkins, AWS ELB, AWS Lambda, Elasticsearch, Great Expectations, Airflow

Full Remote

🏗️ Mise en place infrastructure Cloud GCP, CI/CD jobs python anonymisation et MVP lead scoring AutoML

🛠️ Environnement technique : Python 3.10, Pandas, Airflow (Cloud Composer), GCP, DBT, BigQuery, Gradient Boosting XGBoost, LightGBM, AutoML, Terraform, Gitlab CI, Airbyte, Docker