Formation : Azure Databricks
- Spécialistes de la donnée
- Data Ingénieurs
- PO Data
Présentation de la formation
Dans cette formation, vous apprendrez à utiliser le service analytique Azure Databricks afin de vous permettre d’accélérer le traitement de vos données ! Vous allez découvrir les usages et fonctionnalités du service, puis vous serez amené à créer et configurer un cluster, analyser les données avec PySpark sur un notebook, gérer les tables ou encore créer et lire des secrets avec Databricks.
Objectifs pédagogiques
A l’issue de cette formation, les participants seront en capacité de :
- Provisionner des clusters Azure Databricks
- Maitriser les notebooks Azure Databricks
- Orchestrer des travaux sur Azure Databriks
- Gérer les tables Azure Databricks
- Gérer les secrets sur Azure Databricks
- Optimiser son utilisation d’Azure Databricks
- Implémenter du CI/CD avec Azure Databricks
Pour suivre cette formation, vous devez avoir suivi la formation « AZ-900 : Azure Fundamentals » où avoir un niveau équivalent. Des notions de Python sont nécessaire et des notions de Spark sont recommandées.
Un niveau d’anglais B1 est requis, retrouvez les niveaux sur ce lien : Classification des niveaux de langue
Un PC avec un double écran est recommandé pour plus de confort.
Introduction
- Comprendre le service Azure Databricks
- Découvrir les fonctionnalités et les usages du service
- Appréhender l’architecture de Azure Databricks
- Déployer une ressource Azure Databricks
Provisionner des clusters Azure Databricks
- Se rappeler de l’architecture d’Apache Spark
- Connaitre les différents types et modes de clusters
- Configurer un cluster Azure Databricks
- Créer et configurer un cluster Azure Databricks
Maitriser les Notebooks Azure Databricks
- Comprendre les notebooks et leurs utilités
- Connaitre les commandes magiques
- Utiliser les utilitaires Databricks et le profilage intégré
- Comprendre le versioning des notebooks
- Analyser des données avec PySpark sur un notebook Databricks
Orchestrer des travaux sur Azure Databricks
- Comprendre la notion de job et de job multitâches
- Savoir configurer un job Azure Databricks
- Maitriser les pipelines Delta Live Tables
- Créer et configurer un job Azure Databricks
- Créer et orchestrer un pipeline DLT
Gérer les tables Azure Databricks
- Comprendre les notions de table et bases de données Databricks
- Utiliser des tables externes
- Sécuriser les tables Azure Databricks avec des ACL
- Gérer les permissions sur les objets Data
- Gérer les tables sur Azure Databricks
Gérer les secrets sur Azure Databricks
- Comprendre la notion de secret sur Azure Databricks
- Utiliser le Databricks CLI pour ajouter des secrets
- Créer et lire des secrets sur Databricks
Optimiser son utilisation d’Azure Databricks
- Comprendre le modèle de billing du service
- Connaitre les bonnes pratiques pour réduire les couts
- Choisir le bon type de cluster
Implémenter du CICD avec Databricks
- Comprendre le CICD dans le cadre Azure Databricks
- Implémenter un pipeline CICD sur Azure Devops
Cette formation sera principalement constituée de théorie et d’ateliers techniques qui permettront d’être rapidement opérationnel.
- Support : un support de cours en anglais sera remis aux participants à la fin de la formation.
- Evaluation : Les acquis sont évalués tout au long de la formation par le formateur (Questions régulières, travaux pratiques, QCM ou autres méthodes).
- Formateur : le tout animé par un consultant-formateur expérimenté, nourri d’une expérience terrain.
- Satisfaction : à l’issue de la formation, chaque participant répond à un questionnaire d’évaluation qui est ensuite analysé en vue de maintenir et d’améliorer la qualité de nos formations.
- Suivi : une feuille d’émargement par demi-journée de présence est signée par chacun des participants.
- Cette formation peut être dispensée en format inter-entreprises ou intra-entreprise sur demande (à partir de 3 participants) et en mode présentiel comme en distanciel.
Il est possible de vous inscrire jusqu’à 2 jours ouvrés (pour les formations sans financements externes) avant le début de la formation, sous condition de places disponibles et de réception du devis signé.
- Métro 9 : Miromesnil
- Métro 13 : Saint-Philippe-du-Roule
- Bus 22-43-52 : Courcelles ou Miromesnil
- Bus 84 : Ruysdaël – Parc Monceau