PRESENTATION DE L’ARCHITECTURE DE YARN

• L’architecture YARN

• Les différences entre Hadoop 1 et Hadoop 2

• Management des logs

• Administration basique

• Exercice pratique : exécuter un shell distribué

DEFINITION D'UNE APPLICATION YARN

• Le cycle de vie d'une application

• L'API YARN

• La gestion des dépendances : LocalResource

• Exercice pratique : installer l’environnement

DEVELOPPER UNE APPLICATION YARN

• Intéragir avec le ResourceManager

• Prérequis d'une application de type YARN client

• Récupération des métriques et monitoring de son application

• Exercice pratique : développer un client YARN




DEVELOPPER SON PROPRE APPLICATION MASTER

• Prérequis et fonction d'un Application Master

• Pattern synchrone ou asynchrone

• Allocation des ressources

• Monitoring des conteneurs

• Exercice pratique : développer un Application Master

TRAITER AVEC LES CONTENEURS

• Démarrer un conteneur

• Communiquer avec l'Application Master

• Ecrire ses propres conteneurs personnalisés

• Co-localisation des données : communiquer avec HDFS

• Exercice pratique : développer une application Java s’exécutant dans un conteneur

ORDONNANCER UN JOB YARN

• Présentation du Capactity Scheduler

• Présentation du Fair Scheduler

• Configuration du scheduler dans YARN

OBJECTIF

PUBLIC

Bonne connaissance du langage Java
La connaissance de l’environnement Linux est un plus